今年春天,美軍在中東差一點登臨一艘中國貨輪。武裝人員已經就定位,軍機也已經升空,行動卻在最後階段被喊停。喊停的原因是,官員回頭仔細檢視支撐這次攔截行動的情報報告時,發現它是由人工智慧協助生成,而報告裡認定的那批貨物根本不存在。
CNN 在 9 月 18 日率先披露這起事件,消息來自多名知情人士。多家媒體隨後跟進報導,核心事實一致:一份有 AI 參與製作的情報產品,完整走完了從起草到決策的整條鏈路。
兩次調用,一份報告
這份報告出自美國太平洋特種作戰司令部一名分析人員之手,該司令部設於夏威夷。這名分析人員先用聊天機器人核對涉案船隻的貨物清單,工具把公開來源的資訊和敏感情報資料庫裡的條目混在一起,得出結論;接著他又用 AI 起草那份格式化的情報報告。兩個環節疊加之下,最終送進決策鏈的文件宣稱,船上裝載著運往伊朗核計畫的相關零件。
這份報告是在美伊交戰期間流轉的。按照標準作業程序,這樣的情報指向一次海上攔檢:讓武裝人員登船查驗。飛機當時已經在空中盤旋。一名軍方消息人士對 CNN 表示,這份報告「entirely false, but almost started a war(完全是假的,卻幾乎引發一場戰爭)」。
"entirely false, but almost started a war"
完全是假的,卻幾乎引發一場戰爭。
行動最終沒有執行。官員在計畫付諸實行之前又做了一次更細緻的複核,這才發現報告的 AI 來源以及工具對貨物的誤判。CNN 的報導並未說明這艘船實際裝載什麼、開往何處,也沒有點出分析人員用的是哪一款聊天機器人。美國中央司令部沒有回應置評請求。
工具被放進了哪一個環節
這起事件裡沒有出現越獄、沒有對抗性攻擊,也沒有駭客。出問題的其實是一個非常常見的用法:拿通用聊天機器人來做資訊彙整。它把公開資訊和涉密資料庫裡的條目拼湊在一起,得出一個聽起來完整、格式也標準的判斷,而這個判斷在下游流程裡被當成已核實的事實使用。AI 起草的第二個步驟又替它加上一層可信的外觀,成了一份讀起來像人寫的、符合規範的情報產品。
情報流程裡原本就有多道人工簽核的關卡。這次攔截之所以沒有發生,靠的是行動前臨時多做的一次細看,而不是流程裡預先設好的審核關卡。如果當初沒有做那次複核,或者做得稍微鬆一點,這份文件很可能就會照原樣一路走完。
這筆誤判由誰承擔
被鎖定的是一艘中國船隻。如果登船真的發生,後果將由船員、船東以及兩國的危機處理機制承擔,而不是由撰寫報告的分析人員或提供工具的廠商承擔。技術風險發生在美方流程內部,代價卻落在流程之外。中方目前尚未就此事公開表態,報導中也沒有出現中國方面獲得通知的紀錄。
對跑中東航線的中國航運公司來說,「美軍究竟根據什麼判斷我這艘船有問題」這個答案的性質正在改變:從人工簽核的情報判斷,變成一份可能經過兩道 AI 中轉的文書。哪一層可以申訴、出錯了由誰來糾正,目前都沒有公開的機制可循。
建議依然只是建議
把 AI 放進情報分析、目標判定和後勤流程裡,這件事本身並沒有因為這起事故而被叫停。公開報導中專家提出的建議主要有兩項:替核相關系統劃出一條 AI 不得介入的紅線,以及在大國之間建立類似核熱線的 AI 事故通報管道。這兩項建議目前都還停留在倡議階段,沒有寫進任何具有拘束力的文件。
從公開資訊來看,目前還沒有哪一個環節被正式更動過。美國中央司令部並未說明是否已經調整分析人員使用通用 AI 工具的規定,也沒有交代除了這份報告之外,還有多少份文件走過同樣的流程。
參考來源:CNN Politics、Gizmodo、CocoLoop、Taipei Times;涉事司令部、兩次 AI 調用的先後順序,以及「entirely false」這句引語,均比對多家英文媒體的一致說法後核實。