今年春、米軍は中東で中国の貨物船に対する臨検を土壇場で取りやめた。武装要員はすでに配置につき、軍用機もすでに離陸していたが、作戦は最終段階で中止された。理由は、この臨検の根拠となった情報報告書を担当者が改めて精査したところ、それが人工知能の助けを借りて作成されたものであり、報告書が特定した積み荷そのものが実在しないと判明したためだ。
CNNは9月18日、事情に詳しい複数の関係者の話としてこの一件を報じた。他の複数のメディアも追随し、核心部分の事実関係は一致している。すなわち、AIが関与した情報プロダクトが、起草から意思決定まで一連のプロセスをそのまま通過したという点だ。
2回のAI利用、1通の報告書
報告書を作成したのは、ハワイに司令部を置く米太平洋特殊作戦司令部の分析官だった。この分析官はまずチャットボットを使い、問題の船の貨物目録を確認した。ツールは公開情報と機密扱いの情報データベースの記載を混ぜ合わせて結論を導き出していた。続けて分析官はAIを使ってその定型フォーマットの情報報告書を起草した。この2つの工程が重なった結果、最終的に意思決定ラインに上がった文書には、船にはイランの核開発計画に関連する部品が積まれていると記載されていた。
この報告書は、米国とイランが交戦状態にあった時期に回覧されていた。通常の手順に従えば、この種の情報は海上での臨検、つまり武装要員を乗船させて検査するという対応につながる。航空機はすでに上空を旋回していた。ある軍関係者はCNNに対し、この報告書は「entirely false, but almost started a war(完全に虚偽だったが、あわや戦争を引き起こすところだった)」と語っている。
"entirely false, but almost started a war"
完全に虚偽だったが、あわや戦争を引き起こすところだった。
結局、作戦は実行されなかった。計画の実行直前に担当者がより踏み込んだ再確認を行い、報告書がAI由来であることと、ツールが積み荷を誤認していたことが発覚した。CNNの報道では、この船が実際に何を積んでいたか、どこに向かっていたか、分析官がどのチャットボットを使ったかは明らかにされていない。米中央軍はコメント要請に応じていない。
ツールはどの工程に入り込んだのか
今回の一件に、脱獄(ジェイルブレイク)や敵対的攻撃、ハッカーの関与はなかった。問題を起こしたのは、ごくありふれた使い方、つまり汎用チャットボットを使って情報を統合するという用途だった。ツールはオープンソース情報と機密データベースの記載をつなぎ合わせ、一見完結していて体裁も整った判断を導き出し、その判断は後工程で検証済みの事実として扱われた。AIによる起草という2段階目の工程が、さらにもっともらしさを上乗せした。読むと人間が書いたように見え、規定の書式にも沿った情報プロダクトができあがった。
情報プロセスには本来、複数の人による承認工程が組み込まれている。今回の臨検が実行されなかったのは、作戦直前に臨時で行われた入念な見直しのおかげであり、プロセスにあらかじめ組み込まれた審査の関門によるものではない。もしその見直しが行われなかったか、もう少し粗く行われていたら、この文書はそのまま最後まで通っていた可能性が高い。
この誤判断のツケは誰が払うのか
標的にされたのは中国船籍の船だった。もし乗船検査が実際に行われていれば、その結果を引き受けるのは乗組員や船主、そして両国の危機管理の枠組みであり、報告書を書いた分析官やツールを提供したベンダーではない。技術的なリスクは米国側のプロセス内部で発生したが、その代償はプロセスの外側に及ぶ構造になっている。中国側はこの件について今のところ公式にコメントしておらず、報道の中にも中国側に事前通知があったという記録はない。
中東航路を運航する中国の海運会社にとって、「なぜ自社の船が米軍にマークされたのか」という問いへの答えの性質は変わりつつある。人が判断を下した情報評価から、2回のAI処理を経た可能性がある文書へと。どの段階で異議を申し立てられるのか、誤りがあった場合に誰が訂正するのかについて、公開された仕組みは今のところ存在しない。
提言は提言のまま
AIを情報分析や標的判定、兵站プロセスに組み込むという流れ自体は、今回の事故によって止まってはいない。公開された報道で専門家が挙げている提言は主に2つある。核関連システムにはAIを関与させない一線を設けること、そして核のホットラインのような、大国間でのAIインシデント通報チャネルを整備することだ。いずれも提言の段階にとどまっており、拘束力のある文書には反映されていない。
公開情報を見る限り、現時点でプロセスが正式に変更された形跡はない。米中央軍は、分析官による汎用AIツールの使用に関する規定を見直したかどうかについても、この報告書以外にも同様の経路をたどった文書がどれだけあるのかについても、明らかにしていない。
参考資料：CNN Politics、Gizmodo、CocoLoop、Taipei Times。関与した司令部、2回のAI利用の順序、および「entirely false」という引用については、複数の英語圏メディアの報道内容を突き合わせて確認した。