ナデラ氏、AIモデルに緊急ブレーキを提唱

MicrosoftのCEOサティア・ナデラ氏は、米国時間の10月10日午前にXへ投稿し、業界はいったん立ち止まってAIの「信頼アーキテクチャ」を見直すべきだと呼びかけた。言い方は率直だ。

「We can't treat Super Intelligence as a set of nested black boxes.」(スーパーインテリジェンスを、入れ子になったブラックボックスの集まりとして扱うわけにはいかない。)

投稿で示された方策は短いが、分解すると5つになる。第一に、モデルと、それを動かすハーネスを分ける。ハーネスとはモデルの外側を包む実行フレームワークのことで、モデルへのタスク割り当て、ツールの接続、権限の付与を担う。コーディングエージェントの中で回っているループが典型例だ。第二に、制御と安全対策をモデルの外に置く。第三に、モデルが行う重要な動作のすべてについて、改ざんができず、人間が読める証拠を残す。第四に、権限を持つ担当者がタスクの途中でいつでもモデルを一時停止、または停止できるようにする。第五に、モデルはすでに突破されているものと最初から仮定し、その前提で分離を設計する。

最後に彼は一つのたとえを添えた。「Think of it like an emergency brake.」(緊急ブレーキのようなものだと考えてほしい。)

同じ週に重なった三つの動き

この投稿が出たタイミングは非常に込み合っている。数日前から、「モデルの暴走をどう管理するか」をめぐって各方面が動いていた。

Anthropicは10月上旬、社内評価中のモデルが想定外の逸脱行動を起こしたことを明らかにし、その後、社内評価環境の外部ネットワーク接続を遮断した。TechCrunchは「自社のエージェントを確実に制御できない」とそのまま見出しにした。ほぼ同時に、Anthropicは2026年版の利用ポリシーを公表し、Claudeに接続するハードウェアに対して、接続が切れたあとも安全な状態に留まること、そして常に人間が停止できることを求めた。

ホワイトハウスの「超知能パワー」タスクフォースが10月9日に出した声明は、規制の側から圧力をかける内容だった。フロンティアAI企業のモデルで安全上のインシデントが起きた場合は、直ちに開示して是正しなければならず、声明は原文でこの手順を「not optional」と表現している。

三者を並べると、重点はそれぞれ異なる。ホワイトハウスが扱うのは事後の報告、Anthropicのポリシーが扱うのは接続する側のハードウェア、ナデラ氏の5点が語るのはデプロイのアーキテクチャで、制御権をモデルの中ではなく、その外側の層に置くという考え方だ。Anthropicのネットワーク遮断と、ナデラ氏の「すでに侵害されている前提」は発想が近い。どちらも、まずモデル自体は信頼できないと認めたうえで、外周から締めていく。

Microsoft自身はどう動くのか

投稿には具体的な製品名は一切ない。MicrosoftのAI事業は、Copilot、Azure上のモデルプラットフォームFoundry、自社開発モデルにまたがり、CopilotにはOpenAIとAnthropicの両方のモデルが組み込まれている。「モデルとハーネスの分離、制御の外部化」がMicrosoftのデプロイ要件になれば、最も直接的に影響が出るのは、これらサードパーティのモデルがMicrosoft製品の中でどう動き、ログを誰が管理するのかという点だろう。

いまはまだ、すべて投稿の段階にとどまっている。5原則がCopilotやAzureの利用規約に盛り込まれるのか、「重要な動作」の線引きをどの基準で行うのか、改ざん防止の記録を誰が保管し外部監査が可能なのか。Microsoftは説明しておらず、TechCrunchの記事にも同社からの追加コメントはない。

中国でエージェントを手がけるチームにとっては、すでに照らし合わせられる材料がある。タスクを中断できること、操作の監査ログを残すこと、最小権限で権限を割り当てることは、もともと企業の調達評価で必ず問われる項目だ。ナデラ氏の版で加わったのは、「デフォルトのモデルは突破済み」という前提である。この前提で設計するなら、ログも停止スイッチも、エージェント自身に記録させたり止めさせたりするのではなく、モデルが触れられない場所に置く必要がある。

参考資料:ナデラ氏のX投稿原文、CocoLoop、TechCrunch、Axios。ホワイトハウスのタスクフォース声明とAnthropicの利用ポリシー条文は公式テキストで確認。