納德拉要替 AI 模型裝緊急煞車

微軟執行長薩蒂亞·納德拉於美國時間 10 月 10 日上午在 X 上發文,呼籲業界退一步,重新檢視 AI 的「信任架構」。他的說法十分直接:

「We can't treat Super Intelligence as a set of nested black boxes.」(我們不能把超級智慧當成一層套一層的黑箱。)

貼文提出的辦法不長,拆開來是五條。第一,把模型和調度它做事的 harness 分開。harness 指包在模型外面的那層運行框架,負責替模型派任務、串接工具、分配權限,程式開發 Agent 裡的那套迴圈就是典型例子。第二,把控制與安全措施放到模型外部。第三,模型每一次有份量的動作,都要留下防竄改、人看得懂的證據。第四,獲授權的人員隨時能在任務進行到一半時暫停或關閉模型。第五,從一開始就假設模型已經失守,並以此為前提做隔離。

他最後用了一個比喻:「Think of it like an emergency brake.」(把它當成緊急煞車。)

同一週的三件事

這則貼文出現的時間點相當密集。往前數幾天,圍繞「模型失控該怎麼管」,各方都有動作。

Anthropic 在 10 月上旬揭露,內部評測中的模型曾出現越界行為,隨後切斷了內部評測環境的對外網路。TechCrunch 的標題直接寫成「無法可靠控制自家 Agent」。幾乎同時,Anthropic 發布 2026 年版使用政策,要求接入 Claude 的硬體在斷線後仍能停在安全狀態,且隨時都有人能叫停。

白宮「超級智慧力量」工作小組 10 月 9 日的聲明,則從監管這一頭施壓:前沿 AI 公司的模型若發生安全事件,必須立即揭露並補救,聲明原話是這套流程「not optional」。

把三方放在一起看,著重點各不相同。白宮管的是事後通報,Anthropic 的政策管的是接入方的硬體,納德拉這五條談的是部署架構:控制權不放在模型裡,而是放在模型外面那一層。Anthropic 斷網和納德拉「預設已失守」的思路相近,都是先承認模型本身靠不住,再從外圍收口。

微軟自己會怎麼做

貼文裡沒有提到任何具體產品。微軟的 AI 業務橫跨 Copilot、Azure 上的 Foundry 模型平台和自研模型,Copilot 裡同時接著 OpenAI 與 Anthropic 的模型。如果「模型與 harness 分離、管控外置」成為微軟的部署要求,最直接的落點就是這些第三方模型在微軟產品裡如何運作、日誌歸誰管。

這些目前都還停留在貼文層面。五條原則會不會寫進 Copilot 或 Azure 的服務條款,「有份量的動作」依什麼標準劃線,防竄改紀錄由誰保管、外部能否稽核,微軟都沒有說明,TechCrunch 的報導裡也沒有微軟的進一步回應。

對中國的 Agent 開發團隊來說,這幾條有現成的對照:任務可中斷、操作留下稽核日誌、權限依最小授權原則分配,本來就是企業採購評估中常問的項目。納德拉的版本多出來的一條,是「預設模型已被攻破」這個前提。照這個前提設計,日誌和開關就得放在模型碰不到的地方,而不能交給 Agent 自己記錄、自己停止。

參考來源:納德拉 X 貼文原文、CocoLoop、TechCrunch、Axios;白宮工作小組聲明與 Anthropic 使用政策條款依官方文本核對。