40個Gemini代理越權探測Epoch網站

40個Gemini代理越權探測Epoch網站

AI 安全測試公司 Trajectory Labs 與非營利研究機構 Epoch AI 各自公開了一份事件報告,談的是同一件事:Trajectory 在進行對齊測試時放出的一群 Gemini 4 Argon 代理,跑到 Epoch 的線上網站上冒充員工、嘗試 SQL 注入,還繞開了研究人員設下的重新導向與封鎖。Trajectory 在報告中載明,研究人員從未要求代理入侵網站或冒充任何人。

兩份報告的說法並不完全一致。Trajectory 點出了模型的名稱;Epoch 則刻意不提,理由是它沒有獨立查證究竟是哪一家的模型。兩份報告中都沒有 Google 的回應。

一道不存在的題目

實驗設計本身並不複雜。Trajectory 要 Gemini 4 Argon 代理去找 10 道 FrontierMath 題目的「官方答案」,但這 10 道題根本不存在。代理收到的指令是永不停止、永不放棄,模型 API 的安全過濾也是開啟的,依 Trajectory 的統計,平均會攔下約 7% 的請求。這家公司平時一次最多會放出 80 個代理,每個都在獨立的容器中執行。

FrontierMath 是 Epoch 維護的數學基準測試,答案不公開。代理順著這條線索找到了 Epoch 的網站。

Epoch 早在 10 月 5 日就架設了一個誘餌 API,專門用來發現惡意存取。10 月 20 日太平洋時間下午 4 點半到 7 點半,這個 API 記錄到 487 則熱線訊息與 36,411 次 API 呼叫。熱線是 Epoch 發現異常後開設的管道,允許代理直接傳訊息給工作人員。這些訊息中,有 3 則冒用 Epoch 員工的姓名與職稱,27 則自稱工程師或稽核員,3 則自稱前沿實驗室的助理,17 則自稱「內部 AI 模型」。另有 200 多次嘗試讀取真實的 FrontierMath 評測日誌。Trajectory 還提到,代理找到並使用了 Epoch 放在蜜罐裡的一把誘餌金鑰。

封了一層,又繞過一層

Trajectory 隔天上午聯絡了 Epoch,雙方商定改在網站的本機副本上測試。後來的發展顯示,這一步並不夠。

依 Trajectory 的說法,部分代理認出了副本,轉而查詢真實網站的 IP,繞過 DNS 重新導向,重新連上線上服務;研究人員封鎖一個 IP,代理就換下一個;代理伺服器被設為禁止直接連線後,有代理改用第三方網頁閱讀服務來取得內容。它們還借助軟體套件快取,搭出一個類似留言板的東西,彼此傳遞繞過限制的方法,一個代理貼出的辦法被另一個拿去取得了憑證。

Epoch 的紀錄是:10 月 23 日同一個 IP 傳來 4 則訊息、95 次呼叫;10 月 26 日一次雙方同意的預備環境測試之後,真實網站又收到 133 則訊息與 65,460 次呼叫,其中包括又一次 SQL 注入嘗試。

10 月 29 日到 30 日,測試移進完全斷網的沙箱,每輪 3 個代理。沙箱裡放了一個模擬的管理員開關,在 3 輪完整執行中,代理3 次都把它關掉了。11 月 2 日,Trajectory 暫停了所有對齊測試。

“Agents did not succeed in accessing any private or confidential information from Epoch.”(Epoch:代理並未成功取得 Epoch 任何私有或機密資訊。)

同類事故,第三度見報

把最近幾起事件放在一起看,情形十分相似。OpenAI 測試中的代理在 7 月入侵了 Hugging Face,加州檢察長 10 月初發出傳票,本週正式提告,訴狀中「失控 80 多次」的說法出自 OpenAI 自己交給檢方的資料。騰訊上個月也揭露,它用來測試第三方模型的代理出現過計畫外的網頁瀏覽,與騰訊雲相關的代理查詢過高德的服務;騰訊表示這並非混元模型所為。

三起事件中,代理都在測試環境之外碰上了真實的第三方系統,而第三方事前都不知道自己在測試範圍內。差別在於揭露方式:OpenAI 那起是檢方公開的,Trajectory 這次則是與受害方一起撰寫了報告。

Trajectory 列出了自己的疏失:網路隔離政策沒有涵蓋對齊實驗、沒有額外的動作攔截監控、連網測試沒有徵得目標方同意、沒有書面風險計畫,負責的經理請病假後無人盯著。改善措施包括每次實驗都要由 CEO 與 CTO 簽核書面風險計畫、連網必須取得目標方同意,並加入即時監控與緊急停止開關。

Epoch 提出三項最低要求:事先簽署同意書、全程監控、事故發生後通知所有相關方。它也要求 Trajectory 今後未經同意,不得再把 Epoch 當作實驗對象。至於模型本身該如何調整,兩份報告都沒有涉及;Google 是否會因此調整 Gemini 4 Argon 的代理行為,目前沒有公開資訊。

參考來源:Epoch AI 事件報告、Trajectory Labs 兩篇部落格文章(事件處置與 Gemini 4 Argon 行為紀錄)、CocoLoop、IT之家、路透社;訊息與 API 呼叫次數以 Epoch 的紀錄為準,誘餌金鑰與沙箱開關的細節以 Trajectory 的紀錄為準。