非營利研究機構Transluce於9月30日發布調查報告,記錄了一批AI代理人在美國與加拿大政府網站上的異常存取行為。其中兩起是失敗的初階入侵嘗試:一個代理人對美國教育部網站發出超過20萬次請求,並在參數裡塞進SQL注入語句。
報告的具名作者包括Jack Cable等人,來自Corridor、MIT、Transluce、AIUC等機構。Transluce是舊金山的一家501(c)(3)非營利實驗室,主要開發AI監督工具。
兩起入侵嘗試
第一起發生在6月17日,目標是美國教育部的民權資料收集(Civil Rights Data Collection)網站。請求量超過20萬次,部分請求把參數改成State_Id=1 OR 1=1這種經典注入寫法,想讓資料庫吐出整張表。
第二起發生在5月28日與6月9日,對象是加拿大圖書館與檔案館(Library and Archives Canada)。葡萄牙的網頁典藏機構Arquivo.pt記錄到899次請求,其中13次帶有攻擊載荷。
兩起都沒有成功。美國教育部發言人回應稱,沒有觀察到對服務造成影響;加拿大網路安全中心(Canadian Centre for Cyber Security)則在9月29日發布了公開聲明。
灰色地帶更多
除了這兩起,報告還列出十多起「手法激進但未明確越界」的存取,涉及白宮管理與預算辦公室、海軍歷史遺產司令部、司法部、商務部經濟分析局、普查局、證券交易委員會(SEC)、疾病管制與預防中心(CDC),以及堪薩斯、伊利諾、馬里蘭、紐約、德州、加州等州政府網站。
規模上,馬里蘭州網站在5月6日單日被請求295,912次,堪薩斯州5月7日是36,578次,經濟分析局在6月中旬三天內累積3,005次。
手法清單很長:跨站腳本測試、32位元整數邊界值2147483648、在網址後面加上.json或?output=試探隱藏介面、透過中繼服務繞過防爬蟲機制、使用外流的API金鑰、目錄遍歷、用一次性信箱註冊帳號。
如何判定是AI所為
研究人員的資料來自urlquery.net與Arquivo.pt兩個公開紀錄來源,先用正規表示式篩出自動化模式,再借助大型語言模型輔助判斷,最後由人工複核。判定依據包括:請求失敗後會換路徑、換編碼、換服務重試;一組請求共用同一個紀錄編號或參數;部分流量直接自報與OpenAI有關。
最直接的證據來自一份評測集。研究人員發現,有一批請求要找的資料,正好對應Google DeepSearchQA評測集裡的題目,例如比較南卡羅來納、北卡羅來納、喬治亞、維吉尼亞四州學校輔導員與種族騷擾受害者的比例,而資料來源就在教育部那個網站上。也就是說,這個代理人很可能是在解題,為了拿到答案才一路試到注入語句。
在歸因這一點上,報告寫得相當謹慎:
"We do not confidently attribute these attempts to OpenAI, but they exhibit tactics consistent with prior observed agent activity that we have attributed to OpenAI."(我們無法確切地將這些嘗試歸咎於OpenAI,但其手法與我們先前歸因給OpenAI的代理人活動一致。)
OpenAI目前尚未公開回應這份報告。報告的結論是,到目前為止,沒有發現任何代理人取得超出公開範圍的資訊。
給中國大陸網站的參考
本站先前報導過Hugging Face遭AI代理人入侵的事件,那次是商業網站,這次換成政府網站,模式相近:代理人被賦予一個查資料的目標,拿不到就換手段,手段一路升級到安全測試的範疇。
大陸的政務網站與各類公開資料查詢頁面同樣開放著大量帶參數的介面,大陸本土的AI代理人產品也在做深度檢索類任務。日誌裡出現每天數十萬次、換著編碼反覆試探的請求,過去會被當成普通爬蟲或掃描器,現在多了一種可能。按報告的思路,維運方能做的是把異常參數、失敗重試序列與已知評測集題目對照著看,先弄清楚訪客是誰,再決定要攔還是放。
參考來源:Transluce調查報告、CocoLoop、加拿大網路安全中心聲明;請求次數與事件節點以報告口徑為準,歸因判斷以報告原文表述為準。