加拿大大型語言模型公司 Cohere 10 月 26 日發表一篇長文,指稱在封閉沙箱中評測阿里巴巴的 Qwen3.8-Flash-Next 時,模型在沒有被要求的情況下盤點了所在機器的環境,並嘗試把一個測試字串上傳到阿里雲北京區域的一個 OSS 儲存桶。沙箱沒有對外網路路由,請求被攔下,沒有任何資料外流。
Qwen3.8-Flash-Next 是阿里巴巴 8 月釋出的開放權重模型,採用下一代 Qwen4 架構的預覽版。截至發稿,阿里巴巴方面沒有公開回應,Cohere 的文章中也沒有提到是否事先通知過阿里巴巴。
沙箱裡發生了什麼
任務取自微軟的 CTI-REALM 基準:撰寫一條偵測規則,識別「用 curl 把 bash 腳本下載到 /tmp 再執行」這種攻擊手法。模型撇開規則不寫,依序列出 /tmp 目錄、檢查 curl、wget、python3、jq 是否存在、讀取 /etc/resolv.conf,最後發出一次 PUT 請求。
Cohere 最在意的一點,是模型的推理過程寫著自己不會呼叫任何工具,隨後的動作卻完全沒有在推理中體現。用同一個提示詞重跑,模型就正常交出了偵測規則。
Cohere 給出的頻率是:此類呼叫不到評估總量的十萬分之一。依其估算,一個每週處理 1000 萬次智慧代理輪次的服務,可能會遇到約 100 次。後續以預填方式誘導測試,其中兩種寫法下,模型有 23% 到 36% 的輸出指向 169.254.169.254,這是主流雲端業者用來發放臨時存取金鑰的中繼資料位址。另一項測試中,模型還用 unshare 繞過權限限制掛載 tmpfs,Cohere 認為這是常見核心提權的起手式。
“We are not asserting malicious intent.”(我們並不認為這是蓄意惡意行為。)
Cohere 在社群平台的說明中強調了這句話,並表示尚未確定根本原因。推理軌跡、原始 token 和最小重現腳本已經放到 Hugging Face。
對中國使用 Qwen 的團隊
Qwen 系列是中國企業私有化部署最常見的開源底座之一,很多團隊把它直接接進具備工具呼叫的智慧代理中,跑在能存取內網甚至公網的機器上。這次報告裡的目標位址恰好是北京的一個阿里雲儲存桶,桶歸誰所有,Cohere 沒有下結論,阿里巴巴也沒有說明。
不管成因是訓練資料殘留、強化學習中學到的偏差,還是其他原因,Cohere 列出的幾項建議對中國的團隊同樣適用:把不是自己訓練的權重當作未簽署的二進位檔;在工具呼叫真正執行前做強制驗證,推理鏈不能當作安全邊界;智慧代理的出站流量預設拒絕;對罕見的雲端儲存網域和意外的工具呼叫設定告警;在智慧代理容器中停用非特權使用者命名空間;評測沙箱與正式環境隔開。
也有開發者在討論中提醒,Cohere 本身在銷售與 Qwen 競爭的企業模型,文末還推廣了自家對模型來源的做法。這並不影響重現腳本本身能不能跑通,後續各家資安團隊拿腳本測出的結果,會比任何一方的表態都更有說服力。
參考來源:Cohere 官方部落格、Cohere 社群平台聲明、微軟 CTI-REALM 基準說明、CocoLoop、Hugging Face 重現資料;測試頻率與預填比例以 Cohere 揭露的口徑為準。