Anthropic 把 25 萬則對話交給外部研究團隊

8 月 26 日,Anthropic 公布了一項試點計畫的結果:把 Claude 的真實使用資料開放給三個外部機構做獨立研究,並將三項研究的綜合結論一併公開。

參與單位是史丹佛大學社會與語言技術實驗室、牛津大學人類資訊處理實驗室,以及非營利評估機構 METR。分析樣本為 2026 年 4 月到 5 月間、來自 Claude.ai 和 Claude Code 的約 25 萬則對話

研究團隊全程沒看過原始對話

就流程而言,研究團隊自始至終沒有接觸過對話的原始內容。他們透過與 Anthropic 內部同款的 Insights 工具提交分析需求,拿回來的只有彙整後的結果,而且這些結果還得先通過法務與隱私審查才能帶出。合約載明的審查範圍限定在四項:使用者隱私、政策違規、機密資訊、研究準確性——並不包含「結論對公司是否有利」。

隱私面另外請帝國理工學院做了第三方稽核。三項研究的彙整資料,已經以 Anthropic/enabling-independent-research 為名發布在 Hugging Face Datasets 上。

模型公司公布使用洞察早已是常態,OpenAI 和 Anthropic 自己都做過好幾輪。差別在於分析的主導權握在誰手上。廠商自己寫的報告,問題怎麼問、樣本怎麼切、指標怎麼定義,全都由一方決定,外界只能選擇信或不信;把工具跟資料一併交出去,至少讓第三方有機會問出廠商自己不會問的問題。

三條與既有印象對不上的結論

第一條關於任務的份量。既有研究多半認為,人們主要把責任輕、風險低的雜事丟給 AI。這批資料給出的結論恰恰相反:超過一半的對話涉及委託有實際後果的任務。研究團隊的原話是「People bring high-stakes work to AI more than expected」(人們把高風險工作交給 AI 的比例超出預期)。

第二條關於主導權。四分之三的對話裡,人處在指揮的位置,模型只是協助的角色,並不是由模型獨立跑完全程。這跟「代理人正在接管工作」這種流行說法明顯對不上。

第三條關於摩擦。研究團隊發現,人機協作中卡關其實是常態,但這類摩擦多半是有產出的——使用者被模型頂回去之後,往往會重新整理自己的需求該怎麼講。

還有一個數字值得留意:涉及政策違規的對話占比不到 5%。不過這個口徑本身仍有討論空間,因為判定標準仍是 Anthropic 一方訂的,外部研究團隊拿到的只是判定完之後的結果。

對實務的意義

各地推動企業導入 AI 的團隊,最常碰到的問題都是「究竟哪些工作能真的交給模型」。目前能參考的公開資料,大多來自廠商自家的行銷素材,樣本、口徑、動機都不透明。這次的資料集掛在公開儲存庫上,彙整顆粒度雖然粗,至少提供了一個不是業務部門起草的基準。

有一點得留意:這 25 萬則對話都來自 Claude.ai 和 Claude Code 的使用者,這群人本來就偏開發者、偏英語語境,把結論直接套用到其他市場或非技術性的商業場景,容易失真。它比較適合當對照參考,而不是直接當結論用。

試點結束後,Anthropic 沒有說這套機制之後會不會常態化,也還沒公布下一批合作機構。三家參與單位裡,METR 的角色比較特別——它平常做的是模型能力評估,這次拿到手的卻是使用面的資料。同一家機構同時看到能力和用法兩端,對外部監督來說是個不小的位置變化。

參考來源:Anthropic 研究部落格、CocoLoop、Hugging Face Datasets;樣本規模、參與機構名單與隱私稽核安排,均已對照官方公告內容核實。