8 月 26 日,Anthropic 公布了一项试点的结果:把 Claude 的真实使用数据开放给三家外部机构做独立研究,并把三个项目的聚合结论一并公开。
参与方是斯坦福大学社会与语言技术实验室、牛津大学人类信息处理实验室,以及非营利评估机构 METR。分析样本为 2026 年 4 月至 5 月间来自 Claude.ai 和 Claude Code 的约 25 万条对话。
研究者看不到原始对话
流程上,研究者全程没有接触过原始对话内容。他们通过与 Anthropic 内部同款的 Insights 工具提交分析,拿回来的只有聚合后的输出,且这些输出要经过法律与隐私评估才能带走。合同层面的审查范围限定在四项:用户隐私、政策违规、机密信息、研究准确性——不包含”结论对公司是否有利”。
隐私侧另请帝国理工学院做了第三方审计。三个项目的聚合数据已经以 Anthropic/enabling-independent-research 的名字发在 Hugging Face Datasets 上。
模型公司发布使用洞察早已是常规动作,OpenAI 和 Anthropic 自己都做过好几轮。区别在于谁握着分析口径。厂商自己写的报告,问题设计、样本切法、指标定义全在一方手里,外界只能选择信或不信;把工具和数据交出去,至少让第三方有机会问出厂商不会问自己的问题。
三条与常识对不上的结论
第一条关于任务的分量。既有研究倾向于认为人们主要把低责任、低风险的杂事丢给 AI。这批数据给出的结论相反:超过一半的对话涉及委托有实际后果的任务。原文的说法是 “People bring high-stakes work to AI more than expected”(人们把高风险工作交给 AI 的比例超出预期)。
第二条关于控制权。四分之三的对话里,人处在指挥位置、模型处在协助位置,并非模型独立跑完全程。这和”Agent 正在接管工作”的流行叙事有明显出入。
第三条关于摩擦。研究者发现人机协作中出现卡壳属于常态,但这类摩擦往往是有产出的——用户在被模型顶回来之后,会重新组织自己的需求表述。
另有一个数字:涉及政策违规的类别与对话占比低于 5%。这个口径本身留有讨论空间,因为判定标准仍由 Anthropic 一方定义,外部研究者拿到的是判定之后的结果。
对中文读者的现实意义
国内做企业 AI 落地的团队,最常撞上的一道题是”到底哪些活能交给模型”。眼下可参考的公开数据基本来自厂商自己的市场材料,样本、口径、动机都不透明。这次的数据集挂在公开仓库上,聚合粒度虽然粗,至少提供了一个不由销售部门起草的基线。
保留一句:25 万条对话来自 Claude.ai 和 Claude Code 的用户,这批人本身偏开发者、偏英文语境,把结论直接套到国内 to B 场景上会失真。它更适合当对照组用,而非当结论用。
试点之后,Anthropic 没有说这套机制会不会常态化,也没公布下一批合作机构。三家参与方里 METR 的角色比较特别——它平时做的是模型能力评估,这次拿到的是使用侧数据。同一家机构同时看到能力和用法两端,对外部监督来说是个不小的位置变化。
参考来源:Anthropic 研究博客、CocoLoop、Hugging Face Datasets;样本量、机构名单与隐私审计安排以官方公告口径核验。