8月26日、Anthropicはあるパイロット施策の結果を公表した。Claudeの実際の利用データを外部3機関に開放して独立した研究を行わせ、3つのプロジェクトの集計結論をまとめて公開したのだ。
参加したのはスタンフォード大学の社会・言語技術研究室、オックスフォード大学のヒューマン情報処理研究室、そして非営利の評価機関METRの3者。分析対象は2026年4月から5月にかけてClaude.aiとClaude Codeから集められた約25万件の対話だ。
研究者は生の対話を一切見ていない
手順としては、研究者は元の対話内容に直接触れることは一度もなかった。Anthropic社内で使われているものと同じInsightsツールを通じて分析を依頼し、受け取れるのは集計済みの出力のみ。その出力も、法務・プライバシー審査を通らなければ持ち出すことができない。契約上の審査範囲は、ユーザーのプライバシー、ポリシー違反、機密情報、研究の正確性の4項目に限定されており、「結論が自社に有利かどうか」は含まれていない。
プライバシー面では別途、インペリアル・カレッジ・ロンドンが第三者監査を実施した。3プロジェクトの集計データはAnthropic/enabling-independent-researchという名前でHugging Face Datasetsに公開済みだ。
AI企業が利用実態の分析結果を発表すること自体は珍しくなく、OpenAIもAnthropicもすでに何度か手がけている。今回違うのは、分析の主導権を誰が握るかという点だ。企業が自社で書くレポートは、設問設計もサンプルの切り方も指標の定義もすべて一方の手中にあり、外部は信じるか疑うかしか選べない。ツールとデータそのものを渡すことで、少なくとも企業自身が問わないような問いを第三者が投げかける余地が生まれる。
通説とかみ合わない3つの結論
1つ目はタスクの重みに関するものだ。従来の研究は、人はAIに責任の軽い雑用を任せがちだと考える傾向にあった。しかし今回のデータはその逆を示している。半数を超える対話が、実際の結果を伴うタスクの委任に関わっていたのだ。研究者らは「People bring high-stakes work to AI more than expected(人は予想以上に重要度の高い仕事をAIに持ち込んでいる)」と表現している。
2つ目は主導権についてだ。4分の3の対話では、人が指揮する立場にあり、モデルは補助する立場にとどまっていた。モデルが単独でタスクを最後まで完遂するケースではない。これは「エージェントが仕事を乗っ取りつつある」という流行の語りとは明らかに食い違う。
3つ目は摩擦についてだ。研究者らは、人とAIの協働では行き詰まりが常態的に発生するものの、その摩擦の多くは成果につながっていると指摘する。モデルに押し返された利用者は、自分の要求の伝え方を再構成する傾向があるという。
もう一点、ポリシー違反に該当するカテゴリーの対話は全体の5%未満というデータもある。ただしこの数値の判定基準は依然としてAnthropic一社が定めたものであり、外部研究者が受け取るのは判定後の結果に過ぎない点は議論の余地がある。
現場への実務的な意味
企業でのAI導入を進めるチームが常にぶつかるのは、「実際どの業務までモデルに任せられるのか」という問いだ。現状、それを判断するための公開データはほぼ企業側のマーケティング資料に依存しており、サンプルも基準も動機も不透明なままだった。今回のデータセットは公開リポジトリに置かれ、粒度は粗いものの、少なくとも営業部門が書いたものではない基準点を提供している。
留意点も残る。25万件の対話はClaude.aiとClaude Codeの利用者から集められたもので、開発者寄り・英語圏寄りのユーザー層に偏っている。この結論をそのまま他の市場や非技術系の業務現場に当てはめると実態とずれる可能性が高い。あくまで対照材料として使うべきで、結論そのものとして扱うべきではない。
パイロット実施後、Anthropicはこの仕組みを常態化するかどうかについて言及しておらず、次に参加する機関も明らかにしていない。3機関のうちMETRの立場はやや特殊だ。普段は能力評価を専門とする機関が、今回は利用実態側のデータを扱った。同一機関が能力と利用実態の両面を見るというのは、外部監視のあり方としては小さくない位置づけの変化と言える。
参考資料：Anthropicリサーチブログ、CocoLoop、Hugging Face Datasets。サンプル数、参加機関、プライバシー監査の体制は公式発表の記載に基づき確認済み。