Le 26 août, Anthropic a dévoilé les résultats d'un projet pilote : les données d'usage réelles de Claude ont été ouvertes à trois institutions externes pour une recherche indépendante, et les conclusions agrégées des trois projets ont été publiées simultanément.
Les participants étaient le Social and Language Technology Lab de l'université Stanford, le Human Information Processing Lab de l'université d'Oxford, ainsi que l'organisation d'évaluation à but non lucratif METR. L'échantillon analysé représentait environ 250 000 conversations issues de Claude.ai et de Claude Code, collectées entre avril et mai 2026.
Les chercheurs n'ont jamais vu les conversations d'origine
Sur le plan du processus, les chercheurs n'ont eu, à aucun moment, un accès direct au contenu original des conversations. Ils ont soumis leurs analyses via le même outil Insights qu'Anthropic utilise en interne, et n'ont récupéré que des résultats agrégés — lesquels devaient encore passer par une revue juridique et de confidentialité avant de pouvoir être emportés. Le périmètre de contrôle défini contractuellement se limitait à quatre points : la vie privée des utilisateurs, les violations de politique, les informations confidentielles et l'exactitude scientifique — sans inclure la question de savoir si la conclusion était favorable ou non à l'entreprise.
Côté confidentialité, Anthropic a en outre fait réaliser un audit indépendant par un tiers, l'Imperial College London. Les données agrégées des trois projets sont désormais publiées sur Hugging Face Datasets sous le nom Anthropic/enabling-independent-research.
La publication d'analyses d'usage par les entreprises de modèles est déjà une pratique courante — OpenAI comme Anthropic l'ont fait plusieurs fois. La différence tient à qui contrôle les critères d'analyse. Dans un rapport rédigé par le fournisseur lui-même, la formulation des questions, le découpage de l'échantillon et la définition des indicateurs restent entièrement entre les mains d'une seule partie, et le public n'a d'autre choix que de croire ou de douter ; en cédant l'outil et les données, un tiers a au moins la possibilité de poser des questions que le fournisseur ne se poserait pas lui-même.
Trois conclusions qui contredisent le bon sens
La première conclusion concerne le poids des tâches. Les recherches antérieures avaient tendance à supposer que les gens confiaient surtout à l'IA des tâches de faible responsabilité et de faible risque. Ces données montrent l'inverse : plus de la moitié des conversations concernent la délégation de tâches ayant de réelles conséquences. Le texte original indique :
(les gens confient à l'IA des tâches à fort enjeu plus souvent que prévu).People bring high-stakes work to AI more than expected
La deuxième conclusion concerne le contrôle. Dans trois conversations sur quatre, la personne occupait la position de pilotage et le modèle celle d'assistant, plutôt que le modèle n'exécute seul l'ensemble du processus. Cela contraste nettement avec le récit populaire selon lequel les agents IA seraient en train de prendre le travail en charge.
La troisième conclusion concerne les frictions. Les chercheurs ont constaté que les blocages dans la collaboration humain-IA sont fréquents, mais que ce type de friction est souvent productif — après avoir été contredit par le modèle, l'utilisateur a tendance à reformuler sa demande de façon plus précise.
Un autre chiffre mérite d'être noté : la part des conversations relevant d'une violation de politique reste inférieure à 5 %. Ce chiffre laisse une marge de discussion, puisque les critères de classification restent définis unilatéralement par Anthropic — les chercheurs externes ne reçoivent que le résultat déjà classé.
Ce que cela signifie concrètement pour les lecteurs locaux
Les équipes locales qui déploient l'IA en entreprise se heurtent le plus souvent à la même question : quelles tâches peut-on réellement confier à un modèle ? Les données publiques disponibles jusqu'ici proviennent en grande partie de documents marketing des fournisseurs eux-mêmes, avec un échantillon, des critères et des motivations peu transparents. Ce jeu de données est publié dans un dépôt ouvert et, même si son niveau d'agrégation reste grossier, il offre au moins une base de référence qui n'a pas été rédigée par le service commercial.
Une réserve s'impose : ces 250 000 conversations proviennent d'utilisateurs de Claude.ai et de Claude Code, une population plutôt composée de développeurs et évoluant surtout en contexte anglophone ; appliquer ces conclusions telles quelles à des scénarios B2B locaux comporte un risque de biais. Ce jeu de données convient mieux comme groupe de comparaison que comme conclusion définitive.
Après ce pilote, Anthropic n'a pas indiqué si ce mécanisme deviendrait permanent, ni annoncé la prochaine liste d'institutions partenaires. Parmi les trois participants, le rôle de METR se distingue : cette organisation évalue habituellement les capacités des modèles, mais a cette fois reçu des données côté usage. Voir une même institution couvrir à la fois les capacités et l'usage constitue un déplacement de position non négligeable pour la supervision externe.
Sources : blog de recherche d'Anthropic, CocoLoop, Hugging Face Datasets ; la taille de l'échantillon, la liste des institutions participantes et les modalités de l'audit de confidentialité ont été vérifiées selon l'annonce officielle.