Em 26 de agosto, a Anthropic divulgou os resultados de um projeto-piloto: abriu dados reais de uso do Claude para três instituições externas realizarem pesquisa independente e publicou, ao mesmo tempo, as conclusões agregadas dos três projetos.
Participaram o Social and Language Technology Lab da Universidade Stanford, o Human Information Processing Lab da Universidade de Oxford e a organização de avaliação sem fins lucrativos METR. A amostra analisada foi de cerca de 250 mil conversas do Claude.ai e do Claude Code, coletadas entre abril e maio de 2026.
Os pesquisadores nunca viram as conversas originais
No processo, os pesquisadores não tiveram, em nenhum momento, acesso direto ao conteúdo original das conversas. Eles enviaram as análises por meio da mesma ferramenta Insights usada internamente pela Anthropic e receberam de volta apenas resultados agregados — que ainda precisavam passar por revisão jurídica e de privacidade antes de serem levados para fora. O escopo de revisão contratual se limitava a quatro pontos: privacidade do usuário, violações de política, informações confidenciais e precisão da pesquisa — sem incluir se a conclusão era ou não favorável à empresa.
No lado da privacidade, a Anthropic também contratou uma auditoria independente de terceiros pelo Imperial College London. Os dados agregados dos três projetos já estão publicados no Hugging Face Datasets sob o nome Anthropic/enabling-independent-research.
Publicar relatórios de insights de uso já é uma prática rotineira entre empresas de modelos — tanto a OpenAI quanto a própria Anthropic já fizeram isso várias vezes. A diferença está em quem controla os critérios de análise. Num relatório escrito pelo próprio fornecedor, o desenho das perguntas, o recorte da amostra e a definição das métricas ficam inteiramente nas mãos de uma única parte, restando ao público apenas acreditar ou desconfiar; ao entregar a ferramenta e os dados, ao menos terceiros ganham a chance de fazer perguntas que o fornecedor não faria a si mesmo.
Três conclusões que contrariam o senso comum
A primeira conclusão diz respeito ao peso das tarefas. Pesquisas anteriores tendiam a supor que as pessoas delegam à IA principalmente tarefas de baixa responsabilidade e baixo risco. Estes dados apontam o contrário: mais da metade das conversas envolve a delegação de tarefas com consequências reais. No original:
(as pessoas trazem trabalhos de alto risco para a IA mais do que se esperava).People bring high-stakes work to AI more than expected
A segunda conclusão diz respeito ao controle. Em três de cada quatro conversas, a pessoa ocupava a posição de comando e o modelo a de apoio — o modelo não executava o processo sozinho, de ponta a ponta. Isso contrasta claramente com a narrativa popular de que os agentes de IA estariam assumindo o trabalho.
A terceira conclusão diz respeito ao atrito. Os pesquisadores constataram que travamentos na colaboração entre humano e IA são comuns, mas esse tipo de atrito costuma ser produtivo — depois de ser contrariado pelo modelo, o usuário tende a reorganizar a forma como expressa sua necessidade.
Há ainda outro número: a proporção de conversas classificadas como violação de política ficou abaixo de 5%. Esse critério deixa espaço para debate, já que os padrões de classificação continuam sendo definidos unilateralmente pela Anthropic — os pesquisadores externos recebem apenas o resultado já classificado.
O que isso significa na prática para os leitores locais
Equipes locais que implementam IA corporativa esbarram com frequência na mesma pergunta: afinal, quais tarefas podem ser delegadas ao modelo? Os dados públicos disponíveis até agora vêm, em grande parte, de material de marketing dos próprios fornecedores, com amostra, critérios e motivações pouco transparentes. Este conjunto de dados está publicado em um repositório aberto e, embora a granularidade agregada seja grosseira, ao menos oferece uma linha de base que não foi redigida pelo departamento comercial.
Vale uma ressalva: as 250 mil conversas vêm de usuários do Claude.ai e do Claude Code, um grupo mais inclinado a desenvolvedores e ao contexto de língua inglesa; aplicar essas conclusões diretamente a cenários locais de B2B pode gerar distorções. O conjunto de dados serve melhor como grupo de comparação do que como conclusão definitiva.
Após o piloto, a Anthropic não disse se esse mecanismo se tornará permanente, nem divulgou o próximo grupo de instituições parceiras. Entre as três participantes, o papel da METR chama atenção — normalmente ela avalia capacidades de modelos, mas desta vez recebeu dados do lado do uso. Ver a mesma organização acompanhar tanto capacidade quanto uso representa uma mudança de posição relevante para a supervisão externa.
Fontes: blog de pesquisa da Anthropic, CocoLoop, Hugging Face Datasets; tamanho da amostra, lista de instituições participantes e arranjo da auditoria de privacidade verificados conforme o anúncio oficial.