El 26 de agosto, Anthropic dio a conocer los resultados de un proyecto piloto: abrió datos reales de uso de Claude a tres instituciones externas para que realizaran investigación independiente, y publicó al mismo tiempo las conclusiones agregadas de los tres proyectos.
Participaron el Social and Language Technology Lab de la Universidad de Stanford, el Human Information Processing Lab de la Universidad de Oxford y la organización evaluadora sin fines de lucro METR. La muestra analizada fue de aproximadamente 250.000 conversaciones de Claude.ai y Claude Code, recopiladas entre abril y mayo de 2026.
Los investigadores nunca vieron las conversaciones originales
En cuanto al proceso, los investigadores no tuvieron en ningún momento acceso directo al contenido original de las conversaciones. Enviaron sus análisis a través de la misma herramienta Insights que usa internamente Anthropic, y solo recibieron resultados agregados de vuelta, los cuales además debían pasar una revisión legal y de privacidad antes de poder llevárselos. El alcance de revisión contractual se limitaba a cuatro puntos: privacidad del usuario, infracciones de política, información confidencial y precisión de la investigación, sin incluir si la conclusión resultaba favorable o no para la empresa.
En el terreno de la privacidad, Anthropic también encargó una auditoría independiente de terceros al Imperial College de Londres. Los datos agregados de los tres proyectos ya están publicados en Hugging Face Datasets bajo el nombre Anthropic/enabling-independent-research.
Que las empresas de modelos publiquen informes sobre el uso ya es una práctica habitual: tanto OpenAI como la propia Anthropic lo han hecho en varias ocasiones. La diferencia está en quién controla los criterios de análisis. En un informe redactado por el propio proveedor, el diseño de las preguntas, el recorte de la muestra y la definición de las métricas quedan enteramente en manos de una sola parte, y al público solo le queda creer o desconfiar; al ceder la herramienta y los datos, al menos terceros tienen la oportunidad de plantear preguntas que el proveedor no se haría a sí mismo.
Tres conclusiones que contradicen el sentido común
La primera conclusión tiene que ver con el peso de las tareas. Las investigaciones previas tendían a suponer que las personas delegan en la IA sobre todo tareas de baja responsabilidad y bajo riesgo. Estos datos apuntan lo contrario: más de la mitad de las conversaciones implican la delegación de tareas con consecuencias reales. El texto original dice:
(las personas llevan trabajos de alto riesgo a la IA más de lo esperado).People bring high-stakes work to AI more than expected
La segunda conclusión tiene que ver con el control. En tres de cada cuatro conversaciones, la persona ocupaba la posición de mando y el modelo la de asistencia, en lugar de que el modelo ejecutara todo el proceso por su cuenta. Esto contrasta claramente con la narrativa popular de que los agentes de IA están asumiendo el trabajo.
La tercera conclusión tiene que ver con la fricción. Los investigadores comprobaron que los atascos en la colaboración entre humanos e IA son habituales, pero ese tipo de fricción suele ser productiva: después de que el modelo rechaza o no satisface una petición, el usuario tiende a reorganizar la forma en que expresa su necesidad.
Hay además otra cifra: la proporción de conversaciones clasificadas como infracción de política se sitúa por debajo del 5%. Este criterio deja margen para el debate, ya que los estándares de clasificación siguen siendo definidos unilateralmente por Anthropic, y los investigadores externos solo reciben el resultado ya clasificado.
Qué significa esto en la práctica para los lectores locales
Los equipos locales que implementan IA empresarial suelen toparse con la misma pregunta: qué tareas se pueden delegar realmente a un modelo. Los datos públicos disponibles hasta ahora proceden en gran medida de material de marketing de los propios proveedores, con muestra, criterios y motivaciones poco transparentes. Este conjunto de datos está publicado en un repositorio abierto y, aunque su granularidad agregada es tosca, al menos ofrece una línea base que no ha sido redactada por el departamento comercial.
Cabe una salvedad: las 250.000 conversaciones proceden de usuarios de Claude.ai y Claude Code, un grupo que tiende a ser más desarrollador y a moverse en un contexto angloparlante; aplicar estas conclusiones directamente a escenarios locales B2B puede generar distorsiones. El conjunto de datos sirve mejor como grupo de comparación que como conclusión definitiva.
Tras el piloto, Anthropic no ha dicho si este mecanismo se convertirá en algo permanente, ni ha anunciado el próximo grupo de instituciones colaboradoras. Entre las tres participantes, el papel de METR resulta particular: normalmente evalúa las capacidades de los modelos, pero esta vez recibió datos del lado del uso. Que una misma organización vea ambos extremos, capacidad y uso, supone un cambio de posición nada menor para la supervisión externa.
Fuentes: blog de investigación de Anthropic, CocoLoop, Hugging Face Datasets; el tamaño de la muestra, la lista de instituciones participantes y los detalles de la auditoría de privacidad se verificaron conforme al anuncio oficial.