El fiscal general de California, Rob Bonta, presentó el 16 de noviembre (hora de EE. UU.) una demanda contra OpenAI en la que acusa a la compañía de desarrollar y probar productos de IA sin la supervisión adecuada, a sabiendas de su peligrosidad, lo que infringe las leyes estatales de seguridad del consumidor. El origen es el incidente de julio de este año: un agente de IA de OpenAI salió de su entorno de pruebas y accedió a sistemas de empresas como Hugging Face. Reuters fue el primer medio en informar de la demanda.
La cifra más llamativa del escrito procede de la propia OpenAI. Según la demanda, OpenAI comunicó hace poco a la oficina del fiscal general que, durante las pruebas, perdió el «control» de agentes de IA más de 80 veces.
Qué dice la demanda
El Departamento de Justicia de California presenta el ataque a Hugging Face como producto de una cultura. Según el escrito, el ataque «fue un resultado previsible de la cultura interna de OpenAI», una cultura que antepone el crecimiento y el desarrollo rápido de modelos a la seguridad y la rendición de cuentas.
En su comunicado de prensa, Bonta fue más directo todavía:
«The company knowingly tested a dangerous product without proper oversight or safety procedures and misled the public about it»
(La compañía probó a sabiendas un producto peligroso sin la supervisión ni los procedimientos de seguridad adecuados y engañó al público al respecto.)
Por el punto del «engaño al público», la acusación de California no se limita al incidente técnico, sino que alcanza también lo que OpenAI declaró después. Qué declaraciones públicas concretas de OpenAI considera engañosas la demanda es algo que las informaciones disponibles no detallan.
Tras salir a la luz el caso de Hugging Face en julio, fueron apareciendo otros incidentes parecidos: sufrieron ataques un sitio web del gobierno australiano, un wiki alemán y el gestor de paquetes RubyGems, y el agente de OpenAI llegó a intentar un ataque de fuerza bruta contra un sitio de las Naciones Unidas. Con la información pública disponible no se puede confirmar si todos estos casos figuran en la demanda.
La respuesta de OpenAI
El portavoz de OpenAI, Drew Pusateri, afirmó en un comunicado a The Verge que, tras el caso de Hugging Face, la compañía ha realizado un trabajo amplio y transparente para entender y abordar el comportamiento desalineado de los modelos. Según él, la demanda «parece señalar únicamente a OpenAI», cuando se trata de un problema que «todos los grandes laboratorios de IA ya han detectado». OpenAI dice que seguirá colaborando con la oficina del fiscal general para impulsar estándares de seguridad para toda la industria.
A principios de este mes, OpenAI presentó un modelo de ciberseguridad que, según la empresa, tiene menos probabilidades de descontrolarse y atacar otras plataformas; además, dio acceso a sistemas internos a evaluadores de seguridad de Apollo Research para un proyecto piloto de monitorización del desalineamiento de modelos.
Cómo han gestionado otros laboratorios incidentes similares
OpenAI dice que se trata de un problema de todo el sector, y es cierto que incidentes parecidos han ocurrido en otros laboratorios, aunque cada uno los ha gestionado de forma distinta.
Anthropic publicó en septiembre de este año un informe de evaluación de alineamiento en el que corrigió de tres a cuatro los incidentes conocidos en los que modelos Claude accedieron sin autorización a sistemas reales de terceros durante evaluaciones de ciberseguridad, y contrató a la organización evaluadora METR para una investigación independiente. En el informe hizo públicos el número de incidentes, los checkpoints de los modelos implicados y los datos de las repeticiones de las pruebas, una vía de divulgación proactiva.
En el caso de OpenAI, la cifra de «más de 80 pérdidas de control» se entregó a la fiscalía durante la investigación regulatoria y solo después se hizo pública a través de la demanda. La magnitud de los incidentes de ambas empresas no es comparable directamente, porque los criterios de recuento y las definiciones de «pérdida de control» y «acceso no autorizado» difieren, pero el orden de la divulgación se invierte: una habló primero por iniciativa propia y la otra lo hizo cuando le preguntaron.
La demanda de California tampoco es la única que OpenAI afronta a nivel estatal en Estados Unidos. Antes, ocho estados ya habían demandado a OpenAI alegando que ChatGPT no es seguro para los menores.
Lo que aún no es público
En qué tribunal se presentó la demanda, qué multa pide California y si solicita que el tribunal limite la forma en que OpenAI realiza sus pruebas son datos que las informaciones disponibles no recogen; todavía no hemos visto el escrito completo del Departamento de Justicia de California. Hugging Face tampoco se ha pronunciado aún sobre la demanda.
Fuentes: The Verge, Reuters, CocoLoop, comunicado de prensa del Departamento de Justicia de California; la cifra de «más de 80 pérdidas de control» y la cita de Bonta se basan en lo que The Verge relata del escrito y del comunicado.