Una demandante identificada bajo el seudónimo Jane Doe presentó el 27 de agosto una demanda colectiva propuesta contra xAI. La demanda acusa a la empresa de no haber excluido imágenes ilegales al entrenar la serie de modelos Grok, incluyendo material real de abuso sexual infantil y contenido del mismo tipo generado por IA. Las acusaciones en cuestión no han sido confirmadas por ningún tribunal hasta el momento. Según Ars Technica, X no respondió a las solicitudes de comentarios.
La secuencia de hechos que presenta la parte demandante es, a grandes rasgos, esta: sufrió abusos a principios de la década de 2000, cuando tenía edad preescolar, y las imágenes relacionadas han circulado desde entonces durante más de veinte años, habiendo sido incorporadas a la base de datos de hashes del Centro Nacional para Niños Desaparecidos y Explotados de Estados Unidos (NCMEC). Posteriormente, el Centro Canadiense de Protección Infantil identificó en la plataforma de xAI material generado por IA que la representa. Con base en ello, la demanda sostiene que las imágenes marcadas por la base de hashes terminaron entrando en el conjunto de entrenamiento de xAI.
La disputa está en la cláusula, no en un lote de datos concreto
La parte más contundente de la demanda no consiste en rastrear el origen de un conjunto de datos específico, sino que apunta directamente a los propios términos de servicio. Un fragmento citado en la demanda dice así:
"Because Grok's terms treat public X posts and Grok's own outputs as training data by default, publicly posting an image does not just expose it to viewers..." (Debido a que los términos de Grok tratan por defecto las publicaciones públicas en X y las propias respuestas de Grok como datos de entrenamiento, publicar una imagen públicamente no solo la expone a quienes la vean…)
Siguiendo esa lógica, la demanda alega además que Grok almacena sus propias respuestas ilegales generadas y las utiliza en rondas posteriores de entrenamiento. Lo que describe la parte demandante es un ciclo cerrado: se genera contenido ilegal, se conserva y luego se reintroduce en el modelo. También se señala el problema de las políticas por defecto: la demanda afirma que xAI no excluye por defecto material de abuso sexual infantil, imágenes íntimas no consentidas ni contenido NSFW.
Se formulan tres peticiones: indemnización para todas las víctimas; destrucción del material relacionado generado por Grok; y prohibición de que Grok siga generando contenido sexualizado. La segunda y la tercera peticiones son de naturaleza cautelar (injunctive); de prosperar, el impacto recaería sobre el propio diseño del producto, no sobre cifras contables.
Por qué la base de hashes no logró frenarlo
La base de hashes de NCMEC es el mecanismo de bloqueo más básico del sector, con un principio sencillo: las imágenes ilegales ya conocidas se convierten en valores hash y se almacenan en la base de datos; las plataformas comparan el contenido subido con ella y, si coincide, lo bloquean. Este mecanismo lleva más de diez años funcionando en plataformas de alojamiento de imágenes y redes sociales, es maduro y de bajo costo.
Tampoco es difícil entender por qué falla en la etapa de los datos de entrenamiento. La comparación por hash solo bloquea el caso en que 'esta imagen es idéntica a alguna de la base de datos'; en cuanto una imagen se recorta, se comprime, se transcodifica o directamente el modelo la regenera como una imagen nueva con una composición similar, el valor hash deja de coincidir. El material generado por IA que alega la demanda cae precisamente en ese punto ciego: no es una copia de la imagen original de la base de datos, sino que, según la lógica de comparación, cuenta como una imagen completamente nueva.
Esto traslada la responsabilidad de vuelta a dos etapas: la limpieza de datos y el filtrado en la salida. La escala de los datos de entrenamiento obtenidos por rastreo hace imposible una revisión manual completa, por lo que solo queda depender de clasificadores; y si además la salida se reincorpora por defecto al conjunto de entrenamiento, la tasa de errores no detectados de los clasificadores se amplifica con el tiempo.
La presión real sobre todo el sector
Situando este caso en el contexto regulatorio de este año, la legitimidad de los datos de entrenamiento se está expandiendo del terreno de los derechos de autor al de la conformidad de contenidos. Las demandas anteriores sobre datos de entrenamiento giraban principalmente en torno a infracciones de derechos de autor alegadas por autores y medios de comunicación, con la indemnización como petición central; la estructura de peticiones de este tipo de caso es completamente distinta: lo que se busca es la destrucción y la prohibición.
La presión real sobre el resto del sector también está aquí. La cláusula de que el contenido publicado públicamente por los usuarios puede usarse por defecto para entrenamiento es prácticamente una redacción estándar del sector, y se pueden encontrar formulaciones similares en los términos de uso de casi todas las plataformas. Si un tribunal determinara en este tipo de casos que una cláusula por defecto no basta como defensa de cumplimiento, no sería solo xAI quien tendría que cambiar: todo el ajuste por defecto de 'publicado públicamente equivale a entrenable' tendría que reescribirse.
La demanda acaba de presentarse, todavía falta mucho para que entre en la fase de juicio sobre el fondo, y que la demanda colectiva propuesta obtenga la certificación de clase es en sí mismo otro obstáculo. Lo que sí puede afirmarse es que los dos extremos de los datos de entrenamiento —qué se introduce y qué se recupera— están pasando de ser una cuestión de ingeniería a una cuestión legal.
Fuentes: Ars Technica, CocoLoop, materiales públicos del Centro Canadiense de Protección Infantil y de NCMEC; se verificó la naturaleza de la demanda, el contenido de las tres peticiones y el estado de la respuesta de la parte demandada.