Uma autora identificada sob o pseudônimo Jane Doe entrou, em 27 de agosto, com uma ação coletiva proposta contra a xAI. A petição inicial acusa a empresa de não ter excluído imagens ilegais no treinamento da série de modelos Grok, incluindo material real de abuso sexual infantil e conteúdo do mesmo tipo gerado por IA. As acusações em questão ainda não foram confirmadas por nenhum tribunal. Segundo a Ars Technica, a X não respondeu a pedidos de comentário.
A sequência de fatos apresentada pela autora é, em linhas gerais, esta: ela sofreu abuso no início dos anos 2000, ainda em idade pré-escolar, e as imagens relacionadas circularam por mais de vinte anos, tendo sido incluídas no banco de hashes do Centro Nacional para Crianças Desaparecidas e Exploradas dos Estados Unidos (NCMEC). O Centro Canadense de Proteção à Infância posteriormente identificou na plataforma da xAI material gerado por IA que a retrata. Com base nisso, a petição alega que as imagens marcadas pelo banco de hashes acabaram entrando no conjunto de treinamento da xAI.
A disputa está na cláusula, não em um lote específico de dados
A parte mais contundente da petição não é rastrear a origem de um conjunto de dados específico, mas mirar diretamente nos termos de serviço. Um trecho citado na petição diz o seguinte:
"Because Grok's terms treat public X posts and Grok's own outputs as training data by default, publicly posting an image does not just expose it to viewers..." (Como os termos do Grok tratam, por padrão, as publicações públicas na X e as próprias respostas do Grok como dados de treinamento, publicar uma imagem publicamente não apenas a expõe a quem a vê…)
Seguindo essa lógica, a petição alega ainda que o Grok armazena suas próprias respostas ilegais geradas e as utiliza em rodadas posteriores de treinamento. O que a autora descreve é um ciclo fechado: conteúdo ilegal é gerado, retido e depois realimentado no modelo. Também é apontado o problema das políticas padrão — a petição afirma que a xAI não exclui, por padrão, material de abuso sexual infantil, imagens íntimas não consensuais e conteúdo NSFW.
São três os pedidos: indenização para todas as vítimas; destruição do material relacionado gerado pelo Grok; e proibição de que o Grok continue gerando conteúdo sexualizado. O segundo e o terceiro pedidos têm natureza cominatória (injunctive) — se acolhidos, o impacto recairia sobre o próprio desenho do produto, não sobre valores financeiros.
Por que o banco de hashes não conseguiu barrar o conteúdo
O banco de hashes do NCMEC é o mecanismo de bloqueio mais básico do setor, com um princípio simples: imagens ilegais já conhecidas são convertidas em valores de hash e armazenadas no banco de dados; as plataformas comparam o conteúdo enviado com esse banco e, havendo correspondência, o bloqueiam. O mecanismo opera há mais de dez anos em plataformas de hospedagem de imagens e redes sociais, é maduro e de baixo custo.
A razão pela qual ele falha na etapa dos dados de treinamento também não é difícil de entender. A comparação de hash só bloqueia o caso em que 'esta imagem é idêntica a alguma do banco'; assim que uma imagem é recortada, comprimida, recodificada ou simplesmente recriada pelo modelo como uma nova imagem de composição semelhante, o valor de hash deixa de corresponder. O material gerado por IA alegado na petição cai exatamente nesse ponto cego — não é uma cópia da imagem original no banco, mas, pela lógica de comparação, uma imagem inteiramente nova.
Isso transfere a responsabilidade de volta para duas etapas: a limpeza dos dados e a filtragem na saída. A escala dos dados de treinamento obtidos por raspagem torna impossível a revisão manual completa, restando depender de classificadores; e se a saída também é, por padrão, reincorporada ao conjunto de treinamento, a taxa de erros não detectados dos classificadores tende a se ampliar com o tempo.
A pressão real sobre todo o setor
Situando o caso no contexto regulatório deste ano, a legitimidade dos dados de treinamento está se expandindo da pauta de direitos autorais para a pauta de conformidade de conteúdo. As ações judiciais anteriores sobre dados de treinamento giravam principalmente em torno de alegações de violação de direitos autorais movidas por autores e veículos de mídia, com indenização como pedido central; a estrutura de pedidos deste tipo de ação é completamente diferente — o que se busca é destruição e proibição.
A pressão real sobre os concorrentes também está aqui. A cláusula de que conteúdo publicado publicamente pelo usuário pode, por padrão, ser usado para treinamento é praticamente redação padrão do setor, encontrada em termos de uso semelhantes em quase todas as plataformas. Se um tribunal, neste tipo de caso, decidir que uma cláusula padrão não basta como defesa de conformidade, não será apenas a xAI que terá de mudar — toda a configuração padrão de 'publicado publicamente significa treinável' precisaria ser reescrita.
A ação acaba de ser protocolada, ainda está longe de entrar na fase de julgamento de mérito, e a própria certificação da ação coletiva proposta já é, em si, um obstáculo a superar. O que se pode afirmar é que as duas pontas dos dados de treinamento — o que entra e o que é recuperado — estão deixando de ser uma questão de engenharia para se tornar uma questão jurídica.
Fontes: Ars Technica, CocoLoop, materiais públicos do Centro Canadense de Proteção à Infância e do NCMEC; verificados a natureza da ação, o conteúdo dos três pedidos e o status da resposta da parte ré.