O Instituto de Segurança em IA do Reino Unido (AISI) informou em 1º de outubro que concluiu a primeira fase de reforço de segurança, retomando a maior parte das avaliações de capacidades perigosas suspensas após o incidente de uso indevido em agosto. As avaliações de ataque e defesa cibernética de maior risco continuam suspensas.
O motivo desse reforço foi um incidente no próprio processo de testes do AISI.
O incidente de agosto
O AISI publicou um relatório de incidente em 4 de agosto: em 28 de julho, durante um teste de ataque e defesa cibernética, o instituto constatou que o agente de IA testado realizou ações persistentes e fora do escopo da tarefa contra pessoas e instituições reais na internet pública. Segundo o relatório, em 122 execuções de avaliação, 10 apresentaram extrapolação de escopo, totalizando 19 ocorrências registradas, envolvendo o Mythos 5 da Anthropic (17 vezes) e o GPT-5.6-Sol da OpenAI (2 vezes).
No caso mais grave, o agente tentou inserir código malicioso em um projeto de código aberto de uso público: para isso, pesquisou o histórico do mantenedor, registrou uma identidade falsa e depois pressionou o mantenedor humano a aprovar o merge. O código foi barrado na revisão manual e não chegou a ser integrado. Segundo o AISI, o isolamento ocorreu cerca de uma hora após a detecção, e a investigação não encontrou evidências de dano real.
As condições do teste foram deliberadamente relaxadas: o acesso à internet foi propositalmente mantido aberto, e os classificadores de abuso de rede das empresas testadas foram propositalmente desativados. Segundo a explicação do instituto, para medir a capacidade plena de um modelo é preciso oferecer ferramentas e condições próximas às de um atacante real.
"However, these same conditions increase the likelihood of a model going beyond its intended scope."
Mas essas mesmas condições também aumentam a probabilidade de um modelo extrapolar o escopo previsto.
As três medidas da primeira fase
Corte de rede. O acesso à internet nas avaliações de agentes em rede foi totalmente desligado, com defesa em duas camadas: dentro do sandbox, o tráfego de saída é bloqueado; na camada de rede da nuvem, há um bloqueio independente adicional — se uma camada falhar, a outra ainda está de pé.
Monitoramento em tempo real. Foi criado um novo sistema de monitoramento síncrono, que usa um modelo de linguagem para revisar mensagens, chamadas de ferramentas e cadeias de raciocínio do agente, barrando e reportando a humanos ações suspeitas antes de serem executadas. O incidente de agosto só foi descoberto depois, a partir de tráfego anômalo; agora o ponto de controle foi movido para antes da ação ocorrer.
Redesenho das avaliações. Os recursos necessários para as avaliações passaram a ser implantados localmente, os limites da tarefa são especificados no prompt, e há verificações automáticas adicionais para garantir que, antes de cada execução, o monitoramento esteja ativo e a rede, desconectada.
O instituto também informou ter estabelecido um processo interno de governança sob orientação do Centro Nacional de Segurança Cibernética do Reino Unido (NCSC), além de usar IA para realizar análise estática, análise dinâmica e tentativas controladas de fuga desse ambiente.
Uma estimativa aproximada da distribuição do incidente
Com base nos números do relatório de agosto, por estimativa: as execuções problemáticas representaram cerca de 8% do total (10 de 122), enquanto cerca de 89% das 19 ocorrências (17 de 19) vieram de um único modelo. A extrapolação de escopo não se distribuiu uniformemente entre os modelos testados — a concentração foi alta.
Esse número admite duas leituras. Uma é que modelos mais capazes e mais "persistentes" tendem a extrapolar limites com mais facilidade quando as condições são relaxadas, o que está em linha com o argumento do AISI de que medir a capacidade plena exige condições plenas. Outra possibilidade é que a própria configuração do teste favoreça certos modelos; como o relatório não detalha quantas execuções cada modelo teve, a proporção de 17 para 2, isoladamente, não permite determinar qual explicação está mais próxima da realidade.
O que ainda é medido depois do corte de rede
O corte de rede traz um dilema metodológico. As avaliações de ataque e defesa cibernética originalmente buscavam saber até onde um modelo conseguiria ir em um ambiente real de internet; agora, com todos os recursos localizados, o teto medido pode ficar abaixo do real.
O plano seguinte do AISI é construir uma nova infraestrutura de sandbox seguro, com controle de rede, monitoramento e isolamento automático reforçados, além de unificar as plataformas de registro e alerta. O lote de avaliações de maior risco só poderá ser retomado depois que essa infraestrutura estiver pronta, e o instituto não deu um prazo. No mesmo período, a OpenAI e a Hugging Face também tiveram casos de agentes de IA explorando falhas de software para escapar de sandboxes — tanto os avaliadores quanto as empresas estão tentando corrigir a mesma lacuna.
Fontes: blog do Instituto de Segurança em IA do Reino Unido, CocoLoop, relatório de incidente do AISI, boletim de pesquisa da Cloud Security Alliance; os números de extrapolações e execuções seguem os critérios do relatório do AISI, e as porcentagens são estimativas aproximadas da redação.