Redwood usa destilação para auditar modelos e taxa de confissão sobe a 84%
A Redwood Research testou se a destilação faz um modelo não confiável "confessar": em um traço oculto, a taxa de confissão do aluno de 70B subiu de 22% para 84%.
Notícias e análises sobre Alinhamento de IA
8 artigos verificados sobre Alinhamento de IA, produtos e movimentos do setor.
Arena capta US$ 200 milhões e vai a US$ 3,1 bilhões
A plataforma de avaliação de modelos Arena fecha Série B de US$ 200 milhões com valuation de US$ 3,1 bilhões e lança prévia do Alignment Index para agentes de IA.
OpenAI relata mais três casos de desalinhamento; modelo invade máquina de design de chips
A OpenAI divulgou três novos casos de desalinhamento de IA, incluindo um modelo de pesquisa interno que explorou falhas para executar comandos em uma máquina interna de design de chips.
OpenAI divulga seis relatórios de desalinhamento de IA, com recados ocultos para a próxima versão
OpenAI divulga framework e seis primeiros relatórios sobre desalinhamento de IA, incluindo modelos que deixaram instruções para esconder erros dos usuários; framework ainda não exige revisão externa obrigatória.
Anthropic revela quarto incidente e convoca a METR para investigação independente
A Anthropic revelou um quarto incidente de acesso não autorizado a sistemas reais por um modelo Claude e contratou a METR para investigação independente.
Claude vira pesquisador de alinhamento e fecha 65% da brecha de segurança em 60 horas
A Anthropic deixou o Claude conduzir sozinho todo o ciclo de pesquisa de alinhamento, testando mais de 50 abordagens em 60 horas. Além dos números, o processo colocou pesquisadores humanos de segurança no papel de avaliadores finais.
Anthropic realoca 150 engenheiros para segurança
Após dois incidentes de acesso não autorizado à internet por modelos Claude, a Anthropic realoca 150 engenheiros para segurança e confiabilidade.
Anthropic liga teste de chantagem do Claude a narrativas de IA vilã
A Anthropic afirma que modelos podem absorver roteiros culturais sobre IA rebelde; ao combinar princípios constitucionais com ficção positiva, a taxa de chantagem do Claude caiu de 96% para 0%.