A equipe ERNIE da Baidu publicou em 9 de novembro, em seu blog técnico, o sistema de pesquisa automática ERNIE Evolve. Segundo o blog, ele faz vários agentes dividirem o trabalho de uma pesquisa: escolher a direção, formular hipóteses, alterar o código, rodar avaliações e revisar os resultados. A equipe o usou em quatro tarefas públicas de otimização, e em três delas superou as melhores marcas existentes; além disso, fez três otimizações na implantação de inferência do próprio ERNIE-5.5-Flash.
Cinco papéis, dois ciclos
O sistema se divide em um ciclo externo e um interno. O resumo do blog é:
“O ciclo externo decide o que pesquisar; o interno cuida de fazer bem uma direção.”
O Director, no ciclo externo, escolhe a próxima direção a validar a partir da base de experiências e da base de conhecimento e decide de qual código partir: o código original, a melhor versão do histórico, uma versão intermediária ou o commit mais recente do repositório upstream. No ciclo interno, o Selector escolhe a cada rodada uma versão candidata como ponto de partida e escreve a hipótese da rodada, levando em conta não só a pontuação, mas também as alterações de código, as causas de falhas e os resultados anteriores. O Executor altera o código em um ambiente isolado.
Os outros dois papéis fazem o controle. O Evaluator fica fora do repositório otimizado, invisível para todos os agentes, e uma melhoria só é aceita se superar o limiar de ruído; o Reviewer verifica se a alteração se desviou da direção da rodada e se o resultado explorou alguma brecha da avaliação. Uma versão que se desvia não pode se tornar a melhor, e uma que explora brecha é anulada na hora. O defeito mais comum dos sistemas de otimização automática é aprender a agradar a pontuação sem que o código melhore de fato; esses dois filtros miram exatamente isso.
Resultados nas tarefas públicas
| Tarefa | Melhor marca anterior | ERNIE Evolve |
|---|---|---|
| NanoChat AutoResearch (BPB no conjunto de validação, menor é melhor) | 0,8878 | 0,8763 |
| NanoGPT Speedrun Track 1 (tempo de treino até a meta) | 39,9 segundos | 38,9 segundos |
| NanoGPT Speedrun Track 3 (passos de treino até a meta) | 2690 passos | 2590 passos |
| SOL-ExecBench (pontuação SOL média, maior é melhor) | 0,827 | 0,819 |
No SOL-ExecBench o sistema não ficou em primeiro, mas superou o Recursive (0,676) e o Hyra-1.0 (0,736). Os resultados de otimização das tarefas públicas estão no repositório do GitHub ernie-research/ERNIE-Evolve-Results; se o próprio sistema ERNIE Evolve terá código aberto, o blog não menciona.
Uma conta sobre otimização de inferência
Nas tarefas industriais, os números são maiores. No cenário de baixa latência do Kunlunxin P800, o sistema rodou quatro rodadas com quatro direções de pesquisa, levou a velocidade de geração a 623,6% da linha de base e passou em todas as verificações de correção. O blog cita uma descoberta-chave: o caminho de comunicação original não havia, na prática, ativado a comunicação de baixa latência DeepEP. Dos mais de seis vezes de aceleração, quanto veio de encontrar essa configuração que não estava em vigor e quanto veio de novos métodos de otimização, o blog não detalha.
No item de inferência determinística, a vazão subiu 33,7%, o tempo de geração por token caiu 26%, a latência do primeiro token caiu 12% e o determinismo foi mantido, em cerca de 3 dias. No item de decodificação extrema em GPU, o sistema propôs 7 direções, 3 trouxeram ganho, a velocidade de decodificação subiu 14,9% e a precisão ficou igual à da linha de base.
Uma conta por alto: com 33,7% a mais de vazão, a mesma carga de requisições precisa de cerca de 75% das placas de antes (1 ÷ 1,337). Se essa otimização puder ser transferida por inteiro para um cluster em produção, a economia seria de cerca de um quarto da capacidade de computação de inferência. Quantas horas de GPU cada uma das três tarefas consumiu, o blog não divulga; por ora, a conta só fecha do lado do ganho, e o lado do custo está vazio.
O blog é bem direto sobre a dificuldade:
“A linha de base já inclui otimizações específicas feitas por engenheiros para inferência determinística; as melhorias restantes costumam ser de apenas 1% – 2% cada, comparáveis à flutuação da medição.”
Muitas hipóteses foram refutadas por experimentos; por exemplo, uma única comunicação entre placas já está perto do piso de latência, e essa direção parou aí.
No fim do texto, a equipe afirma que a expansão da automelhoria recursiva (RSI) precisa ser controlável e pausável, além de sujeita a avaliações de segurança e supervisão humana. Pelas tarefas divulgadas, o ERNIE Evolve por ora altera scripts de treino e código de inferência, e ainda não toca no processo de treinamento do próprio modelo.
Fontes: blog técnico ERNIE da Baidu, repositório aberto ERNIE-Evolve-Results, CocoLoop; foram conferidos os resultados das quatro tarefas públicas e o alcance das três otimizações de inferência do ERNIE-5.5-Flash.