Um vídeo de demonstração de três a doze segundos, junto com os dados de movimento gravados em sincronia, é inserido diretamente na janela de contexto do modelo — e o robô passa a executar uma tarefa que nunca praticou: sem atualização de gradiente, sem ajuste fino, sem mexer em um único peso. A Generalist AI chama esse processo de "physical prompting" e o apresenta junto com seu novo modelo, o GEN-1.5.
O GEN-1.5 é um grande modelo multimodal que processa quatro tipos de entrada — vídeo, leituras de sensores, instruções em linguagem natural e propriocepção —, mantém uma janela de memória de 30 segundos e gera trajetórias de movimento a 100 Hz. Segundo a equipe, o sistema vem sendo treinado continuamente há mais de oito meses em seu motor de dados.
Três números delimitam a faixa
A empresa testou o sistema em 10 tarefas de manipulação — abrir um pote de vidro, abrir o zíper de um estojo, tirar dinheiro de uma carteira, entre outras. Com uma única demonstração como prompt de contexto, a taxa média de sucesso foi de 59% (desvio padrão de ±10 pontos). Ao coletar, em vez disso, cinco minutos de dados por tarefa — cerca de 50 demonstrações — e aplicar dez passos de atualização de gradiente, o resultado subiu para 83% (±9 pontos). Em uma tarefa reservada para teste, com apenas um passo de adaptação, a taxa foi de 66,5%.
Essa diferença de 24 pontos percentuais custa cinco minutos de coleta mais uma rodada na fila de treinamento. Para uma linha de produção que troca de peça dezenas de vezes, a conta é simples: o caminho do fine-tuning exige repetir todo o ciclo de coleta e treinamento a cada troca de SKU, enquanto o prompting em contexto é questão de segundos. Ainda assim, 59% está longe da operação autônoma; por ora, funciona mais como um atalho que evita a reprogramação em cenários de colaboração entre humanos e robôs.
Colocado ao lado da abordagem dos concorrentes chineses, o contraste fica claro. Empresas como Alibaba, AgiBot (Zhiyuan) e Unitree concentraram o último ano principalmente em ampliar dados e refinar o hardware, apoiando-se em enormes volumes de teleoperação para elevar a taxa de sucesso em tarefas específicas — mas cada tarefa nova exige repetir o ciclo de coleta e treinamento. O GEN-1.5 escolhe outro caminho: abre mão do pico de desempenho em uma única tarefa em troca da liberdade de trocar de tarefa sem tocar nos pesos. Em números aproximados, se uma fábrica precisa colocar em operação de três a cinco novos postos por semana, as duas abordagens podem diferir em uma ordem de grandeza no custo de mão de obra na implantação.
Até a própria equipe se surpreendeu
"Inserting a single demonstration in the context buffer... yields any measurable competence at all was unexpected."
Em português: o fato de inserir uma única demonstração no buffer de contexto já produzir alguma competência mensurável foi algo inesperado. Essa frase resume o peso da descoberta. O aprendizado em contexto dos modelos de linguagem também "emergiu" na época do GPT-3, sem que ninguém o tivesse treinado especificamente para isso; o que a Generalist relata agora é o mesmo tipo de emergência, só que do lado dos sensores e dos ângulos das articulações. A empresa foi fundada em 2024 por ex-pesquisadores da DeepMind e da Boston Dynamics, e já havia captado 400 milhões de dólares em investimentos.
Os limites que a própria empresa reconhece
O anúncio não esconde algumas fragilidades: as tarefas testadas são todas curtas e simples, o que relativiza a taxa de sucesso; as habilidades aprendidas em contexto são bem mais frágeis do que as de um modelo ajustado por fine-tuning; e o physical prompting ainda gera saltos na linha do tempo nunca vistos durante o treinamento, criando uma descontinuidade entre o trecho de demonstração e a execução real.
Somadas, essas limitações apontam para a mesma conclusão: aprender uma nova habilidade a partir de uma única demonstração ainda está apenas começando a se mostrar. Se vai se sustentar em tarefas longas e permanecer estável em ambientes desorganizados vai depender de quanto as próximas versões conseguirem elevar esse 59%.
Fontes: anúncio oficial do GEN-1.5 no blog da Generalist AI, IoT Tech News, CocoLoop; os números de 59% com uma única demonstração, 83% após o fine-tuning, 66,5% na tarefa reservada, além da janela de memória de 30 segundos e da frequência de movimento de 100 Hz, seguem todos o anúncio oficial.