A equipe de pesquisa em aprendizado de máquina da Apple publicou em 4 de novembro, no arXiv, o artigo «Perceptive Humanoid Motion from Simulation», que apresenta o HALO, um sistema de controle autônomo para robôs humanoides, validado em um Unitree G1 real. Os oito autores são todos da Apple; o primeiro autor é Siyuan Hu e o último, Vladlen Koltun.
O nome HALO vem de Humanoid Autonomy, Learned in simulation, running Onboard. Os dados de movimento são gerados principalmente em simulação; o robô é colocado em salas reais que nunca viu e, seguindo instruções em linguagem natural, caminha até um ponto, senta em uma cadeira, passa por baixo de uma mesa e empurra uma caixa.
Três camadas, duas delas com Qwen
O sistema tem três camadas, com frequências da mais lenta à mais rápida:
- Camada de orquestração: o modelo de visão e linguagem Qwen3.6-35B-A3B (quantizado em 4 bits), executado cerca de a cada 2 segundos, que divide a instrução em subtarefas e decide quando avançar e quando tentar de novo;
- Camada de geração de movimento: um codificador de visão Qwen3.5-2B congelado, somado a um Diffusion Transformer de 49 milhões de parâmetros, executado cerca de 3 vezes por segundo e que planeja o movimento de corpo inteiro dos 5 segundos seguintes;
- Camada de rastreamento: uma política treinada por aprendizado por reforço no Isaac Lab, rodando a 50 Hz, que lê mapas de profundidade, propriocepção e IMU e emite as metas das 29 articulações do G1.
Todos os modelos rodam no próprio robô. O G1 carrega nas costas um Mac mini M4 Pro com 64 GB de memória, responsável pelas duas primeiras camadas; a camada de rastreamento roda no Nvidia Jetson Orin NX que já vem no G1, sem nenhum cabo durante todo o processo.
Quanto aos dados de treinamento, a equipe gerou movimentos com o modelo de difusão de movimento Kimodo, criou proceduralmente 1.000 salas com o Infinigen e renderizou no Isaac Sim 162.698 trechos, cerca de 296 horas, sem usar dados de teleoperação.
Resultados e limitações
Os testes reais cobriram 6 ambientes e 6 tarefas, com 10 repetições por tarefa em cada ambiente, num total de 360 tentativas. A taxa média de sucesso em tarefas isoladas foi de 91%, igual aos 91% obtidos em simulação: passar por baixo da mesa 100%, atravessar uma porta entreaberta 93%, ir até um objeto 92%, empurrar uma caixa 88% e sentar numa cadeira 85%.
As tarefas encadeadas pesam bem mais. Três sequências de dois passos ficaram em média em torno de 70%; «atravessar a porta e ir até o objeto» acertou nas 10 vezes, enquanto «agachar e depois sentar» chegou a apenas 60%.
O próprio artigo lista algumas limitações: cada nova habilidade ainda exige que uma pessoa escreva prompts e quadros-chave, e, nas palavras dos autores, a biblioteca de habilidades "grows only as fast as a person can specify additional tasks"; o robô não tem tato; nenhuma das seis habilidades envolve agarrar ou manipular objetos com as mãos; e o artigo também não compara o sistema com outros já publicados nas mesmas tarefas, de modo que os 91% não podem ser colocados diretamente ao lado dos números alheios.
Lado a lado com o outro caminho da indústria
Para obter dados de treinamento de humanoides, o método predominante é a teleoperação e a captura de movimento vestível; os autores citam o argumento de que ambos exigem «pelo menos uma hora de trabalho humano para produzir uma hora de dados». O HALO segue a via totalmente simulada: das quase 300 horas de dados de movimento, nenhuma hora veio de operação humana.
A troca entre os dois caminhos é direta. Os dados de teleoperação ficam mais próximos da física real e são os mais confiáveis para trabalhos manuais, como agarrar ou abrir uma gaveta; os dados simulados são abundantes e baratos, mas até agora só comprovaram movimentos de corpo inteiro como andar, sentar, passar por baixo e empurrar. As seis tarefas escolhidas pelo HALO evitam justamente o que é mais difícil na simulação: contato e preensão.
O código já está público no GitHub da pesquisa de aprendizado de máquina da Apple, incluindo geração de dados, treinamento do gerador e do rastreador e código de implantação, mas o README não traz os pesos treinados nem oferece download das 300 horas de dados. A Apple não anunciou nenhum plano de produto robótico; continua sendo um artigo de pesquisa. Para desenvolvedores na China, há um ponto bem prático: os dois «cérebros» são modelos Qwen (Tongyi Qianwen, da Alibaba) de pesos abertos, o hardware é o Unitree G1, e a barreira para reproduzir está sobretudo naquele Mac mini e no poder de computação para gerar os próprios dados.
Fontes: artigo da Apple no arXiv, Humanoids Daily, CocoLoop, Sina Tech; o artigo foi verificado quanto à configuração dos três modelos, à escala dos dados de simulação e às taxas de sucesso das 360 tentativas reais, e o alcance do código aberto segue o README do projeto.