El equipo de investigación de aprendizaje automático de Apple publicó el 4 de noviembre en arXiv el artículo «Perceptive Humanoid Motion from Simulation», en el que presenta HALO, un sistema de control autónomo para robots humanoides que se validó en un Unitree G1 real. Los ocho autores firman como parte de Apple; el primero es Siyuan Hu y el último, Vladlen Koltun.
El nombre HALO procede de Humanoid Autonomy, Learned in simulation, running Onboard. Los datos de movimiento se generan sobre todo en simulación; el robot se coloca en habitaciones reales que nunca ha visto y, siguiendo órdenes en lenguaje natural, camina hasta un punto, se sienta en una silla, pasa por debajo de una mesa y empuja una caja.
Tres capas, dos de ellas con Qwen
El sistema consta de tres capas, de la más lenta a la más rápida:
- Capa de orquestación: el modelo de visión y lenguaje Qwen3.6-35B-A3B (cuantizado a 4 bits), que se ejecuta aproximadamente cada 2 segundos, divide la instrucción en subtareas y decide cuándo avanzar y cuándo reintentar;
- Capa de generación de movimiento: un codificador de visión Qwen3.5-2B congelado más un Diffusion Transformer de 49 millones de parámetros, que se ejecuta unas 3 veces por segundo y planifica el movimiento de cuerpo entero de los 5 segundos siguientes;
- Capa de seguimiento: una política entrenada con aprendizaje por refuerzo en Isaac Lab que funciona a 50 Hz, lee mapas de profundidad, propiocepción e IMU, y emite los objetivos de las 29 articulaciones del G1.
Todos los modelos se ejecutan en el propio robot. El G1 lleva a la espalda un Mac mini M4 Pro con 64 GB de memoria que se encarga de las dos primeras capas; la capa de seguimiento corre en el Nvidia Jetson Orin NX que trae el G1, sin ningún cable en todo el proceso.
En cuanto a los datos de entrenamiento, el equipo generó movimientos con el modelo de difusión de movimiento Kimodo, creó de forma procedimental 1.000 habitaciones con Infinigen y renderizó en Isaac Sim 162.698 clips, unas 296 horas, sin usar datos de teleoperación.
Resultados y puntos débiles
Las pruebas reales abarcaron 6 entornos y 6 tareas, con 10 repeticiones por tarea y entorno, un total de 360 intentos. La tasa de éxito media en tareas individuales fue del 91 %, igual que el 91 % de la simulación: pasar bajo la mesa 100 %, cruzar una puerta entreabierta 93 %, ir hacia un objeto 92 %, empujar una caja 88 % y sentarse en una silla 85 %.
Las tareas encadenadas le cuestan claramente más. Tres secuencias de dos pasos promediaron alrededor del 70 %; «cruzar la puerta e ir hacia el objeto» salió bien las 10 veces, mientras que «agacharse y luego sentarse» solo llegó al 60 %.
El propio artículo enumera varias limitaciones: cada nueva habilidad sigue exigiendo que una persona escriba prompts y fotogramas clave, y, en palabras de los autores, la biblioteca de habilidades "grows only as fast as a person can specify additional tasks"; el robot carece de tacto; ninguna de las seis habilidades implica agarrar o manipular objetos con las manos; y el artículo tampoco compara el sistema con otros ya publicados en las mismas tareas, así que el 91 % no puede ponerse directamente al lado de las cifras de otros.
Frente al otro camino de la industria
Para obtener datos de entrenamiento de humanoides, lo habitual es la teleoperación y la captura de movimiento con trajes; los autores citan la idea de que ambas requieren «al menos una hora de trabajo humano para producir una hora de datos». HALO sigue la vía totalmente simulada: de casi 300 horas de datos de movimiento, ni una procede de operación humana.
El equilibrio entre ambos caminos es claro. Los datos de teleoperación se acercan más a la física real y son los más fiables para trabajos manuales como agarrar o abrir un cajón; los datos simulados son abundantes y baratos, pero por ahora solo han demostrado movimientos de cuerpo entero como caminar, sentarse, agacharse y empujar. Las seis tareas elegidas por HALO esquivan justo lo más difícil de la simulación: el contacto y el agarre.
El código ya es público en el GitHub de la investigación de aprendizaje automático de Apple, con la generación de datos, el entrenamiento del generador y del seguidor y el código de despliegue, pero el README no incluye los pesos entrenados ni ofrece descarga de las 300 horas de datos. Apple no ha anunciado ningún plan de producto robótico; sigue siendo un artículo de investigación. Para los desarrolladores chinos hay un punto muy práctico: los dos «cerebros» son modelos Qwen (Tongyi Qianwen, de Alibaba) de pesos abiertos, el hardware es el Unitree G1, y la barrera para reproducirlo está sobre todo en ese Mac mini y en la capacidad de cómputo para generar los datos propios.
Fuentes: artículo de Apple en arXiv, Humanoids Daily, CocoLoop, Sina Tech; se contrastó el artículo en cuanto a la configuración de los tres modelos, la escala de los datos de simulación y las tasas de éxito de los 360 intentos reales, y el alcance del código abierto se rige por el README del proyecto.