Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab, du MIT CSAIL, ont publié le 2 novembre le billet technique « Sparks of Weight-Space Programming », dans lequel le GPT-6 Astra d'OpenAI lit et modifie directement les poids d'un réseau de neurones, sans optimiseur ni descente de gradient. Les auteurs appellent cette approche la « programmation dans l'espace des poids ».
Le résultat le plus remarqué concerne Qwen3.5-0.8B, le modèle open source d'Alibaba. Ce petit modèle compte 24 couches et environ 800 millions de poids. Astra a soustrait une « direction de boucle » aux MLP des couches 15 et 19, modifiant au total 131 072 poids, soit 0,016 % de l'ensemble, sans aucun réentraînement.
Pour l'heure, il ne s'agit que d'un billet de blog, sans évaluation par les pairs, et les auteurs eux-mêmes parlent de résultats très préliminaires.
Huit expériences : lire, réparer, écrire, avec des réussites et des échecs
Les auteurs répartissent les tâches en trois catégories.
Lire des poids. En ne regardant que les poids d'un réseau de politique PPO, Astra a deviné de quel jeu de grille il s'agissait pour chacun des quatre jeux ; à partir des poids de trois DDPM, il a déterminé qu'ils généraient respectivement des cercles, des triangles et des carrés, tout en dessinant les formes pleines comme des contours creux. Sur un Transformer au niveau du caractère de 7,16 millions de paramètres, il lui a suffi d'examiner les 4 couches centrales pour reconnaître les corpus d'entraînement des trois modèles et retrouver toutes les têtes de copie.
Réparer des poids. Dans l'environnement Kinetix, une politique pilotant une petite voiture censée gravir une pente échouait sur les 256 épisodes. Après qu'Astra a modifié 3,5 % des poids, les 1 024 épisodes ont été réussis.
Écrire des poids de zéro. Sur trois jeux MinAtar, sans données, sans gradients et sans outils, Astra devait écrire un petit réseau d'un seul jet. Les scores face à PPO :
| Jeu | PPO 100 M de pas | PPO 500 M de pas | Astra, écriture unique |
|---|---|---|---|
| Breakout | 15,8 | 25,3 | 517,4 |
| Seaquest | 5,6 | 88,9 | 53,1 |
| Asterix | 25,8 | 55,2 | 53,2 |
Les trois jeux dépassent PPO à 100 millions de pas ; face à PPO à 500 millions de pas, seul Breakout reste en tête.
Les échecs figurent aussi dans le billet. Pour déterminer lequel de deux Gemma 3 270M avait été affiné pour devenir « flagorneur », Astra a échoué en 4 essais en ne regardant que les poids ; ce n'est qu'une fois autorisé à examiner les motifs d'attention que les trois groupes ont été correctement identifiés.
Dans ce facteur 6, quelle part vient de la « réparation des boucles »
La référence du groupe Qwen est particulière : 93 % des réponses butaient sur la limite de tokens, le modèle tournant en rond dans son raisonnement sans jamais finir d'écrire la réponse. Avec un budget de 50 passes avant accordé à Astra, les chiffres deviennent :
| Indicateur | Modèle d'origine | Après modification |
|---|---|---|
| MATH-500 | 7,9 % | 48,1 % |
| GSM8K | 13,8 % | 67,1 % |
| IFEval | 21,0 % | 62,3 % |
| Limite de tokens atteinte | 93,0 % | 33,1 % |
Le groupe témoin est plus parlant. Avec Gemma 3 270M, seules 8,5 % des réponses atteignent la limite et le score de base est de 6,8 ; avec 5, 10, 25 et 50 passes avant pour Astra, les scores sont de 7,0, 7,6, 7,7 et 7,0, soit pratiquement aucun changement. Les auteurs reconnaissent eux aussi que le gain vient surtout de la réparation des boucles ; la modification ne peut pas donner au modèle une capacité qu'il n'avait pas.
C'est là que se concentrent les doutes extérieurs. La synthèse AI News de Latent Space a relayé les discussions de la communauté : certains commentaires jugent anormalement basse la référence de 7,9 %, estiment que cette modification ressemble davantage à l'ablation d'une direction unique d'Arditi et de ses collègues, et trouvent que, Astra menant son analyse dans un bac à sable Python, parler de « lecture et écriture natives des poids » est exagéré. Latent Space a aussi assorti la formulation « 50 pas » d'une mention indiquant qu'elle pourrait être gonflée. Ces critiques viennent surtout de forums de discussion ; aucune reproduction systématique par des tiers n'a encore été constatée.
"exciting but still limited"
(passionnant, mais encore limité.)
C'est l'appréciation des auteurs sur cette capacité ; les limites tiennent à la longueur du contexte et à l'efficacité du cadre d'exécution.
Replacer cela dans la lignée de l'auto-amélioration
Le mois dernier, InnovationEval d'Epoch AI a mesuré une autre direction : des modèles de pointe devaient imaginer eux-mêmes des méthodes de post-entraînement dans un bac à sable sans réseau, et le meilleur résultat n'a atteint que 15 % du gain de l'article de référence. Cette voie passe par la conception, l'écriture de code et l'exécution de l'entraînement.
La programmation dans l'espace des poids saute l'étape d'entraînement, ce qui conduit certains à l'invoquer dans le débat sur l'auto-amélioration récursive. Mises côte à côte, les deux approches laissent un périmètre confirmé encore très étroit : le modèle peut repérer des points réparables dans des réseaux petits et manifestement défectueux ; pour les grands modèles et ceux sans défaut évident, il n'y a pour l'instant aucune preuve. L'audit, la capacité d'ajustement sans données et la fusion de modèles restent, dans le billet, des perspectives sans expériences à l'appui.
La suite à suivre, ce sont les reproductions : passer à un petit modèle qui ne boucle pas, ou à une tâche de maths avec une référence normale, pour voir si Astra peut encore faire monter le score.
Sources : blog technique des auteurs du MIT CSAIL, Machine Heart (Jiqizhixin), CocoLoop, Latent Space AI News ; les scores de Qwen et de Gemma s'appuient sur les tableaux d'expériences publiés par les auteurs, et les résultats d'InnovationEval sur le rapport d'Epoch AI.