MIT CSAILのRikiya Takehi氏、Jayden Teoh氏、Alex Zhang氏、Omar Khattab氏は11月2日、技術ブログ「Sparks of Weight-Space Programming」を公開した。OpenAIのGPT-6 Astraにニューラルネットワークの重みを直接読み取らせ、書き換えさせる手法で、オプティマイザーも勾配降下法も使わない。著者らはこの手法を「重み空間プログラミング」と呼んでいる。
最も注目を集めているのは、Alibabaがオープンソースで公開している小型モデルQwen3.5-0.8Bでの結果だ。24層、約8億の重みを持つこのモデルに対し、Astraは第15層と第19層のMLPからそれぞれ1つの「ループ方向」を差し引いた。変更した重みは合計131,072個で、全体の0.016%にあたる。再学習は一切行っていない。
ただし、現時点ではあくまでブログ記事であり、査読は受けていない。著者自身も、きわめて初期の結果だと位置づけている。
8つの実験、読む・直す・書くで成否が分かれた
著者らはタスクを3種類に分けた。
重みを読む。AstraはPPO方策ネットワークの重みだけを見て、4種類のグリッドゲームのどれで学習されたかを言い当てた。3つのDDPMの重みからは、それぞれ円、三角形、正方形を生成するモデルだと判断したが、塗りつぶしの図形は中空の輪郭として描いてしまった。716万パラメータの文字レベルTransformerでは、中間の4層だけを見て3つのモデルの学習コーパスを特定し、コピーヘッドもすべて見つけ出した。
重みを直す。Kinetix環境で、坂を登る小さな台車の方策は、256エピソードで一度も成功していなかった。Astraが重みの3.5%を書き換えると、1,024エピソードすべてで成功した。
重みをゼロから書く。MinAtarの3つのゲームでは、データも勾配もツールも与えず、Astraに小さなネットワークを一度で書かせた。PPOとのスコア比較は次のとおり。
| ゲーム | PPO 1億ステップ | PPO 5億ステップ | Astra(一度で記述) |
|---|---|---|---|
| Breakout | 15.8 | 25.3 | 517.4 |
| Seaquest | 5.6 | 88.9 | 53.1 |
| Asterix | 25.8 | 55.2 | 53.2 |
3本とも1億ステップのPPOは上回ったが、5億ステップのPPOに対して優位を保ったのはBreakoutだけだった。
失敗もブログに書かれている。2つのGemma 3 270Mのうち、どちらが「おべっか」を言うように微調整されたかを当てる課題では、Astraは重みだけを見た4回の試行でいずれも失敗した。アテンションパターンの確認を認めると、3組すべてを正しく判定できた。
6倍のうち、どこまでが「ループの修復」か
Qwenのベースラインは特殊だ。回答の93%がトークン上限に達しており、モデルは推論の途中で堂々巡りを起こして、答えを書き終えていない。Astraに50回のフォワードパスを許すと、数字は次のようになった。
| 指標 | 元のモデル | 編集後 |
|---|---|---|
| MATH-500 | 7.9% | 48.1% |
| GSM8K | 13.8% | 67.1% |
| IFEval | 21.0% | 62.3% |
| トークン上限に到達 | 93.0% | 33.1% |
対照群のほうが事情をよく物語る。Gemma 3 270Mでトークン上限に達した回答は8.5%にとどまり、基礎スコアは6.8だった。Astraに5回、10回、25回、50回のフォワードパスを与えた結果は7.0、7.6、7.7、7.0で、ほとんど動いていない。著者らも、向上の大半はループの修復によるもので、編集によってモデルが元々持たない能力を与えることはできないと認めている。
外部からの疑問もここに集中している。Latent SpaceのAI Newsはコミュニティの議論をまとめており、7.9%というベースラインは異常に低い、今回の編集はArditiらの単一方向アブレーションに近い、Astraが分析をPythonサンドボックス内で行っている以上「重みをネイティブに読み書きする」という表現は言い過ぎだ、といった指摘が紹介されている。Latent Space自身も「50ステップ」という表現に誇張の可能性があると注記した。こうした批判の多くは議論の場で出たもので、体系的な第三者による再現はまだ確認されていない。
“exciting but still limited”
(刺激的だが、まだ限定的である。)
これは著者らがこの能力に下した評価で、制約の要因はコンテキスト長と実行フレームワークの効率にあるという。
自己改善という流れのなかで
先月、Epoch AIのInnovationEvalが測ったのは別の方向だった。ネットから遮断されたサンドボックスで、最先端モデルが自力でポストトレーニング手法を考案する課題で、最高成績は比較対象の論文が示した改善幅の15%にとどまった。この道筋は、発想し、コードを書き、学習を回すというものだ。
重み空間プログラミングは学習の工程そのものを飛ばす。そのため、再帰的自己改善の議論に引き合いに出す向きもある。両者を並べて見ても、現時点で確認できる範囲はまだ狭い。モデルが、構造の小さい、欠点の明白なネットワークで直せる箇所を見つけられることまでで、大規模モデルや明白な欠陥のないモデルについては今のところ証拠がない。監査、データなしでの調整、モデルマージといった応用は、ブログではいずれも展望にとどまり、裏づける実験はない。
次に注目すべきは再現だ。ループしない小型モデルや、ベースラインが正常な数学タスクに差し替えても、Astraがスコアを押し上げられるかどうかが焦点になる。
参考資料:MIT CSAIL著者の技術ブログ、Jiqizhixin(Machine Heart)、CocoLoop、Latent Space AI News。QwenとGemmaの各スコアは著者が公開した実験表、InnovationEvalの成績はEpoch AIの報告書に基づく。