Astra 直接改權重，千問小模型數學進步 6 倍

MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang 與 Omar Khattab 在 11 月 2 日發表技術部落格文章〈Sparks of Weight-Space Programming〉，讓 OpenAI 的 GPT-6 Astra 直接讀取並修改神經網路的權重，不經過最佳化器，也不採用梯度下降。作者將這種做法稱為「權重空間程式設計」。

最受矚目的一組結果出現在阿里巴巴開源的 Qwen3.5-0.8B 上。這個 24 層、約 8 億個權重的小模型，被 Astra 從第 15 層與第 19 層的 MLP 各減去一個「循環方向」，總共更動 131,072 個權重，占整體的 0.016%，全程沒有重新訓練。

不過這份資料目前僅是部落格文章，尚未經過同儕審查，作者自己也說這是非常早期的成果。

八項實驗，讀取、修復、撰寫各有成敗

作者把任務分成三類。

讀取權重。Astra 只看 PPO 策略網路的權重，就猜出四款網格遊戲各是哪一款；看三個 DDPM 的權重，則判斷出它們分別生成圓形、三角形與正方形，只是把實心圖形畫成了空心輪廓。在 716 萬參數的字元級 Transformer 上，它只看中間 4 層，就認出三個模型的訓練語料，也找齊了複製頭。

修復權重。Kinetix 環境中有個小車爬坡策略，原本 256 個回合一次也沒成功。Astra 更動 3.5% 的權重後，1,024 個回合全數通過。

從零撰寫權重。在三款 MinAtar 遊戲上，不提供資料、梯度與工具，讓 Astra 一次寫出一個小型網路，與 PPO 的分數對照如下：

三款都超越了 1 億步的 PPO，但面對 5 億步的 PPO，只有 Breakout 仍然領先。

失敗的案例也寫在部落格裡。要判斷兩個 Gemma 3 270M 哪一個被微調成「愛拍馬屁」時，Astra 只看權重試了 4 次都沒成功；開放它查看注意力模式後，三組才全部判斷正確。

6 倍之中有多少是「修復循環」

Qwen 這組的基線很特殊：93% 的回答撞上 token 上限，模型在推理過程中不斷兜圈子，答案根本沒寫完。給 Astra 50 次前向傳播的額度後，數字變成這樣：

對照組更能說明問題。Gemma 3 270M 只有 8.5% 的回答觸及上限，基礎分數為 6.8，Astra 取得 5、10、25、50 次前向傳播後，分數分別是 7.0、7.6、7.7、7.0，幾乎沒有變動。作者也承認，進步主要來自修好循環問題，編輯無法讓模型獲得原本沒有的能力。

外界的質疑集中在這裡。Latent Space 的 AI News 彙整了社群討論，有評論認為 7.9% 的基線低得不尋常，這次編輯更接近 Arditi 等人的單一方向消融，而且 Astra 是在 Python 沙盒裡做分析，「原生讀寫權重」的說法有些言過其實。Latent Space 自己也對「50 步」的說法加註，指出可能有誇大之嫌。這些批評目前多半出自討論區，尚未看到系統性的第三方重現。

“exciting but still limited”

（令人興奮，但仍然有限。）

這是作者對此項能力的評價，限制來自上下文長度與執行框架的效率。

放回自我改進這條脈絡

上個月 Epoch AI 的 InnovationEval 測的是另一個方向：前沿模型在斷網沙盒裡自行摸索後訓練方法，最好的成績只拿到對照論文改進幅度的 15%。那條路走的是構思、寫程式、跑訓練。

權重空間程式設計跳過了訓練這一步，因此也被一些人拿來討論遞迴式自我改進。兩者並列來看，目前能確認的範圍還很窄：模型能在結構小、毛病明顯的網路上找到可修復之處，至於大型模型與沒有明顯缺陷的模型，暫時沒有證據。稽核、零資料調整能力、模型合併等應用，在部落格中都還只是展望，沒有實驗支持。

接下來值得關注的是重現：換成一個不會循環的小模型，或換成基線正常的數學任務，看 Astra 還能不能把分數往上拉。

參考來源：MIT CSAIL 作者技術部落格、Jiqizhixin（機器之心）、CocoLoop、Latent Space AI News；Qwen 與 Gemma 各項分數以作者公布的實驗表為準，InnovationEval 成績以 Epoch AI 報告為準。