MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 11 月 2 日发布技术博客《Sparks of Weight-Space Programming》，让 OpenAI 的 GPT-6 Astra 直接读取、修改神经网络的权重，不经过优化器，也不走梯度下降。作者把这种做法叫“权重空间编程”。
最受关注的一组结果落在阿里开源的 Qwen3.5-0.8B 上。这个 24 层、约 8 亿权重的小模型，被 Astra 从第 15 层和第 19 层的 MLP 里各减去一个“循环方向”，一共改动 131,072 个权重，占总量 0.016%，全程没有重新训练。
这份材料目前只是博客，没有经过同行评审，作者自己也称其为很早期的结果。
八个实验，读、修、写各有成败
作者把任务分成三类。
读权重。Astra 只看 PPO 策略网络的权重，猜出了四款网格游戏各是哪一款；看三个 DDPM 的权重，判断出它们分别生成圆形、三角形和正方形，不过把实心图形画成了空心轮廓。在 716 万参数的字符级 Transformer 上，它只看中间 4 层，就认出了三个模型的训练语料，并找全了复制头。
修权重。Kinetix 环境里有个小车爬坡策略，原先 256 个回合一次也没成功。Astra 改动 3.5% 的权重后，1024 个回合全部通过。
从零写权重。三款 MinAtar 游戏不给数据、不给梯度、不给工具，让 Astra 一次写出一个小网络，与 PPO 对照的分数如下：
| 游戏 | PPO 1 亿步 | PPO 5 亿步 | Astra 一次写出 |
|---|---|---|---|
| Breakout | 15.8 | 25.3 | 517.4 |
| Seaquest | 5.6 | 88.9 | 53.1 |
| Asterix | 25.8 | 55.2 | 53.2 |
三款都超过了 1 亿步的 PPO，碰上 5 亿步的就只有 Breakout 还领先。
失败也写在了博客里。判断两个 Gemma 3 270M 哪个被微调成“爱拍马屁”时，Astra 只看权重试了 4 次都没成，放开查看注意力模式后，三组才全部判断正确。
6 倍里有多少是“修循环”
Qwen 这组的基线很特殊：93% 的回答撞上了 token 上限，模型在推理里兜圈子，答案根本没写完。给 Astra 50 次前向传播的额度后，数字变成这样：
| 指标 | 原模型 | 编辑后 |
|---|---|---|
| MATH-500 | 7.9% | 48.1% |
| GSM8K | 13.8% | 67.1% |
| IFEval | 21.0% | 62.3% |
| 撞上 token 上限 | 93.0% | 33.1% |
对照组更能说明问题。Gemma 3 270M 只有 8.5% 的回答触顶，基础分 6.8，Astra 拿到 5、10、25、50 次前向传播后，分数分别是 7.0、7.6、7.7、7.0，基本没动。作者也承认，提升主要来自修好循环，编辑给不了模型原本没有的能力。
外部质疑集中在这里。Latent Space 的 AI News 汇总了社区讨论，有评论认为 7.9% 的基线低得不正常，这次编辑更接近 Arditi 等人的单方向消融，而且 Astra 是在 Python 沙箱里做分析，“原生读写权重”的说法有些过头。Latent Space 自己对“50 步”的表述也加了可能夸大的标注。这些批评目前多来自讨论区，还没有看到系统的第三方复现。
“exciting but still limited” （令人兴奋，但仍然有限。）
这是作者对这项能力的评价，限制来自上下文长度和运行框架的效率。
放回自改进这条线
上个月 Epoch AI 的 InnovationEval 测的是另一个方向：前沿模型在断网沙盒里自己琢磨后训练方法，最好的成绩只拿到对照论文提升幅度的 15%。那条路走的是构思、写代码、跑训练。
权重空间编程跳过了训练这一步，也因此被一些人拿来讨论递归自我改进。两边放在一起看，当前能确认的范围还很窄：模型能在结构小、毛病明显的网络上找到可修的地方，大模型和没有明显缺陷的模型暂时没有证据。审计、零数据调整能力、模型合并这些应用，博客里都还是展望，没有实验支撑。
下一步可以看的是复现：换一个不循环的小模型，或者换一个基线正常的数学任务，看 Astra 还能不能把分数往上带。
参考来源：MIT CSAIL 作者技术博客、机器之心、CocoLoop、Latent Space AI News；Qwen 与 Gemma 各项分数以作者公布的实验表为准，InnovationEval 成绩以 Epoch AI 报告为准。