MIT实验引爆AI圈:GPT-6 Astra只改0.016%权重,Qwen数学成绩涨6倍,GEO的信任逻辑也变了

一个只有8亿参数的小模型,被另一个大模型「动了脑子」,数学成绩直接涨了6倍。11月2日,麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究人员发布一组实验:让OpenAI的GPT-6 Astra直接读取并修改阿里通义千问Qwen3.5-0.8B的神经网络权重,全程不使用梯度下降、不做任何重新训练。研究团队把这套方法命名为「权重空间编程」(Weight-Space Programming),相关帖子的浏览量迅速突破490万。
只改13万个参数,数学成绩涨6倍
先看数字有多夸张。Qwen3.5-0.8B开启思考模式后,在MATH-500数学测试上的准确率只有7.9%,官方模型卡都承认它容易陷入推理循环——在最初96条练习回答里,有85条一直跑到32768个token的长度上限。Astra诊断出问题出在第15层和第19层MLP里的重复输出方向,随后只修改了131072个权重,占总参数量的0.016%。就是这13万个参数的改动,让MATH-500从7.9%涨到48.1%,GSM8K从13.8%涨到67.1%,连没被要求优化的指令遵循IFEval也从21.0%涨到62.3%。回答触及长度上限的比例,从93%降到33.1%。
不只修模型:还能从零写出网络权重
这项工作不只「修模型」。研究围绕三类任务展开:识别网络学会了什么、修复网络故障、从零编写网络权重。Astra仅凭原始权重就认出了四个小网络分别学的游戏——打砖块、乒乓、吃豆人、高速公路;在移除输入输出层后,它还能从权重里判断出三个720万参数小语言模型分别用什么语言训练。最强的一项是给一个全零权重的网络直接「写出」能玩游戏的策略:Astra一次交卷,平均得分517.4,而PPO算法训练1亿步只得15.8,差了20多倍。在小车爬坡实验里,它只改3.5%的权重,就让原本总是卡坡的网络在1024次测试中全部通过。
冷静看:能除障,不能无中生有
不过别急着说「训练已死」。对照实验里,Gemma 3 270M原本很少出现推理循环,Astra同样的改法只能把MATH-500从6.8%提到7.7%——权重空间编程能消除已有能力发挥的障碍,但不能凭空创造模型原本没有的能力。研究团队也坦言,Astra的分析与验证仍要消耗大量计算资源,GPU还没有到退休的时候。真正值得警惕的是另一件事:权重级修改不留训练痕迹,传统「数据溯源加训练审计」的安全组合对它基本无效。模型可以被精准地改写,而后门与偏见同样可以被这样写进去。
对GEO的启示:信任回到多源交叉验证
这件事和GEO的关系,比看上去更直接。生成式引擎采信一条信息的底层逻辑,是对信源做多源交叉验证:官网、权威媒体、行业数据库的说法一致,实体置信度才立得住。当模型本身都可能被不留痕迹地改写,「AI这么说」就不能再是信息的终点,而要回到「哪些独立信源都这么说」。对做内容的团队,三条动作可以马上做:第一,关键事实在官网、百科、媒体矩阵保持多源一致,口径统一的实体信息比单点优化更抗风险;第二,给核心数据标注出处和更新时间,让每次被引用都可回溯核查;第三,定期用多个AI产品实测自家品牌问答,发现表述被扭曲及时修正,别把单次排名当成果。
写在最后
权重空间编程展示的是AI优化范式的一次跳跃:从堆数据、调超参,到直接对参数编程。而它照出的另一面是,AI生成内容的可信度建设才刚刚开始。对GEO从业者来说,这场实验最好的注脚是:真正经得起交叉验证的事实,才是模型改不动、删不掉的资产。(文 / AI30媒体部 | 最后更新:2026年11月6日)



