9B参数跑出56层计算:商汤开源Loop-9B,把「参数规模」和「思考深度」拆开了

小模型怎么才能追上大模型?过去的标准答案是蒸馏、MoE、量化——本质上都是在「参数」上做减法。10月30日,商汤给出了一条不同的路:参数不动,让同一组权重「多想几遍」。他们把日日新系列的架构探索开源成了SenseNova–Loop-9B-Preview:32个解码器层里,中间24层共享同一套权重循环执行两遍,一次前向传播实际完成56次层计算,磁盘上只存约9B参数。官方评测里,这个「小块头」在办公与智能体任务上对标27B级模型,10月31日登上了Hugging Face趋势榜。权重采用Apache 2.0协议,可自由商用。
架构拆解:32层怎么变成56次计算
先把架构拆开看。模型共32个独立解码器层,首尾各留4层不循环:入口段4层正常执行一遍;出口段4层加输出头负责收尾;中间第4到27层共24层作为共享循环模块,输入先过一遍,输出再作为第二遍的输入——用符号写就是B(B(h))。这样每次前向传播执行56次层计算,存储参数约9B,官方给出的推理等效计算规模约14.6B。深度来自重复执行,而不是把参数复制一份,这是它和常规Transformer最本质的区别。模型接收文本与图像输入、输出文本,训练序列最长262,144 token,也就是256K上下文。
mHC与混合注意力:循环跑得稳靠这两件事
循环架构最大的技术风险是「第二遍跑着跑着信号就乱了」。商汤用两个机制稳住它。一是双流mHC(流形约束超连接):循环段同时维护两条残差流,可学习的映射决定每层从哪条流读信息、怎么在流间混合、算完写回哪条流,流间混合用Sinkhorn归一化约束(迭代20次),相当于给两条信息管道加了流控阀。官方消融实验显示,加入mHC后GPQA Diamond提高4.42分、多步骤智能体基准TeamBench提高13.34分——循环要真正起作用,光跑两遍不够,信息交互机制才是关键。二是混合注意力:每4层一组,3层线性注意力加1层全注意力,线性注意力控成本、全注意力管细粒度交互,循环边界恰好与完整四层组对齐,这也是256K长上下文成本能压下来的主因。
成绩单:6项赢Qwen3.5-27B,但账要算全
成绩单要算全。官方报告的对Qwen3.5-27B的8项基准里,6项领先:BIRD-Dev 71.38对69.84、WorkBuddy Bench 66.89对60.53、RaccoonPPT 70.70对59.08、AIDABench 58.87对57.19、TeamBench 48.89对44.44、AutomationBench也占优;但Terminal Bench 2.1(40.45对47.19)和T³-Banking(18.56对19.59)仍落后,终端操作、银行流程这类长链路任务还没打过。而且这些成绩全部是厂商自报,RaccoonPPT还是商汤内部自研评测集,技术报告标着TBD,第三方独立复现还没有出现。「对标27B」是官方口径,不是全面超越。
部署与算力账:省显存不省计算
部署侧,三条路径都已打通:Transformers本地单卡加载(需trust_remote_code=True,官方核对环境为Transformers 5.18.0加PyTorch 2.11.0);LightLLM多卡起服务,官方给了Docker示例;SGLang已有社区PR支持。推理加速方面MTP(多token预测)已可用,Dspark与Dflash2两个投机解码方案还在训练。社区已给出GGUF量化版,Q8_0约8.9GB,16GB显存的设备可以比较舒适地跑起来——对想自托管一套多模态长上下文模型的小团队来说,这是个实在的门槛优势。但要注意:省下的是权重存储,不是每个token的算力,56次层计算照样要跑,显存规划要按14.6B的推理等效规模算,吞吐敏感的服务先小批量实测。
适用场景:长文档、办公智能体与自托管
怎么用最合适?官方把定位写在第一行:长上下文与智能体工作流。四类场景最匹配:长文档理解,256K上下文加线性注意力,几十页合同、代码库整仓问答是主场;办公智能体,PPT生成、动效设计、数据分析这些官方评测强项;小模型自托管,企业内部文档问答、代码助手,比直接上27B省一大截显存;架构研究,它是目前少数可直接下载、可部署、可微调的开源Looped Transformer实现,研究循环深度、mHC收益、自适应迭代都有现成基座。开放域通用对话这种场景,建议先自测再替换。
结语:把「参数」和「深度」拆成两个变量
往大了看,Loop-9B的意义不在「又开源了一个9B」,而在它把「存多少参数」和「每个token算多深」拆成了两个独立变量。过去让小模型够到大模型,靠的是在参数上做文章;这条路换了个方向——参数不增,把同一组权重多算几遍,用计算深度换表达能力。商汤说Loop-9B只是起点,下一代将探索更大规模与自适应快慢思考。路线成不成立,得看技术报告和第三方复现能不能跑出同样的数;但对端侧、私有部署、买不起大卡的小团队而言,这已经是一块可以自己下载来跑的入场砖。(文 / AI30媒体部 | 最后更新:2026年11月1日)
延伸阅读:书生大模型官网收录页 | 通义千问官网收录页



