120B模型塞进一张24GB显卡：英伟达把「常驻智能体」拆成了三档

10 月 15 日，英伟达放出了 Nemotron 3.5 Super VL。参数表第一眼并不惊人：1200 亿总参数、每 Token 激活 120 亿、100 万 Token 上下文。真正值得注意的是它同一周还带了一个「小号」——Bolt 74B-A9B，用原生 2-bit 量化把 740 亿参数的模型压进 24GB 显存，官方说法是能在 RTX 和 DGX Spark 这类桌面硬件上，和别的应用一起常驻运行。

把这两件事放在一起看，能看出英伟达在赌一个判断：智能体不会只活在机房里。一个需要 7×24 小时盯着收件箱、盯着工单队列、盯着代码仓库的模型，如果每次调用都要排进数据中心的队列，成本和延迟都撑不住。所以它必须能被拆开——大的一份放在云上，小的一份放在用户桌子底下。

同一周的三条路线，方向完全相反

这一周的模型发布很有意思，三家给出的答案几乎是三条互不相交的路。

Meta 在 10 月 15 日开源了 Muse Spark Open：8160 亿总参数、420 亿激活、100 万上下文，靠苹果 MLX 框架和两台 M5 Ultra 的 Mac Studio（合计 1TB 统一内存）在本机跑起来。路线是「大而全，用统一内存硬扛」。

微软在同一天的技术报告里讲了 MAI-Base-2：2.8 万亿总参数、800 亿激活的 MoE，在 1.6 万张 GB200 上训练了 38 天，目前还在后训练阶段，没有对客户开放。路线是「继续把预训练规模往上推」。

英伟达走的是第三条：模型不一定要最大，但必须能塞进不同的机箱。Super VL 负责云端和高性能工作站，Bolt 负责单卡桌面，10 月 23 日还要再发一个 4GB 的 Bolt E4B 给物理设备和对话终端。同一个家族，三种体量，一套权重体系。

常驻智能体和聊天机器人，要的能力不是一回事

聊天模型的优化目标是「一次回答有多好」，常驻智能体的优化目标是「一整天跑下来有多便宜、多稳」。这两个目标对架构的要求差别很大。

Super VL 用的是 Mamba-2、注意力和 MoE 的混合架构，视觉侧配了 C-RADIO 编码器，能读文本、图片、文档，也能读最长两分钟的 MP4。它从 Nemotron 3 Ultra 蒸馏而来，训练时用了投机解码和 NVFP4 量化感知训练。英伟达的说法是：准确率接近自家最大的推理模型，参数只有大约五分之一；在单卡智能体负载上，吞吐是同类开源模型的最多 5 倍。配套的 Dynamo 推理栈号称把延迟压掉 85%，同时支撑 8 倍的用户数。

这些数字都来自厂商自己的测试，落地时通常要打个折。但方向没什么疑问：智能体的成本主要由「每一步都要重新读一遍上下文」决定，100 万 Token 的窗口如果不配稀疏激活，单次调用的算力开销会直接失控。120 亿激活参数就是为这个场景准备的——窗口可以很长，但每一步只算一小部分。

2-bit 量化：把 74B 塞进 24GB 的那一步

Bolt 74B-A9B 的名字里，A9B 指的是每 Token 激活 90 亿。它用原生 2-bit 量化做训练后压缩，把权重压到 24GB 显存的量级——这正好是一张消费级旗舰卡的门槛。英伟达给出的成绩是：在同类开源模型里，PinchBench 排第一，BrowseComp 排第二。

这个尺寸的意义在于「共存」。24GB 的卡如果被一个模型全部占满，用户就没法同时开浏览器、开 IDE、跑本地向量库；而一个常驻智能体恰恰需要和这些工具待在同一台机器上。4GB 的 E4B 更是冲着这个逻辑去的——留给系统和应用的余量，比模型本身的大小更重要。

时间点也咬得很紧：10 月 16 日 RTX Spark 笔记本上市，默认应用生态里就带了 Nemotron Bolt。硬件、权重、推理栈三样同时在位，这是英伟达最擅长的打法。

许可和生态，比参数更值得看

Super VL 用的是 OpenMDW-1.1 许可，允许商业使用，权重从 10 月 12 日起就挂在 Hugging Face 上。对一个要嵌进产品的团队来说，这一条比跑分重要得多——权重能商用，才谈得上做二次训练和私有化部署。

生态侧的名单也能说明它想进什么场景：Scale AI 拿它做影视公司的供应商结算智能体，EY 用在并购尽职调查，Mercor 用它跑 APEX-SWE 的编程智能体，Ramp 做财务单据结构化，Atlassian、CrowdStrike、Dassault Systèmes 在做集成。共同点是「文档多、流程长、要留痕」——正好是常驻智能体最该干的活。

如果你要在自己的环境里评估这类模型，最省事的入口是 NVIDIA 的模型托管与推理平台，先在托管环境里跑通业务链路，再决定要不要下到本地。而如果目标是给团队配一台能干活的算力机，像青椒云这类云桌面先把环境和显存摸清楚，比直接买卡试错便宜。

给国内团队的三条实际建议

第一，按「每 Token 激活量」而不是「总参数」做选型。120B 总参数听起来吓人，但 12B 激活意味着推理成本和 12B 稠密模型在同一量级，而知识容量接近更大的模型。看到 MoE 就先问激活参数，这是今年最容易被忽略的一个数。

第二，把量化方案当成模型的一部分来评估，而不是部署时的补丁。2-bit 不是无损的，在长文档抽取、表格对齐这类任务上，掉点往往比通用问答更明显。选型时至少要在自己的业务样本上对比 BF16 和量化版本，别只看厂商的通用榜单。

第三，许可条款要逐条读。OpenMDW-1.1 允许商用，但商标、再分发、责任限制这些条款每个许可证都不一样；做私有化交付的团队尤其要注意「能不能把权重交给客户」这一条，它经常和「能不能商用」是两回事。

这一轮开源竞赛已经过了「谁的参数大」的阶段。接下来的看点是谁能把同一个模型家族铺到从机房到桌面的每一层，并且让开发者不用重写一遍代码。英伟达这次给的答案不算优雅，但很实用——毕竟对一个要跑一整年的智能体来说，能塞进机箱，比能刷榜更重要。

（文 / AI30媒体部 ｜ 最后更新：2026年10月17日）