321B模型跑进4张4090：本地推理这个月连破三道门槛

如果你最近一年用过任何AI产品，几乎可以肯定它跑在别人的服务器上：你发一句话，云端算完再吐回来，按token计费。这套模式好用，但你把最敏感的对话、文档和代码都留在了别人的机器上。过去一个月，开源社区用几份实打实的成绩单说明：第三种选项——把大模型完整跑在自己机器上——正在从极客玩具变成可用方案。

先看大盘。第三方聚合平台的监测数据显示，OpenRouter的月度token流量从2025年1月的2万亿一路涨到379万亿，其中开源权重模型贡献了75%的生成量。也就是说，市面上每四个被处理的token里，有三个跑在权重公开的模型上。本地推理的火热不是嘴上说说，流量结构已经先变了。

第一道门槛：显存，靠「分层卸载」绕过去

本地跑大模型最大的拦路虎是显存。一个321B参数的模型，光权重就得几百GB，消费级显卡那点显存连零头都装不下。开源项目Project Maya给出的思路是不硬装，而是按使用频率分层：最常用的专家参数留在GPU显存，次一级的放进内存，长尾部分干脆落在NVMe固态硬盘上，用到再取。

这套分层卸载方案跑的对象是智谱的GLM-5.3-Flash——一个总参数321B、每token激活约18B的混合专家模型，上下文长度100万token，MIT许可。在4张RTX 4090的机器上，实测生成速度达到118 tok/s；另有用户把原本10 tok/s的本地配置调到30 tok/s。作为参照，人类阅读速度大约是每秒5到8个词——这个速度已经远超「能用」的及格线。

类似的事情也发生在了Mac上：有开发者用oMLX在64GB内存的M3 Max上跑起约100GB的量化版Qwen模型，上下文撑到13万token——这套配置两周前还被认为不可能。

第二道门槛：端侧，把模型压进手机芯片

服务器和工作站之外，第二波进展发生在手机和笔记本上。FluidInference把一个9B模型蒸馏成0.6B的Core ML版本，完整跑在苹果的神经引擎（ANE）上，在一台M5 Pro机器上57秒分诊完1000张客服工单——全程没有联网。谷歌则开源了0.74B的EmbeddingGemma 2，把文本、代码、图像和音视频映射进同一个嵌入空间，小到可以直接在手机上运行；配套的macOS笔记应用已经用它做本地会议记录。

应用层也跟上了：一款叫KernelAI的产品10月10日在Product Hunt上线，给iPhone和Android带来了53个可离线运行的模型，最小的112MB，最大3.11GB，文档问答、图片理解和语音输入都能在本地完成。在Ollama这类本地部署工具把「本地跑模型」的门槛降到一条命令之后，端侧硬件和蒸馏技术正在把门槛进一步降到「装个App」。

第三道门槛：架构，让每一层注意力都更便宜

支撑这些进展的底层变化是模型架构本身。MiniMax开源的M3采用了MSA稀疏注意力，预填充阶段速度约为全注意力的9倍、解码阶段约15倍；而MiniMax之外，Qwen、Kimi、GLM等主流开源模型已经在多数甚至全部层里换掉了昂贵的全注意力结构。模型越便宜，能塞进本地机器的尺寸就越大，这是一个互相咬合的飞轮。

对普通用户和企业来说，这三道门槛松动叠加起来的意义很直接：第一是数据边界——病历、合同、代码库这些不方便出门的资料，终于可以在自己机器上处理；第二是成本结构——一次性买硬件和按token付费之间，高频场景的天平正在倾斜；第三是可用性——断网、限流、涨价，都不再是单点故障。

当然，泼冷水的理由同样存在。118 tok/s来自特定硬件与量化配置，换台机器数字会变；NVMe卸载在长上下文随机访问时的延迟波动，仍需更多第三方复测；蒸馏到0.6B的小模型在复杂任务上的能力折损，也没有一致的量化结论。本地推理目前最稳的位置，是「高频、重复、对隐私敏感」的任务，而不是全面替代云端旗舰模型。

对做内容和增长的人来说，还有一层间接影响值得记下：当更多推理发生在本地和端侧，生成式引擎的抓取与引用入口会进一步分散，面向AI的内容优化（GEO）要面对的不只是几个云端引擎，还有大量带着不同知识库和检索策略的本地智能体。让内容更容易被机器准确理解和引用，重要性只增不减。

（文 / AI30媒体部 ｜ 最后更新：2026年10月12日）