模型开始自带记忆：上海团队开源MemT 1.0，GEO的语料逻辑要再改一次

10 月 20 日，上海团队记忆张量（MemTensor）发布并开源了业内首个记忆原生基座模型 MemT 1.0 系列。过去两年，大模型的「记忆」几乎都是外挂式的：要么塞进上下文窗口，要么放进外部知识库靠检索唤醒——对话结束，模型本身什么都没留下。MemT 1.0 换了一条路：把历史信息编码为可持续存在、可更新的内部记忆状态，让记忆直接参与模型前向传播，成为推理计算的一部分。

两个版本：把记忆装进 288B 和 36B

本次开源包含两款模型。MemT-1.0-Flash 总参数 288B、激活 17B、动态记忆 336M，基座是 DeepSeek-V4-Flash；MemT-1.0-Nano 总参数 36B、激活 3B、动态记忆 10M，基座为 Qwen3.6-35B-A3B。架构上，团队在选定的 Transformer 模块中让记忆分支与注意力并行运行，基于 Gated DeltaNet-2 的逐 token 稳定更新机制，在每轮交互结束时通过擦除、写入与遗忘门把新信息融入已有记忆；容量扩展则交给 Mixture-of-Storage（MoS）混合存储——把记忆模块拆成多个记忆专家做稠密路由。训练动用了 340 亿 token 的记忆语料，其中 200 亿用于持续预训练、140 亿用于后训练。

成绩单：记忆基准登顶，写代码更稳了

在 11 项记忆基准上，Flash 与 Nano 的平均得分分别为 50.6 和 47.0，位列本次评估的参数化记忆方法第一、第二；消融实验显示，把逐 token 更换回整轮聚合，Nano 的均分会从 47.0 掉到 41.0。更实际的是编程智能体实测：在 SWE-bench Verified 的 500 项任务上每项跑三次，Nano 的平均成功率从无经验时的 66.07% 提高到 69.73%（作为对照，外挂文本经验为 69.13%），三次全部成功的比例从 54.00% 提升到 62.80%——任务执行的稳定性明显改善。长历史场景下，Nano 相比完整上下文方式在 128K 历史时端到端推理约快 1.86 倍，256K 时约快 3.99 倍，持久化记忆状态只有完整上下文的约 1/66。模型权重已在 GitHub、HuggingFace 与 ModelScope 开放。

对 GEO 的含义：从「被检索」到「被记住」

为什么做 GEO（生成式引擎优化）的人要关心模型架构新闻？因为引用的逻辑正在变。过去的 AI 答案是「当次检索」的产物：网页排进检索窗口，才有机会被引用，优化动作围绕可检索性展开。而当模型开始带着经验回答问题，答案的一部分将来自「记住了什么」而不是「此刻搜到了什么」——内容的首次写入时机、以及写入内容是否值得被归纳为长期经验，会变得比现在更重要。对品牌来说，这意味着两件事：一是高质量、结构一致、可被「归纳」的语料更容易进入模型的长期记忆；二是纠错成本变了——改一处网页就能刷新检索结果，但要「改掉」一个已经写进模型记忆的错误印象，难度高得多。可更新性与可遗忘机制，正在从模型工程的课题变成内容生态的课题。

冷静看待：初步实现，天花板未证

团队自己在技术报告里说得很克制：MemT 1.0 只是记忆原生的首次工程验证，还没有证明原生记忆的长期上限一定优于外挂记忆。对从业者而言，现阶段值得做的仍然是把基础打牢：无论是像优设网这样持续输出结构化的行业内容，还是像Motion这类把产品信息写得清晰可归纳的工具站点，「让 AI 读得懂、记得住、引得出」的原则不会因为架构演进而失效——只是考核的周期，正在从「这一次有没有被检索到」拉长到「有没有被留下来」。

（文 / AI30媒体部 ｜ 最后更新：2026年10月21日，来源：环球网、新民晚报、36氪、量子位、团队技术报告）