记忆张量发布记忆原生大模型MemT1.0并开源:让AI拥有可持续更新的内部记忆

记忆张量发布记忆原生大模型MemT1.0并开源:让AI拥有可持续更新的内部记忆

10月20日,由中国团队记忆张量研发的记忆原生模型MemT1.0系列正式发布并开源。据环球网科技报道,该系列将可持续存在、可更新的内部记忆纳入模型计算,使历史信息与任务经验可在后续相关任务中直接调用,无需再次提供原始历史文本——这被视为对现有大模型“上下文窗口”范式的一次架构级挑战。

MemT1.0系列包括MemT-1.0-Flash与MemT-1.0-Nano,参数规模分别为288B与36B。团队在选定的Transformer模块中引入原生记忆模块,使原有注意力与记忆注意力并行运行。架构创新包括基于Gated DeltaNet-2的逐token稳定更新机制、Mixture-of-Storage混合存储扩容,以及持续预训练与后训练两阶段训练。

11项记忆基准拿下第一、第二

评测显示,在11项记忆基准上,两款模型平均得分分别为50.6和47.0,位列参数化记忆方法第一、第二。编程智能体实测中,Nano在SWE-bench Verified的500项任务上,平均成功率从66.07%提升至69.73%,三次全部成功的比例从54.00%提升至62.80%。

在长历史场景下,效率优势更为直观:Nano相比完整上下文方式实现约1.86倍(128K)与3.99倍(256K)端到端推理速度,而持久化记忆状态约为其1/66。这意味着处理超长对话历史时,记忆原生架构可以用极小的存储代价和更高的推理速度,达到甚至超过传统完整上下文的效果。

从“上下文”到“记忆”的路线之争

当前主流大模型依赖越来越长的上下文窗口来记住历史信息,代价是推理成本和延迟随上下文长度急剧上升。记忆原生路线则试图把“记住”变成模型的内在能力:像人一样把经验沉淀为可更新的内部状态,而不是每次都从头读完所有材料。

目前,MemT1.0系列已通过Hugging Face等平台开源,开发者可免费获取模型权重。研发团队表示,下一步将持续提升长期记忆、扩展记忆容量、降低更新成本,并探索自主获取经验与跨任务持续整合记忆。如果这一路线被证明可规模化,它将为智能体、个人助手等需要长期记忆的场景提供一条新的技术路径。