Seeing, Maintaining, and Learning: The Evolution of Multimodal Agent Memory

多模态智能体要在跨会话长过程中使用图像、视频、音频、界面和三维观测，输出供后续推理规划或动作使用，难点是观测维度高而无法无损转成文字且世界随时间变化，记忆须兼顾细节保留与可用有效。论文把记忆生命周期分成形成与管理，形成功能是把连续观测切成记忆单元并选择表示，管理功能决定部署中是否修改记忆以及修改规则本身是否演化。形成先识别以后可能有用的经验片段并写成记录，所得记忆单元进入表示选择：贴近源模态的保留维持可恢复证据，文字与结构化记录抽取可检索的实体关系，内化隐状态与参数则把经验压入推理而不再回放原始证据。各表示的输出进入管理层，T1静态记忆只定位复用固定记忆，T2动态记忆按固定规则更新核验并同步关联表示，T3自演进记忆把反馈归因到管理决策并持久改写写入维护或检索规则。表示约束管理能否成立，层级越高对可定位、可修改、可验证和可恢复的要求越多，混合表示还须在修订合并删除中维持来源链接与跨表示一致，否则抽象记录与支撑观测脱节。原文未提供可核对的关键定量结果。该结论适用于需在有限资源下长期交互并保持记忆可验证可恢复的智能体，缺少来源追溯、反馈归因与策略级验证时可能失败，在线策略演进、有界终身记忆、受控遗忘与全生命周期评测尚缺充分验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

代码相关资源：https://github.com/Seeing-Maintaining-Learning/multimodal-agent-memory-evolution — 暂时无法访问

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

智能体为什么需要跨越当前上下文的记忆

这篇综述讨论的多模态智能体，指把大语言模型或多模态大模型放在观察、推理、行动循环里的系统，要在数字与物理环境中用工具、与用户和环境持续交互。输入是随时间到达的图像、视频、音频、界面截图、具身传感等多模态观测流，目标是在长时程任务中保持连贯，后续决策能用上早先看到的信息。必须保留的是超出当前上下文窗口的任务状态和可复用经验，输出是下一步推理、回答或动作。

作者把记忆定义为由先前观察或经验派生的状态，它在产生时刻之后持续存在，并影响后续推理、生成或行动，包括外部证据库、图像视频库、地图、场景图、有界视觉缓冲、显式设计的循环状态、经验库、可执行技能以及为复用而生成或适配的参数。普通前馈激活、1 次性思维链、不带复用意图的提示词不算记忆。上下文是当前暴露给模型的信息，记忆是决定什么能留下、如何组织、何时重进上下文或策略的机制。正因为每帧都存代价太大，记忆的取舍直接决定智能体能恢复什么。

已有综述覆盖了什么，本文的比较口径是什么

在进入双轴框架前，需要先定位本文与已有记忆综述的关系。已有工作多从文本智能体出发，MemGPT 组织工作、召回与归档记忆，生成式智能体把观测流提炼为反思，MemoryBank 结合对话历史与遗忘，Reflexion 存语言化教训，Voyager 存可执行程序，这些范式被多模态系统继承。但多模态带来更难的表示问题：图像空间细节可能被标题漏掉，视频音频需沿时间切分，界面观察要把外观绑定到可操作坐标，具身体验要跨视角关联物体与位置。

下表比较的是综述层面的范围与分类口径，不是同任务同指标的性能胜负。比较条件是各综述实质讨论的模态、应用与本文映射后的表示家族和管理层级，结论只说明本文在具身模态与混合组成上的覆盖更全。

Work	Scope	Modalities	Mem.& Rep.	Mem.& Mgt.
(Hu et al., 2025b)	Foundation-model agent memory	Text/Image/Video/Audio/Embodied	S+E+L/P (+H)	T1–T3
(Luo et al., 2026a)	Agent memory evolution	Text/Image/Video/Audio	S+E+L/P (+H)	T1–T3
Ours	Multimodal-agent memory	Text/Image/Video/Audio/Embodied	S+E+L/P (+H)	T1–T3

表中可见早期综述多止于静态复用与固定策略动态更新，本文与少数近期综述才把部署期策略演化纳入。这种映射由本文作者按自家分类重标，原综述未必使用相同术语，因此只能读作覆盖面差异，不能读作方法优劣。本文的增量在于把表示与管理解耦，并用同一口径统计近 300 个架构与数十个评测协议。

论文要解决的分类与权衡问题是什么

论文要解决的不是提出一个新记忆模型，而是长期多模态记忆缺乏统一分析语言的问题。异构观测不断到来，智能体既要保真又要抽象，既要及时更新又要可验证，还要在有限资源下运行。作者提出两个问题：多模态信息如何形成与表示，管理如何随经验积累而适应。前者关心留什么、以何种形式供下游计算使用；后者关心变什么，是只访问固定记忆，还是按固定策略改状态，还是连策略本身也改。

围绕这两轴，论文进一步提炼需要在保真与抽象、时间有效性与来源、证据可恢复性、策略演化之间平衡的设计原则。例子：家务机器人看到杯子在上层隔板，记一条文本事实检索最快，但若之后要核对杯子颜色或贴纸图案，文本可能已丢细节，必须能回到原图；若杯子被移到下层，事实要修正且不能污染无关记忆；若机器人长期放错位置，问题可能不在某条记录而在放置规则本身，需要改规则并验证。这个例子只说明分类动机，不涉及效果数值。

双轴框架的整体流程是什么

框架把 1 次经历的生命周期拆成形成、维护、访问、使用。形成把原始消息、经验与元数据变成记忆记录；维护控制写入、更新、合并、重组、保留与遗忘；检索为当前推理选择相关记忆；使用把记忆变成回答或动作。

轴一按最终供给推理或动作策略的表示分类，而不是按仅用于索引的中间格式；轴二按持久变化范围分 3 级。下面的公式把这种递进写成状态与策略的联合演化，先理解符号再看目标：Mt 是 t 时刻记忆状态，xt 是新观测，πt 是管理策略，ft 是反馈，U 是按策略执行的状态更新，E 是按反馈执行的策略演化。

\[M_{t+1}=U_{\pi_{t}}(M_{t},x_{t}),\qquad\pi_{t+1}=E(\pi_{t},f_{t}),\]

该式目标是区分两类变化：动态记忆只让记忆状态随新观测变化而策略不变，自演化记忆还让策略随反馈变化。实现上状态更新可以是启发式、提示大语言模型、冻结功能模块或固定目标优化，策略演化则需要把结果归因到写、维护或检索决策并持久修订。图一的上半是 3 类表示家族，下半是 3 级管理，同一经验可形成不同记忆并被不同层级管理，读图时先分清上下两部分的划分依据。

看图路径： 1. 先看上半三行表示家族如何对应图像视频界面与具身四列；2. 再看下半三级管理的持久变化范围如何递增；3. 注意紧凑抽象与来源证据在混合设计中的分工箭头

论文图 1。原论文 Figure 1:：“Two complementary axes of multimodal agent memory.”。

该图上半按行列出靠近来源、显式跨表示、隐式内化三族，分别对应图像、视频、界面与具身的例子；下半从左到右持久变化对象从无到记忆状态再到管理策略递增，关键词从稳定复用到有效演化状态再到累积改进。它说明表示决定以后能检查什么、能改什么，管理决定这些能力是否随时间保持有效。

靠近来源的记忆保留什么、代价是什么

第一族是来源与模态专属表示，分为保留的感知来源证据和模态原生编码。来源证据把完整图像、区域裁剪、文档截图、采样视频帧、音视频段、RGB-D 观测连同时间戳位姿作为可寻址条目存下，推理时可重新供给下游模型。它的好处是可直接复核，代价是存储与处理贵。

模态原生编码则存特征、token 或几何状态本身，如 MovieChat 把帧级视觉 token 放在定容短期记忆并合并相邻相似帧再转入长期，MA-LMM 把 patch 特征作为跨注意力键值并在超容时合并相邻时刻同位置特征，Flash-VStream 用低分辨率质心保覆盖、高分辨率关键帧保细节。图像系统更常用嵌入只做索引而值仍是原图或指针，音频中 OMAC 把高重要性音频 token 作锚并加权合并邻近 token，直接供兼容多模态主干消费。

来源证据 × 模态原生编码： 来源证据指以原模态保存、可重新打开的图像帧、音视频段或观测；模态原生编码指保留空间、时序或几何结构的特征、token 或地图状态，不再处理原媒体。两者都贴近来源，前者可直接核验但存储贵，后者更紧凑但有损且依赖兼容模型，组合时用编码做日常推理、用来源做复核。

读图有助于建立三族的整体位置感：左侧多模态经验经形成变换进入中部三族，右侧进入下游推理规划行动，底部是混合组成，越靠左越可恢复，越靠右越紧凑集成。

看图路径： 1. 从左到右看三大家族输入例子与输出给下游计算的形态；2. 对比每族 strengths 与 costs 框中可恢复性与可解释性取舍；3. 看底部混合条如何把显式抽象经链接检索连回来源证据

论文图 6。原论文 Figure 6:：“Representations in multimodal agent memory.”。

该图左侧列出图像、视频、界面与具身经验，中部分三栏分别展示图像截图视频片段、标题事件记录转录工作流、记忆 token 循环状态等例子，每栏下方标出优势与代价，底部箭头把显式抽象经链接检索连回来源证据。它提示选择依据是以后是否需要重新编码或核对细节，若需要则至少保留可回跳的来源或兼容特征。

文本与结构化显式记忆如何改变记忆单元

第二族是跨表示显式记忆，把感知转成自然语言条目或可寻址图结构，检索后以文本或结构查询结果进入上下文。文本记忆单元是标题、事件描述、事实、画像、摘要或流程，如 VideoAgent 建紧凑语义事件记忆并在需要时再取视觉证据，Video-EM 定位相关时刻并写含时间与何时何地何事何人线索的情景记录，ReMA 把固定时长片段写成带时间戳描述并合并重叠观察，MIRIX 把去冗余截图路由到多类记忆管理器生成摘要与工作流。它的优势是对齐语言模型推理、可人工检查修正、跨编码器可读，局限是写时已做有损抽象，漏掉的细节检索无法找回。

结构化记忆把实体、属性、关系、状态变量与时空跨模态链接显式组织，如场景图、极化图用存在与不存在边区分验证有无，检索时先逻辑一致再语义排序。它的优势是组合查询、局部更新与关系规划，代价是实体解析、关系抽取与图一致性维护成本高，错误会沿遍历传播。

文本记录 × 结构化记忆： 文本记录把感知转写为标题、事件、事实或流程，直接放入大语言模型上下文，易读易改；结构化记忆把实体、属性、关系和时空链接组织成图或模式化记录，可定位查询与局部更新。文本擅长语义检索与跨模型复用，结构擅长组合推理与关系维护，两者都丢弃部分感知细节，需要来源链接补回。

教学例子：把一周第一视角视频记成事件文本，每天一条含时间索引，问上周三下午做了什么可直接语义检索；但若追问当时桌上杯子的把手朝向，文本若未记则答不出，必须有来源链接回到原帧。该例子只说明单元粒度变化，不涉及任何效果数值。

隐状态与参数记忆如何融入计算

第三族是内化隐式与参数记忆，不再存可独立检索的制品，而是把经验变成计算的一部分。持续多模态隐状态与主干参数分离，以隐藏状态、记忆 token 或键值缓存存在，通过注意力、残差或投影融合参与推理，如 VisMem 用短期记忆 former 产细粒度证据 token、长期 former 产语义知识并按需插入，TRAM 用快慢两种循环状态保留近期与长期推理激活，ReKV 增量保留视频键值并按查询恢复相关块，MuKV 再压缩多粒度键值以支持有界流式问答，Mem-W 把检索轨迹与过期前缀压缩成连续记忆 token 与当前截图拼接，LaMem-VLA 把短长期库检索结果压成定长 token 直接引导动作生成。

经验条件参数记忆把经验写入权重或适配器，如 Frames2LoRA 用感知器超网络 1 次前向把视频层表示转成视频专属 LoRA，之后只给文本问题不再给视觉 token，MemVerse 定期把显式长期库蒸馏进参数模型，MemEIC 按模态分离视觉与文本适配器以减干扰。

持续隐状态 × 经验条件参数记忆： 持续隐状态指与主干参数分离、随推理携带更新的连续向量、记忆 token 或键值缓存，通过注意力融入计算；经验条件参数记忆指把经验写入共享权重或视频专属适配器等参数模块，推理时不再检索原文。前者贴近当前计算过程，后者免去上下文携带，但都难检查、难定位编辑、难跨模型迁移。

3 级管理的递进关系需要与表示区分开：隐式与参数记忆与推理结合最紧，但最难做细粒度编辑、溯源与跨模型迁移，选择它意味着把可检查性换成计算紧凑性。

混合设计与三级管理如何分工

许多系统组合多表示，作者不把混合单列为第四表示，而是作为系统级组成，如用语义图定位压缩视觉特征再打开原图验证。混合的意义是分层访问：日常用紧凑抽象高效推理，需要验证、重解释或细节丢失时选择性恢复高保真证据。有效性取决于修订合并删除时保持链接有效、抽象与支撑观测一致、学会何时抽象够用何时恢复来源。管理上，静态记忆形成后固定、只做访问复用；动态记忆经稳定策略做写入、合并、修正、重组、遗忘；自演化记忆还要评估管理决策、把反馈归因到责任策略并跨后续用例验证。

记忆状态 × 管理策略： 记忆状态指已存的内容、组织、索引与保留优先级；管理策略指决定何时写入、合并、修正、重组与遗忘的规则或可学习模块。动态记忆只改状态而策略固定，自演化记忆还要把部署反馈归因到策略并持久修订策略，前者解决信息过时，后者解决方法本身是否越用越好。

混合多路径记忆 × 来源链接： 混合多路径记忆指同时保留紧凑抽象与高保真证据的多条表示通路；来源链接指从抽象记录指回支撑观测的标识、时间、实体或指针。抽象负责高效检索推理，链接负责在不确定或高风险时 reopen 来源复核，组合后兼顾效率与可 grounding，但需要维护链接有效性与跨表示一致。

下表整理 3 级的管理问题与操作分工，比较的是持久变化范围而非性能高低，公平条件是同一表示起点与同一任务 horizon，指标方向是状态有效性与策略改进的可验证性。

管理层级	持久变化对象	核心要求	代表性操作	适用条件
静态记忆	形成后无变化	保留任务相关信息并可访问复用	存储与复用固定记忆	知识固定且只需检索
动态记忆	记忆状态	受控改正确目标并保持无关与依赖表示	写入合并修正重组遗忘经稳定策略	环境用户变化需更新状态
自演化记忆	记忆状态与管理策略	归因结果到策略决策并持久验证修订	评估经验更新写维护检索策略	失败可归因到管理决策本身

该表综合自原文对 3 级的定义与操作列举，限制是操作的具体实现因系统而异，不能把操作名称相同理解为条件相同。动态的难在正确目标、最小充分范围、可验证可逆与跨表示传播，自演化的难在策略可寻址、可追溯、可持久与策略级验证。

读图理解三列流程差异有助于记住分界：左侧无持久回写，中间经固定策略改状态，右侧经评估经验改策略，持久变化对象逐列扩大。

看图路径： 1. 对比三列纵向流程中固定记忆查询访问与固定策略更新的差异；2. 注意每列底部持久变化对象的文字表述；3. 看右侧策略更新如何分发到写维护检索三个子策略

论文图 7。原论文 Figure 7:：“Progression across the three memory-management tiers.”。

该图左侧从查询任务经查询条件访问到推理行动，标注无持久回写；中间从新观测经固定策略到记忆操作再到记忆状态；右侧从已评估经验经策略更新分发到写、维护、检索。它说明动态与自演化的分界不在改了多少条记录，而在改的是否是可复用的管理过程本身。

本文没有训练新模型，实际做了什么整理工作

本研究是综述与分类，没有训练或微调统一的多模态记忆模型，因此不存在梯度路径、冻结解冻、优化器或重置策略需要报告。实际计算过程是文献整理与证据标注：按表示家族与管理层级把架构归入最高支持层级，混合架构在总体分布中单独成类，在分模态计数中可复计多列；按共享与模态专属能力给数十个评测协议标注直接、部分或未覆盖；按存储位置、搬运压缩重建、索引复用调度、物化协调等系统维度梳理推理基础设施。

检索与标注流程依赖人工阅读与交叉核对，而非可运行模型的训练循环。缺的是统一复跑所需的超参数与统计显著性，原文也未报告跨架构的受控消融数值，因此本文数字只能读作领域分布快照，不能读作某类表示必然更优。无训练不意味着结论确定，只是说明证据来自已发表系统的设计描述与评测设置，而非本文的新实验。

评测 landscape 如何组织，能力维度是什么

评测部分把数十个基准按图像、视频、音频语音、界面、具身分组，记录数据来源、任务类型与可验证真值。共享维度分 3 个阶段：证据访问含跨模态证据与长程证据，记忆有效性含状态变化、冲突记忆与不可答查询，记忆 grounded 行动看检索经验是否影响规划交互。模态专属维度刻画各流内部结构，如图像的细粒度细节、实体跟踪与视觉状态变化，视频的时间定位、时序关系与多事件整合，音频的说话人跟踪、声学线索保留与修正持久性，界面的界面状态、动作结果与跨会话复用，具身的空间记忆、部分可观下物体状态与任务进度。

数据设置区分真实、合成、仿真与混合，任务区分问答、检索、定位、生成、动作、规划、学习与建图，真值区分答案、证据、区域、时间戳、状态、动作、来源与可靠性标签。答案监督只能证端到端对错，证据区域时间戳来源监督才能更直接归因到记忆。下表把共享维度转写为可对照的检查清单，便于按阶段诊断失败在形成、维护、访问还是使用，比较问题是同一任务下记忆需求是否被显式评分。

阶段	维度	检验问题	例子	真值要求
证据访问	跨模态证据，长程证据	是否需联合多模态跨轮会话帧事件分布	图文联合问答，跨会话画像	答案加证据时间戳
记忆有效性	状态变化，冲突记忆，不可答查询	能否区分新旧消解矛盾识别证据不足	杯子位置变更，矛盾记录拒答	状态加可靠性标签
记忆使用	记忆 grounded 行动	检索经验是否影响规划交互	界面状态动作，具身任务执行	状态加动作

该表是对原文维度定义的重排，限制是维度标签本身不决定层级，离线重建状态史不等于部署期动态更新，带学习标签也不等于策略自演化，需看是否有部署反馈导致可复用策略持久变化。

表示家族的取舍也可用对照表理解，比较问题是同一经验供给下游时保留什么、丢掉什么，公平条件是同一输入模态与同一后续任务。

表示家族	供给下游的形态	优势	代价	适用条件
来源与模态专属	原图帧音视频段特征地图状态	高保真可恢复	存储检索贵	需复核细节
显式跨表示	文本事实事件图关系	可读可改可检索	有损抽象	需语义推理
隐式内化	隐向量记忆 token 适配器权重	紧凑贴近计算	难检查难编辑	需高效复用

该表概括原文三族的权衡，限制是优势只在有来源链接与评估时成立，脱离任务谈优劣会误读，混合设计正是为了在不同阶段取不同行的好处。

语料统计显示什么趋势，在什么条件下成立

核心分布结论在多模态记忆架构的总体与分模态计数中成立，条件是按本文分类口径归入最高管理层级且统计截止到近年。3 条总体模式是动态记忆主导各类系统，显式与混合表示出现频繁，部署期策略演化集中在有显式记忆制品的系统。分模态看，具身与视频增长最陡，图像与界面次之，音频语音相对稀疏，近年为近期增长期。图展示这种分化，横轴出版年纵轴累积架构数，具身与视频曲线在阴影期明显上扬。

看图路径： 1. 看横轴出版年与纵轴累积架构数的五条模态曲线；2. 比较具身与视频在阴影区爬升斜率与音频曲线的平坦；3. 注意图像与界面在中间年份段的分化位置

论文图 3。原论文 Figure 3:：“Cumulative growth of multimodal-agent memory architectures differs across modalities.”。

该图横轴为出版年，纵轴为累积架构数，5 条曲线分别代表具身、视频、图像、界面与音频，具身到末年最高，视频紧随其后，图像与界面居中，音频最低且平坦，阴影标出近期增长期。它说明视觉与行动经验的记忆研究远多于听觉长期记忆，但这只是发表数量分布，不代表任务难度或方法优劣。

跨轴分布与分模态点图进一步显示动态记忆在图像、视频、界面、具身中占多数，自演化稀少且多与显式表示共现，混合在动态中占比突出，比较问题是表示与层级的共现是否偏离随机期望。

统计口径	总量与分组	主要分布	限制
总体马赛克	近三百架构按最高层级与单表示归类	动态混合块最大，自演化小	总体单计与分模态复计不可直接比绝对数
分模态点图	图像视频界面具身四面板按层级与家族复计	各面板动态行点最密，自演化行稀疏	计数依赖收录完整性与分类者判断
增长曲线	按年累积按模态分曲线	具身视频陡增，音频平坦	不含延迟成本与端到端成功率对比

该表说明趋势结论的适用边界，限制是换收录范围或把索引格式也算作表示会改变计数，趋势也不包含受控对比，因此不能读作某类表示必然更优。

表示如何约束每一级管理的瓶颈

跨轴分析是本文最值得复述的机制解释。静态只要求形成时保留任务相关信息并能有效访问，瓶颈是形成丢失与访问无效。动态还要求改对目标、保无关、同步依赖表示，瓶颈是可编辑性与操作范围、验证痕迹、可逆性、更新传播与跨表示一致。自演化再要求把结果归因到策略并持久验证修订，瓶颈是策略可寻址、决策可追溯与反馈归因、修订持久性、策略级验证。

表示越靠近来源越易追加替换删除单条观测，但语义错误常在派生解释而非原帧，改来源无用；显式文本与图可直接改事实实体关系，但依赖多，改窄留旧，改宽伤无关；隐式与参数难定位目标数值分量，更新易干扰无关知识。验证上，显式与来源链接可用证据标识与来源链比对，隐式与参数只能用行为测试看目标行为变而无关稳定。可逆上，显式可做条目或版本恢复，隐式常靠检查点但会丢后续有效更新。混合需把 1 次操作从一表示传播到依赖表示，否则抽象过期而来源仍有效，或新观测矛盾抽象但旧证据仍有用，系统必须决定当前听哪层、何时 reopen 来源。

未胜出的路径是只存紧凑抽象而无回跳：日常问答看似够用，一旦需要核对细节、纠正派生错误或处理冲突，就会因无来源可查而无法验证，这正是许多纯文本图像记忆在细粒度追问下受限的原因。该判断只在需要视觉细节与 provenance 的任务中成立，不是对文本记忆的整体否定。

评测缺口与系统代价是什么

应用与评测对齐分析指出，当前 landscape 在模态上宽、在生命周期上窄。图像视频音频评测多用问答检索定位，暴露召回与 grounding，长程与跨模态证据是主评估目标；界面具身评测多用动作规划经界面状态环境转移任务成功，可观察记忆 grounded 执行。缺口是冲突处理与证据不足稀疏，来源、端到端归因、策略自适应、记忆 grounded 视觉生成不足；状态跟踪在个性化交互具身中渐多，但多为固化历史的离线查询而非部署期持续写维护查用反馈闭环。

系统层面，保留与工作集分离带来驻留、搬运压缩重建、索引复用调度、物化与协调开销：加速器内存、主机内存、本地固态与远端池容量与访问代价不同，流水预取、压缩分块重算能减暴露延迟但占内存带宽，缓存命中不等于复用有效，物理替换不等于记忆遗忘。作者强调存活期到期只结束调度保护，不使证据语义过时；删最后可恢复拷贝或不可逆有损变换才会影响可召回性。这些都说明只看任务成功率无法定位失败在形成、检索还是动作选择，缺证据不等于技术有错，只是评估尚未覆盖。

复现第一步做什么，何时值得尝试

复现本文不需要跑模型，第一步是按双轴重标 2 到 3 个自己熟悉的系统：先看供给下游的是原图帧、特征、文本、图还是隐向量，定轴一家族；再看部署期是否有持久写回，若无为静态，若按固定规则更新为动态，若反馈导致写维护检索规则持久变化并在后续用例验证才算自演化；最后检查抽象是否有回指来源的时间戳、标识或指针。值得尝试的时机是做长时助手、视频 lifelog、跨会话个性化、界面自动化或具身导航操作，且痛点在信息过时、矛盾或证据不足，而非单步感知不准。

若只需固定知识问答，静态检索已够；若环境用户变化频繁，先做动态受控更新与版本日志；只有当失败可归因到某类管理决策且能收集后续验证用例时，再做策略演化。代码方面，原文仓库链接本次未能确认可达，不能写已公开可用；权重下载与系统可运行是三件独立事项，本文未提供可运行包，复现应从公开基准与自家日志重建评测，而非等待一键脚本。还需补的验证是生命周期 4 阶段指标：形成覆盖与幻觉率、维护一致性、访问召回精度延迟、使用中证据条件正确性，并在固定预算下报告存储增长、摄入滞后与检索代价。

结论与未解问题的适用边界

结论是多模态记忆的核心问题是留什么证据、以何表示供后续推理行动、如何随时间保持有效。双轴表明表示约束可访问、可改、可验证、可恢复，混合需维护来源链接、时间有效与跨表示一致，改状态不等于改策略。当前系统以固定记忆与固定策略更新为主，在线策略演化、有界终身记忆、受治理遗忘与生命周期评测仍欠缺，基础设施缺统一高效一致的存取复用机制。

适用边界是所有趋势结论只在本文收录语料与分类口径内成立，换收录范围或把索引格式也算作表示会改变计数；评测结论只在有证据区域时间戳状态动作监督时才能归因到记忆，否则端到端分数混杂感知推理执行。未解的是最小来源包应含什么、可编辑与保细节如何兼得、选择性保留多少昂贵证据、策略演化何时算丢失 grounding、何种遗忘算跨表示完成，这些都需要在真实噪声、实时期限、多用户隔离与有限资源下用阶段可诊断的协议继续验证。

📎 论文与评分元数据

排名：前50% | 文档类型：综述 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses

← 返回 2026-10-16 语音/音乐/音频论文速递

原文与引用

📄 多模态智能体记忆如何形成与演化：表示与管理的双轴解读#

👥 作者与机构#

📌 核心摘要#

🔗 开源与复现资源#

🧭 深度解读#

智能体为什么需要跨越当前上下文的记忆#

已有综述覆盖了什么，本文的比较口径是什么#

论文要解决的分类与权衡问题是什么#

双轴框架的整体流程是什么#

靠近来源的记忆保留什么、代价是什么#

文本与结构化显式记忆如何改变记忆单元#

隐状态与参数记忆如何融入计算#

混合设计与三级管理如何分工#

本文没有训练新模型，实际做了什么整理工作#

评测 landscape 如何组织，能力维度是什么#

语料统计显示什么趋势，在什么条件下成立#

表示如何约束每一级管理的瓶颈#

评测缺口与系统代价是什么#

复现第一步做什么，何时值得尝试#

结论与未解问题的适用边界#

⚖️ 评分明细#

📄 多模态智能体记忆如何形成与演化：表示与管理的双轴解读

👥 作者与机构

📌 核心摘要