📄 MOSAIC:把全模态长期记忆拆成写、检、送、读四段来诊断

英文题目:MOSAIC: An Omni-Modal Benchmark for Long-Term Memory and Cross-Modal Reasoning in Conversational Agents

评分:7.2/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

👥 作者与机构

  • Hong Ting Tsang:机构信息未能在本次解析中与作者逐人可靠绑定
  • Boyi Zhang:机构信息未能在本次解析中与作者逐人可靠绑定
  • Haoyu Huang:机构信息未能在本次解析中与作者逐人可靠绑定
  • Jiaxin Bai:机构信息未能在本次解析中与作者逐人可靠绑定
  • Yufei Li:机构信息未能在本次解析中与作者逐人可靠绑定
  • Yisen Gao:机构信息未能在本次解析中与作者逐人可靠绑定
  • Zhongwei Xie:机构信息未能在本次解析中与作者逐人可靠绑定
  • Hongyu Luo:机构信息未能在本次解析中与作者逐人可靠绑定
  • Jeff Z. Pan:机构信息未能在本次解析中与作者逐人可靠绑定
  • Yangqiu Song:机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

读者需要回答散布在多轮对话文字、图像、视频、音频中的记忆问题,难点是端到端分数无法说明证据在表示、检索、投递、读取哪个环节丢失。MOSAIC构造带空间、时间与韵律针对性信号的多会话历史,并区分窄化候选、选定实体与携带答案三类事实以支撑多跳串联。构造时先按题型与模态缺口设计推理链,再经删除测试生成对话与合成媒体并过滤出可答题与拒答对照。诊断时冻结同一读者、提示、打包器与评判者,只替换表示、检索结果或投递预算,形成配对比较。在包含923题中784个可答题的集合上用零到一语义评判分数比较固定读者下金色符号事实与原生证据,分数越高越好,前者0.846高于后者0.783,通用文本0.690低于检索后全量投递0.708,生产预算投递0.670低于前两者而最低。在视频挑战分层上用同一零到一语义评判分数比较固定读者的符号事实与原生视频,分数越高越好,前者0.900高于后者0.729,感知损耗大于图像与音频对照。结论适用于该冻结配置下的关联归因,视频感知、拒答校准与合成媒体质量仍是未解决范围。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

全模态助手要记住什么,为什么难测

论文面对的输入是一个人的长期多会话历史,里面混着文字、图片、视频和语音,时间跨度按月计。目标是在最后的新问题上给出短文本答案,答案依赖散在早先会话里的若干证据,且这些证据必须跨模态串起来。例如一月文字说了规格,三月语音留言用语气表达了偏好,后来视频演示了数量,助手要把 3 段连起来才答得对。必须保留的信息不是有没有配图,而是原生通道才携带的关系:图里背景细节与相对位置、视频里动作先后与重复次数与状态变化、音频里高兴与不高兴的语调。输出用语义裁判打 0 到 1 分,拒答题答不知道才得分。

已有长期记忆评测多是纯文本或文本加图像,只报一个端到端总分。这样的总分说不清是存的时候压丢了,还是没检到,还是检到没装进请求,还是送到了却读错。论文因此不只发布题目,还发布一套冻结读者、提示词、预算和裁判的配对诊断,让每一段可替换、可归因。

与已有记忆和多跳评测的差别在哪

文本多会话记忆方面,MemoryBank、DialogBench、LongMemEval、MemAgentBench 等覆盖抽取、跨会话推理、知识更新与人设一致,但没有视频与音频。多模态扩展方面,LoCoMo 的图常非必需,Mem-Gallery 与 MemLens 把图做成任务必需但停在文本加图像并侧重找到而非跨模态串联,ATM-Bench 聚合多源个人证据而非按序会话串联,MMRC、MMDU 等做图文视频推理而无多会话对话结构。多跳问答方面,HotpotQA、MuSiQue 等在静态语料上组事实,缺少多模态时间散布。记忆系统方面,已有虚拟化长上下文、图检索、智能体记忆层等做法,但缺统一的全模态对照基准。

MOSAIC 的定位是第一套要求在多会话对话里跨 4 个主要模态检索并串联证据的基准,并配可替换 4 段协议。论文承认定位思想本身不新,区别在于冻结条件下把投递与检索分开量,并做到载体级信号归因。

论文提出的四个研究问题是什么

论文把流程写成历史、问题与预算下的四步:记忆表示、检索单元、打包投递、读取作答。检索到但没真正呈现给服务提供方的物件不算送达,这是后文关键。围绕它提出 4 个问题。第一,写入的表示是否保住之后答题依赖的空间、时间与语调细节。第二,每个必需单元是否被找到,以及在装进读者请求时是否存活,因为媒体上限会丢掉排名靠前的物件,所以检索与投递分开量。

第三,给定完整送达的链,读者能否跨模态跨会话整合。第四,必需证据缺失时系统能否恰好拒答,且仅在此时拒答。

题量是 923 题,分布在 70 个人设上,每题 11 到 24 个会话,平均 17.5 个。其中 784 题可答,139 题是去掉必需证据后的拒答对照。haystack 总量约 18.8M 词元,平均每人设约 269K 词元。可答题中 85.2% 需至少两个事实,75.0% 需至少两种模态。

基准测什么,失败定位在何处

要理解全貌,先看总览图的上半与下半如何对应。上半是考什么:证据按时间散在文本、图像、视频、音频会话里,题目要求跨模态串联;构造时指定原生信号而非装饰媒体。下半是在哪丢信号:对写入做表示压缩干预,对检索看缺失事实,对投递看检到但因媒体上限被丢,对读取看完整证据仍读错。

读图时先看上半 5 个会话的颜色与模态如何跨会话指向问题,再看下半写检送读 4 个盒子下方红字标注的丢失方式,最后对照右上图像视频音频 3 类原生信号的具体要求。

看图路径: 1. 先看上半五个会话的颜色与模态,确认证据 hops 如何跨会话指向问题;2. 再看下半写检送读四个盒子下方红字标注的丢失方式;3. 对照右上图像视频音频三类原生信号的具体要求

原论文 Figure 2:Overview of MOSAIC. Top: what the benchmark tests—evidence scattered across months of text, image…

论文图 2。原论文 Figure 2::“Overview of MOSAIC. Top: what the benchmark tests—evidence scattered across months of text, image, video, and audio sessions must be chained across modalities.”。

该图上半用 5 个会话示例展示从图像经视频、音频再到图像的证据跳数,右侧列出图像背景细节与空间布局、视频动作顺序与重复计数与状态变化、音频在近中性词下的高兴与不高兴语调。下半把写检送读画成四盒流水,每盒下方红字写清丢失口径,最下方再展开图、视频、音频各自的组内载体对照。这张图帮助建立后文所有数字的语义:任何一段的分数下降都是在冻结其他段后的配对变化。

模态缺口如何构造,才不是装饰性配图

仅带附件不能证明多模态推理,因为标题或转写可能已保留全部答案。MOSAIC 在对话与媒体实现之前先分配挑战,规定携带事实的原生关系,并约束周围文字不得泄露该关系。每道可答题至少含一个带挑战的必需事实。代表性例子是动作重复计数:固定机位无剪辑重复同一动作,无屏幕计数器,对话只说几次,通用标题保留事件但丢掉继续串链所需的选择子。

模态缺口 × 挑战策略: 模态缺口指只有保留原生模态才能存活的信息,文本转写会丢掉它;挑战策略是构造时预先指定的实现方式,如把答案放在背景、要求读相对位置、固定机位重复动作、用高兴或不高兴语气选实体,二者搭配把装饰性配图变成必须用原生通道才能过的考题。

下表比较 7 类挑战在 784 道可答题中的重叠覆盖,公平条件是计数为必需事实出现次数与不同题目数,同一题可贡献多行,指标越大表示该信号覆盖越广。表中事实与题数越大越常见,但不能加总为 784。

Mod.ChallengeControlled realizationFactsItems
ImageBackground detailPut the target behind a more salient foreground subject.328284
ImageFine-grained attributeRequire exact text, brand, shade, label, or a small count.388333
ImageSpatial configurationMake relative position, rather than object presence, discriminative.194185
VideoAction orderingShow two distinct completed actions in strict sequence without cuts.6764
VideoRepetition countRepeat one action under a fixed camera, without a counter or overlay.6456
VideoState transitionExpose the start, change pattern, and end state.6464
AudioProsodyHold words approximately neutral while happy or unhappy delivery selects an entity.450399

表中可见细粒度属性 388 个事实对应 333 题,背景细节 328 个事实对应 284 题,空间配置 194 个事实对应 185 题,视频 3 类分别为 67 个事实对应 64 题、64 个事实对应 56 题、64 个事实对应 64 题,语调 450 个事实对应 399 题。重叠意味着一题可贡献多行,不是互斥分区。论文强调按挑战分层报告,而不声称模态均匀平衡,视频每层仅 50 多题是后文功效不足的来源。

推理链的角色与跨模态约束是什么

每道可答题有一条有序必需事实链,角色分 3 种。缩窄事实缩小候选,选择事实锁定唯一实体,答案事实携带最终值,模式为零或多个缩窄接零或多个选择再接答案。有效链要求桥实体相连且经删除测试:去掉任一必需事实题目即不可答,音频视频判别需在至少两个同类实体中二选一。链的必需事实跨至少两种模态即为跨模态,缺口细节通常在缩窄或选择跳,答案最终值总是短文本可表达的字符串,但携带它的事实本身可以是多模态,例如品牌名只可读于图,偏好只由语调传达。

缩窄事实 × 选择事实 × 答案事实: 缩窄事实用来缩小候选范围,选择事实用来在同类实体中锁定唯一目标,答案事实携带最终可写成短文本的值;三者按缩窄加选择加答案组成链,缺口细节多放在前两跳,答案值虽可文本评分但其载体仍可能是多模态。

题型有 6 种:单会话抽取、跨会话选择与桥接、知识更新、时间计划打断、去掉证据后的拒答。抽取 1 到 2 跳单会话直接回忆;选择 2 到 3 跳跨会话用判别选实体;桥接 3 跳经两层实体接力;更新 2 跳跟踪旧到新。

时间推理 2 到 3 跳含旧计划被打断;拒答继承抽取模板但剥离证据。例子如番茄苗照片中因高兴语气选定的那张的背景细节,或先镂空后镶嵌视频中的雕刻者所在镇名经棋具照片路牌锁定,再由高兴语气选打包方式。

没有模型训练时,流水线实际做了哪些计算与合成

本研究不训练任何记忆或读者模型,该节讲清构造与评测执行过程。生成是全自动配置驱动 4 个阶段。第一阶段按人设采样,用一轮大模型调用先写问题、选答案再按桥实体与实体对约束构造链,每类至多两个同类主实体且在风格颜色材质场景状态至少两项不同,并轮转分配缺口策略与音频语气。

第二阶段验证修复,最多 3 轮:程序检查硬结构,大模型裁判做逐事实删除测试并检查 12 类失败,如词泄露、桥完整性、捷径、实体不匹配、缺口锚定缺失、语气坍缩等,修不好丢弃,拒答题在审计后剥离必需事实。第三阶段把存活事实按时间铺成证据与填充会话,有时间泄露守卫与禁用值表防止前跳泄露答案,填充对话文本取自 LongMemEval 公开填充池并做主题过滤,填充上的多模态附件由本流水线合成注入。

第 4 阶段合成媒体:图像用 FLUX-2-pro、富文本缺口用 GPT-image-2,视频用 Kling 与 Seedance,音频用 Qwen3-TTS 配人设音色,之后过结构与大模型质量过滤。

数量 lineage 是 1050 到 1004 再到 879 自动集,经 3 人审计 100 题挽回 44 个探针假阴性,得到 923 题。探针用 MiMo-V2.5 做原生证据可答性检查,主读者选未参与构造的 Gemini 3.5 以避免选择与评测耦合。审计加权估计可答集金答案正确约 97.8%、证据充分约 96.6%,784 比 864 的 90.7% 只是过滤保留率,不是人类可答上限。

冻结读者与预算的配对诊断如何执行

协议让每段可替换。配对条件在同一 784 个可答题上只改变表示、检索或投递,读者、提示词、打包器与裁判固定。7 个条件是:金符号事实、金原生证据、金通用文本、金结构化文本、检出原生全送达、检出原生生产上限、端到端原生检索增强。主要配对是符号减原生为感知代价,结构化减通用为可避免的写入压缩,金原生减检出全送达为检索损失,全送达减生产上限为投递损失。检索回放冻结的前 50 排序清单,生产预算送前 20 单元且每模态至多三件并有 100 MB 媒体上限。投递另做预算曲线,只收紧打包器而排序不变。

写入 × 检索 × 投递 × 读取: 写入指把历史存成记忆表示,检索指按问题找回候选单元,投递指按预算把候选序列化装进读者请求,读取指读者整合已送达证据作答;四段分工让每次只动一段而冻结读者、提示词、打包器和裁判,才能把分数下降归到被干预的那一段。

组内载体干预在题内只换一个必需载体,保持问题、证据顺序与其他跳不变。图像四变体是原生、仅光学字符识别文本、仅物体文本、空间描述;视频是原生、有序稀疏帧、乱序帧、有序事件计数描述;音频是原生、语音转写、转写加金语气标签、转写加反转标签。金语气标签是标注上限,不是任一语气分类器可达。文本变体用与结构化写入相同的问答盲写器。

必需事实召回 × 完整链送达: 必需事实召回统计一条链里每个必需事实的来源单元是否出现,完整链送达要求同一题的全部必需事实同时出现;多跳记忆只有整链到齐才可用,所以事实级召回高不代表可答,链级送达才是决定性指标,且要区分排序命中与真正装进请求。

主答题指标是 Qwen3.7-Plus 的 0 到 1 语义裁判分,拒答另报正确拒答与错误拒答以防常拒答显得校准。对照均为按题配对,报告题自助 95% 区间与胜平负,人设聚类自助做依赖敏感性检查。多对照未跨检验校正,挑战级探索性零假设需谨慎读。

写检送读每段丢多少分,哪段最大

先看原生流水线的整体阶梯,读者固定为 Gemini 3.5。金符号事实 0.846,残余阅读与评分误差 15.4 分;金原生证据 0.783,感知代价 6.2 分;通用标题加转写 0.690,相对原生再丢 9.3 分;问答盲结构化写器只挽回 1.4 分到 0.704,与零无显著区别。

检出全送达判分 0.708,检索损失 7.6 分;生产上限判分 0.670,投递损失 3.8 分;端到端判分 0.653。这里必须分清两个指标:判分 Score 从 0.708 到 0.670 再到 0.653,而完整证据链送达比例 Chain 是另一列,从 0.675 掉到 0.491 再到 0.464,两组数字不可互换。论文强调这是协议关联而非普适因果瓶颈,15.4 分残余含读者、输出格式与裁判误差。

读图时看左图从金符号事实到端到端每一步的配对下降数值,注意顶部浅色带标注的 15.4 分残余阅读误差含义,再看右图通用文本与结构化文本相对原生媒体的差距。

看图路径: 1. 看左图从金色符号事实到端到端每一步的配对下降数值;2. 注意顶部浅色带标注的 15.4 分残余阅读误差含义;3. 看右图通用文本与结构化文本相对原生媒体的差距

原论文 Figure 3:Decomposing the loss on the 784 answerable items under one fixed reader, prompt, packer, and…

论文图 3。原论文 Figure 3::“Decomposing the loss on the 784 answerable items under one fixed reader, prompt, packer, and judge (Table 3).”。

左图可见每箭头都是同题配对下降,顶部浅带是金符号下的残余误差;右图可见文本化代价 9.3 分与结构化挽回的不显著。分模态看,视频符号 0.900 到原生 0.729 感知代价 17.1 分,图像 6.2 分,音频基本为零。探针通过与人工挽回题在符号下几乎相同但在原生下差 27.8 分,说明原生绝对分偏乐观但配对比较仍可解释。

下表说明多模态物件的规模背景,比较问题是必需、证据非必需、填充与总量在图像、视频、音频三列如何分布,公平条件是同一发行集的完整矩阵,数字越大表示该层级物件越多。

TierImageVideoAudioTotal
Required9111954761,582
Evidence (non-req)8613661,1272,354
Filler2,52504,2946,819
Total4,2975615,90710,765

该表显示总量 10765 件中必需 1582 件,证据非必需 2354 件,填充 6819 件,图像 4297、视频 561、音频 5907,其中视频填充为 0 而音频填充多。填充附件量大且每模态限三件时必然大量丢弃。后文投递分析的 9338 件检出未送达全部归因于媒体计数上限,无一因词元上限或序列化失败,这正是预算决策而非基建故障。

比较问题是同题同读者下表示、排序与打包各自带来多少损失,公平条件是题号、读者、提示词、打包器与裁判全冻结,判分 Score 越大越好,完整链送达 Chain 越大越好。下表是核心结果,含必需基线与实际可运行策略。

StageConditionScoreChainDiagnostic role
—Gold symbolic facts0.8461.000Bounds residual read error
writeGold native evidence0.7831.000Native perception cost
writeGold generic text0.6901.000Textualization loss
retrieveRetrieved native, all delivered0.7080.675Retrieval loss
deliverRetrieved native, capped0.6700.491Packing loss
—End-to-end native RAG0.6530.464Adds query rewrite

表中金符号到金原生、通用文本、检出全送达与生产上限的阶梯与正文一致,链送达列从 1.000 经 0.675 到 0.491 再到 0.464,说明部分链不可用,而判分列从 0.708 经 0.670 到 0.653。图没有画出 Chain 列不证明其错误,两列语义不同。限制是该阶梯依赖该固定读者与裁判,换读者感知代价会变;视频感知瓶颈是该读者的候选结论,不能直接推广到所有全模态读者。

收紧打包预算与组内载体对照说明什么

冻结前 50 排序使必需事实召回 0.871 全程不变,只变打包器。单元预算减半损失 5.7 分;前 5 单元加每模态一件时损失 17.7 分,完整链送达从 0.675 坍缩到 0.184,必需事实覆盖从 0.871 到 0.501。该 17.7 分是减单元与加单媒体上限的联合效应,不是单媒体上限 alone。结论是排序定后,上下文组装才是紧预算下的绑定约束。

读图时确认横轴打包预算收紧时排序质量被冻结不变,比较蓝色判分与橙色完整链送达两条线的下降幅度,重点看最右一列单模态一件时完整链如何坍缩。

看图路径: 1. 确认横轴打包预算收紧时排序质量被冻结不变;2. 比较蓝色判分与橙色完整链送达两条线的下降幅度;3. 看最右一列单模态一件时完整链如何坍缩

原论文 Figure 4:Delivery-budget sweep over a single frozen top-50 ranked manifest.

论文图 4。原论文 Figure 4::“Delivery-budget sweep over a single frozen top-50 ranked manifest.”。

图上蓝色判分与橙色完整链送达同步下坠,最右一列橙线跌至 0.18 附近,直观显示链式记忆对打包的脆弱性。这对复现的意义是:报检索召回必须同时报送达召回,否则检索终止的分解看不见投递段。

组内干预在各自挑战层内配对。视觉压缩严重:细粒度与背景题原生比仅光学字符识别高 18.5 分,空间配置题原生比仅光学字符识别高 32.0 分;同空间题空间描述比仅物体高 15.4 分,补回物体到像素 43.3 分差距的约三分之一,说明丢的是关系而非物体名。时间与语调呈相反形态:有序减乱序负 1.5 分,事件文本与稀疏帧在重复与转变上加 1.4 与 2.7 分,原生音频减转写仅 0.8 分,金语气标签减转写仅 1.5 分且 394 比 450 平局。

但正确减反转标签在 399 个语调题上加 4.6 分,说明标注的选择子在金送达下因果承载,只是原生对转写的感知对照不显著。视频每层仅 56 到 64 个独立题,80% 功效最小可检 8.9 到 11.2 分,不显著不能证明时间压缩无损。音频转写载体常含语气词与他跳已露答案值,金送达零效应不证明声学已恢复。

换后端与换控制器后谁赢,拒答为何两难

固定读者轨道比较有用证据产出。A-MEM 在标题文本上比同表示扁平检索高 16.2 分,在全模态文本上高 16.4 分;A-MEM 标题 0.684 还高于原生扁平 0.641。原因是完整链送达 0.787 对 0.698 对 0.466,原生索引因媒体上限驱逐链成员。MemoryOS 在 0.268 与 0.279,落后扁平 20 多分,与端到端过拒答一致。结论是同预算下保住整链者胜,文本库也可赢,原生感知救不了被截断的链。

标题文本索引 × 原生多模态索引: 标题文本索引先用视觉标题器加语音转写把非文本转成文字再做文本检索,丢失空间关系和语气;原生多模态索引直接用多模态向量检原生图片视频音频并交给全模态读者,保留信号但占用媒体预算,二者对比揭示表示损失与打包损失的交换。

固定读者轨道 × 原生端到端轨道: 固定读者轨道把不同后端检出的上下文交给同一个读者、预算和裁判,比的是谁能产出有用证据;原生端到端轨道允许各系统用自己的控制器和读者,比的是可部署能力但多处同时变化,二者分开才不把检索底座差异误读成架构优劣。

比较问题是同读者同预算下组织记忆是否提升完整链送达,公平条件是同一固定读者、预算与裁判,链送达与判分越大越好。下表是该轨道结果,MemoryOS 覆盖不可观测而非零。

Backend / representationChain R@kkScore
Flat RAG, caption text0.6980.522
Flat RAG, omni text0.7050.500
Flat RAG, native multimodal0.4660.641
A-MEM, caption text0.7870.684
A-MEM, omni text0.7020.664
MemoryOS, caption textn/o0.268
MemoryOS, omni textn/o0.279

表后解释主要收益与代价:A-MEM 的收益来自链覆盖而非感知,代价是仍为文本派生不 ingest 原生;原生扁平的代价是打包丢媒体;MemoryOS 的反例显示过度拒答拖累可答分。限制是文本记忆家族与原生家族检索底座不同,跨家族排名含底座差异,固定读者轨道部分反转排序正是设两轨的原因。

端到端十二系统里原生 MiMo ReAct 可答 0.732 领先但正确拒答仅 0.410,MemoryOS 正确拒答超 0.88 但可答低于 0.26 且错误拒答超 0.61,A-MEM 标题最接近平衡但无人占右上。拒答对照保留题面线索,问题诊断的是该对照集下的拒答而非无形式校准。

观察回答与拒答权衡时,注意横轴可答判分越高越好、纵轴正确拒答率越高越好,右上空无系统,标记越大错误拒答越多。

看图路径: 1. 看横轴可答题分数与纵轴正确拒答率的权衡位置;2. 注意右上阴影区空无系统代表的含义;3. 比较标记面积代表的错误拒答率差异

原论文 Figure 6:Answering versus abstention for all twelve Track B systems.

论文图 6。原论文 Figure 6::“Answering versus abstention for all twelve Track B systems.”。

该图确实可见原生系统居右但偏下,MemoryOS 居上但偏左,文本系统居中,右上阴影区空置。它帮助理解为何不能单看可答分:高分系统常不拒答,高拒答系统常误拒可答题。

结论在什么条件下才成立,有哪些未解

人设、证据会话与媒体全合成,有机采集的多模态历史仍待未来工作。主读者与过滤探针分离且对照配对,但段标签是协议关联而非完全隔离因果,金与检出上下文在干扰与构成上仍不同。视频零效应功效不足,最小可检近 9 到 11 分,不能当无损证明。原生对转写与金标签对转写的近零效应受词泄露与他跳露值影响,不能证明读者从纯文本恢复情感;正确减反转的敏感性是另一干预,不混为一谈。

拒答用长度匹配但残题面线索,题面词频可部分预测拒答,校准非完全无形式。模态覆盖按设计不均,需按挑战分层读;文本后端尚未 ingest 原生索引;金构造元数据不得喂给被测系统。

裁判方面,单主裁判报分以保可比,三裁判面板在 11076 个三评分上 2 次加权一致性不低于 0.96,Spearman 不低于 0.95,同带率 84.0%,人类抽查 50 题与主裁判相邻带一致约 88% 到 90%,支持用单裁判报均值而非精确匹配。

复现第一步做什么,需要哪些配置

先拿 923 题发行集与 70 人设清单,按 784 可答与 139 拒答分开评,可答报均值判分,拒答配对报正确与错误拒答。固定读者用未参与构造的 Gemini 3.5,温度 0,关闭扩展思考,输出 1024 词元;裁判用 Qwen3.7-Plus 五档 rubric;写时通用用 Qwen3-VL-235B 标题加 Whisper-large-v3-turbo,结构化用问答盲 MiMo-V2.5 固定模态 schema;检索回放冻结前 50 清单,生产预算前 20 单元、每模态至多三件、100 MB 上限。

另跑全送达与两档收紧预算以复现投递曲线。检索文本用 Qwen3-Embedding-0.6B,原生用 jina-embeddings-v5-omni-small。ReAct 先过单检索奇偶门再报自适应步数。

代码、数据集与网站在论文首页有占位链接,但本次收到的资源证据只有第三方 UltraChat 与 FastChat 可达,不能据此写作者资源已公开。填充文本来自 LongMemEval 公开池的 UltraChat 与 ShareGPT 会话标识,许可证按 LongMemEval 所述为 MIT 与 Apache 2.0,附件为本流水线合成。不要把金证据计划、答案会话标识与题型标签喂给系统。

什么时候值得尝试,还需补哪项验证

当你的助手需在数月多会话里记住图背景与位置、视频顺序计数变化、语音语气偏好,并跨模态串两到三跳时,值得用 MOSAIC 做诊断而非只看总分。优先查完整链送达而非事实召回,紧预算下先调打包器而非只调排序;文本化前先保留空间关系 schema,因为空间是唯一无文本替代的信号;语调需在写入或检索保留选择子,金送达下的小效应不代表端到端可丢。

还需补的验证是每视频挑战 150 题以上以降低最小可检,词干净子集不以模型失败为条件重测音频,以及多跳匹配拒答对照以实现无形式校准。误解澄清:90.7% 是过滤保留率非人类上限,69% 与 65% 是探针否重采样样本的混合率非发行集质量,发行集加权估计金正确约 97.8%、证据充分约 96.6%;17.7 分是联合收紧效应;高可答分不等于可部署,因拒答可能同时崩塌。

📎 论文与评分元数据

排名:前50% | 文档类型:数据集与基准 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-10-23 语音/音乐/音频论文速递