记住说了什么还不够：VoxMem 考住语音模型的谁说、怎么说与背景声

英文题目：VoxMem: Benchmarking Multimodal Memory in Large Audio Language Models

标签：#音频问答 | #基准设计 | #基准测试 | #长音频处理

评分：7.6/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

👥 作者与机构

• Yang Xiao：机构信息未在 arXiv HTML 中可靠披露
• Vidhyasaharan Sethu：机构信息未在 arXiv HTML 中可靠披露
• Eun-Jung Holden：机构信息未在 arXiv HTML 中可靠披露
• Ting Dang：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

多会话语音助手需在数十分钟历史中回答依赖音频的记忆问题，输入为按时间戳排列的多会话用户音频与助手文本，输出为简短开放答案或证据不足拒答，难点是目标证据稀疏且与同话题干扰会话高度混淆。VoxMem先按记忆操作与声学证据规划结构化题目与金答案，再将证据会话写成用户与助手隔离生成的对话文本，最后用固定音色合成用户语音并叠加受控副语言与环境声后组装嵌套历史。该设计与已有评测的关键差异是同时固定题目与证据而只扩展干扰上下文，并强制音频原生题目在转录后不可解。在32K参考预算下15个大音频语言模型中最强者整体准确率仅为38.5%，专有模型平均33.0%而开源模型平均21.9%，语义记忆显著优于说话人与声学记忆。该结论适用于合成英语多用户助手场景，对真实噪声、真实说话人重叠、自发副语言及超长部署的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么：多会话语音记忆要测什么？

这篇论文的输入是一段多会话交互历史加一个当前语音提问。历史由按时间排序的多个会话组成，每个会话内用户轮是音频、助手轮是文本，会话开头带有时间戳，最终会话只放当前提问。目标是让模型根据历史回答提问，或在证据不足时明确表示无法给出唯一答案。必须保留的信息不只是说了什么词，还包括谁说的、怎么说的以及背景中能听到什么，这些信息在纯文字转录中不存在。

输出是简短开放回答，例如词、数字、是否判断或有序状态序列，拒答题期望模型说明历史不支持回答。 论文要解决的矛盾是语音对话系统需要跨会话积累信息，但现有评测多只看词汇内容、只用单会话或单段长录音，且不同长度下换题比较，把题目难度与历史长度混在一起。作者因此提出按声学证据与记忆操作两个轴组织评测，并构造 VoxMem 基准。按原文规模，该基准覆盖 799 个问题，在 4 个长度档下展开为 3196 个评测实例，背后是 34743 个口语会话、共 177 小时音频。

学习时先记住这个结构：历史固定、问题固定，只有周围干扰与填充随长度档扩展，性能下降才能归因于历史变长。

已有评测缺了哪三块？

第一块缺的是回答关键的声学证据。许多已有工作只测词汇内容，或只零散覆盖部分声学线索，很少系统要求模型记住说话人是谁、语气如何、环境中有什么。论文把语音语义作为转录充分基线，把说话人身份、副语言线索和环境声作为音频原生探针，文字中不允许泄露答案。第二块缺的是记忆操作的多样性。已有评测多集中在检索与简单整合，对跨会话计数匹配比较、随时间跟踪状态变化、以及识别证据不足并拒答覆盖零散。

VoxMem 把信息抽取、多会话推理、时序演变跟踪和回答拒答并列，每种操作有明确定义与子类型。第三块缺的是多会话结构。已有基准多用单段独白或单段连续对话，而真实交互是话题变化、有时间间隔、说话人复现的多段会话，还混有同话题但细节不同的竞争会话。VoxMem 用证据、干扰与填充 3 类会话构造历史，并让同一问题在 8K 到 64K 下保持证据不变，从而分离历史长度的影响。

题目如何定义：证据与操作怎样交叉？

论文把每道题的主证据类型定为四选一。语音语义是事实、数量、计划、偏好、决定与明确更新，可从文字恢复。说话人身份要求把信息与发出它的声音关联起来，例如当前提问者的声音对应历史上哪个用户说过的事实，文字中不得出现姓名或身份标签。副语言线索是犹豫、惊讶、强调、语速、笑声等可感知声音状态，文字不得描述声音。环境声是交通、警报、机械、家务、天气等非语音事件，文字不得点名声音或地点。

操作轴上，信息抽取只依赖一个答案承载会话，又分两种方向：用语义或时间锚定位会话再取声学属性，以及用声学线索定位会话再取语义事实。论文按设计排除语义上的信息抽取，避免退化为局部转录。多会话推理需要多个会话但顺序不关键，包括计数、匹配归属、聚合比较。时序演变跟踪处理有序状态，问最新状态、指定历史时刻状态或完整变化轨迹，交换顺序可能改变答案。

回答拒答不是独立可答家族，而是把可答题的最小必要证据删除、中和或变模糊后得到的配对不可答变体。交叉后形成 15 种有效组合，语义信息抽取空缺。

方法全景：从计划到历史组装走一遍

拿一个例子走完全程有助于复述。假设问题问当前说话人此前说过的灯具更换结论。计划阶段先写清问题、标准答案、所需证据与会话分配：答案承载会话由该用户声音说出暂停一词，另有一个同话题但不同用户、不同内容的干扰会话。接着把证据会话写成用户与助手多轮对话，用户轮实现事实但不写出说话人、语气或背景声，助手轮由不知证据的生成过程写出，不复述关键细节。

然后用固定语音合成用户轮，人物与声音绑定不变，副语言用风格控制加入，环境声按 10 dB 信噪比混入，并保留去线索的配对版本用于质检。最后把证据、干扰与填充会话按嵌套方式组装成 8K、16K、32K、64K 四档历史，问题与证据固定，只有干扰与填充增加，证据与干扰位置均匀分布以免位置泄露。

声学证据 × 记忆操作： 声学证据回答要记住什么，区分说什么内容、谁说的、怎么说的和背景中能听到什么；记忆操作回答如何使用这些信息，区分单会话抽取、多会话组合、时序跟踪与证据不足时拒答。二者搭配的理由是只看操作会掩盖声学短板，只看证据会混淆检索与推理难度，组合后每个格子对应一种可构造、可质检的任务形态。

整条链条的教学要点是先固定逻辑再生成文字再生成声音再组装历史，每一步都有校验：计划保证答案唯一与操作必要，对话保证不泄露，音频保证线索可感知，历史保证无新增答案路径。

三类会话与声学控制各负责什么？

证据会话是答案最小必要信息的载体，按操作类型分布为单会话、多会话无序集合或有序序列。干扰会话故意长得像证据但不支持答案，一部分复用其他题的证据会话并满足话题兼容与声音组织要求，一部分为本题定制同键干扰，例如同话题不同取值或有检索键无查询属性。填充会话取自已有指令跟随对话语料，裁剪到相近长度并经全局事实筛查，确保不陈述任何基准原子事实。复用有上限，避免少数会话主导基准。文本探针显示只看文字难以区分证据与干扰，准确率接近随机基线，说明必须结合问题使用声音与语义。

证据会话 × 干扰会话： 证据会话承载回答必需的事实或声学线索，干扰会话在同话题或同声学分布下给出不同取值或不含答案。干扰会话的分工是阻止只按话题匹配就猜中答案，证据会话的分工是提供唯一可推导路径，二者同池、复用受限并经过防泄漏检查，组合后才能测出定位与绑定能力。

声学实现上，所有用户语音用同一合成系统固定版本生成，人物与参考声音跨会话不变。副语言的有线索与中性版本共享文字与声音，只差目标控制；环境声的有声与去声版本共享干净语音，只差是否混入所选声音。助手固定回复按设计不携带答案关键声学证据，因此以文本给出，这也让只接受音频输入、不生成语音的模型能在相同历史下被评测。

转录充分 × 音频原生： 转录充分指答案可从文字完整恢复，用作语义记忆基线；音频原生指关键信息只在声音中，文字中被严格禁止泄露。搭配的原因是若没有转录充分对照，就无法判断低分来自记忆还是来自听觉；有了对照，转录输入下音频原生题大幅下降而语义题基本不变，才能证明题目确实需要听。

多会话推理 × 时序演变跟踪： 多会话推理分工是合并无序多会话证据，交换证据会话顺序不改变答案；时序演变跟踪分工是处理有序状态序列，交换时间锚点可能改变答案。搭配的理由是真实对话既有跨会话统计比较，也有计划、说话人参与、语气与背景声的更新，二者分离后才能看出模型是不会合并还是不会跟踪顺序。

本研究训练了什么，没有训练什么？

本研究没有训练任何被评测的大音频语言模型，也没有报告梯度、优化器或参数更新。方法职责由基准构造与评测流程承担，真实计算是生成、合成、混音、组装与打分。生成侧用 2 个模型把问题计划转成自然语言，并分开生成用户轮与助手回复；合成侧用固定 Higgs-TTS-3 与固定人物声音生成音频，环境声来自所选声音库并按固定信噪比混入；组装侧按 Whisper 编码器统一长度尺度构造四档历史；打分侧用模型裁判按答案类型判定语义等价或是否属于基于证据的拒答。

回答拒答 × 证据移除： 回答拒答要求在历史不支持唯一答案时明确表示证据不足；证据移除是通过删除、弱化声学线索或解除绑定把可答题变成不可答题。移除的分工是只改变证据可得性而保持问题与上下文基本不变，拒答的分工是检验模型是否识别这种变化，组合后可区分真知道缺证据与本来就听不懂。

需要指出的缺项是论文未给出合成与裁判模型的完整超参数与全部提示全文以外的运行细节，复现时应以发布代码为准。无训练不等于确定性求解，合成、生成与裁判都可能带来随机性与系统偏差，论文用非被测模型做质检与双裁判一致性来控制其中一部分。

实验条件：模型、输入、长度与打分如何对齐？

被测对象是 15 个大音频语言模型，包括 10 个开源权重与 5 个专有模型，开源侧又分音频专用与全模态两类。所有模型都走原生音频接口接收用户轮，不给转录文本或单独语音识别前端。输入序列化对所有模型相同：按时间顺序平铺回合，用户轮为音频、助手轮为文本，每会话首个用户轮前放时间戳作为唯一会话边界标记，最终提问也是音频并带当前时间戳。任务指令要求利用音频本身而不仅是词，并允许在无唯一答案时回复证据不足。

长度用不属于任何被测系统的参考尺度度量，音频按 Whisper 编码器每秒 50 个 token、文本按对应分词器计算，8K 到 64K 指同一题目的四档发布历史，模型实际消耗的 token 数各不相同。历史由整会话构成，不截断单个会话。题目为开放短答，裁判只看问题、参考答案、答案类型与模型回复，不看对话历史。答案类型分无序集、有序序列、数值、是否等，拒答需归因于对话证据不足，能力或政策拒答记为不正确。双裁判一致性较高，报告的 Kappa 为 0.95 量级。

64K 完整评测只在 10 个能接受完整 64K 历史的系统上完成，跨长度比较时使用相同模型与相同题目集合。

主结果：说什么远好于谁说、怎么说与听到什么

要回答的核心比较问题是：在相同多会话历史与相同打分下，不同证据类型与不同长度上的准确率如何排序，专有与开源差距多大。指标方向是准确率越高越好，总分汇集可答与拒答题。 下表整理基准规模，说明结果的分母与历史量级。表前问题是基准是否足够大且覆盖多会话，公平条件是同一问题跨长度固定，指标是实例与会话计数。

表后解释是规模支撑了按证据、操作与长度的细格分析，但规模本身不证明难度，难度需看转录对照与模型分数。未胜出项是语义信息抽取按设计缺席，因此总分不含该格，跨操作比较需注意分母不同。 下表整理音频必要性质检，说明音频原生题确实需要听。

表前问题是文字捷径是否已被堵住，公平条件是同一题只替换用户轮为合成文字、其余不变，指标是裁判准确率。

表后解释是音频原生题在纯文字下几乎不可答，而语义题只小幅下降，支持 retained 题目需要声音的判断。代价是该质检只在 8K 可答题上完成，更长历史下的文字可答性由后续全历史门单独检查。

看图路径： 1. 先看横轴 8K、16K、32K 三档与纵轴四种证据类型加总分的列；2. 再对比上半专有模型与下半开源模型的分组均值行；3. 最后沿同一行向右看随历史变长分数是否下降

论文图 3。原论文 Figure 4:：“Spoken-memory performance across evidence types and history lengths.”。

上图是 15 个模型在 8K、16K、32K 下按证据类型的准确率热图，横轴为预算，纵轴按专有与开源分组，底部有分组均值。可见语义列明显高于 3 个音频原生列，且随预算向右颜色总体变浅。专有分组均值高于开源，但优势集中在语义列，音频原生列两组差距较小。像素不能精确读出每个格子的个位数时，应以正文报告的分组均值为准。 下表整理 32K 参考预算的主结果，保留专有与开源基线及 4 种证据。

表后解释是主要收益为定位了结构化失败：说什么远好于谁说、怎么说与听到什么。代价是即使最强模型总分也不足 40%，且开源在语义上更弱。未胜出项是大量开源模型在音频原生列徘徊在 15% 上下，需要先补听觉保持而非只扩上下文。

看图路径： 1. 先找到语义列被排除的一格，确认信息抽取无语义任务；2. 再逐行比较同一操作下四种证据的分数差异；3. 最后看拒答行与其他三行的高低顺序是否相反

论文图 4。原论文 Figure 5:：“Memory operations interact strongly with the information carried by past speech.”。

上图是 32K 下操作乘证据的平均准确率矩阵，每个格下标注题数。可见多会话推理行相对均衡，时序跟踪行在语义格高而在副语言与环境格极低，拒答行在副语言与环境格反而高于语义与说话人格。这种行列交互说明难度不在操作本身，而在操作所承载的信息类型。

操作与长度的反证：哪里崩，哪里只是起点低？

操作维度的关键对照已在上节引出，这里补齐数字表以便复述机制。下表比较多会话推理与信息抽取、时序跟踪在不同证据上的表现，说明合并证据不一定难于单会话抽取。

表后解释是时序跟踪在语义上最强，但在声音状态与声场景上近乎崩溃，支持瓶颈是有状态建模而非时序推理本身。反例是拒答在副语言与环境上更高，论文解释为模型本来就难以利用这些证据，而非真正识别缺证据，需结合可答与拒答分离表阅读。

下表整理长度效应，同一问题跨预算比较，问题与证据固定。

表后解释是更大上下文不保证稳定取用已有证据，说话人与环境随长度侵蚀更快，而副语言起点低但衰减率与语义相近，说明基线难度与长度敏感是两种失败模式。未评测边界是 64K 仅 10 个模型，跨预算均值需用相同模型集合。

看图路径： 1. 先看左图绝对准确率随 8K 到 64K 的四条曲线走向；2. 再看右图以各自 8K 为基线的保持率曲线分离情况；3. 最后核对右侧标注的四个保持率数值大小顺序

论文图 5。原论文 Figure 6:：“Accuracy scaling by evidence type across context budgets (8K–64K).”。

上图左为绝对准确率随预算下降，右为各自 8K 基线的保持率。可见语义绝对值最高，副语言绝对值最低但保持率曲线与语义接近，说话人与环境保持率更低。读图时注意右图纵轴是保持率而非准确率，曲线向下是相对自身基线的衰减，不能直接读成绝对分数。

看图路径： 1. 先看横轴八种子类型与每条堆叠条的样本量标注；2. 再比较蓝色定位段与橙色绑定段在不同子类型中的占比；3. 最后观察计数与聚合两行中绿色操作执行段的差异

论文图 9。原论文 Figure 10:：“Error composition by question subtype at 64K, in the five classes of Figure 7, macro-averaged over model \times evidence-type cells with at least five errors.”。

上图是 64K 下按子类型的错误构成堆叠条，分为识别定位、绑定关联、操作执行、无支持答案与不可归因。可见线索到事实关联错误的绑定段极长，计数行的操作执行段突出，聚合行几乎全是识别失败。这支持 3 类音频原生证据不是同一种难：说话人易错在跨会话归属，副语言与环境更常在推理前就没找回线索。

还不能说什么：边界与未测量项

论文直接报告的是准确率与保持率，未测量延迟、推理成本、误判率与真实部署中的语音识别误差，相关性也不构成因果，不能承诺扩上下文或换模型必然改善某类记忆。总体趋势不等于每组每步成立，例如个别模型在个别格可能不降，附录用配对自助区间说明 8K 到 64K 下降在样本层面受支持，但保持率排序的区间仍有重叠。错误归因依赖文本化审计与固定规则，虽避免审计员直接选类，但转录加标记本身是对声音的近似，可能漏掉细粒度听觉失败。

拒答的高分需谨慎解读，副语言与环境拒答高可能来自本来就听不懂，而非证据意识。合成语音、固定声音库与固定信噪比带来可控性，但与真实远场、重叠语音与多设备录音仍有差距，结论外推到真实对话需待验证。

复现先做什么：数据、划分、指标与运行

先按发布代码取 799 题与四档历史，注意同一题四档共享问题、答案与证据，只有干扰与填充扩展，比较长度时必须用相同题目与相同模型集合。输入按时间戳平铺，用户音频加助手文本，最终提问为音频，指令需包含证据不足时回复指定语句，否则拒答题不可测。打分用裁判模型按答案类型判定语义等价，有序序列要求元素与顺序都对，无序集要求无遗漏无多余，拒答要求归因于对话证据不足，能力拒答记错。

聚合时总分汇集可答与拒答，另行报告可答与拒答两列，因为二者排名几乎独立，只看总分会掩盖策略差异。资源状态方面，本次未发现来源绑定且完成验证的资源，不得声称代码、模型或数据已公开，复现前需自行确认链接可达与版本快照。被测模型版本在评价窗口内可能更新，开源模型应记录仓库修订，专有模型应记录接口字符串与日期快照。

何时值得尝试这个思路，还需补哪项验证？

当任务需要跨会话记住谁说了什么、语气如何变化、背景中出现过什么，并在数分钟到 20 分钟历史中定位与比较时，值得用该分类先做诊断：先测语义基线，再测说话人绑定，再测副语言与环境定位，最后测时序跟踪与拒答。若语义尚可但说话人差，优先补声音到内容的跨会话关联；若副语言与环境在短历史已低，优先补线索本身的感知与保持；若长历史特异性下降，优先补检索与状态维护而非一味加长窗口。

还需补的验证包括真实录音下的保持率、流式多轮中的更新延迟与成本、以及拒答阈值对用户体验的影响。论文的价值不在于给出最强模型，而在于提供可核对的格子与固定问题的长度对照，让后续工作能说清进步发生在哪个证据、哪个操作、哪个长度上。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-29 语音/音乐/音频论文速递