📄 只记得你说了什么，却忘了你怎么说的：长程副语言记忆的缺口

英文题目：VoiceLongMemEval: Do Assistants Remember How You Sounded?

一句话：VoiceLongMemEval 把“怎么说”埋进约 10 万 token 的多会话历史，用三级对抗门控逼答案只能从副语言恢复，证明 8 个模型在描述条件下均显著超越盲文本、而 Whisper 级联会系统性丢掉递送信号，代价是全合成数据与仅 oracle 区间的有限外推。

标签：#语音情感识别 | #大语言模型 | #音频理解 | #基准测试

评分：7.1/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Ramit Pahwa：机构信息未在 arXiv HTML 中可靠披露
• Parivesh Priye：机构信息未在 arXiv HTML 中可靠披露
• Apoorva Beedu：机构信息未在 arXiv HTML 中可靠披露

💬 毒舌点评

首次把副语言记忆从单句感知拉长到约 100k tokens 的多会话记忆，设计三级对抗门控确保答案不可从文本推断，概念干净且切中级联式语音助手的结构性缺陷；短板是 523 题全部为大语言模型合成与 Dia 1.6B 合成语音，仅 202 题核心集过盲对抗门控，衍生 321 题未单独门控，音频验证仅限 2 个 7B 模型且为 evidence-only 的 Oracle 评测，生态说服力与自然度仍有距离。

📌 核心摘要

针对长程多会话对话中助手只记住说了什么却丢掉怎么说的盲区，论文提出 VoiceLongMemEval（VLME）基准，强制每个答案只能从副语言元数据中恢复。方法以 LongMemEval 为干草堆底座，叠加 12 类情绪、韵律五元组（语速、音高、响度、停顿、逐字强调）、5 类声音事件（laughs/sighs/coughs/clears_throat/gasps）、讽刺与不确定性标记及声学描述的三渲染层，并通过盲不可解（G1）、描述可解（G2）与表层清洁（G3）三级对抗门控筛题。相比已有长记忆与副语言感知基准，该工作首次系统度量跨会话的副语言记忆与更新，并量化级联自动语音识别流水线在记忆层面的信息损失。实验显示 8 个模型在描述条件下相对盲文本均有 +0.089 至 +0.383 的显著提升（\(p<0.001\)），结构化标签渲染可达 0.757，音频原生 7B 模型在语音输入下达到 0.412 超过盲基线 0.325，而 Whisper large-v3 级联仅 0.254。该基准为语音助手记忆系统保留结构化副语言标注并配合检索时提示提供了可复用评估框架，但合成数据分布、仅 10k-15k tokens 的 Oracle 评测与有限音频模型覆盖限制了外推。

🔗 开源与复现资源

• 代码：论文中未提及可公开访问的 GitHub 链接，仅在正文第 1 节声明 Code and dataset will be made available upon acceptance，在 NeurIPS 自查表第 5 题声明匿名仓库位于 ANONYMIZED-URL-HERE，去匿名版本将在发表后公开
• 模型权重：论文中未提及权重发布链接或 HuggingFace / ModelScope 地址，仅说明评估使用了托管的前沿模型 API 以及开源权重模型，未提供下载链接
• 数据集：论文中未提及公开数据集链接，介绍的新资产为 VoiceLongMemEval 即 VLME 基准，包含文本条目、提示词、门控规则、音频合成脚本和清单，论文声明包含在上述匿名仓库中并将在发表后公开发布，未给出 HuggingFace 数据集链接、文件数或开源协议的 URL，提及音频均为机器生成且音色克隆自已授权的 RAVDESS 参考片段，人工质检通过 91 / 104 个片段，通过率为 87.5%
• Demo：论文中未提及在线演示链接
• 复现材料：论文在第 4 节说明评估条件、上下文机制、模型列表、解码设置和随机种子数量，附录提供完整提示词和分条件细节，匿名仓库据称包含复现主实验结果的完整评估代码和使用说明，音频合成配方在第 3 节及附录中记录，包含 \(guidance\_scale=3.0\)、\(temperature=1.8\)、\(top\_p=0.9\)、\(top\_k=45\) 和按片段固定的随机种子，未提供具体训练配置或检查点保存路径
• 论文中引用的开源项目：论文提及以下资产但均未在正文中给出具体 URL 链接，分别为 RAVDESS、Dia TTS 来自 Nari Labs 2025、Whisper large-v3、Qwen2-Audio-7B、Qwen2.5-Omni-7B、Qwen2.5-72B-Instruct，以及用于对比评估的 Gemma 3-12B、Llama 3.3-70B、Llama 4 Maverick 等，论文在第 12 题自查表中说明已按各自许可证和服务条款使用

🧭 深度解读

为什么“怎么说”比“说了什么”更难记住？

想象一个用户用平板的语气拖出一声叹息说：“那家餐厅还行吧。”两周后他问助手：我那天对那家餐厅到底什么感觉？如果助手只存了文字，会自信地回答“你觉得还行”。但真正听懂的人会记得，那个慢、低、带叹息的递送已经把“还行”翻译成了“失望”。文字是物流，情绪是声学。

今天的长记忆助手已经能在 100 个会话里找回某个订单号，却几乎没有被要求去找回一声叹息。问题不在于模型听不见单句的情绪——单句情感识别早就可测——而在于它能否把那种听见保留下来、跨会话更新、并在很久以后被一个与声音无关的自然提问重新唤起。

副语言记忆 × 长程记忆： 副语言记忆指记住“怎么说”——语速、音高、响度、停顿、笑叹等递送方式承载的情绪与态度；长程记忆指在跨越多会话、约 100,000 token 的历史中仍能检索并更新信息。二者单独都已被测，但 VLME 首次把它们交叉：要求模型在数周后的提问中，凭借当初那一声叹息而非那句中性台词来回答，组合后才暴露出当前助手“只记词不记调”的结构性盲区。

VLME 要测的正是这个交叉点。它不做新的模型训练，而是做一把更细的尺子：把答案的唯一钥匙藏在递送里，让文字本身保持中性甚至误导，再用干草堆把钥匙埋深，最后看模型能否在数 10000 token 后把它捞出来。

两条已有的赛道，为什么在此交汇前都绕开了声音？

长程对话记忆这条线，从 MSC 的多会话设定，到 LoCoMo 把历史拉到极长，再到 LongMemEval 用可扩展的干草堆把记忆拆成抽取、多跳推理、时序与更新，测的一直是“说了什么”。即使最近的 PrefEval 与 PersonaMem-v2 开始关注隐式偏好与个性化，证据也仍是写在字面上的。

另一条线是语音的副语言感知。Dynamic-SUPERB、AIR-Bench、SD-Eval、CP-Bench 等把情绪、韵律、口音放进单句理解，甚至让模型根据情绪改变回复，但都停在单轮感知。它们能判断此刻的叹息，却不问两周后还记不记得。

第三个背景是工程现实：线上语音助手大多是级联的，ASR 把声音压成文字后才交给大语言模型。这条流水线在单轮评测里已被证明会丢韵律，但没人在记忆层面量化过：1 次转写丢掉的叹息，会在几周后如何悄悄污染答案。VLME 把前两条学术赛道与第三条工程现实拼在一起，补上了“跨会话的怎么说”这 1 维度的缺口。

任务如何定义：什么算答对，什么算泄漏？

VLME 的任务定义刻意严苛：每个问题的正确答案只能从副语言元数据中恢复，单看文字必须不可解。换句话说，题目要同时满足两条不变式——盲文本下强模型必错，描述文本下强模型可对。做不到这一点，就不是在测副语言记忆，而是在测文字推理。

为了让研究生直观理解 6 种能力的分工，先在此看懂题型设计比看数字更重要。下图把 6 类探针并排展示，每一行都是同一个结构：左侧是数周前的证据，右侧是后来的提问，提问后分叉为“只看词”与“词+ 副语言”两条路径。此时看图最能建立直觉：左侧波形与标签如何让同一句话产生两种相反解读，右侧红叉与绿勾如何定义了 VLME 要测的差距。

看图路径： 1. 先看左侧 EARLIER SESSION 的文字与波形+ 副语言标签，再看右侧 SESSIONS LATER 的探针问题；2. 对比每行右侧 WORDS ALONE 的红叉错误与 WORDS+PARALINGUISTICS 的绿勾正确，体会同一句话因递送不同而答案翻转；3. 自上而下扫六种题型，观察从单点回忆到跨会话弧线、时序对比与韵律消歧的难度递进

论文图 1。原论文 Figure 1:：“Original Benchmark Questions”。

图中可见六行自上而下分别是 affect-recall、affective-preference、affect-update、cross-session、temporal-affective 与 prosody-disambiguated。左侧每段证据都配有深绿色波形与 slow-low-sighing、clipped-loud-clears throat 等递送标签，右侧探针如“Was I okay with dropping the pottery class?”在 WORDS ALONE 分支得到“A practical decision.”的红叉，在 WORDS+PARALINGUISTICS 分支得到“Quietly heartbroken.”的绿勾。最右侧纵向箭头标注 the gap VLME measures，正是盲与描述两条路径的准确率差。图中关键在于：文字在所有行里都保持中性或正向，只有加上递送才发生答案翻转，这正是后续对抗门控要形式化保证的性质。

流水线全景：从标注到干草堆再到三道门

VLME 不是 1 次性生成问答，而是 4 阶段的合成与筛题流水线。输入是 LongMemEval 兼容的对话模板与副语言标注规范，输出是 523 题、326 个带标注证据会话、约 100,000 token 历史的评测集，支持盲文本、描述文本与音频 3 种渲染。

第一阶段叠加副语言层：每轮用户发言附加 5 类标注——12 类情绪、含语速/音高/响度/停顿/逐字强调的韵律元组、laughs/sighs 等 5 类声音事件、讽刺与不确定性标记、以及纯声学的自由文本描述。描述需过词法门控，过滤约 60 个解释性词汇，避免把任务退化为标签字符串匹配。

盲渲染 × 描述渲染： 盲渲染是只给转写文本、与 LongMemEval 字节一致的对照条件，也是对抗者的视角；描述渲染是在同一文本上叠加声学舞台指示的实验条件。盲负责证伪——若盲可解则题目作废，描述负责证真——若描述可解则信号有效，二者配对出现才能把“因副语言而提升”的增益从通用推理能力中剥离出来。

第二阶段创作证据并组装干草堆：大语言模型按 14 个主题批次生成 4-12 轮证据会话，每实例最多 26 个证据轮次；组装器对含 k 个证据会话的实例确定性加入 40 个填充会话与 6+2×(k-1) 个情感干扰会话，针位按早中晚分层，干扰预算随 k 缩放以防情感密度捷径。第三阶段做 3 级对抗门控，第 4 阶段生成问题与合成语音，细节在下一节拆开。

三道门与两大家族：如何把“不可从文字猜到”落到可执行？

门控是 VLME 最硬的工程。G1 盲不可解要求 Qwen2.5-72B-Instruct-AWQ 只看盲文本时被大语言模型判官按类型特定规则判错，词法可解的陷阱答案被显式当作反例；G2 描述可解检验同一模型在描述渲染下能否答对，用于报告能力而非筛题，72B 可解率 57.9%；G3 表层清洁做静态词表与价态预设检查。

流程先用 7B 判官迭代，再用 72B 冻结文件连续 2 次通过才算过门，72B 盲对手额外攻破了 7.5% 通过 7B 门控的题。事后总结出 5 类泄漏机制——语用先验、结果暗示、金答案匹配先验、默认恢复先验与 A/B 赠送——作为后续批次的清单。

对抗门控 × 词法泄漏： 词法泄漏指答案其实能从字面、常识或情节结果中猜到，无需听语气；对抗门控是堵住这类捷径的三道筛——G1 盲不可解、G2 描述可解、G3 表层清洁。门控的职责不是提升模型，而是让基准本身变严格：只有连续 2 次被 72B 盲对手判失败的题目才算合格，组合后才敢说测到的是副语言而非文字线索。

问题生成分两大家族。核心 202 题是 6 类能力的正交分解：affect-recall、affective-preference、affect-update、cross-session-affect、temporal-affective、prosody-disambiguated，每类约 15% 为弃答变体，讽刺每批次限 1 题以防坍缩为讽刺检测。Nuanced 181 题与 Indirect 140 题则从同一批已门控证据会话派生，前者问“递送意味着什么”，后者问“助手该做什么”而不提声音，二者均未单独过盲门控，仅依赖已门控证据与机械不变性校验。音频合成用 Dia 1.6B 双说话人 TTS，以 RAVDESS 参考片段做音频提示实现情绪控制，采样参数 guidance_scale 3.0、temperature 1.8、top_p 0.9、top_k 45，人工试听 91/104 通过。

没有训练的基准：它如何完成“学习”与“推理”？

需要先澄清，VLME 没有训练任何新模型，也就没有损失函数、优化器或训练硬件。它的“学习”发生在数据合成侧：大语言模型按标注规范创作证据会话，再经 3 级门控筛题；它的“推理”发生在评测侧：复用既有模型在给定上下文上做零样本问答。

证据会话 × 干草堆： 证据会话是埋针的那几轮对话，携带全部副语言标注，是答案的唯一来源；干草堆是由 40 个填充会话与随 k 缩放的情感干扰会话构成的约 100,000 token 历史，负责制造检索难度与话题漂移。证据提供信号，干草堆提供噪声，组合后才能在 oracle 与 full 两种 regime 下分别测“能否读懂”与“能否找到”。

确定性求解体现在两处。一是干草堆组装：对含 k 个证据会话的实例，填充与干扰的抽样与排序由种子确定，针位分层固定，保证可复现；二是评估协议：n_d=5、3 个随机种子控制干扰采样与排序，提示词固定为“基于历史简洁回答 1-3 句，信息不足则弃答”，判官为大语言模型按类型特定规则做二值判定，并辅以 paired bootstrap 10,000 次与 McNemar 检验。

开放权重模型以 AWQ 量化在单 GPU 节点运行，闭源模型经托管 API 访问，解码温度等未披露。音频侧则固定每片段种子与采样参数，确保同一证据的声学实现可重放。整个过程没有梯度更新，只有可复现的合成、组装与评测流水线。

根据论文正文整理合成与求解的关键控制：

表后可见，流水线的确定性来自种子固定的组装与评测，而非模型权重。证据会话提供唯一信号源，干草堆提供可控噪声，门控提供质量保证，三者共同让“没有训练”仍能得到可复现的记忆测量。

用哪些数据、怎么比、拿什么当尺子？

理解实验前，先把数据与协议的刻度对齐。VLME 提供 oracle 与 full 两种 regime，主实验仅测 oracle，即证据加 5 个干扰会话的约 10-15k token 窗口，full 的约 100k token 历史尚未在主结果中评测。被测模型 8 个，覆盖 Claude Opus 4.8、Sonnet 4.6、GPT-5.5 等闭源前沿，以及 Llama 4 Maverick、Qwen3.5-122B-A10B 等开源权重。

评估指标是自由文本回答经大语言模型判官判定的准确率，方向为越高越好，报告 3 种子均值±标准差，配对比较用 bootstrap 与 McNemar，显著性阈值 p<0.001。音频评测在 Indirect v2 的 114 个证据会话上进行，其中 104 个有有效 TTS 输出，文本基线用 114 题，音频与级联行用 104 题，均为 evidence-only。

根据论文正文与图中报告值整理数据集与协议：

表后需要强调，协议的公平性来自配对设计：同一题目在盲与描述两种渲染下由同一模型回答，Δ 取配对差的均值而非边际均值之差。统计上用 10,000 次 bootstrap 与 McNemar 保证 p<0.001 的显著性，硬件上开放权重以 AWQ 量化在单 GPU 节点运行，闭源经 API 访问，但解码温度与耗时未披露。

主结果：描述性副语言是否在对抗门控后仍拉开差距？

第一个要回答的比较问题是：在已通过 G1/G3 门控的 Original 202 题上，描述性副语言标注能否在配对条件下稳定拉开与盲文本的差距，且该差距是否随模型能力单调变化。统一条件为 n_d=5、3 种子、oracle 窗口，基线为盲文本，指标为准确率越高越好，Δ 为描述减盲的配对均值。

根据论文正文与 Table 2 报告值整理主结果：

级联流水线 × 音频原生模型： 级联流水线指 ASR 先把语音转成文字、再交给大语言模型，优点是复用强大文本模型，代价是在转写边界把韵律与声音事件全部剥离；音频原生模型直接以波形为输入，保留声学通道。VLME 在同一批合成语音上对比二者，正是为了在记忆层面量化那道转写边界到底丢掉了多少“怎么说”。

表后需要做 3 层解读。最公平的净收益是所有 8 个模型的 Δ 均为正且 p<0.001，按 Δ/(1-盲) 归一化后排序不变，说明增益不是盲基线过低的假象；从 Gemma 的 +0.089 到 Opus 的 +0.383 单调上升，且盲准确率被压在 0.09-0.18 的均匀低位，佐证门控已剔除词法可解项。

一个失败项是 Llama 4 Maverick 约 400B MoE 的 +0.106 低于 Llama 3.3-70B 的 +0.120，说明参数规模本身不决定副语言记忆能力。不能由这张表推出的是 full 100k 长程检索的难度——主实验仅在 10-15k oracle 窗口完成，外推至真实长历史仍需验证。

第二个比较问题是：该增益在更自然提问与真实语音输入下是否保留，以及级联 ASR 是否系统性丢信号。统一条件为 Indirect v2 evidence-only，文本基线 114 题，音频与级联 104 题。结果显示音频原生在无任何文本标注时已超越盲基线 0.325——Qwen2.5-Omni 0.412、Qwen2-Audio 0.354，而 Whisper→Opus 级联仅 0.254，低于盲基线与全部音频原生模型 0.10-0.16。叠加描述元数据后音频原生升至 0.509 与 0.541，逼近描述上界 0.675。转录分析在 104 片段中均未发现括号化声音事件或填充词，证实递送线索被剥离且伴随内容误转。

什么在起作用：标签、韵律、提示与提问方式的层次

为了剥离“有标注”与“标注内容”的贡献，论文在 Original 202 题上对 Opus 与 GPT-5.5 做了 9 种渲染消融。盲文本 Opus 0.193、GPT 0.129；随机情感标签的 wrong-metadata 仅升至 0.228/0.183，说明模型不是因“有东西”而变好，而是真的在读内容。

情感标签 × 韵律元组： 情感标签是 12 选 1 的类别判断，覆盖效价-唤醒平面，给模型一个显式结论；韵律元组是语速、音高、响度、停顿与逐字强调构成的结构化证据，给模型可追溯的声学依据。标签更易被推理直接使用，韵律更贴近真实信号，二者搭配才能回答“模型到底需要哪种粒度的副语言”——实验显示标签最强、结构化标签又优于自然语言描述。

最反直觉的是 emotion-only 以 Opus 0.614、GPT 0.535 超越了完整自然语言描述的 0.589/0.475，而结构化 tagged 更达到 0.757/0.624，超出描述 0.16 以上。思维链在无元数据时 cot-blind 仅 0.302/0.203，远不及任何带元数据条件；但叠加到描述上 cot-descriptive 可达 0.767/0.668 的最优。层次清晰：显式类别最易被推理利用，结构化优于自然语言，思维链无法替代缺失的上下文。

提问的显式度同样决定增益。Nuanced 181 题因问题本身就点名语气，affect gap 达 +0.61 至 +0.69；Original 202 题为直接情感问，gap 为 +0.09 至 +0.38；Indirect 140 题为完全自然、不提声音的开放问，gap 骤降至 +0.06 至 +0.18。此时检索时提示“回答时不仅考虑说了什么，也考虑怎么说的”能把 Indirect 的描述准确率从 0.305 拉到 0.631，盲文本亦从 0.169 拉到 0.557，说明提示与标注在未门控集上部分互换。

但在已门控的 202 题上，提示仅把盲从 0.188 抬到 0.267，gap 反而从 +0.376 扩大到 +0.465，证明门控集的副语言不可替代。最干净的净贡献来自 descriptive+hint 0.631 对 wrong-metadata+hint 0.564 的 +0.067，剥离了提示与标注存在感后仍为正。

根据正文报告值整理关键消融与失败条件：

表后可见，消融的价值在于分层：标签提供结论，韵律与事件提供证据，结构化提供可解析性，提示提供检索时的注意力引导。每一层都有增益，但没有一层能单独替代“在编码时就保留副语言”这一前提。

边界在哪里：合成、区间与判官的三重约束

论文在讨论与局限中坦诚了六点。合成创作导致情绪分布与自然对话有偏差；主评估仅 oracle 约 10-15k token，完整约 100k regime 未测；音频评估限于两个 7B 模型；大语言模型生成问题集可能引入分布偏置。

大语言模型即判官在情感内容上可能有偏，需人工评估加强；G1 门控仅对无提示 72B 对手认证，带提示前沿模型在 202 题盲条件下可达 0.267，认证具提示依赖性。

更值得关注的是衍生家族的边界。Nuanced 与 Indirect 的 321 题未单独过盲对抗门控，实验显示在 Indirect 上 wrong-metadata+hint 0.564 与 blind+hint 0.536 相当，说明部分题仍可通过通用情感推理破解，副语言不可替代性不足。干扰会话为合成中性标注，与真实长程历史的噪声与话题漂移差异较大，也未报告长上下文检索与 RAG 基线。

根据正文错误分析与局限整理边界：

表后可见，边界不是零散的免责声明，而是系统性的外推限制：合成让信号可控却牺牲自然度，oracle 让对比干净却回避检索，门控让基准严格却依赖特定对手与提示。错误分析中 85 题 gap 贡献者、78 题双错、29 题双对、10 题 metadata hurts 的分布，正好对应了“有效、天花板、残余泄漏、幻觉”4 类结局。

可复现性：哪些已公开，哪些仍缺口？

可复现的骨架已经给出。门控对手与判官均为 Qwen2.5-72B-Instruct-AWQ，类型特定规则与连续 2 次通过准则已披露；干草堆组装的确定性种子、针位分层、干扰预算公式与探针预算均有记录；音频合成配方含 guidance_scale 3.0、temperature 1.8、top_p 0.9、top_k 45 与按片段固定种子；评估协议含 n_d=5、3 种子、提示词全文与统计方法。匿名仓库据称包含基准、提示词、门控规则与合成脚本，去匿名后将公开。

缺口也在明处。论文未发布核心代码、模型权重或数据集的公开链接与许可证 URL；未说明解码温度、beam size 等生成超参与具体 GPU 型号与耗时；full 100k token 的评测未执行；音频仅 104 片段与 2 个 7B 模型，难以评估方差与泛化。依赖资产如 RAVDESS、Dia、Whisper、Qwen2-Audio/Omni 等均未在正文中给出具体 URL，复现时需自行对齐版本。

根据正文整理可复现清单与缺口：

表后建议，对于想复用的研究生，先在 oracle 上复现 9 种渲染的排序与提示干预的 +0.067 净贡献，再逐步扩展到 full 与真实录音。先验证门控的有效性，再谈模型的能力排序，才不会把基准的严格性误读为模型的强弱。

收束：给记忆系统设计者的三条可操作结论

回到开头那句“还行吧”。VLME 用 523 题证明，记住这句话的文字与记住它的叹息，是两种不同的记忆能力。前者在所有模型上都已可测，后者在对抗门控后仍能拉开 +0.09 至 +0.38 的差距，且该差距在结构化标签下可达 0.757，在音频原生模型上可直接从波形中恢复 0.412，而级联流水线在同一语音上仅 0.254。

对实践的启示是分层的。第一，记忆系统应保留结构化副语言元数据，而非仅存转写文本；第二，检索时用一句“考虑怎么说的”提示能显著提升自然提问下的利用率，但不能替代已门控集上的真实标注；第三，级联不是能力天花板而是架构选择，7B 音频原生在相同片段上已超越盲基线与级联前沿，说明丢信号发生在 ASR 边界而非模型规模。

作为基准，VLME 的价值在于把“不可从文字猜到”做成了可执行的门控与可复用的流水线；其局限在于合成分布、oracle 区间与有限音频覆盖。下一步最值得做的，是把同一套门控搬到真实长程对话与 full 100k 检索上，并让更多音频原生模型在同一干草堆里接受检验——那时我们才能回答，助手是否真的记得你当时的语气。

⚖️ 评分依据与证据（展开查看）

← 返回 2026-09-02 语音/音乐/音频论文速递