文字上能记住的多轮对话，换成语音还记得住吗

📄 文字上能记住的多轮对话，换成语音还记得住吗

英文题目：Do Multi-Turn Conversational Capabilities Carry Over from Text to Speech? A Parallel Multilingual Benchmark

评分：6.5/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Jiaming Zhou：机构信息未能在本次解析中与作者逐人可靠绑定
• Pei Zhang：机构信息未能在本次解析中与作者逐人可靠绑定
• Shiwan Zhao：机构信息未能在本次解析中与作者逐人可靠绑定
• Zhijun Wang：机构信息未能在本次解析中与作者逐人可靠绑定
• Baosong Yang：机构信息未能在本次解析中与作者逐人可靠绑定
• Yong Qin：机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

多轮语音交互要求模型记住早前轮次的信息，遵守持续有效的指令，并跟踪被修正的对话状态，难点在于这些要求在文字转写上成立时，换成直接语音输入是否仍然成立。论文先对来源对话做平行筛选与本地化，保留相同对话、轮次结构、跨轮依赖和评分标准，再为英语保留人工录音并另设英语合成对照、其余九种语言用固定声音合成用户语音，得到354组对话和1404个评分条目的Omnilingua-AudioMC，当前轮之前的助手回复统一固定为文字以隔离用户输入表示的影响。评测在指定轮次只生成一次回复，用二值条目判定是否满足记忆、指令保持、自我一致和语音编辑四类要求，再比较同一条目在文字和语音下的成对结果，并进一步把历史用户语音或当前轮语音替换为文字以定位可恢复的退化。六个主要语音语言模型的对照显示，Muse-Spark文字实例成功率为64.0%，直接语音降至32.4%，下降31.6个百分点，而Qwen3.8 Omni文字为60.9%，语音为60.2%，基本持平，说明转移程度与模型和语言都有关。把历史用户语音替换为被测模型自己生成的文字后，Muse-Spark回升20.1个百分点，明显大于只替换当前轮的6.2个百分点，同一数值顺序在十种语言中都成立。该结论只适用于固定上下文单次生成的诊断性评测，不覆盖在线误差累积、延迟与轮流发言；历史替换涉及多轮语音而当前轮只替换一轮，无法区分历史内容与替换音频量的作用，非英语语音均为合成且英语合成对照不能证明各语言合成效应等价，交互区间跨越或接近零，成对转移仍是观察到的成败而非稳定能力。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/QwenLM/Omnilingua-Bench/tree/main/Omnilingua-AudioMC — 暂时无法访问

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

多轮语音对话为什么不能只看文字成绩

刚进入语音对话领域的读者可以先抓住任务形态。输入是一个多轮对话，前面有多轮用户说话和助手文字回复，到某一指定轮需要模型生成回复。输出就是这一轮的助手回答。评价只看这一个回答是否满足预先写好的多条标准。

关键在于必须保留的信息。用户可能在 3 轮前说过一个偏好，中间又修正过数字，模型在最后一轮要同时记住最初信息、遵守持续有效的指令、并执行最新的修改。文字评测把用户话语直接给文字稿，语音评测把同样的用户话语给音频。论文要回答的是：文字稿上能做对的要求，换成语音是否还做对，以及这种保持能力在不同语言是否一致。

已有语音模型越来越多声称支持多语言对话，但常见评测要么只测单轮听懂，要么文字和语音用的不是同一批对话。这就无法区分是题目不同还是形态不同。本文的动机是做一组严格平行的数据，让同一对话在文字和语音、10 种语言下都可比，从而把形态带来的损失分离出来。

与已有平行评测和语音指令评测有何不同

在输入、目标和运行阶段相同的前提下比较，平行文本评测如跨语言推理和数学推理扩展，主要控制语言间的题目一致性，但不改变对话上下文的呈现形态。本文继承这种平行思想，并额外改变上下文是文字还是语音。

语音指令类工作把指令遵循与语音感知分开，或提供平行书面与口头提示。本文的不同在于聚焦多轮状态：信息、约束和修正在多轮间保留和更新，并在同一对话上检验哪种输入处理能恢复失败。

直接前身是 AudioMC。它提供人工录制英文对话和固定上下文二值评分协议。本文在其上做严格多语言扩展，保留 4 个能力维度，并增加配对的能力迁移分析和历史与当轮的转写干预，而不是只比较直接语音与统一识别器级联的优劣。

论文要解决的三个具体问题是什么

第一个问题是迁移是否稳定。同样从文字换到语音，不同模型掉多少分，不同语言掉多少分，文字上的语言强弱排序在语音下是否还成立。如果文字第 1 名到语音变成最后 1 名，就说明文字成绩不可靠。

第二个问题是总分差是否掩盖了细节。即使平均分只差一点，也可能是一部分文字成功在语音下丢失，同时另一部分语音新成功补上。需要逐条标准配对，看保留下来的究竟是哪些要求。

第 3 个问题是可恢复的损失来自哪里。把历史用户语音换成文字、当轮换成文字，分别能挽回多少分。如果换历史比换当轮更有效，就说明历史语音的表征是重要瓶颈。但论文也明确限定，这只是行为层面的定位，不等于找到了内部记忆机制。

Inference Memory × Instruction Retention × Self Coherence × Voice Editing： Inference Memory 考跨轮记住并更新事实，Instruction Retention 考长期遵守用户指令，Self Coherence 考与自己此前回答保持一致，Voice Editing 考按口头修订指令改写。四种能力都要求保留或修正对话状态，只是对象不同：事实、指令、自身输出、修订后文本。合在一起覆盖多轮对话中最容易因历史丢失而失败的环节。

总体流程：同一对话如何变成十语言两种形态

可以沿一个英文原始对话走一遍。起点是人工录制的英文多轮对话和逐轮文字稿，文字稿保留犹豫、重复、结巴和自我修正，例如把 80% 说成 85% 又改回 70%，3 个数值都要可听见。

然后是本地化。不是逐句直译，而是带着英文源历史和已本地化的前文逐轮改写，保证指代、术语和修正顺序一致。产物是口语化目标语言文本，它同时充当该语言的 Reference Transcript 输入和语音合成的文本内容。这样文字和语音锚定到同一交互意图。

接着是语音实现。英文保留原始人声，另做一个合成英文对照；其他 9 种语言用同一多语言合成系统、按对话固定说话人映射合成。音频是 24 kHz 单声道。最后是验证：文本审自然度和实体一致性，音频用多个识别系统转写后再与口语化参考做语义比对，筛出遗漏、增添或改义，确认缺陷则用同一文本和同一声音重合成。

平行过滤保证可比性。若某对话在任一必需语言无法可靠实现，就从对齐集合中连带去掉。最终是 354 个对话、1827 个用户轮、1404 条评分标准，每种语言都有对齐的文字和语音条件。

执行上先做转录分析，抽取语义内容、最终意图和犹豫、重复、假启动、自我修正等标注；自我修正特别保留被撤回的中间值及其出现顺序，不只保留最终值，以维持原有的推理要求。每轮本地化都可访问英文源历史和已完成的本地化前文，维护实体、指代、术语和状态更新的一致性；结构检查核对关键值在口语文本中的有序出现，区分返回早前值的修正顺序。口语化目标文本同时作为合成内容和参考转录输入，另有流畅改写仅用于构造期语义比对，不用于合成或评测。

合成使用同一多语言合成系统与显式语言标签，对话到声音的映射冻结并在合成语言间复用，不假定跨语言音色同一；合成英文对照沿用不变的英文参考转录，只改变语音实现。输出为 24 kHz 单声道 16 位脉冲编码调制音频，并附由标点、话语填充词和对话语境生成的语速与停顿指导。音频审核先用多个识别系统转写并取最小归一化字符错误率排序送审，再由模型结合参考文本判断遗漏与增添或替换，区分人名、数量、否定等任务相关改动与拼写、音译、数字格式差异。

含糊情形转入人工或语音学复核而非直接淘汰。确认缺陷后用同一口语参考文本和原定声音重合成并重新转写与时长检查，参考文本与评分标准保持不变。

对齐集合经过逐层平行过滤：含背景音的记忆类对话因超出纯语音范围先行排除，确认缺陷且无法可靠修复的对话连同其所有语言对齐版本一并移除，另有少量无法实现的对话在实现层过滤，最终形成 354 对话的对齐集合；评分条目随对话同步移除并保留原始编号以维持跨条件对齐。合成的 16438 个用户轮全部经过 5 路识别证据融合筛查，仅最小跨识别字符错误率超过 5% 的轮次进入语义裁决，修复后重评实例成功率变化至多 0.15 个百分点；每语言另抽 50 个对话做人工验证，其中 10 个为跨语言共享内容，以同时估计缺陷率并直接比较同一内容。

History Transcript × Current Transcript × Full Transcript： History Transcript 只把此前多轮用户语音换成被测模型自己转写的文字、当轮仍是语音，Current Transcript 只换当轮、前史仍是语音，Full Transcript 两处都换。三者与 Direct Audio 组成 2×2 干预，分别探测对历史表征和对当前问句表征的敏感性，合在一起再看两者效应如何叠加。

四种能力分别考什么状态跟踪

Inference Memory 要求记住多轮前提及的事实并做推理，例如记住用户过敏史并在推荐中避开。Instruction Retention 要求记住长期指令并持续执行，例如全程用某种格式或避开某类内容。Self Coherence 要求不与自己此前的回答矛盾。Voice Editing 要求按用户口头修订改写已有文本，例如把数值、措辞按最新口令改对。

这 4 类共享一个难点：正确答案依赖前面轮次建立的状态。模型不能只理解当轮问句，还要正确调用历史。论文保留这 4 类，正是因为它们对历史表征最敏感，适合检验语音历史是否被有效利用。

本文没有训练模型，实际执行的是什么计算

需要明确，本研究没有训练任何语音语言模型。6 个主力模型和 4 个本地模型都是已有模型，论文只执行评测和干预。

实际计算分三步。第一步是构造数据：本地化、合成、识别验证和人工抽查，属于数据工程而非梯度更新。第二步是推理：按固定上下文协议，在指定轮只生成一次回答，历史助手回答固定为文字，不做多轮滚动生成。第三步是判分：用 o4-mini 按同一英文评分提示对每条标准判满足与否，再聚合成 rubric 成功率和 instance 成功率。

转写干预中，被测模型先把相应用户语音转写成文字，冻结后复用于对应条件。这一步增加了处理，不是与直接语音计算量对齐的对照。因此转写带来提升不能直接解读为内部机制更优，只能说改变输入表征可恢复部分行为。

评测条件、指标方向与公平比较如何保证

核心条件有 5 个。Reference Transcript 给口语化文字稿；Direct Audio 给语音，英文用人声、其他语言用合成语音；History Transcript 只把历史用户轮换成该模型自己转写的文字；Current Transcript 只换当轮。

Full Transcript 两处都换。历史助手回复在所有条件下都是固定文字。判分模型和评分条目相同。

指标方向是成功率越高越好。rubric 成功率是满足的条目占已评分条目的比例，instance 成功率要求一个对话的全部条目都满足，更严格。 headline 分析是十语言等权平均，英文用人声计入平均，合成英文只作实现对照。配对和干预分析用比较相关的共同完整集合，以排除缺失判分的影响，并用对话级自助法给出区间。

Reference Transcript × Direct Audio： Reference Transcript 指保留口吃、重复和自我修正的文字稿条件，它只去掉声音处理难度；Direct Audio 指同样的用户轮直接给语音，助手历史仍是文字。两者共用同一对话、同一评分条目，因此成绩差可以归因于输入形态和语言，而不是题目变了。组合起来就构成文字到语音迁移的对照基线。

rubric 项成功 × instance 成功 × 存活率： rubric 项成功指单条评分标准被判满足，instance 成功指一个对话要求其全部所属 rubric 项都满足，条件更严；存活率指在文字条件下通过的 rubric 项中，到语音条件下仍通过的比例。三者分工是：细粒度看哪条要求丢了，整对话看是否可用，存活率看文字成功有多少被真正保留。

边际分数 × 配对分析： 边际分数指每个条件下用其可用判定直接算出的平均成功率，用于看总体高低；配对分析指只在两个条件都判分完整的相同对话或相同 rubric 项上比较，跟踪同一条要求从成功变失败或反向变化。两者搭配才能发现总分不变但成功集合已互换的情况。

文字第一名到语音会发生什么

先看数据集规模，确认下面数字的分母是一致的对齐集合。

上表说明比较基础是 354 个对话、1404 条标准在各条件对齐，能力分布和语言覆盖固定，因此跨条件差异可归因于语言和输入形态。

下图是 6 个主力模型的总体对照，数值为十语言平均 instance 成功率。灰线连接文字与语音，青点是只替换历史的效果。

看图路径： 1. 先看每行灰线左端文字成绩与右端语音成绩的距离；2. 再看青色 History 点相对灰线右端回升了多少；3. 比较 Muse-Spark 与 Qwen3.8 两行的回升幅度差异

论文图 1。原论文 Figure 1:：“Overview of the six primary models: gray segments connect Reference Transcript and Direct Audio; teal points show History Transcript, which replaces preceding user turns with…”。

从图中可见，Muse-Spark 文字最高但语音掉得最多，Qwen3.8 文字与语音几乎持平且语音最强。History 替换对前者回升明显，对后者几乎不动。这提示转写干预并非普遍有益，其效果取决于模型对语音历史的敏感程度。

下表给出直接语音的绝对成绩，平均值是十语言宏观平均。

表中 Qwen3.8 在十语言平均 60.2% 居首，Gemini 3.1 Pro 为 54.4%，Muse-Spark 仅 32.4%。但绝对高低不等于形态损失大小，损失需要看文字到语音的配对下降。论文报告 Muse-Spark 从 64.0% 降到 32.4%，下降 31.6 个百分点；Gemini 3.1 Pro 从 63.0% 降到 54.4%，下降 8.6 个百分点；Qwen3.8 从 60.9% 到 60.2%，仅差 0.7 个百分点。

语言层面也不均匀，Muse-Spark 每语言掉 25 到 35 个百分点，Qwen3.8 每语言在 3 个百分点以内波动，甚至日语和泰语语音还略高于文字。中文是 Gemini 3.1 Pro 文字下最强的非英语之一，到语音却成为较弱项，说明语言强弱排序会被形态改变。

平均分差距小是否等于要求都被保留

论文用配对 rubric 结果回答这个问题。把每条标准按文字与语音的成败分成四格：都成功、仅文字成功、仅语音成功、都不成功，并计算存活率。即使净差距小，仅文字成功和仅语音成功也可能相互抵消。

上表是十语言汇总的存活率，数值越高表示文字成功保留得越多。可以看到 Qwen3.8 各项都在 88% 以上，但越南语记忆类存活率仍掉到 77.8%；Gemini 3.1 Pro 记忆类 79.8% 和指令保持 82.7% 明显低于自我一致 92.6% 和修订 94.5%；Muse-Spark 指令保持仅 56.9%、修订 68.0%，日语指令保持甚至只有 40.4%。这说明失败不只集中在记忆，指令和修订也会大面积丢失。Doubao 记忆类 79.4% 也弱于其他能力，且其仅文字成功约为仅语音成功的 1.7 倍，净下降 moderate 但实际丢失更多。

因此结论是有条件的：小净差距不能推出保留了同一批成功；相对稳定的能力平均分也可能伴随大量互换。只有配对分析能看到哪些具体要求真正存活。

换历史与换当轮，哪种更能挽回损失

下面比较干预的平均提升。括号内是相对直接语音的百分点变化，正值为提升。History 只换历史，Current 只换当轮，Full 两者都换。

表中 Muse-Spark 历史替换提升 20.1 个百分点、当轮替换提升 6.2 个百分点，历史减当轮差 13.6 个百分点，对话级自助区间为 10.2 到 17.1；Gemini 3.1 Pro 分别为提升 5.7 和 2.8 个百分点，差 3.0 个百分点，区间为 1.0 到 5.1。Qwen3.8 两处单替换都接近零，Full 反而为负，说明转写对它平均无益。其他模型提升较小且随语言波动。

分语言看，差距最大的 2 个模型的规律最清晰。

下面两组柱状图分别展示 Gemini 3.1 Pro 和 Muse-Spark 每语言上两种替换相对直接语音的提升，纵轴为百分点，高于零表示有效。

看图路径： 1. 对比每个语言上深色历史替换与浅色当轮替换的柱高；2. 检查 Muse-Spark 左右两图是否所有语言都呈同一方向；3. 注意纵轴单位是相对语音的百分点提升

论文图 3。原论文 Figure 3:：“History versus Current Transcript marginal contrasts (pp) relative to Direct Audio, per language, for the two models with the largest Direct-Audio deficits; bars above zero mark…”。

图中可见，对这 2 个模型，历史替换在全部 10 种语言数值上都大于当轮替换。但论文提醒，历史替换换掉了多轮音频而当轮只换一轮，因此不能分离是历史位置重要还是换掉的音频量更大。Full 联合条件对 Muse-Spark 提升 26.2、对 Gemini 3.1 Pro 提升 6.4 个百分点，但交互项区间跨零或贴零，不能确立可加性。

从挽回集合看，在文字成功而语音失败的对话中，两种替换各自挽回一部分且不完全重合，50% 到 70% 的被挽回对话只被其中一种挽回，其中历史独有挽回在 6 个模型中的 5 个里多于当轮独有。这支持历史与当轮恢复的是部分不同集合，但仍是行为描述，不是机制证明。

这些结论在什么条件下才成立

第一，固定上下文协议不评估在线累积误差、延迟和轮流抢话。历史助手回复固定为文字，模型只生成指定轮，因此结论只适用于内容正确性，不适用于实时交互成本。

第二，非英语语音是合成的，固定说话人映射不能保证跨语言声学等价。英文人声与合成英文对照显示 Muse-Spark 差 0.3、Gemini 3.1 Pro 差 0.6 个百分点，但这只度量英文实现的敏感性，不能分解其他语言的合成效应。

第三，转写改变了上下文表征和计算量，且未与直接语音计算对齐，也未建立误差如何随对话长度增长。历史替换音频量更大，定位结论停留在输入表征层面。

第四，评分依赖模型判分和覆盖率。虽然换用另一判分模型族在成对判分上一致率 94.5%、宏观 instance 差 1.0 个百分点、偏差近乎平衡，且最大对比方向一致，但小差异仍需谨慎，配对迁移描述的是观测到的成功与失败，不是稳定的单条能力。

复现第一步做什么，需要哪些条件

复现应从对齐集合入手。先拿到 354 对话的口语化参考文本和各语言音频，注意英文用人声、其他语言用合成语音，合成英文单独存放不计入十语言平均。检查平行过滤：含背景音的记忆对话和无法实现的对话已剔除，rubric 条目为 1404 条。

评测时固定历史助手为文字，只在指定轮生成回答，用同一英文评分提示逐条判分，分别算 rubric 成功率和要求全对的 instance 成功率，十语言等权平均。缺失判分不重跑，边际分数用可用判分，配对与干预用共同完整集合。

干预复现要用被测模型自己的转写并冻结复用，区分历史、当轮和全部替换。作者资源当前链接本次未能确认可达，是否已公开需以作者仓库可访问时为准。第三方链接只证明论文提到该地址，不证明已开源。

什么时候值得尝试历史转写，什么时候不必

当模型文字成绩明显高于语音，且多语言下普遍如此时，值得优先检查历史语音的利用。论文中受损最大的 2 个模型符合这一模式，历史替换在十语言数值上一致优于当轮替换，且区间不含零。此时把历史语音换成文字稿是低风险的诊断手段，可能挽回可观的百分点。

当模型语音已接近文字，或转写本身质量不高时，不必期待平均提升。Qwen3.8 就是反例，两种替换平均接近零，Full 甚至为负。其他模型还出现当轮替换在个别语言反超的情况，说明最优替换位置随语言变化。

容易产生的误解是把历史有效等同于记忆模块缺陷。论文明确没有定位内部机制，也没有分离音频量效应。另一个误解是把小平均差距当成保留了同样能力，配对结果显示互换可以掩盖丢失。还有把合成英文对照当成跨语言合成效应，这只是英文实现的对照。

还需要补的验证是：在线多轮生成下的误差累积、转写误差随轮数增长的曲线、计算开销与延迟的显式测量，以及在更多自然人声非英语上的重复。只有补上这些，才能把行为层面的历史表征结论推进到可部署的方案选择。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-11-04 语音/音乐/音频论文速递