听还是读：思维链语音翻译到底用了多少声音

英文题目：Listening or Reading? Evaluating Speech Awareness in Chain-of-Thought Speech-to-Text Translation

会议身份：conference:interspeech:2026:conference-paper-id:romerodiaz26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#评测协议 #可解释性 #鲁棒性 #韵律 #语音翻译

评分：6.2/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Jacobo Romero-Díaz：机构信息未能从会议 PDF 纯文本可靠映射
• Gerard I. Gállego：机构信息未能从会议 PDF 纯文本可靠映射
• Oriol Pareras：机构信息未能从会议 PDF 纯文本可靠映射
• Federico Costa：机构信息未能从会议 PDF 纯文本可靠映射
• Javier Hernando：机构信息未能从会议 PDF 纯文本可靠映射
• Cristina España-Bonet：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

英语语音到加泰罗尼亚语等6种欧洲语言文本翻译受级联误差传播与韵律信息丢失困扰，需检验思维链是否真正利用语音而非仅读转写。该工作先以mHuBERT离散语音单元接入7B翻译大模型生成转写再生成译文，形成可对比思维链与自级联的统一架构。接着用价值清零归因量化语音、转写与已译词对译文的层级贡献，其输出揭示基线对语音依赖近零。然后向思维链提示注入可控损坏转写测试鲁棒性，并用韵律对照基准检验声学消歧能力。与译文阶段仅见转写的自级联相比，思维链的关键差异是保留语音上下文，而噪声训练迫使其真正听语音故具实际意义。在CONTRAPROST基准测试集下，NOISY-COT的Global得分为17.65，高于NOISY-CASCADE的Global得分15.42。该结论限于英语到6语言、离散单元架构与朗读类评测，未验证自然对话韵律与连续特征模型的泛化。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么要怀疑思维链？

这篇论文研究的输入是一段英文语音，目标是把它翻译成加泰罗尼亚语、德语、西班牙语、法语、意大利语和葡萄牙语等 6 种欧洲语言的书面文字，属于语音到文本翻译。初学者容易以为只要把声音和文字都放进大模型，模型自然会两者兼用，但论文提醒必须保留的关键信息是翻译时模型到底看了哪个区间。传统做法是先识别再翻译，识别错了翻译无法纠正，而且重音和停顿等韵律信息在变成纯文字后就丢失了。直接翻译试图跳过中间文字，但平行语音翻译数据比识别数据少几个数量级，效果往往不如级联。

于是出现了思维链做法：同一个模型先写出英文转写，再接着写出译文，且写译文时上下文里同时留着语音符号和转写文字。论文的出发假设是这种联合可见应该带来两点好处，一是转写有错时能听原声纠正，二是韵律影响含义时能听出区别。但作者指出这个假设此前没有被系统验证过。本文的输出不是提出一个新翻译冠军模型，而是给出 3 套可复述的检验动作，并用两个简单训练干预说明依赖是可以被推动的。

级联系统 × 思维链翻译： 级联系统负责把分工切开，先由自动语音识别把声音转写成文字，再由文本翻译只看文字做翻译，搭配理由是模块清晰且文本数据充足；思维链翻译负责把两步放在同一个语音大模型里，先生成转写再生成翻译且翻译时仍保留语音输入，组合意义是想保留级联的可利用文本，同时让模型在转写出错或需要韵律时能回头听声音，本文正是检验这种组合是否真的发生了。

对于刚入门的同学，记住本文的判断标准：只有当遮住或弄坏转写后翻译仍能靠声音维持，或者韵律不同导致译文跟着变，才能说模型真在听，否则就是在读。

同输入同目标的路线如何对照？

按同输入、同目标、同运行阶段来对照，论文涉及 4 条路线。第一条是经典级联，用独立识别模块加独立文本翻译模块，优点是文本数据多、工程简单，代价是错误传播和韵律丢失。第二条是直接语音翻译，从语音 1 次生成译文，不产生中间文字，优点是理论上保留全部声学信息，代价是缺大数据时质量偏低。第三条是语音大模型的思维链或多轮做法，先转写后翻译但保留语音上下文，被期待兼得两者优点，是本文的检验对象。第 4 条是本文为对照而用的自级联，即用同一个模型先转写，再只以该转写为条件做翻译，刻意切断语音通路。

这种对照的公平性在于后两种推理都来自同一批训练过的模型，区别只在翻译那一步能不能看到语音符号，因此性能差可以直接归因于信息条件，而不是模型大小或数据不同。论文还把韵律评测建立在已有的对照基准上，用配对的仅韵律不同的语音要求模型给出不同译文，这是级联天然做不到的任务。理解这组对照后，就能明白后文为什么反复比较思维链和自级联，而不是去和外部商业系统比分数。

要回答的具体问题是什么？

论文把大问题拆成 3 个可操作的小问题。第一，内部机制上，生成译文每个词时，来自语音符号、来自转写文字、来自已生成译文的贡献各占多少，是否随层数变化。第二，行为鲁棒性上，如果把思维链提示里的转写按可控比例弄坏，翻译质量下降多快，思维链是否比只看转写的级联下降更慢。第三，语言学功能上，当重音位置改变语义并要求不同译文时，模型能否利用声音做出区分。

3 个问题互相补位。归因分析看直接贡献，鲁棒性看间接利用，韵律看超出文字的声学理解。任何单一指标都可能被取巧，例如只看干净转写下的翻译分，思维链和级联可能差不多，但这不能证明两者机制相同。论文因此坚持同一模型、两种推理、多种扰动的比较框架，这也是复述时必须保留的实验逻辑。

三路检验与两种干预如何组成全景？

方法全景可以沿一个样本走一遍。输入是一段英文语音和它对应的英文转写与多语译文。语音先被编码为连续特征再量化为离散编号，与文字一起排进聊天模板的多轮提示。模型先被要求转写，再被要求翻译。在思维链推理下，翻译轮能看到语音编号和模型自己刚生成的转写。

在自级联推理下，翻译轮只能看到转写，看不到语音。训练时模型同时见过识别、文本翻译和语音翻译 3 类数据，因此两种推理都能运行。

检验时，第一路用可解释工具估计每个输入区间对输出的贡献并按层聚合。第二路把测试集转写按比例替换为流畅但语义无关的片段，再把原声加坏转写一起送入思维链提示，用翻译质量下降速度衡量纠错能力。第 3 路用仅韵律不同的配对语音做对照翻译，要求两个译文各自更贴近各自参考。干预上，基线只用思维链格式做语音翻译训练，另有两个变体，一个混入直接翻译样本迫使模型只看声音，一个在部分思维链样本中混入噪声转写并在损失中去掉该转写，迫使模型不能全信文字。

语音如何变成模型能读的符号？

组件的核心是把声音变成词表的一部分。论文用的基座是翻译大模型的指令版本，参数量为 70 亿级别的指令模型，解码器结构。语音侧用冻结的自监督编码器提取连续表示，取第 11 层表示聚类为 500 个中心，每个语音帧映射为一个编号，再把编号映射到私有区字符后拼成字符串送入模型。基座的嵌入层被扩充以容纳这些新符号，新旧嵌入先在语音数据上做适配预热，只更新嵌入层和输出投影，然后再全量更新大模型参数而编码器保持冻结。

离散语音单元 × 大语言模型： 离散语音单元负责把连续语音表示变成可查表的离散符号，先用自监督语音编码器提取连续特征再用聚类量化为编号，搭配理由是让声音可以像文字一样进入词表和注意力；大语言模型负责按下一词预测统一处理这些声音符号和文字，组合意义是训练和推理都走同一套解码器流程，使思维链、直接翻译和级联推理能在同一模型上切换比较。

提示格式遵循聊天模板，用户轮放输入加短指令，助手轮放期望输出。识别和文本翻译是单轮，语音翻译的思维链是多轮，先转写后翻译且转写留在上下文，直接格式则是单轮直接要译文。训练只监督助手输出，思维链下两轮都算损失，但噪声干预样本会把坏转写排除在损失外，避免把识别带偏。推理用束搜索加采样组合，论文报告了束数、温度和截断参数，复现时应保持一致，因为采样会轻微影响质量对比。

三种训练配置具体做了什么改变？

训练配置是理解干预的关键。基线配置只用思维链格式组织语音翻译数据，作为比较两种推理的起点，作者预期两者差异很小，以此说明默认思维链没有带来实质增益。第一种干预是混合配置，用 25% 思维链加 75% 直接格式组织语音翻译数据，混入只看声音的样本是为了让模型在思维链生成时也保持对声音的敏感。第二种干预是噪声配置，对 25% 思维链样本把转写替换为噪声版本，模拟推理时可能遇到的错误传播，并通过不计算该转写损失来避免识别退化，迫使翻译学会在文字不可靠时回听声音。

数据混合上，因为语音翻译数据稀缺，训练以识别和语音翻译为主，文本翻译只保留每语言 50,000 句对以防灾难性遗忘，且文本翻译复用同一批语音翻译数据的转写和译文，避免外部文本质量带来混杂。识别数据来自通用语音、议会语音和有声书子集，总量超过 10,000 小时，语音翻译来自两个公开语音翻译语料约 500 小时。优化用常见自适应优化器，训练步数和学习率按余弦衰减并带预热，批量和长度截断都有明确设置。

下面这张表把论文明确报告的优化与批量条件整理成可核对的形式，阅读时先确认训练步数、学习率上下界和批量是否与原文一致，再去比较不同配置的效果，否则容易把配置差异误读为方法差异。

训练开销的含义是这些超参数决定了复现成本，论文报告在高性能显卡上训练并用了混合精度、梯度检查点和高效内核，但未给出总时长和显存峰值，因此不能从参数量推定具体耗时。噪声比例 25% 是人工调参选定，直接与思维链的 25% 对 75% 也是固定设计，复现时应先按此比例跑通，再做比例消融。需要补的验证是噪声构造器的随机种子和损坏位置分布是否影响结论，原文只说起始位置均匀采样而未报告方差来源。

损坏转写和韵律对照如何构造？

实验条件分三块。归因用公开可解释工具提取词对词的贡献矩阵，再按语音、转写和已生成译文 3 个区间求和平均，得到归一化到 1 的分布，并按层画出均值加减标准差，标准差来自 6 个语言对的波动。鲁棒性构造是把每条测试转写中一段连续片段替换为无关但流畅的片段，长度由目标损坏比例决定，比例覆盖从很小到 30%，起始位置均匀采样，损坏片段由生成式模型产生，保证语法正确但语义完全偏离。

韵律用公开对照基准，提供仅重音不同的配对语音，要求模型对两条语音分别翻译，再用细粒度翻译质量模型对 2 乘 2 的输出与参考组合打分，取双对照都成立的比例作为全局分，并对打平情况计 0.5 分后在多种韵律现象上平均。

下面先看损坏转写的具体样子，理解后文鲁棒性曲线为何能区分听与读。图中上半是原始句，下半是损坏句，只有连续片段被替换，其余词和句式保持不变，这种设计保证了转写仍流畅，模型不能靠不通顺发现噪声，只能靠比对声音发现文字与声音不一致。

看图路径： 1. 先读上方原始句，记住被替换的连续片段位置和剩余句式；2. 再读下方损坏句，对比替换后是否仍通顺但语义完全改变；3. 确认该例子只改文字不改配对语音，理解后文为何能测纠错

论文图 1。原论文 Figure 1：“Example of corrupted transcription generated with Gemini-2.0-Flash (corruption ratio: 15%).”。

该例把月壳厚度句中的主语片段换成太阳照耀，长度和语法都尽量保持，但含义完全改变，且配对语音仍是原始发音。测试时把原声加坏转写一起放入思维链提示，若模型真在听，应能忽略坏片段并恢复正确译文；若只在读，则会跟着坏文字走。评估用能预测人工判断的多语翻译质量模型，报告相对干净转写的下降值，因此纵轴越往下表示受错误传播伤害越大。复现时要注意损坏比例是按词数计算，生成器的措辞不同会带来波动，应固定生成结果或多次采样报告区间。

归因显示模型更依赖哪一侧？

主结果先看内部归因。论文报告在基线模型中，语音区间的贡献在所有层都接近零，翻译主要靠转写文字和已生成译文，行为上接近级联。混入直接样本后语音贡献有所抬高，混入噪声转写后抬高更明显，尤其在中后层。这种层 wise 的变化说明干预确实改变了信息路由，而不是只改变了输出措辞。作者还提到第 4 层有一个峰，但未深入分析，复述时应标为待验证现象，不做因果解释。

看图路径： 1. 先按图例区分语音、转写和已生成译文三条贡献曲线；2. 再沿层数从左到右看语音曲线是否长期贴近零线；3. 对比三个子图在中后层语音贡献是否抬高

论文图 2。原论文 Figure 2：“Layer-wise attribution scores obtained with Value Zeroing, aggregated over Speech, Transcription, and Translation tokens.”。

从像素上看，3 张子图共享纵轴贡献度，横轴为层数，绿色虚线为已生成译文，橙色实线为转写，蓝色虚线为语音。基线子图中蓝色长期贴底，仅在浅层有个小尖峰；混合与噪声子图中蓝色在中后层系统性抬高，噪声子图抬高最多，且阴影带表示语言对间的波动，说明趋势在多语言上稳定。读图时不要把橙色和绿色的上下波动读成性能好坏，它们只是不同区间此消彼长的归一化分配，关键是蓝色是否持续离开零线。

Value Zeroing × 注意力权重： 注意力权重负责记录每一层查询和键的相似度，但相似大不等于对输出贡献大；Value Zeroing 负责把某个输入区间的值向量置零后看输出变化，以此估计该区间对生成的真实贡献，搭配原因是避免被注意力表象误导，组合意义是把语音、转写和已生成译文 3 个区间的贡献归一化比较，直接量化模型在翻译时是听还是读。

下表把跨层平均后的语音贡献整理为可核对的数字，比较问题是两种干预是否实质提高了语音利用，公平条件是同一归因工具、同一测试集和同一聚合方式，数值越大表示翻译时听得越多。表后解释是基线几乎不听，混合约 1.54 倍，噪声约 2.24 倍，但即使最高也仍远小于文字区间，说明依赖只是缓解而非反转，未胜出项是基线在所有层都偏低，且混合的提升有限，不能声称已解决文本依赖。

需要强调百分点与倍数的区别：这里的倍数是相对基线语音贡献的相对变化，不是翻译质量的提升百分点。原文未报告误判率或延迟，因此不能把归因提升直接承诺为线上体验改善。

弄坏转写后谁下降更慢？

鲁棒性是第二主结果。论文报告基线在思维链和自级联两种推理下，随噪声比例上升的下降斜率几乎相同，说明默认思维链和级联一样脆弱，基本不看声音。混合配置斜率略变平缓，有限改善。噪声训练配置出现明显分叉：思维链下降缓慢，即使损坏 30% 词仍退化有限，而自级联仍快速下跌。这支持噪声模型获得了错误恢复能力，即在文字不可靠时能用声音补回信息。作者也排除了一个反解释，即噪声模型退化为直接模型而不再利用文字，因为归因显示它仍主要依赖转写，只是在需要时能调用声音。

错误传播 × 韵律感知： 错误传播负责描述转写错了翻译跟着错的现象，是检验文本依赖的间接探针；韵律感知负责描述重音和停顿改变含义时必须听声音才能翻对的现象，是检验声音利用的直接探针，搭配原因是前者看纠错能力后者看消歧能力，组合意义是从鲁棒性和语言学敏感性两个角度共同约束对语音意识的判断。

下图是理解该结论的核心，阅读时先确认横轴是转写噪声比例，纵轴是相对干净转写的质量变化，越负表示越差。每张子图有两条曲线，实线为思维链，虚线为级联。基线子图两线几乎重合下行，混合子图轻微分离，噪声子图在右端大幅分离，思维链明显更平。像素不能精确读出每一点数值时不要硬写，只报告趋势和分离程度，并结合阴影带判断语言间稳定性。

看图路径： 1. 先确认横轴是转写噪声比例，纵轴是相对干净转写的翻译质量下降；2. 再对比每个子图内思维链与级联两条曲线的分离程度；3. 重点看最右子图在高噪声下思维链曲线是否明显更平缓

论文图 3。原论文 Figure 3：“Robustness to error propagation under controlled transcript corruption.”。

该图的事后解释是干预的代价与收益：噪声训练换来的是高噪声下的稳定性，代价是需要额外构造损坏文本并调整损失屏蔽，转写本身不能因此变好。未胜出项是基线和混合在高噪声下仍大幅下跌，未评测边界是超过 30% 损坏、非连续错误和真实识别错误分布，论文用的是人工连续替换，与真实识别错误不完全同分布，因此不能直接推广到线上识别器。韵律部分也属于同节的补充消融：思维链在所有变体上都略高于级联，但只有噪声思维链明显拉开差距，说明默认的韵律敏感性有限，仍有提升空间。

哪些结论不能推广？

论文明确报告的局限要逐条保留。第一，源语音只限英语，目标只限 6 种欧洲语言，且语音翻译数据主要来自议会和朗读语料，结论是否适用于低资源语言、自发对话或噪声环境待验证。第二，损坏转写是流畅但语义无关的连续替换，由生成式模型产生，与真实识别错误在分布上不同，因此鲁棒性是受控模拟而非线上实测。第三，韵律基准只覆盖德语和西班牙语方向，且全局分依赖自动质量模型打分并对打平计 0.5，自动指标不能等同人工感知。第四，归因工具本身是估计方法，层 wise 峰值等现象未解释，不能当作因果证明。

还有缺项需要指出：论文未报告推理延迟、显存占用和输出帧率，思维链多轮生成比直接翻译多 1 次解码，总体趋势不等于每步都慢，但没有测量就不能承诺效率。统计上翻译质量用了配对自助法，但归因和鲁棒性的阴影只显示语言间标准差，不是显著性检验。资源状态方面，本次未发现来源绑定且完成验证的公开代码与权重，不得声称代码、模型或数据已公开，复现需按论文描述自行搭建。

复现先做什么，需要哪些信息条件？

复现的第一步是搭出可切换两种推理的同一模型。按论文准备识别、语音翻译和文本翻译 3 类数据，文本翻译复用语音翻译的转写译文以保证公平，语音离散化用冻结编码器第 11 层加 500 类聚类，嵌入扩充后先做语音适配预热再全量训练。提示模板用聊天模板，思维链为先转写后翻译的多轮，直接为单轮，训练只监督助手输出，噪声样本要把坏转写排除在损失外。基线、混合与噪声的比例分别按全思维链、25% 思维链加 75% 直接、25% 噪声替换实现，噪声构造要固定随机种子和比例档位。

第二步是跑通 3 路评测。归因用公开可解释库提取贡献矩阵并按三区间聚合画层曲线，报告跨层均值与语言间波动。鲁棒性按从小到 30% 的档位生成损坏转写，把原声加坏转写送入思维链提示，报告相对干净转写的质量下降，并与自级联对比。韵律按配对语音分别翻译后做 2 乘 2 打分，取双对照成立比例并对打平计 0.5。关键超参数包括训练步数、学习率上下界、批量 256、长度 2048、梯度裁剪、束搜索束数与采样温度，改变任一都可能影响可比性。还需补的验证是多次生成损坏文本的方差、不同聚类数的影响，以及在真实识别错误上的表现。

何时值得尝试这种干预？

综合来看，当你的系统已经是先转写后翻译的思维链，但怀疑它只是在读文字时，本文的检验值得尝试。具体动作是先跑归因看语音贡献是否贴零，再跑加噪曲线看思维链与级联是否重合，最后跑韵律对照看配对语音能否翻出区别。如果三者都指向文本依赖，再考虑两种干预：若目标是整体翻译分，混入直接样本的混合训练更稳；若目标是抗转写错误和韵律敏感，混入噪声转写的训练更有效，但要接受构造噪声和屏蔽损失的额外复杂度。

论文特有的误解需要澄清。第一，思维链能看到语音不等于会用语音，可见是信息条件，利用是行为结果，必须用扰动证明。第二，噪声训练提升的不是干净条件下的冠军分，而是坏条件下的稳定性，不能只看单点分数就否定或肯定。第三，自动质量分和归因值都是代理指标，方向正确不等于人工可感知，落地前还需补人工评测、延迟与成本测量。未来的工作可以探索混合与噪声的组合是否互补，以及在更多语言和真实噪声下的表现。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总