英语转写就够了吗：双向翻译预训练如何把语音编码器推向大模型的语义空间

英文题目：Does Translation-Enhanced Speech Encoder Pre-training Affect Speech LLMs?

会议身份：conference:interspeech:2026:conference-paper-id:mizumoto26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#多任务学习 #大语言模型 #跨语言 #语音识别 #语音翻译

评分：6.6/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Tomoya Mizumoto：机构信息未能从会议 PDF 纯文本可靠映射
• Yusuke Fujita：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文研究语音大模型（Speech LLM）中语音编码器与冻结文本LLM的跨模态对齐难题，输入为多语言语音波形，输出涵盖转写、跨语言翻译、意图与情感理解，难点在于转写预训练表征偏语言相关而LLM需要统一语义空间。方法链分三步：先用序列到序列（Sequence-to-Sequence, Seq2Seq）架构在转写与不同翻译混合目标下预训练编码器，再丢弃解码器只保留编码器抽取连续声学表征，最后经可训练适配器（Adaptor）降采样映射至冻结LLM输入空间。与仅转写或仅非英语到英语翻译相比，关键机制差异是加入英语到多语的对称翻译，迫使编码器剥离音形对应以提取可跨语言迁移的语义。在Llama-3.2-3B-Instruct上双向配置使英语到中文翻译在CoVoST2上达到30.8 BLEU，明显高于单向基线的28.6 BLEU，且未见语言也获得提升。结论边界在于仅验证4种预训练语言与1B/3B规模，未证明大规模多语或更大LLM下依然成立。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要交付什么？

这篇解读的输入是论文正文给出的架构、数据构造、训练配置和下游评测描述，目标是让刚进入语音与语言模型交叉方向的研究生能够复述方法并核对实验条件。需要保留的信息包括 3 种预训练任务混合的具体定义、4 种预训练语言与数据量、适配器结构与冻结策略、语音大模型训练的多任务组成，以及主结果的指标方向与关键数字。输出是一条可执行的理解路径：先明确语音大模型要解决的跨模态对齐问题，再走完一个样本从波形到大模型输出的全过程，最后落到如何复现对照。

语音大模型在这里指把预训练语音编码器通过可训练适配器接到冻结大语言模型的系统。输入是原始语音波形，输出是转写、翻译或分类等文本形式结果。与传统级联系统先转写再送入语言模型不同，该架构直接把连续声学表示映射为语言模型的输入嵌入，避免中间文本错误累积，同时保留更密集的语音信息。初学者需要先建立的白话概念是连续表示：它不是离散词表，而是一串随时间变化的向量，携带音素、语速和说话人等信息。

学习依赖上，后续所有讨论都建立在结构错位这一判断上。论文认为，基于转写的编码器容易形成按语言划分的表示空间，而文本大语言模型运行在统一的、与具体语言无关的语义空间中。轻量适配器要独自弥合从语音驱动特征到抽象语义的差距是困难的。因此，方法部分要回答编码器预训练如何主动提供更易对齐的表示，实验部分要回答这种表示是否在冻结大语言模型时依然带来可测量的下游增益。

同输入同目标的已有路线在比较什么？

在相同输入和相同目标下，已有工作大致分为 3 条路线。第一条是直接沿用 Whisper 编码器作为语音骨干。Whisper 本身包含翻译目标，但其英语音频只做单语转写，非英语才译为英语。这种不对称设计被多篇语音大模型工作继承，论文指出当输入为英语时，编码器可能没有充分展现语义抽象能力。第二条是训练自有编码器但省略跨语言翻译，例如文中提到的 Qwen3-Omni，或复制单向翻译做法，例如文中提到的 TTA。第 3 条是在独立序列到序列架构中探索双向翻译，例如开放 Whisper 风格语音模型的第四版，但没有系统评估其与冻结大语言模型集成后的跨模态效果。

相关证据还包括对 Whisper 共享语义空间的观察。论文引用 Ma 等人的工作说明，仅微调 Whisper 解码器即可实现零样本跨语言迁移，支持翻译目标能诱导语言无关表示的判断。但该结论来自编码器加解码器整体，而语音大模型只取编码器并通过适配器接入大语言模型，模态桥接方式不同，因此不能直接把前者的迁移结论搬运为后者的增益承诺。这正是本文控制变量的价值：保持架构和适配器训练不变，只改变编码器预训练目标。

对初学者而言，这里的对照维度是输入、目标、监督和运行阶段。输入都是语音，目标都是生成文本或分类标签，区别在于监督是否包含跨语言映射，以及评测阶段是否冻结大语言模型。把类别差异当成同条件胜负是常见误解，例如把独立翻译模型的分数直接与语音大模型的分数对比。本文的公平性来自同一适配器训练流程和同一冻结策略，使得下游差异可以回溯到预训练阶段。

结构错位具体卡在哪里？

论文提出的核心问题是表示空间错位。语音编码器若主要在自监督或转写目标下训练，其组织方式更贴近声学和音素相似性；即使转写编码器能捕捉部分语义，其语音到文本映射往往仍是分语言的。举例来说，日语音频的表示与英语音频的表示可能落在不同子空间，即使两者含义相同。大语言模型的文本空间则按深层语义和抽象概念组织，不同语言中含义相近的句子距离更近。当分语言的连续语音嵌入被直接送入大语言模型时，适配器需要同时完成模态转换和语言统一，负担很重。

翻译任务被选为解法的理由是输入输出之间没有语音重叠。转写时，音频与目标文本共享音素对应关系，模型可以依赖表层对齐完成任务；翻译时，德语音频与英语文本在发音上没有对应，模型必须先抽取含义再生成另一种语言。这种要求被认为是通向语言无关抽象的直接压力。论文进一步指出 Whisper 的不对称性：非英语译英语存在，但英语译其他语言缺失，因此英语输入的表示可能仍然偏向转写空间。

研究问题由此收窄为是否在编码器预训练中加入英语到其他语言的翻译会改善与大语言模型的集成。论文设置 3 种任务混合：多语言转写-only，非英语译英语加转写，以及双向英语翻译加转写。第 3 种被假设为更有效的跨模态对齐方式，尤其对英语输入。例子仅用于理解：同样一句问路语音，转写只要求写对原文用词，翻译则要求在另一种语言中保留问路意图，后者更接近大语言模型需要的语义。

整体方法如何用同一流程隔离编码器的影响？

整体流程分为两个阶段。第一阶段是基础序列到序列预训练，采用与 Whisper 相同的模型架构，声学编码器从音频抽取连续表示，文本解码器生成目标文本。训练完成后丢弃解码器，只保留编码器。第二阶段是语音大模型训练，把该编码器与冻结大语言模型通过可训练适配器连接，只优化适配器。评估时把集成后的系统放在转写、翻译、意图分类和情感识别上测试。由于大语言模型完全冻结，下游差异被归因于编码器表示的内在质量。

语音编码器 × 大语言模型： 语音编码器负责把波形变成连续声学表示，保留音素和时序细节；大语言模型负责在统一文本嵌入空间中做语义推理。两者搭配的理由是编码器提供密集语音信息，大语言模型提供跨语言知识，组合意义在于用可训练适配器把前者的声学序列映射为后者可读的语音嵌入，从而绕开级联转写的误差累积。

沿一个样本走完全程有助于建立因果链。以一段德语语音为例，波形先进入语音编码器得到一串高时间分辨率的连续向量，适配器中的两层卷积网络降低时间分辨率以减轻大语言模型负担，再经线性层映射到文本嵌入维度。这些语音嵌入被直接送入冻结的大语言模型，大语言模型按任务提示生成英语译文或分类标签。若编码器预训练包含德语到英语的翻译，编码器输出已被迫编码可跨语言迁移的语义，适配器的映射任务相对更易；若只有德语转写，编码器输出更偏向德语音素细节，适配器需要更大跨度才能对齐到语义空间。

需要保留的方法约束是语言范围和任务配比。受计算限制，预训练只聚焦英语、日语、中文和德语 4 种语言，总量约 130,000 小时，其中英语 73.6k 小时、日语 36.2k 小时、德语 10.0k 小时、中文 9.8k 小时。数据来自 LibriSpeech、ReazonSpeech、多语言 LibriSpeech、WenetSpeech，并混入 YODAS-OWSMv4 与 Common Voice 子集。由于原始语料多为单语转写，翻译平行数据由 Qwen2.5-32B-Instruct 从转写生成。任务配比按目标严格定义，转写-only 全部做转写，单向配置中英语全转写、非英语按 75% 转写与 25% 译英语划分，双向配置对所有语言统一采用 75% 转写与 25% 翻译。

编码器、适配器与提示格式各自承担什么计算？

语音表示抽取器采用 Whisper medium 架构的编码器部分。它的输入是波形经前端处理后的声学特征，输出是连续向量序列。核心语言建模部件采用 Llama-3.2-1B-Instruct 与 Llama-3.2-3B-Instruct 两个版本，用于检验结论是否随大语言模型容量变化。适配器是轻量可训练模块，由两层卷积神经网络加线性投影层组成，卷积负责时间下采样，线性层负责把压缩后的声学特征维度精确映射到大语言模型的嵌入维度。

自动语音识别 × 语音翻译： 自动语音识别的分工是把同语言语音转写为同语言文本，监督信号与输入有语音重叠；语音翻译的分工是把一种语言语音生成另一种语言文本，迫使模型抽取与表层形式无关的含义。搭配理由是仅用转写容易让表示停留在分语言空间，而翻译要求跨语言桥接，组合意义是让编码器同时保留声学可辨别性并形成更贴近大语言模型的语言无关抽象。

双向翻译需要新的解码器提示格式，因为原始 Whisper 提示无法指定目标语言。论文沿用开放 Whisper 风格模型的多目标做法，重新设计提示以区分已知条件与待预测属性。目标语言标记放在任务标记之前作为预先给定的条件，源语言标记放在任务标记之后作为需从音频估计的属性。例如德语音频译英语被组织为以英语目标标记开始、翻译任务标记居中、德语源标记结尾的序列，转写则为目标与源同语言的对应序列。这种改动把任务显式条件化在目标语言上，使同一模型能处理任意选定语言对之间的双向生成。

初学者应注意冻结与更新的边界。主实验中语音编码器与大语言模型都严格冻结，只有适配器可训练，这是为了纯粹评估预训练表示与文本空间的对齐程度。补充实验放开编码器，使其与适配器联合更新，用于检验双向预训练的优势在下游适配后是否仍然存在。论文未报告适配器具体下采样倍数和卷积核等细节，复现时应以代码或附录为准，此处不从模型名称推定实现。

两阶段训练的数据、优化与冻结如何执行？

基础模型预训练训练 3 个轮次，全局批量大小为 512。学习率策略参考 OWSM 第三版的做法，采用分段线性预热，在前 15k 步升至 5×10 的负 5 次方，再在随后 15k 步升至峰值，峰值学习率为 2×10 的负 4 次方，与原始 Whisper 设置一致。30k 步预热后按余弦衰减。该阶段在 16 张 NVIDIA H100 上进行。语音大模型阶段只优化适配器 25k 步，全局批量大小 512，峰值学习率 1×10 的负 4 次方，500 步线性预热后余弦衰减，在 8 张 H100 上进行。

序列到序列预训练 × 适配器训练： 序列到序列预训练的分工是用编码器加解码器在转写和翻译任务上学习表示，之后丢弃解码器只保留编码器；适配器训练的分工是冻结编码器和大语言模型，只更新卷积下采样加线性映射，把编码器输出维度对齐到文本嵌入维度。搭配理由是前者决定表示质量，后者隔离评测该质量，组合意义是下游差异只能归因于预训练目标不同。

语音大模型训练数据总量约 6.2k 小时，覆盖转写、翻译、意图分类和情感识别。核心转写覆盖英语、日语、中文和德语。翻译包括英语与日语、中文、德语之间的双向映射，以及英语到 4 个预训练未见语言的单向映射：波斯语、印尼语、瑞典语和土耳其语。核心转写与翻译数据来自 VoxPopuli、FLEURS、AISHELL、JSUT、CoVoST2 和 SpeechBSD，并混入从预训练语料随机采样的 300 小时转写与 200 小时翻译。口语理解与副语言任务使用英语 SLURP、德语 Speech-MASSIVE 子集做意图分类，使用英语 MELD 做情感识别，并通过过采样缓解不平衡，例如 MELD 上采样 5 倍。

监督来源需要明确区分。预训练翻译目标的平行文本由大语言模型从原始转写合成，不是人工翻译；语音大模型阶段的翻译与转写评测则使用公开基准。梯度路径上，主实验只有适配器接收梯度，编码器与大语言模型不更新；补充实验编码器与适配器共同更新。论文未给出合成翻译的质量评估与过滤细节，这是复现时需要补记的缺项，不能默认合成数据无噪声。

评测在什么条件下进行，指标方向如何理解？

评测覆盖 4 个下游任务。自动语音识别在 FLEURS 基准上报告英语和德语的词错误率，以及日语和中文的字错误率，数值越低越好。语音翻译在 FLEURS 与 CoVoST2 上报告 BLEU，数值越高越好，覆盖预训练见过的双向语言对与仅在语音大模型阶段引入的未见目标语言。意图分类在 SLURP 与 Speech-MASSIVE 上报告准确率，情感识别在 MELD 上报告准确率，准确率越高越好。每个任务的报告值是 3 次独立推理的平均，用于增强稳健性。

比较条件分为主配置与补充配置。主配置冻结编码器与大语言模型，只训练适配器，确保不同预训练任务混合之间的比较公平。补充配置放开编码器，与适配器联合更新，用于检验优势是否可被下游微调抹平。模型配置上同时测试 1B 与 3B 大语言模型，以观察结论是否随容量变化。语言条件上区分预训练见过与未见过的翻译目标，前者是日语、中文和德语，后者是波斯语、印尼语、瑞典语和土耳其语。

初学者容易混淆的点是数值相同不代表同一指标。例如转写的错误率下降与翻译的 BLEU 上升方向相反，不能直接比较幅度；百分点变化与相对百分比变化也不同。不同指标的差值不能放在同一模型列下相加，自动指标也不能等同于人工评价。论文的表格同时包含 CoVoST2 与 FLEURS 两种来源，阅读时必须核对数据集、语言方向和聚合对象，避免把未见语言的泛化增益误读为见过语言对的记忆效果。

翻译增强预训练在转写与翻译上带来什么可核对变化？

主结果显示翻译增强预训练在 1B 与 3B 规模上都优于纯转写基线，表明增益不依赖特定大语言模型容量。单向翻译预训练已能改善下游翻译，并明显降低非英语的转写错误率。论文报告的机制解释是，要求编码器处理非英语音频做翻译，有效细化了其对这些语言的声学表示抽取能力。英语转写也有小幅改善，但幅度最明显的仍是作为翻译音频输入的非英语语言。

意图分类 × 情感识别： 意图分类的分工是检验模型是否抽取出用户目标等深层语义，需要超越音素匹配；情感识别的分工是检验模型是否保留韵律和音色等细粒度声学线索。搭配理由是两者对语义抽象和声学保留的要求相反，组合意义是同时观察它们可以判断双向翻译是只增强语义，还是以丢失声学为代价换取语义。

以下比较聚焦日语转写这一具体对照，公平条件是同一 1B 语音大模型流程与同一冻结策略，指标是字错误率，方向为越低越好。表前问题是单向翻译预训练是否只改善翻译，还是同时改善非英语转写。表中仅纳入论文原句直接报告的两个可运行策略的数值，不加入推测值。

表后解释需要同时说明收益与代价。该对照显示日语字错误率从较高基线明显下降，支持翻译目标有助于非英语声学表示的判断。但这只是单向配置下的一个语言点，不能推广为所有语言或所有任务都同等获益。论文同时显示英语改善较小，说明增益与是否作为翻译源语言直接相关。未胜出项是纯转写基线，它在该对照下落后，但保留了方法最简单的特点，若下游只有英语转写且无翻译需求，其差距是否值得额外合成翻译数据的成本，需要结合部署预算另行验证。

双向配置进一步大幅提升英语到其他语言的翻译。关键在于增益延伸到预训练未见的目标语言，包括波斯语、印尼语、瑞典语和土耳其语。论文将其解释为解锁了冻结大语言模型固有的多语言能力，而不仅是记住预训练语言对。这种跨语言泛化是支持语言无关抽象的最强证据，但仍需注意它是在语音大模型阶段见过这些未见语言翻译数据的前提下测得的，不是完全零样本条件。

语义任务与声学任务是否给出相反的对照？

为检验预训练目标的影响是否超出音素匹配，论文在 3B 模型上评估意图与情感分类。这些任务要求抽取用户目标和副语言线索，而不仅是写对词。比较条件依然是 3 种预训练任务混合接入同一冻结大语言模型，指标为分类准确率，方向为越高越好。表前问题是单向与双向翻译是否对不同源语言产生不对称影响，以及语义抽象是否损害声学任务。

表后解释要区分直接报告与有限解释。论文报告单向配置下德语意图准确率提升明显，而英语仅小幅提升，原因是英语在预训练中未作为翻译源；双向目标把英语意图准确率显著推高，并进一步提升德语。这一模式支持增益与翻译源语言直接相关的判断。情感识别则基本不受预训练配置影响，论文解释为该任务依赖细粒度声学而非纯语义。重要的是未出现退化，表明语义抽象没有以丢失必要声学线索为代价，但这不等于证明所有声学敏感任务都安全，未评测的说话人或韵律任务仍是边界。

补充的解冻编码器实验显示，整体性能随联合优化有所提升，但双向配置仍保持对基线和单向模型的明显优势。论文认为这说明对称目标提供的表示优势不能被下游简单微调复制。该结论的适用条件是编码器与适配器联合更新而大语言模型仍冻结，若放开大语言模型，结论是否成立在本文证据中待验证。

哪些边界没有被测到，不能直接下结论？

首先是语言与数据边界。预训练只覆盖 4 种语言，总量约 130,000 小时，远小于 Whisper 的 680,000 小时与 OWSM 第四版的 320,000 小时规模。结论在更大语言集合和更大数据规模下是否成立尚未验证。翻译平行数据由大语言模型合成，其错误会进入预训练监督，但论文未报告合成质量与过滤流程，因此不能排除噪声对结果的影响。未见语言的泛化也是在语音大模型阶段提供过对应翻译数据后测得的，不能理解为无任何目标语言数据时的零样本翻译。

其次是任务与指标边界。情感识别未退化只在 MELD 英语数据上得到验证，不能推广到所有副语言任务。意图分类的提升集中在作为翻译源的语言，说明方法的效果依赖语言是否参与翻译预训练。论文未测量误判率分布、推理延迟、训练成本与输出帧率等部署量，因此不能承诺这些量得到改善。总体趋势不等于每组语言对或每一步解码都成立，阅读曲线或表格时应回到具体语言对核对。

最后是资源状态边界。本次收到的证据中没有来源绑定且完成超文本传输安全协议状态验证的资源，资源状态为无。因此不得声称代码、模型或数据已公开或当前可用。复现讨论只能基于论文文字描述的架构、配比与超参数，不能假设权重可下载或系统可直接运行。

要复现对照，第一步先固定什么？

复现应先固定公平比较的三要素：同一 Whisper medium 编码器结构、同一适配器训练流程、同一冻结策略。建议按论文顺序先实现 3 种预训练任务混合。转写-only 全部做多语言转写；单向配置英语全转写，非英语按 75% 转写与 25% 译英语；双向配置所有语言统一按 75% 转写与 25% 翻译。

提示格式需实现目标语言在前、源语言在后的条件化方案，否则无法支持英语到其他语言的双向生成。合成翻译时记录所用生成模型版本、采样参数与后处理规则，以弥补原文未报告的质量控制缺项。

第二步固定语音大模型训练。只训练两层卷积加线性投影的适配器，保持编码器与所选 Llama-3.2-Instruct 版本冻结，优化 25k 步、峰值学习率 1×10 的负 4 次方、500 步预热后余弦衰减。训练数据需包含转写、双向与未见语言翻译、意图与情感任务，并对小任务过采样。评测时分别用 FLEURS 报告转写错误率与翻译 BLEU，用 CoVoST2 补充翻译 BLEU，用 SLURP、Speech-MASSIVE 与 MELD 报告分类准确率，每个任务做 3 次推理取平均。

还需补做的验证包括合成翻译质量的人工抽查、未见语言在真正零样本下的表现，以及放开大语言模型后的稳定性。若计算受限，可先在小数据上验证趋势，但必须明确标注数据规模变化，不能把小规模结论直接当作原文 130,000 小时条件的复现。训练资源、推理开销与实际延迟应分别记录，避免用总体 BLEU 提升掩盖部署代价。

何时值得尝试双向翻译预训练？

当语音大模型需要处理英语输入的翻译或语义理解，且允许在预训练阶段引入合成平行数据时，双向翻译预训练值得尝试。论文显示其价值不仅在于见过语言对的分数提升，更在于对未见目标语言的泛化以及对意图分类等语义任务的改善，同时在情感识别上未观察到退化。对于以非英语为主要输入的系统，单向翻译已能带来明显转写与翻译增益；若英语输入同样重要，则需要补上英语到其他语言的方向。

不值得盲目尝试的情况包括下游只有单语转写且对语义要求很低，或无法承担合成翻译与双向训练成本的场景。此时纯转写基线仍是最简单的可运行策略。此外，若目标任务高度依赖细粒度声学，且尚未在该任务上验证过，双向翻译应先做小规模对照，确认无退化后再扩大。

回到中心矛盾，论文的回答是编码器的语言无关抽象不应完全交给轻量适配器，而应在预训练中通过跨语言翻译显式施加压力。对称的双向目标使所有输入语言都被迫脱离表层形式，从而更接近冻结大语言模型的统一语义空间。这一路径被报告为比单纯扩大规模更直接可靠，但仍是有限证据下的支持性结论，大规模多语言条件下的验证仍然待完成。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总