先对齐再翻译：S2ST-Omni 用分层语言感知桥接语音与大模型

英文题目：S2ST-Omni: Hierarchical Language-Aware SpeechLLM Adaptation for Multilingual Speech-to-Speech Translation

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.1004

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#Adapter #LoRA #大语言模型 #多语言 #语音翻译

评分：7.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Yu Pan：机构信息未能从会议 PDF 纯文本可靠映射
• Xiongfei Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Yang Yuguang：机构信息未能从会议 PDF 纯文本可靠映射
• Jixun Yao：机构信息未能从会议 PDF 纯文本可靠映射
• Maxime Cordy：机构信息未能从会议 PDF 纯文本可靠映射
• Lei Ma：机构信息未能从会议 PDF 纯文本可靠映射
• Jianjun Zhao：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

多语言语音到语音翻译需将多源语言语音直接转为目标英语语音，难点在于跨语言语义精度与合成灵活性难以兼得，且缺乏中间文本使误差分析与纠正困难。S2ST-Omni采用组合架构，先由Whisper Large-v3编码器提取多语言语音表征并复用其编解码做语言识别，输出送入混合适配器经步幅卷积下采样保留翻译相关帧再经Transformer建模长程语义依赖。该语义表示经语言感知双CTC门控特征调制注入声学层源语言信息，再与源语言条件提示共同进入Qwen3-4B解码出英语文本，前端文本直接作为可插拔TTS后端的输入合成语音。与ComSpeech浅层词汇映射和端到端联合优化不同，该方法以先对齐后翻译的两阶段渐进微调先冻结大模型训练适配器再用LoRA精调，形成自下而上与自上而下双路语言偏置。在CVSS-C基准下，S2ST-Omni的平均BLEU指标为35.67，高于StreamSpeech的平均BLEU指标28.77。该结论适用边界受限于法语、西班牙语、德语到英语三个高资源方向及自动指标，低资源与多目标语言外推尚未验证且缺乏人评自然度检验。推理开销方面前端在单卡上平均延迟为703.8毫秒，其中大模型解码约占79%而语言识别与适配器仅占约4.2%。

🔗 开源与复现资源

• 第三方资源：https://github.com/mjpost/sacrebleu — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出必须保留什么？

这篇论文研究的是多语语音到语音翻译。输入是法语、德语、西班牙语音频，目标是输出英语语音。初学者容易把这个任务理解成先识别再翻译再合成的 3 段流水线，但论文强调必须保留的信息有两层，一是源语句的内容忠实度，二是目标语句在声学上可懂且语义正确。也就是说，中间文本翻对了还不够，最终合成语音被自动语音识别转写后仍要与参考文本接近，这就是文中同时报告文本翻译分数和合成后语音转写分数的原因。

输入是连续波形，先重采样到 16 千赫兹，输出是目标语音，实验中目标语音按 22.05 千赫兹处理。整个系统允许中间出现英语文本，这个文本是可检查、可纠错的接口，也是后文可插拔合成器的依据。理解这一点，才能明白为什么作者不追求单网络直接映射波形到波形，而是坚持组合式架构。

端到端与组合式路线各解决了什么，又留下了什么？

论文把已有方法分成两类。第一类是端到端，例如 Translatotron 系列和 SeamlessM4T，它们用一个统一网络把源语音直接映射到目标语音。好处是概念简洁，但缺点是语音理解、跨语言翻译和语音生成 3 个子任务挤在一起优化，容易互相牵制，而且缺少中间文本表示，难以做错误分析，大规模语音到语音平行数据又稀缺，扩展性受限。第二类是组合式，把任务分解成语音到文本前端加文本到语音后端。

例如 DASpeech 用语言解码器预测目标表示再用声学解码器生成语音，ComSpeech 用基于联结时序分类的词汇适配器连接预训练的语音到文本和语音合成模型，StreamSpeech 做流式级联。组合式的好处是可解释、可模块化，但论文指出它们仍有两个短板，一是语音编码器到语言模型的接口较浅，多是词汇适配器或音素嵌入，上下文建模不足，二是几乎没有在声学层和语言层显式建模源语言信息。

语音大模型方向提供了连续适配器连接 Whisper 类编码器和大语言模型的思路，例如 SALMONN 和 Qwen-Audio 系列，能做语音识别和理解，也能做多任务下的语音到文本翻译，但同样缺少面向高精度多语翻译的源语言注入机制。S2ST-Omni 的定位就是补这两块短板。

为什么源语言信息值得单独建模？

举一个教学例子帮助理解，注意这只是例子而非论文实验数据。同样是把一句话翻成英语，德语可能把动词放在从句末尾，法语形容词常后置，不同语言的音系和词序提示了不同的切分和重排策略。如果模型不知道当前输入是德语还是法语，就只能用一套平均参数去处理所有语言，容易在语序复杂的句子上出错。论文假设显式源语言感知对多语翻译至关重要，并把它拆成两个互补层面。

声学层面，不同语言的音素分布和韵律不同，需要在语音表示上加语言偏置。语言层面，大语言模型本身在预训练中见过多语文本，但需要明确提示当前是何种语言的语音、任务是准确翻成英语，才能激活对应的语言对知识。后文的层次化语言感知增强正是对应这两个层面，一个作用于适配器中间特征，一个作用于大语言模型输入提示。

语言标识在训练时来自数据集标签，在推理时来自 Whisper 自带的语言识别能力，论文报告复用编码器特征做语言识别可达到接近理想的精度且额外延迟很小。

S2ST-Omni 把任务切成哪两大块？

S2ST-Omni 采用组合式总体结构。前端是基于语音大模型的语音到文本模块，包含 4 个核心部件，一是 Whisper Large 第三版编码器，提供多语语音表示，二是 Qwen3-4B 大语言模型，作为翻译主干，三是混合语音适配器，用先局部后全局策略桥接两者，四是层次化语言感知架构，包含声学级的语言感知双联结时序分类和语言级的语言感知提示。后端是完全模块化的语音合成器，实验中用 IndexTTS2 这个零-shot 合成系统，前端输出的英语文本直接送给外部合成模型，无需任务特定的耦合。这意味着换合成器不用重训前端。下面先看总体架构图，再细化每个部件的计算。

为理解主数据流，请先看左侧从源语音经编码器到适配器再到大语言模型最后到合成器的纵向路径，再看中间语言感知分支如何汇入，该图是后续所有组件定位的基准。

看图路径： 1. 从底部源语音经 Whisper 编码器向上追踪到大语言模型再到顶部合成器的主路径；2. 观察右侧混合适配器内部自下而上的输入投影、局部卷积、降采样、全局注意和输出投影顺序；3. 对比中间 LA-Dual-CTC 内源 CTC 经 FiLM 调制与目标 CTC 直连降采样输出的差异；4. 区分蓝色虚线推理用语言标识路径与红色实线训练用监督损失路径

论文图 1。原论文 Figure 1：“Overall architecture of the proposed S2ST-Omni framework. LA denotes language-aware.”。

图中左侧大框是语音到文本前端加合成后端的完整链路，底部是源语音波形，向上经 Whisper 编码器得到表示 H，一路送入混合适配器的输入投影，另一路经 Whisper 解码器得到语言标识。适配器内部自下而上是输入投影、局部卷积、降采样、全局注意和输出投影，降采样输出同时分给目标 CTC 头和经 FiLM 调制的源 CTC 头，适配器最终输出与语言感知系统提示一起送入 Qwen 大语言模型，模型输出英语文本再送入顶部可插拔零-shot 合成器生成目标语音。

右侧展示 2 阶段训练时冻结与更新的差异，第一阶段只训练适配器和双 CTC，第二阶段再给大语言模型加上低秩适配。红色箭头是训练监督，蓝色虚线是推理时语言标识路径。看懂这个分叉，就能理解声学监督与语言提示为何互补。

跟着一个样本走完输入到输出

假设输入是一段法语音频。第一步，音频被重采样后送入冻结的 Whisper 编码器，得到帧级表示序列，隐藏维度是 1280，帧数记为 T。第二步，该序列进入混合适配器，先经线性层加层归一化和激活函数映射到 1024 维，再经两块深度可分离卷积捕捉局部声学模式，接着用核长 5 步长 2 的 strided 卷积把长度压缩到约一半，记为降采样表示，然后送入两层标准 Transformer 块建模长程语义依赖，最后经层归一化和线性投影映射到大语言模型隐藏维度 3584，得到语音表示 Z。

第三步，语言标识被确定为法语，一方面生成包含法语名称的提示词，例如含义是以下是法语语音请准确翻成英语，经分词器编码后与 Z 拼接，另一方面生成语言嵌入并调制降采样特征做源语言分支的联结时序分类监督。第四步，大语言模型以自回归方式生成英语文本。第五步，该文本送入外部合成器生成英语语音。整个过程中，编码器和大语言模型基座在第一阶段冻结，适配器和 CTC 头是主要学习对象。

语音到文本前端 × 可插拔语音合成后端： 语音到文本前端负责把源语言语音转成英语文本，包含编码器、适配器、语言感知增强和大语言模型，可插拔语音合成后端负责把中间英语文本转成目标语音，二者搭配的原因是直接语音到语音并行数据稀缺而语音到文本和文本到语音语料相对丰富，组合意义是翻译与合成可独立优化和更换合成器而不重训前端，并保留可解释的文本中间表示。

混合适配器如何做到先局部后全局？

适配连续语音表示到大语言模型需要同时处理多尺度信息，从音素级声学模式到句子级语义。论文对比了两种极端，一种是每层都交织卷积和注意力的 Conformer 风格，早期全局混合可能稀释细粒度局部线索，且在长语音序列上算自注意力开销大，另一种是只做逐帧线性投影的多层感知机风格，参数高效但没有显式时序建模，把捕捉短时音素模式的负担推给本就擅长高层语义的大语言模型。

混合适配器的安排理由是先巩固局部声学结构，再在降采样后的短序列上建模长程依赖。具体计算是，Whisper 输出先投影到 1024 维得到初始表示，叠两块深度可分离卷积块，每块含层归一化、核长 7 的 1 维深度可分离卷积、扩张比 4 的前馈网络和残差连接，然后用核长 5 步长 2 的 1 维卷积降采样并做层归一化和激活，得到长度减半的表示，接着送入两层多头自注意力块，每块 4 头加扩张比 4 的前馈网络，最后投影到 3584 维送入大语言模型。

降采样后的中间特征还会被语言感知双 CTC 复用做辅助监督。

混合语音适配器 × 大语言模型： 混合语音适配器负责把 Whisper 编码器输出的长帧序列先做局部声学归纳再降采样做全局语义建模，大语言模型负责在已对齐的语音表示上做跨语言翻译推理，二者搭配的原因是语音帧太长太细而大语言模型擅长高层语义，组合意义是适配器输出可直接拼接到大语言模型输入空间，形成声学到语义的分层抽象。

两级语言感知在何处以何种形式注入？

语言感知提示工作在语言层面。给定源语言标识，实例化一个简单模板，含义是以下是某种语言语音请准确翻成英语，其中语言槽填完整语言名，例如法语。模板经大语言模型分词器编码得到提示嵌入，与语音表示和目标文本嵌入拼接形成大语言模型输入。这样做不引入额外可训练成本，目的是显式声明源语言并引导模型进入正确的语言对翻译模式。语言感知双 CTC 工作在声学层面，作用对象是混合适配器的降采样中间特征而非最终输出。

设计理由是该位置既保留联结时序分类所需的单调对齐结构和足够声学细节，又与后续负责高层语义的全局注意力层解耦。语言嵌入经小多层感知机生成缩放和平移参数，目标语言固定为英语所以目标 CTC 头直接作用于降采样特征，源 CTC 头作用于经门控 FiLM 变换后的特征。门控标量初始化为 0.5，训练中可自适应增减对语言条件的依赖。

LA-Dual-CTC × 语言感知提示： LA-Dual-CTC 在适配器中间特征上做声学级语言条件调制，用源语言分支保留单调对齐结构，语言感知提示在语言模型输入端用源语言名称构造提示词来激活对应翻译模式，二者搭配的原因是多语差异同时体现在发音细节和句法语义层面，组合意义是自底向上和自顶向下同时注入源语言信息，消融显示只去其一小幅下降、同时去掉大幅下降。

门控的作用需要单独说明。FiLM 本身提供语言相关的逐维缩放和平移，但如果一开始调制太强会破坏内容表示，太弱又学不到语言特异性。可学习门控把整体强度包起来，初期取中等值，后续由梯度决定增强或减弱，这种安排让声学表示在内容忠实和语言特异之间取得平衡。

FiLM 条件调制 × 可学习门控： FiLM 条件调制负责由语言嵌入生成缩放和平移参数来调整中间语音特征，可学习门控标量 g 负责控制整体语言调制的强度，初始取 0.5，二者搭配的原因是不同语言需要不同强度的声学偏置但训练初期不宜过强，组合意义是模型可在训练中自适应增大或减小对语言条件的依赖，保持内容忠实的同时学到语言特异表示。

两阶段渐进微调先冻什么后调什么？

直接联合优化冻结的 Whisper 编码器、大型预训练语言模型、新初始化的适配器和辅助 CTC 头是困难的，因为初始化和优化动态差异大。论文采用任务特定的 2 阶段渐进微调。第一阶段是建立对齐基础，冻结 Whisper 编码器和 Qwen3 基座参数，只训练混合适配器和双 CTC 头，大语言模型此时相当于固定的条件语言模型，适配器被优化成同时与源文本和目标文本对齐的特征。损失是自回归交叉熵加源分支和目标分支的联结时序分类损失，权重分别取 0.1 和 0.2 以强调可靠对齐。

第二阶段是翻译增强，在继续以较小学习率训练适配器和 CTC 头的同时，给大语言模型的自注意力查询和值投影加上低秩适配，秩为 8，缩放因子为 32，丢弃率为 0.1，并以更高学习率优化这些低秩参数。此时联结时序分类权重下调到 0.01 和 0.05，把重心转向端到端翻译质量但保留对齐信号。具体学习率是第一阶段适配器 1 乘 10 的负 5 次方、双 CTC 5 乘 10 的负 5 次方训练 150,000 步，第二阶段适配器 5 乘 10 的负 6 次方、双 CTC 1 乘 10 的负 6 次方、低秩适配 5 乘 10 的负 5 次方再训练 150,000 步，每 GPU 批量 4 并累积 6 步。

合成后端全程不参与前端训练，可直接选用现成系统。

第一阶段对齐 × 第二阶段翻译增强： 第一阶段对齐冻结语音编码器和大语言模型基座只训练适配器和 CTC 头，在强双 CTC 监督下建立语音文本对齐，第二阶段翻译增强加入 LoRA 并降低适配器学习率转向端到端翻译质量，二者搭配的原因是联合优化时对齐梯度和翻译梯度互相干扰，组合意义是先稳住对齐地基再在收敛基础上精调翻译行为，单阶段训练报告显示仍落后于 2 个阶段。

数据、基线、指标和实现条件是什么？

实验用 CVSS-C 基准，它提供源语音、目标文本和目标语音三元组，覆盖 21 种源语言到英语。为了与近期组合式系统公平比较，论文只选 3 个代表性方向，法语到英语、德语到英语、西班牙语到英语。微调数据就是这 3 个方向的有监督训练集，源语音重采样到 16 千赫兹，目标语音到 22.05 千赫兹。基线共 8 个强系统，包括 Translatotron、Translatotron 2、S2UT、UnitY、DASpeech、ComSpeech、StreamSpeech 和 Hibiki。评价用 BLEU 和 ASR-BLEU 为主，ASR-BLEU 是先用预训练 wav2vec2 语音识别模型转写生成语音再用 SacreBLEU 计算，配置签名固定为引用一个参考、大小写混合等，并额外报告 COMET 做语义层补充。

实现基于 PyTorch，在两块 A6000 上训练，双 CTC 分支用 8 千和 4 千的 SentencePiece 词表分别处理多语源端和英语目标端。延迟测量在单块 RTX A5000 上批量为 1，分别统计编码、语言识别解码、适配器和大语言模型预填充加生成的时间。

下面先核对数据量构成，这是判断高资源设定和训练成本的前提，指标方向都是越高越好。

该表显示 3 个方向合计 561 小时，其中法语最多、西班牙语最少，这解释了为什么后文西班牙语到英语绝对分数反而较高时不能简单归因于数据量，还需考虑语言难度和测试集差异。数据条件限定了结论只适用于这 3 个高资源方向，低资源和多目标方向未验证。

主结果在多大差距上领先，语义指标是否一致？

主结果要回答的是翻译文本是否更准、合成语音转写后是否更接近参考。论文报告 S2ST-Omni 在 3 个方向上都是所评系统中最好。与最强的组合式基线 StreamSpeech 相比，平均 BLEU 从 28.77 提升到 35.67，平均 ASR-BLEU 从 25.54 提升到 33.45，对应约百分之 24 和百分之 31 的相对增益。分语言看，德语到英语提升最大，西班牙语次之，法语相对最小但仍超过专门优化该方向的 Hibiki。语义指标 COMET 同样最好，法语、西班牙语、德语分别达到 81.94、83.39 和 80.73，比 StreamSpeech 高出 5.28、8.59 和 15.22。作者把一致增益归因于混合适配器提供更强的语音到语言模型接口，加双 CTC 和提示注入互补的声学与语言线索，再配合渐进微调更有效地利用 Whisper 和 Qwen3。

为核对主结果的公平条件，需要确认比较对象是实际可运行的基线而非事后最优，且指标方向一致，下面整理平均与分方向的关键数字。

表中平均行显示本方法在两个指标上同时领先约 7 点和 8 点，德语行差距最大，西班牙语行本方法绝对值最高。表后需要强调代价与限制，领先是在冻结大骨干加 2 个阶段 150,000 步训练下取得的，且只覆盖 3 个高资源到英语方向，不能推广到多语互译。未胜出项方面，原文的真值合成上限远高于所有系统，说明合成环节仍有空间，但本表未展开真值行的具体聚合口径差异。

换合成器影响大吗，延迟瓶颈在哪里？

后端分析固定前端只换合成器，比较 5 个先进系统。最好配置与最弱配置的平均差距在 1.4 点以内，相对约百分之 4，各语言对都落在窄带内，即使最弱后端平均仍高于同评价下的 StreamSpeech。结果支持在强语音到文本前端下，合成性能对具体现代合成器的选择不敏感，实践中可按延迟、音色或部署约束选后端而不用重训翻译模块。延迟分析显示前端平均每句约 704 毫秒，其中大语言模型解码占约百分之 79，Whisper 编码占约百分之 17，语言识别解码和适配器合计仅约百分之 4.2。由于后端完全模块化，总延迟还取决于所选合成器，前端测量不能代表端到端延迟。

为核对语义与合成鲁棒性，下面同时整理 COMET 和后端平均分数，指标越高越好但分属文本语义与语音转写两个聚合对象，不可直接相减。

该表显示语义指标与转写指标趋势一致，且后端替换的波动远小于前端带来的提升。代价是 COMET 只在有竞争力的系统上报告，未覆盖全部 8 个基线，合成比较也只报告 ASR-BLEU 而无人工自然度和说话人相似度评价，因此不能把自动指标等同于人评。

拿掉适配器、语言感知和两阶段各会发生什么？

消融要回答每个部件是否必要。先看适配器，把混合适配器换成 Conformer 设计，平均 BLEU 从 35.67 降到 34.69，平均 ASR-BLEU 从 33.45 降到 32.16，各语言对趋势一致，换成多层感知机则降到 32.37 和 29.66，对应约百分之 9 和百分之 11 的相对下降。结果支持先局部后全局的安排优于密集交织卷积注意力，也远优于无显式时序建模。再看层次化语言感知，单独去掉提示或单独去掉双 CTC 都是小幅下降，去掉提示到 35.25 和 32.89，去掉双 CTC 到 35.16 和 32.72，同时去掉则降到 33.68 和 30.95，对应约百分之 5.6 和百分之 7.5 的相对下降，支持两者互补。再看渐进微调，只保留第一阶段不做低秩适配，平均降到 33.33 和 30.63，德语降幅最明显，合并成单阶段训练则为 34.37 和 31.81，支持先强调对齐再精调翻译的 schedule 更稳定。

下面整理语言感知消融，这是理解互补性的关键对照，比较条件是同一前端只开关语言分支。

该表显示单分支缺失只损失约 0.4 到 0.7 点，而双分支同时缺失损失约 2 点和 2.5 点，支持声学调制和语言提示提供不同信息而非重复。代价是需要可靠语言标识，论文报告推理时复用 Whisper 的语言识别精度在德法西上为 99.76%、99.67% 和 99.80%，额外延迟仅 22.8 毫秒，但若语言标识错误，提示和调制都会引入噪声，该失败条件未在主表中量化。

训练策略的对照同样需要保留实际可运行的单阶段与缺第二阶段变体，而非只报告最优值。

该表显示去掉第二阶段是最大退化，单阶段居中，支持对齐与翻译同时优化存在梯度干扰。未胜出项是单阶段仍优于只做第一阶段，说明低秩适配本身带来增益，但不如 2 个阶段 schedule。限制是学习率和步数组合只验证了一组取值，最优性待验证。

哪些结论不能从当前证据推广？

论文在局限节明确了四点。第一，实证只限 3 个高资源源语言加英语为唯一目标语言，且只用单个基准，低资源、多对多、更多领域和说话风格下的混合适配器、语言感知和渐进微调的稳健性仍是开放问题。第二，当前实例依赖大骨干，即 Whisper Large 第三版和 Qwen3-4B，训练和推理都需要可观算力，虽然适配器和渐进微调是参数高效的，但在边缘设备或严格延迟能耗约束下仍可能难以部署，需要压缩或蒸馏。

第三，分层语言感知假设能拿到可靠源语言标识，推理时复用 Whisper 编码器和解码器预测语言，延迟可忽略但引入少量噪声，报告精度虽高但错误传播未量化。第四，评价聚焦 BLEU 和 ASR-BLEU 等自动指标，没有包含翻译充分性、自然度或说话人相似度的人工评价，也没有跨部署设置的端到端延迟和算力成本的全面分析。这些缺失不是技术错误，但意味着不能承诺误判率、延迟或成本已改善，相关性也不能当作因果。

要复现应先准备什么，先跑哪一步？

复现先对齐实验条件。数据用 CVSS-C 法德西到英的有监督训练集和对应官方测试集，注意源语音 16 千赫兹、目标语音 22.05 千赫兹的预处理。模型侧准备 Whisper Large 第三版编码器和 Qwen3-4B，冻结两者基座，第一阶段只训练混合适配器和双 CTC，学习率分别取适配器较小、CTC 头较大，跑 150,000 步，损失权重取源 0.1 目标 0.2，第二阶段加入秩 8 的低秩适配并降低前两者学习率，CTC 权重降到 0.01 和 0.05，再跑 150,000 步。双 CTC 词表用在训练集源目标文本上训练的 8 千多语源词表和 4 千英语目标词表。

评价时文本用 BLEU，语音先用 wav2vec2 识别再用 SacreBLEU 固定配置算 ASR-BLEU，SacreBLEU 代码当前可用，链接状态为 200，地址为 github 上 sacrebleu 仓库，可用于核对指标实现。合成后端可先用 IndexTTS2 打通链路，再按需替换 FireRedTTS2、CosyVoice3、ZipVoice 或 VoxCPM1.5 验证鲁棒性。还需补的验证包括语言标识错误时的回退策略、低资源方向的泛化，以及人工评价和端到端延迟测量。资源状态是正文开源声明的唯一依据，当前证据只确认了评价工具链可用，未确认本项目代码权重是否公开，不能写成已公开。

何时值得尝试这个方案？

当任务是多语语音到英语语音，且有一定语音到文本平行数据但缺少语音到语音平行数据时，这个组合式方案值得尝试。它的价值在于用较强的语音到语言模型接口和显式的源语言建模提升翻译 fidelity，同时保留中间文本便于排错，并允许按应用需求更换合成器而不重训前端。如果场景是低资源语言、多目标语言、流式同传或端侧部署，则需要额外验证，因为原文未覆盖这些条件，且大骨干和自回归解码的延迟成本不可忽略。

初学者复述时可按输入到表示到组件到目标到输出的顺序，先讲清降采样位置为何复用、源目标双分支为何不对称、2 阶段权重为何由强转弱，再展开消融数字。记住区分报告显示、结果支持和可能待验证 3 种表述，自动指标的提升不等于人工体验的提升，总体趋势也不等于每组每步都成立。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

另有 15 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 acl-2026 论文汇总