用双模识别稳住部分音频，再让大模型翻译：NeMo 级联同传如何兼顾延迟与质量

英文题目：NeMo@IWSLT 2026: Cascaded System for Simultaneous Speech Translation

会议身份：conference:iwslt:2026:conference-paper-id:2026.iwslt-1.23

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#模型融合 #大语言模型 #多语言 #流式处理 #语音翻译

评分：6.8/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 1.2/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Lilit Grigoryan：机构信息未能从会议 PDF 纯文本可靠映射
• Vladimir Bataev：机构信息未能从会议 PDF 纯文本可靠映射
• Andrei Andrusenko：机构信息未能从会议 PDF 纯文本可靠映射
• Oleksii Hrinchuk：机构信息未能从会议 PDF 纯文本可靠映射
• Davit Karamyan：机构信息未能从会议 PDF 纯文本可靠映射
• Enas Albasiri：机构信息未能从会议 PDF 纯文本可靠映射
• Vitaly Lavrukhin：机构信息未能从会议 PDF 纯文本可靠映射
• Nikolay Karpov：机构信息未能从会议 PDF 纯文本可靠映射
• Boris Ginsburg：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文处理同时语音翻译，输入为连续到达的英语或捷克语音频流，输出为德语、意大利语、中文或英语目标文本，难点是在计算感知LongYAAL小于2秒的低延迟与小于4秒的高延迟约束下保持增量输出稳定可读。方法链由三步构成：统一自动语音识别转导器先将音频分块增量转写并以非语音帧计数检测语句结束，其输出的部分转写与已确认前缀进入多语言大语言模型做前缀约束翻译，最长公共前缀策略再截断跨步变化的尾部以保证一致性。相对直接流式化离线模型的缓冲重算方案，双模训练加一致性正则让流式假设更贴近离线质量，而基于全论文分块的图偏置词表则针对科学实体定制识别以降低误识传播。定制词表构建时解析全文并按约4000词分块抽取实体，经去重过滤后提升偏置权重以改善命名实体识别。在IWSLT 2026低延迟评测设置下，本系统英德方向的COMET为92.74，高于官方基线的COMET 74.80。该结论适用边界受限于IWSLT 2026定义的特定语料与延迟口径，对高重排序语言与开放噪声场景尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要保留什么？

本文解读的对象是同时语音翻译任务，也就是说话人还在说话时系统就要陆续输出译文。输入是连续到达的源语言语音，输出是目标语言文字，且输出要随着音频增长而增量修订，直到一句话结束才冻结。

学习目标是让刚进入语音音频领域的研究生能复述该级联系统的做法：音频如何分块送入识别器，部分转写如何交给大模型，翻译前缀如何保持稳定，语句结束如何判定。以及高低延迟两档如何用同一套参数切换。

必须保留的信息包括任务与语言方向，组件的具体模型归属与解码设置，延迟与质量的评价口径。以及定制化中实体挖掘与偏置权重的处理。

凡是涉及效果的数字，都要同时说明数据集阶段、识别与翻译配置、指标与聚合含义，不把不同指标的差值混为一谈。输出是 1 篇可核对的方法复述，不做营销式判断。

教学用的例子会明确标为例子，不虚构论文之外的数值。后续按学习依赖展开：先讲任务与路线选择，再讲系统全景与组件计算。然后讲构造与推理流程、实验条件、结果与反证，最后讲复现要点与收束。

同传有哪些路线，为什么作者选择级联？

同时翻译大体有两条路线。一条是端到端，直接从语音预测译文，省去中间文字，但需要大量平行语音翻译数据。另一条是级联，先做语音识别再做机器翻译，模块解耦，识别与翻译可以各自选用最成熟的模型。

本文属于后者，识别用变换器类模型，翻译用预训练多语言大模型。把离线识别模型直接搬到流式，常见做法是分块或缓冲解码。论文指出这类适配在低延迟区退化明显，因为部分音频缺乏右语境，假设不稳定。

另一类是流式原生结构，例如缓存感知或双模结构，设计目标就是从部分输入产生稳定假设。作者选择级联加双模统一识别器的理由正在于此：先解决上游部分假设的稳定性，再让下游大模型在稳定前缀约束下翻译。

相关工作对照要按同输入同目标同运行阶段进行。缓冲方法与缓存感知方法输入都是流式音频块，目标都是部分转写，但监督与推理代价不同。前者靠重算维持质量，后者靠缓存与因果化维持效率。

本文的统一模型与二者同阶段比较，比较点是相同延迟约束下的转写词错率与下游翻译质量。而不是把离线全文转写的质量直接当作流式胜负。

要解决的矛盾是什么，延迟与质量如何度量？

核心矛盾是延迟越低，能看到的未来语音越少，转写越不稳定，而翻译若跟随每个不稳定转写就会频繁改写输出。系统既要早出字，又要少改写，还要在语句结束时译准。

论文用延迟与质量两类指标刻画这个权衡。质量主要用基于大模型的翻译质量指标与词错率，辅以传统自动指标。延迟用同时翻译的长时平均滞后类指标，区分计算感知与计算无感知两种口径。

举例说明：假设一句话的前半段音频刚到，识别给出一个临时转写，翻译据此输出一个临时译文。当后半段音频到达，识别修正了前半段的词，翻译若无约束就会推翻已显示的译文。

局部一致与语句结束机制就是为了解决这种改写问题。参赛覆盖英语到德语、意大利语、中文，以及捷克语到英语，分为低延迟与高延迟两档。

低延迟要求计算无感知延迟小于 2 秒，高延迟允许到 4 秒。不同语言方向的难点不同，论文特别指出英语到中文因译文语序重排频繁，稳定前缀更短，延迟天然偏高。因此需要更小的块与更早的结束判定。

系统全景：一个样本如何从声音走成译文？

沿一个样本走完全程有助于建立整体感。输入是按时间到达的音频流，系统按固定帧长切分，例如每帧 80 毫秒。识别器维护左语境、中央块与右语境 3 个部分：左语境是已处理的历史，中央块是当前要固定输出的部分。

右语境是刚到达的展望。解码器状态在块之间传递，右语境对应的临时转写先给翻译看，但不固定。下一块到达且获得展望后再重算为固定转写。

部分转写进入翻译阶段时，系统同时传入上一轮的翻译前缀与已冻结的历史输出。大模型在提示词约束下生成当前译文，但生成必须以给定的目标前缀开头，保证已稳定的部分不被改写。

翻译输出同样分临时与固定两层：临时译文随识别修正而更新，固定译文只在语句结束检测触发后才确定。检测依据是连续空白符或非语音帧的数量，超过阈值即认为一句话结束。

随后清空当前前缀并推进到下一段音频。

流式语音识别 × 级联翻译： 流式语音识别负责从不断到达的音频块中增量产生部分转写假设，分工是保证低延迟下假设准确且稳定；级联翻译负责把该转写交给大模型译成目标语言，分工是利用预训练多语言能力做语义转换；二者搭配的理由是解耦声学与翻译，使翻译可复用强大多语言模型而不必端到端重训，组合意义在于上游转写的稳定性直接决定下游能否用前缀匹配维持输出稳定。

这种安排把声学不确定性隔离在识别侧，把语义稳定性交给前缀机制。理解后续组件时，可以始终回到这个样本路径：音频块决定延迟，转写稳定性决定翻译能否固定。结束判定决定状态何时重置。

三种识别模式与翻译约束各管什么？

识别侧比较了 3 种流式策略。第一种是缓冲模型，用离线模型加滑动窗口重算，每步重编码整个缓冲。中央块固定输出，右语境临时输出。

优点是无需重训即可流式化，缺点是低延迟下右语境不足导致质量下降，且重复计算量大。第二种是缓存感知模型，每帧只编码 1 次，依靠有界缓存追加新特征。并把归一化层换成层归一化、卷积改为因果卷积，以消除训练与推理不一致。

优点是计算高效，缺点是展望帧数受限，理论延迟被锁在较小范围。第 3 种是统一变换器，一个模型同时支持离线与流式，通过一致性正则让流式假设贴近离线质量。延迟则通过块与右语境参数调节，同一权重可覆盖高低两档。

缓冲解码 × 缓存感知解码： 缓冲解码的分工是每步重编码左语境加中央块加右视窗，用重算换取质量并丢弃临时右语境转写；缓存感知解码的分工是每帧只编码 1 次并维护自注意力和卷积的有界缓存，用状态追加消除重复计算；搭配比较的理由是二者代表质量优先与计算优先的两种流式化思路，组合意义在于揭示低延迟下重算仍会退化，而缓存结构需配合因果化改造才能对齐训练与推理。

双模统一变换器 × 一致性正则： 双模统一变换器的分工是一个模型同时支持离线与流式两种解码模式，通过调节块与右语境参数覆盖高低延迟；一致性正则的分工是约束流式假设向离线质量对齐，保持部分输入下的稳定性；搭配理由是只靠切换块大小无法自动保证流式不偏离离线，组合意义在于用训练目标把稳定性写进模型，使同一权重在小块时仍可用。

翻译侧采用提示词加前缀强制。大模型收到源语言文本、目标语言名、当前转写与目标前缀，解码时必须延续该前缀。对多语言大模型还附加系统提示，要求只输出译文、不补全不完整输入。并保留实体数字标点格式。

翻译的稳定性不靠模型自行决定，而是靠最长公共前缀计算：只有连续更新中不变的部分才成为下一轮的前缀。

局部一致策略 × 最长公共前缀： 局部一致策略的分工是只允许连续 2 次更新中保持不变的翻译部分成为当前前缀，防止不稳定识别假设向下游传播错误；最长公共前缀的分工是具体计算该稳定部分的长度与内容，作为解码时强制延续的前缀；搭配理由是流式转写会被修正，翻译必须有显式的稳定边界，组合意义在于用前缀约束把输出稳定性与识别修正解耦。

定制场景引入基于图的短语偏置。系统先从论文全文挖掘实体短语，再在贪心解码时提升这些短语的概率。语句结束检测与短语偏置分别管切分与实体，二者配合使定制化只影响内容覆盖而不破坏时间状态。

语句结束检测 × 短语偏置： 语句结束检测的分工是根据连续空白符或非语音帧计数判定话语结束，之后冻结转写与翻译并重置上下文；短语偏置的分工是在解码时提升论文全文中挖掘的实体短语概率，改善人名模型名等罕见词；搭配理由是前者管时间切分与状态重置，后者管内容层面的实体覆盖，组合意义在于定制场景下先切准再译准，避免实体错误被过早固定。

哪些模型被训练，哪些只是调用，缺什么信息？

本研究的训练与调用要分开说明。对于英语识别，论文明确使用已有的公开模型做流式推理与比较。包括缓冲用的离线模型、缓存感知模型与统一英语模型，没有报告在本研究中重新训练这些英语模型的损失与数据配比。

对于捷克语方向，论文报告训练了一个 0.6B 参数的统一变换器，训练数据是捷克语语音子集。编码器用多语言模型的编码器初始化，目标是同时支持离线与流式。

原文未给出该训练的学习率、轮数、批量与正则权重的完整超参数，因此不能复述训练细节。只能确认数据来源规模量级、参数量与初始化方式。翻译侧没有训练新的大模型，全部是调用已有的多语言大模型，包括不同规模的系列模型。

调用时的可复现信息是提示词模板与前缀强制方式，而不是权重更新。定制化中的实体抽取调用大模型做多次采样与多数投票，抽取后经过合并、去纯数字、长度过滤。还包括去停用词与大小写不敏感去重，只保留高频形式，再调偏置权重。

论文报告偏置权重从 0.3 调到 0.4 是在开发集上重调得到，但未报告搜索网格与方差。需要指出的缺项是：统一模型的一致性正则的具体公式权重、缓存感知模型的缓存长度。以及解码器的状态传递实现细节，均未在本证据中给出完整可重算形式。

因此复述时只讲原文明确的计算过程，不从模型名称推定梯度路径或优化步骤。

实验条件：数据、基线、指标方向与延迟档如何划分？

实验按翻译方向与延迟档组织。方向包括英语到德语、意大利语、中文，以及捷克语到英语。延迟档按计算无感知长时延迟划分，低于 2 秒为低延迟，最高到 4 秒为高延迟。

帧长为 80 毫秒，块与语境以帧数表示，例如 70 帧左语境配合不同中央与右语境帧数。语句结束阈值对英语到中文设为 800 毫秒，其余方向为 1600 毫秒。这是为了缓解中文语序重排导致的稳定前缀过短问题。

基线方面，英语各方向的官方基线是级联系统，识别与翻译分别用指定的语音识别与指令模型。捷克语到英语基线用滑动窗口重译方法，在流式设置下运行并经网格搜索选出给定延迟约束下质量最高的参数。

比较的公平条件是同一方向、同一延迟档、同一评价工具，质量以高为好，延迟以低为好。评价工具用统一的同时翻译评价工具，质量主指标为基于大模型的翻译质量分，辅以传统自动分。识别用词错率，延迟用长时滞后指标。

定制化实验使用提供的科技论文全文，解析标题作者摘要、正文编号节与参考文献。去除链接邮箱与附录，按约 4000 词沿节边界分块，每块多次采样抽取 10 类目标实体。经多数投票与后处理形成偏置词表。

调参在纯识别任务上进行，以避免依赖翻译质量，这种解耦使偏置权重选择更简单。

主结果：在相同延迟下谁在译，代价是什么？

比较的核心问题是：在同一语言方向与同一延迟档下，统一识别加持的级联是否在质量不降且延迟不增的前提下优于官方基线。公平条件是同一评价工具与同一延迟口径，质量越高越好，延迟越低越好。

下表整理低延迟下英语到德语 3 种识别策略的对照，翻译大模型固定，用词错率、翻译质量分与传统分共同观察，延迟一并列出。

上表显示统一模型在该低延迟设置下词错率最低且翻译质量分最高，缓冲离线模型在小块下退化明显。缓存感知模型延迟最小但质量略低，这支持论文关于统一模型更适合低延迟的判断。

但代价是高延迟大块下离线缓冲模型可能反超，因为 2.88 秒大块提供了充足语境。此时重算的质量优势会显现，未胜出项是缓存感知模型。它虽高效但展望受限，不能靠调大块无限提升质量，这是结构性边界。

第二个比较是最终系统与官方基线的对照，问题是同样的延迟档下能否同时提升质量并控制延迟。下表以英语到德语与英语到意大利语低延迟为例，列出基线与本系统在同一评价下的质量与延迟。

表后解释需要同时看到收益与限制。收益是本系统在英德英意上质量提升幅度大且延迟持平或更低。论文报告定制化还带来稳定的小幅提升，限制是英语到中文提升较小且延迟偏高。

原因是中文重排导致稳定前缀短，系统被迫用更小块与更早结束来换延迟，这会损失部分语境。不同指标的差值不能混读，翻译质量分与传统分的量纲不同，百分点与相对百分比也不同。

消融与对照：块大小、前缀与大模型选择带来什么变化？

消融围绕 3 个可调因素展开。第一是块与右语境大小。从流式识别加离线翻译到流式识别加流式翻译的比较显示，块极小时流式翻译损失最大。中等块时差距收窄，说明更多语境能弥补大部分损失。

论文还报告从真值文本加离线翻译的上界到流式识别的下降是小而一致的。且随块增大而缩小，这支持先保证识别语境再谈翻译优化的顺序。第二是大模型选择。

在低延迟下，不同规模与系列的大模型在各方向表现不一，大参数模型在英德英意与捷英上占优。而英语到中文的最优是较小规模的指令模型。这说明不存在单一模型在所有方向全胜。

选择必须按方向与延迟分别验证，不能把总体趋势推广到每组都成立。第三是定制化偏置。基线只从标题作者摘要抽实体，中位数每篇 25 个，多为识别已覆盖的词。词错率仅从 7.90% 到 7.83% 微降。

改进后覆盖全文分块抽取，中位数 114 个实体，权重调到 0.4 后词错率到 7.67%。这支持全文覆盖与更高权重的组合，但代价是输入量更大。好在每块信息量更高因而采样次数可从 16 次降到 8 次。

未评测的边界是偏置词表过大时的误触发率，原文未测量误判代价。因此不能承诺实体覆盖提升必然无损通用词准确率。

哪些结论有边界，哪些量没有被测量？

论文直接报告的是在给定评价工具与延迟口径下的质量与延迟数字。有限解释是统一模型与前缀机制对低延迟稳定的作用，未验证的推测是该组合在其他语种与真实会议噪声下同样成立。

缺失证据不是技术错误，但复述时要用报告显示支持可能待验证加以区分。具体边界包括：高延迟大块下统一模型不一定最优，缓冲离线模型可能因充足语境反超。中文方向因重排频繁，延迟天然偏高，缩小块与提前结束是缓解而非根治。

大模型越大不一定在所有方向最好，中文方向的最优并非最大模型。未测量的量包括计算感知的实时开销细节、不同硬件下的推理成本。还包括偏置带来的误接受率，以及人工评测的流畅度与忠实度。

自动分不能当作人评，总体趋势也不能推广到每个话语每一步都成立。另一个常见误解是把无训练等同于确定性。翻译调用大模型且识别为贪心解码，冻结参数不意味着输出确定。

采样、束搜索与状态重置都会影响结果。复述时应明确哪些是固定配置，哪些是运行时状态。

要复现先做什么，需要固定哪些条件？

复现的第一步是固定评价口径与延迟档。先用官方评价工具跑通质量与延迟计算，确认计算无感知延迟低于 2 秒为低延迟、到 4 秒为高延迟。并固定帧长 80 毫秒与语句结束阈值，英语到中文用 800 毫秒其余用 1600 毫秒。

下表把这些不可随意更改的门槛与代价放在一起，便于核对配置是否一致，表中数值均来自原文连续语句的逐字证据。

表后说明复现顺序。先跑通识别流式推理，固定左语境 70 帧，再分别试中央与右语境的低延迟小块与高延迟大块。记录词错率与延迟，然后接入翻译，固定提示词模板与前缀强制。

先用真值文本加离线翻译测上界，再换流式识别加离线翻译测识别损失。最后换全流式测前缀机制的额外损失，每步只改一个变量，才能把块大小、前缀与大模型选择的影响分开。

定制化复现要先复现全文解析与分块，确认去除链接邮箱与附录、沿节边界约 4000 词分块。每块 8 次采样多数投票的流程，再调偏置权重。资源状态方面，本次未发现完成验证的开源资源绑定。

因此不能声称代码模型或数据已公开，复现应以论文给出的模型名称与参数设置为准。缺失的超参数要明确记为缺项而不是猜测填补。

何时值得尝试这种级联，还需补哪项验证？

当已有较强的流式识别基础与多语言大模型，且目标是快速覆盖多语言方向与高低两档延迟时，这种级联值得尝试。它的优点是解耦：识别侧用统一模型解决部分假设稳定，翻译侧复用大模型能力。

前缀与结束机制解决改写与状态重置。尤其在低延迟档，统一模型在小块下的稳定性是关键收益。当目标语言语序与源语言差异大，或实体密集需要定制时，要预留额外调参。

中文方向需要更小块与更早结束，定制场景需要全文实体挖掘与偏置权重重调。这些都会增加输入处理与验证成本。如果计算预算极紧，缓存感知的高效性值得权衡，但要接受展望受限的质量上限。

还需补的验证包括：同一系统在计算感知延迟下的人工评测，偏置词表的误触发率与通用词影响。以及更大噪声与口音下的稳定性，只有补齐这些，才能把自动指标上的提升转化为可部署的同传收益。

复述到此收束：记住输入到输出的主路径、3 个识别模式的分工、前缀如何冻结、结束何时重置。就抓住了全文可重放的核心。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 iwslt-2026 论文汇总