不等停顿的同传：用偏好学习把块间静音换成连续说话

英文题目：NaturalFlow: Reducing Disruptive Pauses for Natural Speech Flow in Simultaneous Speech-to-Speech Translation

会议身份：conference:interspeech:2026:conference-paper-id:lee26c_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#偏好优化 #主观评测 #流式处理 #语音翻译

评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Dongwook Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Youngho Cho：机构信息未能从会议 PDF 纯文本可靠映射
• Sangkwon Park：机构信息未能从会议 PDF 纯文本可靠映射
• Heeseung Kim：机构信息未能从会议 PDF 纯文本可靠映射
• Sungroh Yoon：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

同时语音到语音翻译（Simultaneous Speech-to-Speech Translation，Simul-S2ST）需在源语流未结束时增量生成目标语音，刚性分块策略导致块间静音频发并损害听感。本文提出NaturalFlow，以Hibiki-2B为基座引入流畅度感知的偏好优化框架，先对同一源语音高温采样多候选译文并用识别质量与静音率打分筛选出连续与断裂样本。接着以银牌准则构造偏好对，将极低静音率导致的加速含糊样本设为负例以约束单目标塌缩，上一步的偏好对直接作为下一步优化的监督信号。最后仅在声学接地的文本流上做长度归一化直接偏好优化以稳定训练，使模型学会选择更长等义释义延长发声时长。该机制与传统质量时延折中优化不同，直接把可复述长度差异转化为发声时长，用更长但等义的释义争取源上下文到达时间。在VoxPopuli基准测试集下，NaturalFlow的沉默率指标SR为0.10，低于Hibiki基线的沉默率指标SR 0.12。结论目前仅限法语到英语朗读式演讲语域，自发对话与多语种外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 演示资源：https://naturalflows2st.github.io/naturalflow/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么低延迟会变碎？

这篇论文研究的输入是连续到达的法语源语音，输出是几乎同时播放的英语目标语音，任务属于同时语音到语音翻译。研究生可以这样理解学习依赖：先要分清连续翻译与同时翻译，连续翻译等整句说完再翻，自然但延迟大，同时翻译边听边说，延迟小但容易碎。论文要保留的信息是源语义，同时要让目标语音听起来连续。输出不仅是一串词，还包括发声时长、停顿位置和语速，听众是直接用耳朵判断自然度的人。

作者把问题锚定在块间静音上，也就是模型每放出一小块翻译之间插入的等待性静音。基线系统为了等足够语义上下文，只能停下来等，听感就是说几个词就卡一下。论文开场用一个真实例子说明机制：基线把法语冠军赛阶段得分保留的意思翻成较短的英文，需要 3 次停顿等后文；而本方法换成含有更多音节的等义复述，用更长的发音时间覆盖等待，从而不停。

为了先建立直觉，请看下面这张基线与本方法在同一源句上的输出对比，它把文本停顿标记、波形断点和听众感受画在一条纵向流程里。

看图路径： 1. 先看顶部法语源句与两条英文译文文本，比较基线句中的省略号停顿标记与下方案的连续句子；2. 再看两条波形下方的虚线断点与加载图标，确认基线存在多处等待而下方案波形连续；3. 最后沿从上到下的箭头理解论文主张：换一种等义但更长的措辞即可减少等待

论文图 1。原论文 Figure 1：“Comparison of translation outputs on a real example from the CVSS-C test set. Our model produces a natural flow with fewer pauses compared to the baseline.”。

上图显示基线文本中有多处省略号表示的停顿，对应波形中虚线断开和转圈等待图标，听者形象表现为思考困惑；下方本方法文本是一句完整无省略号的句子，波形连续不断，听者形象配有对勾。教学上不要把这张图当作定量证据，它只是一个样本，用来说明复述长度可以转化为发音时长，进而掩盖等待。真正要优化的是所有测试句上的静音比分布，同时不让翻译质量和延迟明显变差。演示当前可用，已公开，地址见原文声明。

同输入同目标的前人路线卡在哪里？

第一条路线是口译流畅度研究。输入同样是边听边说的压力环境，目标同样是连续可懂的输出，监督多来自对停顿数量、平均停顿时长和发音时间比等人工测量，以及听众对自然度、准确度和可懂度的打分。论文引用的结论是，即使信息内容不变，操纵流畅度和停顿模式也会改变听众的质量判断。这给本文提供了优化静音的正当性，但这类研究不直接给出可训练的语音翻译模型。第二条路线是语音到语音翻译本身。

从级联的识别加翻译加合成，到端到端直接映射，再到用离散语音单元或统一基座模型同时处理识别与翻译，同时版本还要解决何时开口的策略问题。代表系统包括多语流式系统、无外部控制策略而联合生成文本与音频码的 Hibiki、以及多任务学习翻译与发射行为的系统。它们的共同局限是主要用质量对延迟来衡量进步，停顿只是分块策略的副产品。第三条路线是偏好学习。

直接偏好优化把对选中与拒绝样本的相对偏好变成稳定的监督目标，省掉显式奖励模型和在线强化学习。在机器翻译中已有用对比偏好压制近 miss 翻译的工作，在同时翻译中也有把人类偏好引入流式行为的工作，但它们仍主要瞄准质量对延迟。本文的不同是把偏好明确写在破坏性静音上，同时用翻译质量和延迟约束住优化方向。

要解决的权衡是什么，什么算做好？

论文把目标定义为在低延迟同时翻译的好处与连续翻译的自然流动之间找甜点。具体做法是最小化块间静音，同时保持翻译保真度和延迟指标不明显退化。好坏用 3 类指标判断。翻译质量用对生成语音先做自动语音识别再算文本指标的方法，包括基于识别文本与标准译文比较的 BLEU 和基于同一识别文本的 COMET，分数越高越好。延迟用起始偏移、结束偏移和长度自适应平均滞后，数值越小一般表示跟随越紧。

流畅用静音比，即输出语音跨度内静音时长占比，越低表示说话时间占比越高。需要提醒初学者：静音比低不自动等于好，因为极端做法可以靠超快语速把静音压到零，但会损害可懂度，所以必须同时看质量、语速和人工听感。论文还明确短于 0.10 秒的间隙不计为静音，这是跟随停顿测量惯例的选择，短促的词间间隙不会截断语音段。

NaturalFlow 全景：基座加偏好数据加受控优化

NaturalFlow 不是从零训练新翻译器，而是在 Hibiki 上的流畅度优化框架。Hibiki 本身把源语音流作为输入，同步预测目标音频码和词级对齐的文本流，文本与音频在相同时间分辨率对齐。它通过弱监督构造的时间对齐数据隐式学会何时积累上下文、何时开口，当目标词的对数似然随源上下文扩大而陡增时就认为上下文已够。这种机制忠实于同传精神，但也是碎片化的来源，因为一有上下文尖峰就急于发声。NaturalFlow 保留这个基座，只增加一个偏好数据构造与偏好微调阶段。

流程是先对同一源 utterance 采样多个候选翻译，测量每个候选的翻译分和静音比，再按银牌规则组成选中与拒绝对，最后用长度归一化的直接偏好优化只更新文本流策略。这样做的教学逻辑是先沿一个样本走完输入到输出：法语语音进入编码，候选英文措辞在长度上可长可短，较长复述带来较长发音，偏好学习提高这类措辞的相对概率，推理时模型就更倾向于不中断的说法。

组件如何分工：静音度量、候选多样性与文本代理

第一个组件是可计算的流畅与质量测量。翻译质量是对候选音频用中等规模识别模型转写，再与标准译文算 BLEU；声学流畅是先用语音活动检测切出语音段，再用跨度减去有声时长得到内部静音，最后除以跨度得到静音比。检测器使用默认阈值 0.5、最短语音 250 毫秒和最短静音 100 毫秒。第二个组件是候选多样性。

论文用温度 1.0 采样多个候选，并用同查询下 BLEU 极差和静音比极差衡量多样性，发现随候选数增加而增大并在 32 附近趋平，因此每条源语音生成 32 个候选。第 3 个组件是只优化文本流的代理目标。完整目标轨迹交织着目标文本流、目标音频流和并发源流，直接优化原始声学码概率不稳定且对高基数空间求边缘不可行；由于文本策略已以源流和已生成音频为条件，它本身就封装了声学流动、延迟和静音信息，因此把偏好目标限定在声学接地的文本策略上。

静音比 × 直接偏好优化： 静音比分工是度量输出语音从起音到止音区间内静音时长占比，给出流畅度的可计算目标；直接偏好优化分工是把成对偏好转成对选中与拒绝样本相对似然的监督，避免训练显式奖励模型和在线强化学习；二者搭配的理由是流畅与保真没有唯一金标准，只能用相对判断定取舍，组合意义是让模型学会在保持可懂翻译的同时偏向静音更少、发音更连续的措辞。

银牌偏好 × 大间隔约束： 银牌偏好分工是把 32 个候选按静音比分成 5 个等分并只把第二组即 20 至 40% 区间作为选中集，把最低静音的第一组也放入拒绝池以封住优化空间；大间隔约束分工是要求选中比拒绝在翻译分和静音比上拉开明确差距，保证梯度只来自无歧义的改进；搭配原因是只罚静音会诱发语义崩塌，组合意义是用边界加间隔同时防止为流畅牺牲意义和为微小差距浪费更新。

文本流策略 × 声学流： 声学流分工是目标音频码与并发到达的源语音交织决定的实际发声连续性、延迟和停顿；文本流策略分工是在给定源上下文、已生成音频和源流条件下自回归生成对齐文本，提供稳定可优化的对数概率；搭配原因是直接优化高基数离散声学码不稳定，组合意义是以声学接地的文本策略为代理目标，既保留流式声学上下文又得到可处理的偏好梯度。

长度归一化 × 复述多样性： 复述多样性分工是利用大语言模型对同一源概念给出不同长度和音节数的合法复述，用更长的发音争取等待上下文的时间；长度归一化分工是把偏好对数概率除以各自文本长度，避免惩罚更长但语义准确的翻译；搭配原因是没有长度校正时长得益会被长度惩罚抵消，组合意义是让模型敢选能自然拉长发音的复述而不是为缩短长度回到碎片化输出。

把 4 个桥接放在一起看，论文的组合机制是清晰的：用多样复述提供可选项，用静音比和翻译分给选项打标，用银牌加间隔选出安全的方向，用长度归一化文本偏好把方向教给模型。

偏好数据怎样构造，模型怎样更新？

训练分为数据构造与参数更新两步，理解顺序不能颠倒。数据先选源：短语音取自通用语音翻译训练集的 0 至 10 秒 utterance，长语音把同一 TED 演讲的连续段拼接成 10 至 60 秒片段，覆盖时间多样性。然后每条源采样 32 个候选并测量 BLEU 与静音比。接着按静音比把候选分成 5 个等分，选中集只取第二组即最低静音组之后的下一组，第一组与第三至第五组都进入拒绝池，再要求选中相对拒绝在 BLEU 上高出 5 分以上、在归一化静音比上低出 15% 以上才成对。

这种看似反直觉的银牌选择是为了防止模型为消灭静音而牺牲语义。参数更新采用低秩适配微调 Hibiki 的 2,000,000,000 参数基座，秩为 128，文本填充权重 0.5，时长设为 102.4，偏好对齐用带长度归一化的直接偏好优化，偏离参考策略的系数为 0.1，有效批量 32，训练 400 步，峰值学习率很小并带 5% 的单周期热身。实验在 4 块 L40S 与 2 块 RTX PRO 6000 上完成。 下面先看偏好构造的示意图，它把分层与成对规则画成从语料到选中与拒绝的漏斗，读懂它才能理解为何极低静音样本被当作负信号。

看图路径： 1. 先看底部横轴静音比 0 到 1 的色带，确认蓝色 0.2 至 0.4 为选中其余红色为拒绝；2. 再看中部选择标准两行，确认静音差大于 γ 且翻译分差大于 β 才成对；3. 最后看底部蓝色与红色箭头汇入选中与拒绝二元组的指向，理解负信号包含极低静音组

论文图 3。原论文 Figure 2：“Illustration of the preference dataset construction process.”。

上图顶部是数据语料池，中部写明静音差与翻译分差两个成对条件，底部是按静音比 0 到 1 划分的色带，蓝色 0.2 至 0.4 指向选中，红色其余区间指向拒绝。教学要点是选中不是全局最不静音，而是受约束的次优区间，这正是防止流畅过拟合的关键。下表把源选择与成对阈值整理成可核对的配置，数字与单位与原文一致。

上表说明论文用短长搭配保证偏好数据既有日常短句也有长篇演讲的 sustained 话语，候选数取多样性趋平点，间隔保证梯度方向明确。未报告的是每个源最终保留几对偏好、过滤比例和去重规则，复现时需要自己记录。 下表把可运行的优化超参数集中呈现，便于对照复现。

上表显示训练步数很少、学习率很低，属于轻量对齐而非重训，优点是成本低且不易大幅漂移，风险是效果依赖候选质量。原文未说明哪些层冻结、梯度是否流经音频码以及何时重置参考策略，复现时只能按文本代理目标实现，不猜音频分支的梯度路径。

在哪些数据上测，用什么协议保证可比？

评测覆盖法语到英语的短长 4 套基准。短语音包括来自通用语音的真实说话人短句，平均约 5.6 秒，以及来自欧洲议会口译的真实法语，平均约 11.4 秒并随机抽 1000 条作测试。长语音包括用高质量合成语音构造的新闻长句，平均约 42.1 秒，以及把 TED 演讲连续段拼接成 20 至 60 秒的真实讲座，平均约 35.8 秒。基线是 3 个可运行的同时语音到语音系统，分别代表多语流式、联合学习翻译与发射、多流解码器联合生成文本与音频。

推理公平性处理值得学习：对需要按延迟日志拼接波形的系统，作者按发射时间戳把块间静音插回波形，再统一跑语音活动检测与词级时间戳转写，使所有系统在同一时间轴上比较延迟与流畅。指标方向是 BLEU 与 COMET 越高越好，起始与结束偏移和自适应平均滞后越小越好，静音比越低越好但需结合语速与人工评价。

人工评价只在基线高静音的前 25% 子集上随机抽样，用 30 名标注者得到约 150 个打分，问题是更自然更流畅的配对偏好，这意味着人工结论只适用于容易卡顿的样本，不能推广到全部短句。

主结果：静音降了，质量和延迟保住了吗？

论文报告的核心判断是静音比下降而翻译质量保持在可比范围，延迟没有为流畅让路。在短语音上，本方法在通用短句集上与基线平均静音比相近，但在基线高静音的前 25% 子集上降低；在议会口译集上把静音比从基线的 0.12 降到 0.10。代价是短语音的识别 BLEU 与 COMET 略低于基线，但差距被描述为中等。在长语音上，本方法在新闻合成集和 TED 拼接集上都取得最低静音比，分别为 0.13 和 0.21，同时在 TED 集上识别 BLEU 略好、COMET 可比，延迟指标甚至最好或接近最好。

作者因此认为模型学会了在静音与质量之间探索，而不是用延迟换流畅。 下面这张分布图把长语音上的整体移动可视化，它比单点均值更能说明改进来自哪里。

看图路径： 1. 先看横轴静音比与纵轴计数，比较灰色基线与蓝色本方法直方图的峰位左右移动；2. 再看顶部两条箱线图，确认蓝色箱体整体左移且右尾缩短；3. 最后看 0.3 至 0.4 区间灰柱明显高于蓝柱，确认高静音样本被减少

论文图 6。原论文 Figure 6：“Silence-ratio distribution shift on the mTEDx test set.”。

上图下方直方图显示蓝色本方法的峰比灰色基线左移，尤其在 0.3 至 0.4 区间灰柱明显更高；顶部箱线图显示蓝色箱体和右须都更靠左。这支持分布整体向低静音移动，而非只压低少数极端值。但要注意总体趋势不等于每条都变好，图中仍有重叠区和右尾样本。下表把关键可运行策略的数字集中呈现，阅读时先看比较问题与公平条件：同为法英、同协议重建时间轴、指标方向按上文理解。

上表的主要收益是长语音静音最低且翻译未崩，具体代价是短语音质量略降。未胜出项也要记住：短语音上本方法并未在所有质量指标上超过最强基线，长语音合成集的质量绝对值仍受合成与识别链条影响。原文表格还给出起始与结束偏移和自适应滞后，总体与基线同量级，支持没有用明显延迟换流畅，但未测量实际端到端播放延迟与计算开销。

反证：拿掉银牌约束会发生什么？

消融要回答偏好设计是否必要。第一个对照是标准设置，选中严格取最低静音的前 20%，拒绝从剩余池随机抽，并要求静音差至少 0.2 且选中超过基线平均 BLEU。第二个对照是去掉低静音惩罚，也就是不再把极低静音组放入拒绝池，测试模型是否会向消灭静音狂奔。结果是两个消融都快速降低静音但翻译质量严重退化，表现为语速飙升、几乎不停的极快语音，变得难懂。论文用训练过程曲线展示这种单目标崩塌。 下面这张 BLEU 与静音随步数变化的图是关键反证，请重点看两条线的分叉点。

看图路径： 1. 先看横轴训练步数 0 到 300 与纵轴 BLEU 分数，区分蓝色 NaturalFlow 与灰色 Ablation 两条线；2. 再看每个点上方的静音比标注，观察灰线静音快速降到 0.01 量级而蓝线停在 0.19 附近；3. 最后看灰线在 100 到 200 步之间 BLEU 从 30 分以上跌到接近 0，确认单目标崩塌

论文图 4。原论文 Figure 4：“Ablation 1. Progression of BLEU score and silence ratio over training steps on the mTEDx test set.”。

上图横轴是训练步数，纵轴是 BLEU，蓝线本方法在 0 到 300 步保持 30 分以上且静音从 0.2609 缓慢降到 0.1957，灰线消融在 100 步后 BLEU 从 30 分以上垂直跌到接近 0 而静音跌到 0.0177 和 0.0033。这说明没有银牌边界时，静音优化会压垮语义。另一张语速趋势图显示消融的每分钟词数远超虚线所示的人类平均 160 词，而本方法保持平稳。教学结论是偏好数据的边界本身就是正则化，极低静音样本必须作为负信号才能稳住训练。

边界与未验证：哪些结论不能外推？

首先是语言与领域边界。所有主实验都是法语到英语，未验证其他语对、口音、噪声和更长的即兴对话，复述拉长发音的策略在形态和韵律不同的语言中是否同样有效待验证。其次是指标链条局限。翻译质量经由识别转写再算文本分，识别错误会污染翻译分；静音比依赖语音活动检测阈值与最短静音设置，换检测器或阈值可能改变排序。

再次是人工评价范围局限。只在高静音子集上采样且样本量约 150 个打分，支持在易卡顿样本上听感更自然，不能推广到全部短句，也没有报告标注一致性与误判率。最后是成本与延迟缺项。论文报告了训练步数与批量，但未系统报告推理开销、输出帧率与真实播放延迟，也未测量语速过快之外的可懂度损伤。把相关性当因果要谨慎：静音降低与偏好率提高同时出现，支持但不单独证明是静音导致偏好，还可能与措辞、韵律共同作用。

复现先做什么，需要哪些超参数与信息条件？

复现应按数据、测量、成对、优化的顺序推进。先准备法英短句与 TED 拼接长句，注意长句是同演讲连续段拼接且总时长控制在目标区间，避免跨演讲拼接破坏话语连贯。接着用温度 1.0 为每条源生成 32 个候选，统一用同一识别模型转写并算 BLEU，统一用同一语音活动检测配置切分并算静音比，阈值、最短语音与最短静音必须与原文一致，否则静音比不可比。然后按静音比分五等分取第二组为选中，其余为拒绝，并强制 BLEU 差 5 分与归一化静音差 15% 的间隔，不满足间隔的对直接丢弃。

优化时加载 Hibiki 基座并用低秩适配微调，只对声学接地的文本策略施加长度归一化偏好损失，KL 系数 0.1，批量 32，400 步，峰值学习率 2 乘 10 的负 6 次方加 5% 热身。评测时务必重建含块间静音的时间轴再跑检测与词级时间戳，否则会低估基线停顿。代码与权重方面，论文给出演示页面当前可用，但正文未明确给出训练代码与偏好数据下载，复现前应先确认可达性并记录版本。常见误解是把选中理解为全局最低静音，正确做法是故意放过第一组。

另一个误解是把静音压到零当成功，正确做法是同时监控 BLEU、每分钟词数与人工听感。

何时值得尝试，一句话收束

当你的同时翻译系统已经把延迟压到可用，但用户抱怨 1 卡 1 卡、听着累，且你能采样出足够多样的等义复述时，这套银牌偏好加长度归一化文本优化值得尝试，因为它用很小的微调成本换取连续度，而不需要重写流式策略。对于刚入门的研究生，建议把复现重点放在测量一致性与成对间隔上，而不是调大模型或加步数；先让 32 候选的多样性曲线复现趋平，再看静音分布是否整体左移而语速不飙升。

还需要补的验证是更多语对、真实噪声、实际延迟与更大规模盲听。若只能记住一句，就是用受控的次优静音区间教会模型说更长但等义的话，从而把等待藏进发音里，而不是靠停顿或超快语速硬撑。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总