语音翻译

该论文在 4 GB Jetson Nano 上用 Whisper 加 Opus-MT 加多语言 BERT 门限加 MBR 二遍修正研究英西语音翻译，在 tau 为 0.90 时 N 为 10 带来 BLEU 加 0.67 的显著词汇提升而 N 为 3 带来 COMET 加 0.0020 的语义提升，代价是常驻约 3.6 GB 和数十秒级延迟。

论文以 150 语言共享中训底座解决通用翻译，再用通用、指令、梗三专家插值加针对性蒸馏保留约束能力，并为语音、音节控制、长文档单设训练路径，最强证据是 9B 长文档均值 0.7891、0.7683、0.8848 与 35B 通用翻译 0.8794 等，代价是质量与约束控制之间存在可测 trade-off。

针对视频配音等场景的时长错位问题，DuraS2ST 用先推理选词控音长再生成语音的两阶段流程，结合 DuraSet-440K 监督与时长容限强化学习，在 CVSS-T 中英双向测试上同时保持翻译质量并把时长误差压到最低，但当前验证仍限于中英离线生成。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

该工作把同时传译拆成因果数据构造、自适应等待策略、解耦词义与声音的双流架构和只罚可避免延迟的指标，用约 2.7K 小时每语言对的数据在西德法转英上以可运行的自适应策略超越固定切块并降低延迟，但语音端质量仍依赖更大合成与翻译模型补强。

ARTIST 把多语言语音到语音翻译转成先预测目标端发音特征离散单元再合成波形的两段任务，用冻结的 20 码本向量量化自编码器做跨语言瓶颈并配合编码器中间 CTC 与卷积增强差分注意力解码器，在仅用短句训练却测长句的条件下以 166M 参数在 BLEU、COMET 和 chrF 上超过 1.2B 参数基线，代价是仍依赖发音特征提取器与两阶段预训练冻结的设计。

针对边听边翻需要在等够信息与尽快输出之间抉择的问题，该研究提出只看最近语音块注意力占比的 RFAP 和再加注意力变化率的 DCAP，使离线训练的语音到文本模型无需再训练即可流式运行，在 CVSS-C 三个语对上 RFAP 在中延迟段取得最高可比 BLEU 而 DCAP 保住极低延迟下的质量，但高延迟段优势收窄且 DCAP 随延迟增大而退化。

针对四对低资源语音到英语翻译的统一共享负迁移问题，论文用聚类分组、自交叉梯度相似度定共享比与联合 SVD 加正则 CCA 定能量分配来只改造编码器第 11 层 FFN2，在统一微调基线上取得最高 14.4% 相对 BLEU 增益，代价是只验证了单层单模型且部分语言对仍有回退。

针对分块流式 Conformer 中因果卷积丢弃块内未来帧的问题，BACON 把深度卷积通道分成因果组与边界感知双向组，在参数量不变下扩大感受野，并在 LibriSpeech test-other 上 CHAT 相对降低 9.3% 词错误率且平均发射块序号不增加。

论文追问短式预切分与长式连续音频下延迟排名为何互相矛盾，用词级对齐的真延迟做参照对比多种自动指标，发现段后尾词处理是结构性偏差来源，提出只计段内词的 YAAL、长流用的 LongYAAL 与 SOFTSEGMENTER 重分段，最强证据是短式去退化后与长式重分段后的成对排序准确率提升，代价是仍依赖词级对齐质量且需先做退化诊断。

论文以扰动归因显著图为参照检验交叉注意力，报告其与输入显著图仅中等相关且删除指标从 91.3 掉到 41.2，说明它是有用但只有一半解释力的轻量线索。

论文用可复现的韩译英实时字幕级联研究切分与模型组合如何移动延迟质量前沿，最强证据是激进端点检测把中位实时率推过 1 并让稳定延迟随时间累积，而代价是短块加提示的识别错误上升 14 到 17 个百分点与翻译质量下降。

该文针对英译中语音翻译中词汇重音易丢失的问题，用自建中文重音语料训练音节级检出器 Syl-BiLSTM 定义跨语言评测 CETS，并用带重音标签微调 CosyVoice3 搭建级联系统，最强证据是 CETS 句级 58.30% 与人评高度一致，代价是翻译 BLEU 略低于大模型基线且仅两名录音人。

针对流式语音到文本翻译中固定等待策略在静音和变速语音下被迫输出或掉队的问题，该文在 Bestow 架构上引入以已听音频和已生成文本为条件的学习型等待策略，在英法和英韩 Fleurs 上用更低延迟保持质量，并在前置 5 秒静音的 SilFleurs 上保持分数不变而固定策略大幅下降。

论文追问思维链语音到文本翻译是否真用了语音，通过归因、加噪鲁棒性和韵律对照三路证据显示基线主要依赖文本转写，而在训练中混入噪声转写能提高语音利用率，但要以额外构造和训练干预为代价。

针对多语语音大模型中多任务混训导致语言区分度丢失的问题，PART 用先单语 ASR 逐层解冻再引入 S2TT 联合优化的三阶段策略，在 Fleurs 上把平均 WER 从 6.4 降到 4.7、在 CoVoST2 上平均提升 1.4 BLEU，代价是需要 810k 小时 ASR 加 434k 小时 S2TT 数据与 256 卡三轮训练。

针对级联语音翻译中识别错误传导问题，论文先量化越南语各类语音替换错误对翻译的破坏，再用基于 XPhoneBERT 音节相似度的文本替换增强做微调，在 FLEURS 越英上把 PhoWhisper 前端的语音翻译提高了 2.04 BLEU 且没有拉低干净文本翻译。

该挑战要求把对话中韵律承载的语用意图连同词义一起翻译，证据显示最佳音频系统主观评分 3.46 仍比人类重演 4.59 低 1.2 分，而特征映射基线几乎未被超越。

论文研究每任务每语言只有 3-5 小时标注时如何做多语言多任务语音大模型，选择冻结编码器与大模型只训练投影层并先做高资源语音识别预训练，最强证据是意大利语单语从零训练词错误率 129% 降到 5.4%、翻译从 0.8% 升到 48.2%，代价是未见任务仍不能零样本泛化且跨语言效果受语系距离限制。

论文研究约 1 万使用者的胡拉语如何做社区所有的文档化，方法是社区发起的众包翻译加长者审校平台 Vavanagi，最强证据是 77 名译者与 4 名审校者产出 12124 对平行句且一次通过率 91%，代价是目前仍以文本为入口、语音只作附件且下游翻译与识别模型尚未建成。