语音翻译

针对音频编码器产生过长音频 Token 序列导致解码器自注意力开销过大的问题，AudioTETRIS 用编码器隐状态的帧间变化构造音素过渡先验，再与随深度切换的解码器注意力分数相乘做逐层 top-k 剪枝，在 Qwen2-Audio 等三个模型上用 25% Token 保持接近未压缩精度，但高压缩下转写任务仍先退化且需一次校准确定交叉层。

针对自回归语音识别逐词生成慢的问题，论文用复用目标模型声学与解码器表示的轻量 Speech-Draft 做草稿加并行验证，在 LibriSpeech 上 Whisper 达 1.91 倍、Conformer 达 2.43 倍且识别结果不变，代价是需额外训练草稿模块并调草稿长度。

PACT 把语音到语音翻译分成语义文本、说话人音色和语用表达三路，把源语音的语用线索映射到目标语言表达空间并做成连续提示去引导冻结的合成器，在西班牙语英语双向 TOPI 评测里内容、音色和表达同时更好，但结论只在 30 对重演条件下成立。

SWEAR 针对音频问答中不同推理阶段难度不一致的问题，用离线五维难度构造分段评分与压缩目标，先让模型在监督微调中学会自评难度，再用课程强化学习按自评调节各段长度，在 MMAU-test-mini 取得 73.5% 准确率和 197.13 词元、在 MMAR 取得 62.0% 准确率和 195.85 词元，相对 CoTA-SFT 减少约六成词元。

针对方言语音缺数据导致翻译变差的问题，论文用大语言模型改写出方言文本再用标准语音合成出伪方言语音做增广，并用中间标准文本预测做语义桥，在日语德语中文方言到英语翻译上验证效果与代价。

论文把冻结大模型词向量当几何锚点，用距离 CTC 统一时间压缩和几何约束，只在 960 小时英语转写上训练就在未见翻译和情绪任务上接近级联系统，同时保留独立 CTC 解码能力，代价是空白符位置敏感和长语音退化。

针对英语语音到德日中文本的同传任务，论文用完整语音自译作锚点从部分波形合成单调前缀监督，对比单轮强制前缀与多轮追加解码，并用置信度阈值调节质量延迟，最强证据是多轮训练把提交校准误差降低六成以上而小合成裕度只在短句低延迟段有条件改善。

论文研究冻结语音编码器与冻结大语言模型之间桥接的可复用预训练目标，提出只在训练时使用的局部原型重建约束，用固定探针和多语言识别与翻译实验说明词表邻域兼容性与迁移增益相关，低资源翻译上提升最明显。

该论文在 4 GB Jetson Nano 上用 Whisper 加 Opus-MT 加多语言 BERT 门限加 MBR 二遍修正研究英西语音翻译，在 tau 为 0.90 时 N 为 10 带来 BLEU 加 0.67 的显著词汇提升而 N 为 3 带来 COMET 加 0.0020 的语义提升，代价是常驻约 3.6 GB 和数十秒级延迟。

论文以 150 语言共享中训底座解决通用翻译，再用通用、指令、梗三专家插值加针对性蒸馏保留约束能力，并为语音、音节控制、长文档单设训练路径，最强证据是 9B 长文档均值 0.7891、0.7683、0.8848 与 35B 通用翻译 0.8794 等，代价是质量与约束控制之间存在可测 trade-off。

针对视频配音等场景的时长错位问题，DuraS2ST 用先推理选词控音长再生成语音的两阶段流程，结合 DuraSet-440K 监督与时长容限强化学习，在 CVSS-T 中英双向测试上同时保持翻译质量并把时长误差压到最低，但当前验证仍限于中英离线生成。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

该工作把同时传译拆成因果数据构造、自适应等待策略、解耦词义与声音的双流架构和只罚可避免延迟的指标，用约 2.7K 小时每语言对的数据在西德法转英上以可运行的自适应策略超越固定切块并降低延迟，但语音端质量仍依赖更大合成与翻译模型补强。

ARTIST 把多语言语音到语音翻译转成先预测目标端发音特征离散单元再合成波形的两段任务，用冻结的 20 码本向量量化自编码器做跨语言瓶颈并配合编码器中间 CTC 与卷积增强差分注意力解码器，在仅用短句训练却测长句的条件下以 166M 参数在 BLEU、COMET 和 chrF 上超过 1.2B 参数基线，代价是仍依赖发音特征提取器与两阶段预训练冻结的设计。

针对边听边翻需要在等够信息与尽快输出之间抉择的问题，该研究提出只看最近语音块注意力占比的 RFAP 和再加注意力变化率的 DCAP，使离线训练的语音到文本模型无需再训练即可流式运行，在 CVSS-C 三个语对上 RFAP 在中延迟段取得最高可比 BLEU 而 DCAP 保住极低延迟下的质量，但高延迟段优势收窄且 DCAP 随延迟增大而退化。

针对四对低资源语音到英语翻译的统一共享负迁移问题，论文用聚类分组、自交叉梯度相似度定共享比与联合 SVD 加正则 CCA 定能量分配来只改造编码器第 11 层 FFN2，在统一微调基线上取得最高 14.4% 相对 BLEU 增益，代价是只验证了单层单模型且部分语言对仍有回退。

针对分块流式 Conformer 中因果卷积丢弃块内未来帧的问题，BACON 把深度卷积通道分成因果组与边界感知双向组，在参数量不变下扩大感受野，并在 LibriSpeech test-other 上 CHAT 相对降低 9.3% 词错误率且平均发射块序号不增加。

论文追问短式预切分与长式连续音频下延迟排名为何互相矛盾，用词级对齐的真延迟做参照对比多种自动指标，发现段后尾词处理是结构性偏差来源，提出只计段内词的 YAAL、长流用的 LongYAAL 与 SOFTSEGMENTER 重分段，最强证据是短式去退化后与长式重分段后的成对排序准确率提升，代价是仍依赖词级对齐质量且需先做退化诊断。

论文以扰动归因显著图为参照检验交叉注意力，报告其与输入显著图仅中等相关且删除指标从 91.3 掉到 41.2，说明它是有用但只有一半解释力的轻量线索。

论文用可复现的韩译英实时字幕级联研究切分与模型组合如何移动延迟质量前沿，最强证据是激进端点检测把中位实时率推过 1 并让稳定延迟随时间累积，而代价是短块加提示的识别错误上升 14 到 17 个百分点与翻译质量下降。