语音翻译

针对语音大模型音频 KV 缓存过大带来的长上下文推理瓶颈，论文提出按 KV 头共享竞争与层次分裂合并自适应分配检索粒度的 C3 个方法，在四个语音大模型和识别翻译摘要任务上于相同检索预算下取得最强检索精度且在小预算下优势最大，但结论只在所测模型长度预算与贪婪解码条件下成立并伴随短上下文额外开销。

论文把配音式翻译定义为在同一绝对时间轴上保住源端点和显著内部停顿，提出 TransDubber 用对齐目标波形做渐进监督加细粒度强化学习，在 4353 句英中测试上把 2% 时长符合率从 25.6% 提到 61.5%、停顿 F1 从 0.118 提到 0.550，代价是翻译质量仍略低于级联系统。

共分析 48 篇语音/AI 论文

论文把语音识别从恢复唯一逐字稿改为在语音依据约束下按指令生成四级改写文本，并用 GSR-Bench 证明字面准确与可读改写之间存在权衡且弱语音下易出现无依据生成。

S3-S2ST 把整句语音对翻译成按语义切分的增量训练轨迹，用 640 ms 固定分块和可调 READ/WRITE 门限实现流式语音到语音翻译，在 FLEURS 和内部 9 对数据上验证了翻译质量，并在 RealSI 上展示了质量与延迟的权衡。

共分析 25 篇语音/AI 论文

针对多流同时语音到语音翻译在推理时难调延迟的问题，DIAL-S2ST 用带前视的冻结教师蒸馏无前视学生并用单 LoRA 按尺度控制早说，在法英 Hibiki 上以约 10 小时源语音实现可调的延迟与质量权衡。

SimPOTrans 针对离线语音翻译模型难以直接处理不完整语音的问题，用两阶段强化学习先增强整句翻译能力再在部分语音多轮轨迹上自我适应，在 ACL 60/60 和 MCIF 三个英译外方向上取得更好的质量延迟权衡，但其 BLEU 低于基线且依赖固定时长切块。

共分析 80 篇语音/AI 论文

Spark-Audio 1.0 要解决从只转写到真正理解语音的问题，用表示增强的掩码预训练加三阶段音频编码器与三阶段音频语言模型训练，在 1300 万小时音频下在多语种识别和真实场景对话上接近更大数据量模型，但复杂音频推理和指令遵循仍有差距。

论文针对语音大模型同时做识别、时间戳和翻译时固定权重无法实现部署偏好的问题，提出用专家锚点距离份额做闭环校准的 EA-SURF，并在六组三目标请求上把偏好校准误差降低约六成、端点包含的归一化超体积提高 17.8%，代价是平均词错误率小幅上升 0.16 个百分点。

针对音频编码器产生过长音频 Token 序列导致解码器自注意力开销过大的问题，AudioTETRIS 用编码器隐状态的帧间变化构造音素过渡先验，再与随深度切换的解码器注意力分数相乘做逐层 top-k 剪枝，在 Qwen2-Audio 等三个模型上用 25% Token 保持接近未压缩精度，但高压缩下转写任务仍先退化且需一次校准确定交叉层。

针对自回归语音识别逐词生成慢的问题，论文用复用目标模型声学与解码器表示的轻量 Speech-Draft 做草稿加并行验证，在 LibriSpeech 上 Whisper 达 1.91 倍、Conformer 达 2.43 倍且识别结果不变，代价是需额外训练草稿模块并调草稿长度。

PACT 把语音到语音翻译分成语义文本、说话人音色和语用表达三路，把源语音的语用线索映射到目标语言表达空间并做成连续提示去引导冻结的合成器，在西班牙语英语双向 TOPI 评测里内容、音色和表达同时更好，但结论只在 30 对重演条件下成立。

SWEAR 针对音频问答中不同推理阶段难度不一致的问题，用离线五维难度构造分段评分与压缩目标，先让模型在监督微调中学会自评难度，再用课程强化学习按自评调节各段长度，在 MMAU-test-mini 取得 73.5% 准确率和 197.13 词元、在 MMAR 取得 62.0% 准确率和 195.85 词元，相对 CoTA-SFT 减少约六成词元。

共分析 146 篇语音/AI 论文

针对方言语音缺数据导致翻译变差的问题，论文用大语言模型改写出方言文本再用标准语音合成出伪方言语音做增广，并用中间标准文本预测做语义桥，在日语德语中文方言到英语翻译上验证效果与代价。

论文把冻结大模型词向量当几何锚点，用距离 CTC 统一时间压缩和几何约束，只在 960 小时英语转写上训练就在未见翻译和情绪任务上接近级联系统，同时保留独立 CTC 解码能力，代价是空白符位置敏感和长语音退化。

针对英语语音到德日中文本的同传任务，论文用完整语音自译作锚点从部分波形合成单调前缀监督，对比单轮强制前缀与多轮追加解码，并用置信度阈值调节质量延迟，最强证据是多轮训练把提交校准误差降低六成以上而小合成裕度只在短句低延迟段有条件改善。

论文研究冻结语音编码器与冻结大语言模型之间桥接的可复用预训练目标，提出只在训练时使用的局部原型重建约束，用固定探针和多语言识别与翻译实验说明词表邻域兼容性与迁移增益相关，低资源翻译上提升最明显。