语音翻译

该文针对英译中语音翻译中词汇重音易丢失的问题，用自建中文重音语料训练音节级检出器 Syl-BiLSTM 定义跨语言评测 CETS，并用带重音标签微调 CosyVoice3 搭建级联系统，最强证据是 CETS 句级 58.30% 与人评高度一致，代价是翻译 BLEU 略低于大模型基线且仅两名录音人。

针对流式语音到文本翻译中固定等待策略在静音和变速语音下被迫输出或掉队的问题，该文在 Bestow 架构上引入以已听音频和已生成文本为条件的学习型等待策略，在英法和英韩 Fleurs 上用更低延迟保持质量，并在前置 5 秒静音的 SilFleurs 上保持分数不变而固定策略大幅下降。

论文追问思维链语音到文本翻译是否真用了语音，通过归因、加噪鲁棒性和韵律对照三路证据显示基线主要依赖文本转写，而在训练中混入噪声转写能提高语音利用率，但要以额外构造和训练干预为代价。

针对多语语音大模型中多任务混训导致语言区分度丢失的问题，PART 用先单语 ASR 逐层解冻再引入 S2TT 联合优化的三阶段策略，在 Fleurs 上把平均 WER 从 6.4 降到 4.7、在 CoVoST2 上平均提升 1.4 BLEU，代价是需要 810k 小时 ASR 加 434k 小时 S2TT 数据与 256 卡三轮训练。

针对级联语音翻译中识别错误传导问题，论文先量化越南语各类语音替换错误对翻译的破坏，再用基于 XPhoneBERT 音节相似度的文本替换增强做微调，在 FLEURS 越英上把 PhoWhisper 前端的语音翻译提高了 2.04 BLEU 且没有拉低干净文本翻译。

该挑战要求把对话中韵律承载的语用意图连同词义一起翻译，证据显示最佳音频系统主观评分 3.46 仍比人类重演 4.59 低 1.2 分，而特征映射基线几乎未被超越。

论文研究每任务每语言只有 3-5 小时标注时如何做多语言多任务语音大模型，选择冻结编码器与大模型只训练投影层并先做高资源语音识别预训练，最强证据是意大利语单语从零训练词错误率 129% 降到 5.4%、翻译从 0.8% 升到 48.2%，代价是未见任务仍不能零样本泛化且跨语言效果受语系距离限制。

论文研究约 1 万使用者的胡拉语如何做社区所有的文档化，方法是社区发起的众包翻译加长者审校平台 Vavanagi，最强证据是 77 名译者与 4 名审校者产出 12124 对平行句且一次通过率 91%，代价是目前仍以文本为入口、语音只作附件且下游翻译与识别模型尚未建成。

针对口语翻译评价只用文本上下文而低估人工译文的问题，该文提出以场景视听标签为共同条件的 AV-CXMI，在韩英电影翻译上报告与人工评分显著正相关 r=0.400 而文本版为负相关，代价是依赖云端大模型抽标签且仅在小规模单语对上验证。

针对塞浦路斯、克里特和麦西尼亚三种希腊方言的低资源转写问题，论文用标准希腊语翻译起步、混合转写与翻译过渡、最终收敛到方言转写的多任务课程，在三档 Whisper 规模上报告了优于直接微调的词错误率，同时保留了翻译正则与 donor 数据等代价与边界条件。

针对非母语屈折变化导致端到端语音翻译显著掉点的问题，论文用对齐的语义空间把对抗文本嵌入直接注入语音流形做鲁棒微调，在四组翻译方向上平均提升约 3.4 个 BLEU 点而干净集仅下降约 0.6 个 BLEU 点，代价是仍需词级强制对齐和两阶段训练。

该研究对比转写-only、单向翻译与双向翻译三种语音编码器预训练，显示加入英译外双向翻译能在冻结大模型下提升语音翻译与意图理解，且未损害情感识别所需的声学信息。

该文以 SLAM 语音大模型为对象，用角距离找连续可删层块并以联合修复验证，显示 7-8B 模型只保留约六成解码器层仍保持可用识别与翻译性能，而跨任务可删位置高度一致。

针对同声传译语音到语音翻译中为等上下文而频繁停顿的问题，论文用银牌偏好直接偏好优化在 Hibiki 上降低块间静音比，主证据是长短语音基准上静音比下降而翻译质量和延迟基本保持，代价是短语音上 BLEU 与 COMET 略低于基线。

针对语音大模型中高资源语种翻译好而低资源与零样本语种差的表示不可比问题，POTSA 冻结编码器与大模型只训练 Q-Former 并用偏置补偿加令牌级最优传输做跨语言对齐，在 FLEURS 五语种平均提升 1.29 BLEU 且零样本平均提升 2.93 BLEU，代价是每语种需 10 小时平行语音并引入额外对齐损失与层调度。

针对无监督域自适应下伪标签噪声与过自信问题，论文提出联合置信度与残差离散度的 token 加权、弱置信掩蔽与多扰动一致性过滤，在 CHiME-4、SLURP、CORAAL 上相对基线降低词错误率 13.8%、25.0%、15.7%，代价是需要多轮扰动推理与精细的掩蔽超参数。

该文把跨语言文本与语音摘要统一为语义向量序列到法语摘要的生成问题，用 BGE-M3 与 SENSE 对齐的嵌入加 140M 可训练的 SBARThez 实现，在 CrossSum 低资源文本和自建 ABT-SpeechSUM 三语语音上超过级联与 mT5-large 基线，但依赖嵌入空间对齐质量且摘要多为合成参考。

针对挖掘语音翻译数据又吵又错位的问题，论文用排序加蒸馏两步得到保留或丢弃伪标签并微调音频大模型直接听原声做判断，在法英上达到 22.72 分 ASR-BLEU、比不过滤高约 1.4 分，代价是需要先算声学与语义信号并训练排序器和微调模型。

针对语音到语音翻译丢失笑声哭声的问题，论文用可扩展表情合成管线加五专家混合 LoRA 与软路由解决，在英中翻译上以 76% 非言语匹配和最高人评自然度情感相似度为证据，代价是合成数据主导与英中范围验证。

针对高分辨率音视频序列输入大语言模型时计算过高且压缩研究只做单任务识别的问题，MTC-AVSR 用每秒 3.5 个令牌的压缩流加语言适配器与令牌对比对齐做识别加四语翻译，在 LRS3 干净集取得词错误率 0.74%，在 MuAViC 英西取得 28.1 BLEU，代价是噪声下部分语对仍弱于专用双语模型且大模型显存更高。