语音翻译

针对口语翻译评价只用文本上下文而低估人工译文的问题，该文提出以场景视听标签为共同条件的 AV-CXMI，在韩英电影翻译上报告与人工评分显著正相关 r=0.400 而文本版为负相关，代价是依赖云端大模型抽标签且仅在小规模单语对上验证。

针对塞浦路斯、克里特和麦西尼亚三种希腊方言的低资源转写问题，论文用标准希腊语翻译起步、混合转写与翻译过渡、最终收敛到方言转写的多任务课程，在三档 Whisper 规模上报告了优于直接微调的词错误率，同时保留了翻译正则与 donor 数据等代价与边界条件。

针对非母语屈折变化导致端到端语音翻译显著掉点的问题，论文用对齐的语义空间把对抗文本嵌入直接注入语音流形做鲁棒微调，在四组翻译方向上平均提升约 3.4 个 BLEU 点而干净集仅下降约 0.6 个 BLEU 点，代价是仍需词级强制对齐和两阶段训练。

该研究对比转写-only、单向翻译与双向翻译三种语音编码器预训练，显示加入英译外双向翻译能在冻结大模型下提升语音翻译与意图理解，且未损害情感识别所需的声学信息。

该文以 SLAM 语音大模型为对象，用角距离找连续可删层块并以联合修复验证，显示 7-8B 模型只保留约六成解码器层仍保持可用识别与翻译性能，而跨任务可删位置高度一致。

针对同声传译语音到语音翻译中为等上下文而频繁停顿的问题，论文用银牌偏好直接偏好优化在 Hibiki 上降低块间静音比，主证据是长短语音基准上静音比下降而翻译质量和延迟基本保持，代价是短语音上 BLEU 与 COMET 略低于基线。

针对语音大模型中高资源语种翻译好而低资源与零样本语种差的表示不可比问题，POTSA 冻结编码器与大模型只训练 Q-Former 并用偏置补偿加令牌级最优传输做跨语言对齐，在 FLEURS 五语种平均提升 1.29 BLEU 且零样本平均提升 2.93 BLEU，代价是每语种需 10 小时平行语音并引入额外对齐损失与层调度。

针对无监督域自适应下伪标签噪声与过自信问题，论文提出联合置信度与残差离散度的 token 加权、弱置信掩蔽与多扰动一致性过滤，在 CHiME-4、SLURP、CORAAL 上相对基线降低词错误率 13.8%、25.0%、15.7%，代价是需要多轮扰动推理与精细的掩蔽超参数。

该文把跨语言文本与语音摘要统一为语义向量序列到法语摘要的生成问题，用 BGE-M3 与 SENSE 对齐的嵌入加 140M 可训练的 SBARThez 实现，在 CrossSum 低资源文本和自建 ABT-SpeechSUM 三语语音上超过级联与 mT5-large 基线，但依赖嵌入空间对齐质量且摘要多为合成参考。

针对挖掘语音翻译数据又吵又错位的问题，论文用排序加蒸馏两步得到保留或丢弃伪标签并微调音频大模型直接听原声做判断，在法英上达到 22.72 分 ASR-BLEU、比不过滤高约 1.4 分，代价是需要先算声学与语义信号并训练排序器和微调模型。

针对语音到语音翻译丢失笑声哭声的问题，论文用可扩展表情合成管线加五专家混合 LoRA 与软路由解决，在英中翻译上以 76% 非言语匹配和最高人评自然度情感相似度为证据，代价是合成数据主导与英中范围验证。

针对高分辨率音视频序列输入大语言模型时计算过高且压缩研究只做单任务识别的问题，MTC-AVSR 用每秒 3.5 个令牌的压缩流加语言适配器与令牌对比对齐做识别加四语翻译，在 LRS3 干净集取得词错误率 0.74%，在 MuAViC 英西取得 28.1 BLEU，代价是噪声下部分语对仍弱于专用双语模型且大模型显存更高。

针对正式语料与日常口语失配导致波斯语识别与翻译退化的问题，论文构建 36.77 小时口语优先的非正式平行语料 T-PID 并做针对性文本规范，再在该语料上微调 Whisper 与 Wav2Vec2-BERT 和 NLLB-200，在 T-PID 及正式集上同时降低词错误率并提升 BLEU，代价是英文译文主要由机器生成加抽检、附着词等细节未统一且资源当前不可用 …

该文针对音频 Transformer 注意力块提出逐头独立的通道级结构化剪枝并用 Fisher 信息打分，在注意力参数稀疏 60% 时仍保持接近整头剪枝的分类与识别性能，但逐头剪枝的推理加速幅度小于整头剪枝且翻译任务下降更大。

针对可修订流式语音到文本翻译中可见草稿会奖励随后被撤回内容的问题，论文提出持续交付优化，用留存前缀的参考覆盖累积中间奖励并单独计最终质量，在 7.49 小时 FLEURS 适配下相对 History-SFT 降低平均与 P90 终结感知延迟 10.8% 与 11.3% 并降低归一化擦除 15.8%，代价是需要完整轨迹回放计算回报且中间奖励依赖词面覆盖。

论文以 Qwen2-Audio 为案例分离词汇输出、转录不足的波形依赖行为与打包实现测量，显示 6 比特翻译选中分配在冻结重放上 chrF 提升但情绪识别下降，而反例与对照说明文本分不能替代波形使用证据。

针对转写链式思维在有监督微调中用参考转写做前缀而推理用自生成转写的不一致，论文用 GRPO 同时奖励自生成转写和以其为条件的翻译，在相同 CoVoST 2 训练样本下 CoT GRPO 在两套测试上 BLEU 领先并把 WER 相对降低 8.8% 和 7.2%，代价是需要多样本 rollout 和显式调 ASR 权重。

CVSS-X 把同一批英语真人录音经机器翻译转写为二十八种目标语言文本再用多语合成配音，构造每语言约二十四万对的英到多语并行语音，同管线复测显示其合成可懂度可用但自然度低于只合成英语的 CVSS，代价是受制于翻译质量与众包录音瑕疵。

针对大模型预测高码率语音 token 难、表达性数据难对齐的问题，Kraken 用 25 Hz 单层 VQ 低码率 token 加 LLM 与声码器双路源语音条件，在 150k 小时多任务数据上实现可复述的端到端语音到语音翻译，并在 FLEURS 与 CVSS 上保留说话人与韵律，代价是音频质量指标弱于用理想参考音色的大模型。

该文把 1B 参数离线直译模型 Canary-1B-v2 用 AlignAtt 策略改成同声传译，在计算无感知的英语到德语和意大利语高延迟档报告超过 4 和 6 个 BLEU 点的提升，代价是低延迟档德语 BLEU 仍落后基线且强制前缀加领域上下文会卡死。