多语言

论文把自然语言质检需求编译为依赖感知的有向无环工作流并调用 24 个音频与文本核查工具，在专家一致率 80-90% 的条件下把人工成本时间压到 20% 以下，代价是规划器选型与幻觉和运行时的权衡。

S2ST-Omni 把多语语音到语音翻译拆成高精度语音到文本前端加可插拔语音合成后端，用先局部后全局的混合适配器和声学加语言两级源语言感知提升翻译，在 CVSS-C 法德西到英上取得平均 BLEU 35.67 的报告最好结果，代价是依赖大骨干与可靠语言标识且只验证了三对高资源方向。

针对多轮多语言对话选择题中文本先验掩盖听觉依赖的问题，该工作用事件级切分加语义与声学双分支合成 359825 题，再把文本可答的弱题用于监督微调、必须听音频的强题用于 GSPO 强化学习，以 90.92% 的终测准确率为证据，代价是依赖大模型判断与多阶段验证流水线。

SLAP 针对语音中人口学、嗓音质量与健康属性难以零样本推断的问题，选择用大语言模型把异构元数据转写为自然语言描述再与语音做对比学习，最强证据是 38 个二分类任务上零样本平均 F1 达到 62.9%，代价是预训练数据仍不均衡且小测试集任务波动大。

针对级联转写在低资源语言和口音下丢失声学线索且误差传播的问题，论文用冻结 MiMo-Audio-7B 加任务加共享加语言残差三段软提示做端到端二分类，在 PolySpeechTox 上报告微平均 ROC-AUC 为 98.07%，代价是只验证了单一骨干且依赖语言口音标签做训练路由。

针对多语说话人带来的身份偏置问题，该工作用说话人门控动态加权同说话人与跨说话人两个神经 PLDA 语言专家，在盲测上报告验证等错误率 19.13% 与识别宏平均准确率 78.94%，代价是两阶段数据复用导致开发集显著乐观。

针对端到端转写丢失时间信息的问题，该研究用谱重力初始化加截止时间限制的期望最大化估计每帧共振峰并做语音切分，在爱尔兰语、特威语和沃提克语上以零样本方式取得高同质性和可比的归一化互信息，但对鼻音和滑音等过渡音仍存在过切分代价。

IWSLT 2026 围绕离线、低资源、压缩、字幕、同传、语音生成与质量估计组织十个赛道，用统一数据条件、自动指标加听音频人工打分检验级联与端到端路线，最强证据是压缩后 4 比特模型与全精度接近、额外上下文平均提升 2.75 个 COMET 点，而语音质量估计在片段级仍远低于人工一致性。

该文针对合成语音评测只有分数、跨任务跨语言泛化弱的问题，构建覆盖四任务四语言的 SpeechEval 并用指令微调加奖励优化训练 SQ-LLM，最强证据是在评估与对比维度相关性上超过专家基线，代价是约 43 个 A100 小时训练与对特定伪造来源泛化仍不稳定。

针对同一说话人说多种语言时模型易依赖说话人特征走捷径的问题，该文采用在 VoxLingua107 上预训练的 ECAPA-TDNN 做编码器并比较 AAM-Softmax 与 RAM-Softmax，在 Tidy-X 上报告识别任务 85.95% 宏准确率与验证任务 16.39% 等错误率，最强证据来自与官方基线的同协议对照，代价是未充分优化未见语种验证与未 …

针对 8 个低资源语音到文本翻译方向，该系统用梯度统计自动决定语言分组与共享比例并只专化编码器第 11 层 FFN2，在 bem 上比统一微调高 2.07 BLEU、hau 高 1.50 BLEU，代价是 ckb 等离群语言仍需靠推理时重排恢复。

针对无预切分、无说话人标签的 21 语言多说话人长对话选择题任务，论文对比了 Voxtral-Mini-3B 的 LoRA 微调、冻结 Voxtral-24B 的多模态上下文学习纠偏、以及免训练语音锚定检索三条路线，最强证据是上下文学习在第二阶段评测取得 0.81 准确率，代价是微调在小数据上过拟合回落与检索前端依赖转写和切分质量。

该工作用语音活动检测加字幕块翻译先固定时间模板，再把相邻音频聚成长段并用整句翻译重写文本后回填原时间，开发集证据显示翻译质量随句子尺度提升，但更长更完整的译文需要后处理才能兼顾阅读速度与行长限制。

针对无参考语音翻译质量估计中连续分数制造大量文档内微排序噪声的问题，该工作冻结 COMETKiwi-22 只做文本打分再用训练集上搜出的分桶宽度把近似分数压成精确平局，在开发集上把平均段级 Kendall τb 做到 39.4% 而系统级 SPA 维持 88.0% 左右。

该工作在 SeamlessM4T 编码器每层加入预测未来帧数的调度器并用滑动窗口重翻译与改造版 StreamAtt 进行验证，最强证据是改造版 StreamAtt 在英德 4 秒块取得 1976 毫秒延迟比基线快 817 毫秒，主要代价是两种策略下翻译质量均系统性低于未修改基线。

该研究在 13 种语言上比较 6 个系统的零样本意图分类，报告混合架构与强级联相当并更能缓解转写错误，而纯端到端明显落后，且多语言效果同时受大语言模型能力与语音编码器识别质量制约。

针对英文为主和合成语音评测失真的问题，VCB Bench 用全真人中文语音构建指令跟随、知识理解与鲁棒性三维评测，在 9 个语音对话模型上显示常识问答最难而物理干扰比口误更致命。

论文用同一段母语录音配不同种族照片的匹配假象法，测 9 个语音视觉模型，发现高能力闭源模型在英语中把亚裔降为近母语、在韩语中给外群体加能力分，而小模型多为无差别的视觉干扰降分。

该文把音位识别错误转到 39 维区别特征空间做可复述诊断，报告跨 12 种语言替换错误中位距离 4 对随机基线 9、平均差约 2.8 且 PS 约 0.64，代价是只分析替换错误并依赖 soundvectors 特征与自举区间判断。

针对跨文化理解所需的野外视频多语转写问题，论文用易复用的 Whisper 与 WhisperX 流水线加字幕挖掘与重切分，报告七语平均约 30% 错误经数十至二百小时微调降至约 21.7%，代价是幻觉插入与字幕参考不完美及发布受限。