多语言

MSU-Bench 针对多人对话提出从说话人接地到对话推理的两层 16 任务 2300 题评测，用统一四选一和错误类型诊断揭示时间定位难与说话人归因错是主要瓶颈，闭源 Gemini-3-Flash 以 0.77 整体准确率领先但仍未解决复杂接地与交互推理。

论文把帧级语音直接映射为 22 维音系特征并以发音方式门控保证组合合法，在四种训练语言上以 91.3% 域内和 88.9% 域外平均宏 F1 超过同骨干 CTC 音素基线约 8.8 和 8.6 个点，未见语言平均从 66.9% 提升到 73.6%，代价是特征库存不含鼻化元音与腭化等对比且跨语迁移仍明显掉点。

该文要解决词级强制对齐在多语下的可扩展问题，选择融合 MMS 与无监督音素边界表示再用可学习动态规划定边界，最强证据是在 TIMIT 和 Buckeye 上超过 MFA 与 MMS 基线，代价是编码器与解码器不能联合优化且在荷兰语等未见语言上优势只在部分容差下成立。

针对非言语发声合成缺乏配对真人参考与统一指标的问题，NV-Bench 用 1651 条中英野外语音与双维度协议测控指令对齐与声学逼真度，最强基线 NV-CV3 在普通话单标签上做到 PCER 27.69% 与 OCER 4.90%，但多标签与英文仍有明显差距。

NVV-SuperBench 针对笑、叹息、哭泣等非言语发声提出 45 类双语可控生成基准，用客观、人听与大模型多评分者三路评估 15 个系统，报告显示可控性常与语音质量脱钩，而低信噪比口腔音与长时情感发声仍是最难的瓶颈，且加非言语发声会抬高词错误率并改变自然度偏好。

OmniVoice 针对两阶段文本到语义再到声学管线的误差传播与信息瓶颈问题，选择单阶段双向 Transformer 直接由文本预测多码本声学词元，并以全码本随机掩码与大语言模型初始化为关键手段，在 581k 小时开源多语数据上实现覆盖 600 余种语言，最强证据是中英文与 102 语可懂度接近真值，代价是长尾低资源语言仍依赖重采样与修复流水线且推理需 32 …

该研究以加拿大 Hansard 英法议会 40 组独白加提问为对象，用余弦相似度检验声学韵律与语义趋同，发现全局与首尾分段趋同并存且跨语言存在两阶段规划，但强驱动特征消融后跨语言下降更大。

该文针对英语短语音主导、长语音与多语言评测分散且准度与效率口径不一的问题，搭建覆盖 86 个系统与 11 个数据集的三轨评测流程并统一词错误率与逆实时因子计算，在当前结果中 Conformer 类编码器加大语言模型解码器平均词错误率最低而 CTC 与 TDT 解码器吞吐更高，但差异同时受训练数据与配置影响。

针对自监督语音模型随机掩码会打断稀疏病理线索的问题，PAN-Mask 用六维声学描述子加端到端注意力估计帧级病理显著性并优先衰减高显著帧，在六个数据集上比随机掩码平均提高 13.82 个百分点，代价是增加轻量检测器与掩码超参数的联合优化复杂度。

针对一步式交错时间戳会拖累转写质量的问题，论文用同一语音大模型先做纯转写再带时间戳复写，并以模块化低秩适配实现隔离训练，最强证据是英语平均 27.1 毫秒、多语 21.2 毫秒且词错误率与基座持平，代价是模块化分支需处理缓存复用与二次音频注入。

针对多语语音大模型中多任务混训导致语言区分度丢失的问题，PART 用先单语 ASR 逐层解冻再引入 S2TT 联合优化的三阶段策略，在 Fleurs 上把平均 WER 从 6.4 降到 4.7、在 CoVoST2 上平均提升 1.4 BLEU，代价是需要 810k 小时 ASR 加 434k 小时 S2TT 数据与 256 卡三轮训练。

该研究用 5357 句覆盖 10 种印度语言的受控基准和 12 万余次成对比较回答多语言 TTS 如何可靠排序，发现 Gemini 2.5 Pro TTS 总体领先且表达力最能预测总体偏好，代价是需要百名量级母语评委和千句量级句子才能稳定排序。

论文把音位 ABX 改成韵律 ABX，用同一音段不同重音、声调、音高的三元组和 DTW 距离检验自监督语音表示是否拉开韵律对立，最强证据是 17 个模型在三语上显著优于声学基线且层间排序跨合成与上下文保持稳定，主要代价是英语重音上合成代理与自然录音相关性低且人类仍在日语和汉语任务上领先。

针对二值目标粗糙、时序对齐易错和真类概率坍缩问题，论文提出结合排序分与分布距离的连续目标 RanD 并为四种解码结构训练词级置信度估计器，在印地语与英语实验中报告了更低的校准误差与更高的区分度，但删除词与低资源表征仍未解决。

该文把语码切换识别当作可验证奖励问题，用组相对策略优化在仅一成合成语码切换语音上训练，以字符错率奖励消灭整句翻译、以书写保真奖励压制错文字系，并用两遍起草加改写让模型再听一次，二十成数据在人工录制的双语测试上超过全量低秩监督微调，但代价是单步采样更贵且在阿拉伯语等对上改写可能过纠。

论文提出稳定性-码率-失真三维视角并用连续编辑距离度量几何漂移，在 26 种方言上显示连续隐变量尚稳定而量化后离散序列 катастрофически 破碎，且低资源语言要额外缴纳语言税。

针对跨语料口语语种识别的域偏移问题，该研究用音频文本双模态编码加半正样本对比损失约束同语跨域样本以弱权重靠近，印度 12 语实验显示 Whisper 版在未见域上取得最高准确率，但 IndicVoice 绝对精度仍低且推理只用音频分支。

针对词错误率把声学失败与格式失败混为一数且在马拉雅拉姆语等黏着语中因合法连写被结构性夸大约三成的问题，论文用带连音容忍对齐的四维误差向量做诊断评估，并用大模型清洗管线训出印地语等三语丰富转写模型，最强证据是数字维度与专家评分相关达负 0.92 而词错误率多维不显著，代价是标点仍高达百分之十以上且本次未能确认代码权重可达。

针对泰米尔语等六种东南亚语言真伪检测覆盖不足的问题，论文用十个开源与四个闭源系统按真实文本配对生成 711 小时数据，证明在 ASVspoof5 上为 1.25% 等效错误率的模型会在新数据上恶化到 43.8% 左右，而在新数据上微调可恢复到 0.2% 左右，但伴随原域遗忘与语言间难度差异。

SingFox 针对歌声伪造检测泛化难的问题，用 20 个语言、1150 歌手、四类生成范式构造六条评测赛道，报告跨数据集最高准确率 77.84 %，而替代伪造使基线跌至 45.13 %，代价是训练子集小且部分语言缺乏人评验证。