多语言

针对自监督语音模型随机掩码会打断稀疏病理线索的问题，PAN-Mask 用六维声学描述子加端到端注意力估计帧级病理显著性并优先衰减高显著帧，在六个数据集上比随机掩码平均提高 13.82 个百分点，代价是增加轻量检测器与掩码超参数的联合优化复杂度。

针对一步式交错时间戳会拖累转写质量的问题，论文用同一语音大模型先做纯转写再带时间戳复写，并以模块化低秩适配实现隔离训练，最强证据是英语平均 27.1 毫秒、多语 21.2 毫秒且词错误率与基座持平，代价是模块化分支需处理缓存复用与二次音频注入。

针对多语语音大模型中多任务混训导致语言区分度丢失的问题，PART 用先单语 ASR 逐层解冻再引入 S2TT 联合优化的三阶段策略，在 Fleurs 上把平均 WER 从 6.4 降到 4.7、在 CoVoST2 上平均提升 1.4 BLEU，代价是需要 810k 小时 ASR 加 434k 小时 S2TT 数据与 256 卡三轮训练。

该研究用 5357 句覆盖 10 种印度语言的受控基准和 12 万余次成对比较回答多语言 TTS 如何可靠排序，发现 Gemini 2.5 Pro TTS 总体领先且表达力最能预测总体偏好，代价是需要百名量级母语评委和千句量级句子才能稳定排序。

论文把音位 ABX 改成韵律 ABX，用同一音段不同重音、声调、音高的三元组和 DTW 距离检验自监督语音表示是否拉开韵律对立，最强证据是 17 个模型在三语上显著优于声学基线且层间排序跨合成与上下文保持稳定，主要代价是英语重音上合成代理与自然录音相关性低且人类仍在日语和汉语任务上领先。

针对二值目标粗糙、时序对齐易错和真类概率坍缩问题，论文提出结合排序分与分布距离的连续目标 RanD 并为四种解码结构训练词级置信度估计器，在印地语与英语实验中报告了更低的校准误差与更高的区分度，但删除词与低资源表征仍未解决。

该文把语码切换识别当作可验证奖励问题，用组相对策略优化在仅一成合成语码切换语音上训练，以字符错率奖励消灭整句翻译、以书写保真奖励压制错文字系，并用两遍起草加改写让模型再听一次，二十成数据在人工录制的双语测试上超过全量低秩监督微调，但代价是单步采样更贵且在阿拉伯语等对上改写可能过纠。

论文提出稳定性-码率-失真三维视角并用连续编辑距离度量几何漂移，在 26 种方言上显示连续隐变量尚稳定而量化后离散序列 катастрофически 破碎，且低资源语言要额外缴纳语言税。

针对跨语料口语语种识别的域偏移问题，该研究用音频文本双模态编码加半正样本对比损失约束同语跨域样本以弱权重靠近，印度 12 语实验显示 Whisper 版在未见域上取得最高准确率，但 IndicVoice 绝对精度仍低且推理只用音频分支。

针对词错误率把声学失败与格式失败混为一数且在马拉雅拉姆语等黏着语中因合法连写被结构性夸大约三成的问题，论文用带连音容忍对齐的四维误差向量做诊断评估，并用大模型清洗管线训出印地语等三语丰富转写模型，最强证据是数字维度与专家评分相关达负 0.92 而词错误率多维不显著，代价是标点仍高达百分之十以上且本次未能确认代码权重可达。

针对泰米尔语等六种东南亚语言真伪检测覆盖不足的问题，论文用十个开源与四个闭源系统按真实文本配对生成 711 小时数据，证明在 ASVspoof5 上为 1.25% 等效错误率的模型会在新数据上恶化到 43.8% 左右，而在新数据上微调可恢复到 0.2% 左右，但伴随原域遗忘与语言间难度差异。

SingFox 针对歌声伪造检测泛化难的问题，用 20 个语言、1150 歌手、四类生成范式构造六条评测赛道，报告跨数据集最高准确率 77.84 %，而替代伪造使基线跌至 45.13 %，代价是训练子集小且部分语言缺乏人评验证。

该文研究在语音大模型中并行融合多语大编码器与单语专用编码器以做自动语音识别，通过可学习的门控与 Transformer 融合在荷兰语、英语、多语和带说话人标签任务上超过简单拼接，但绝对词错率仍受低秩微调与量化资源限制。

针对可配置多语识别中解码器语言模块随输出长度线性增加延迟的问题，论文用可缓存的词元无关向量与编码器顶层一次提取的动态线索替代逐词线性投影，在 MLS 与四语平衡集上恢复与原 CMM 相当的词错误率，并把长句解码器额外开销从百秒量级降到数秒量级，代价是纯静态向量会小幅掉点且低资源语言难以从精确配置中获益。

针对平均意见分测不出语法条件变体的问题，该文以阿萨姆语舌根前移元音和谐为探针，用人类语音训练声学到音系分类器并跨域审计 MMS 合成，最强证据是中元音/e/和/o/约三分之一被实现为[-ATR] 且欠生成与过生成呈约 7 比 1 不对称，代价是仅覆盖单个系统、单个现象与小规模不平衡合成集。

论文研究每任务每语言只有 3-5 小时标注时如何做多语言多任务语音大模型，选择冻结编码器与大模型只训练投影层并先做高资源语音识别预训练，最强证据是意大利语单语从零训练词错误率 129% 降到 5.4%、翻译从 0.8% 升到 48.2%，代价是未见任务仍不能零样本泛化且跨语言效果受语系距离限制。

针对同时有语音和文本时如何低成本得到实际读音的问题，该文用词典与工具生成受限候选再以冻结语音转读音模型做整句负对数似然贪心选择，在日语三语料上把字符错误率降到 0.04 到 0.17%，代价是仍依赖候选覆盖与按语言校准的阈值。

论文用翻译加语音合成批量构造多语言语音问答数据来解决多语言指令数据稀缺问题，最强证据是微调后的 Qwen2.5-Omni 在 23 种语言上平均以 60.6% 胜率超过微调前版本，代价是合成语音自然度偏低且部分语言仍需大量人工改写翻译。

论文用变换器自动检出填充停顿并以 Mundlak 校正的广义估计方程建模近四千小时四国议会语音，复现了年龄与语速的负关联、发现南斯拉夫议会中女性更高的性别反转与情感正关联，而政治倾向与执政在野效应只在部分议会成立且代价是自动情感与自动检出的噪声会进入发生率估计。

针对 Whisper 类模型在低资源语言上顺序微调时的灾难性遗忘，论文提出用语言均衡回放构造整体参考梯度并做冲突投影的统一梯度投影方法，在 Whisper-large-v3 上报告平均遗忘接近零，但目标语言可塑性仍需与回放量和模型容量一起权衡。