多语言

针对多语言试听中语言线索混入说话人嵌入的问题，论文比较了梯度反转、特征扰动、后端解耦和打分校准四类语言补偿，最终融合系统在 tv26 eval-A 上报告 2.53% EER，但前端去语言化会损失一部分可由强后端利用的说话人信息。

论文要解决音节切分方法分散、难以同条件复现比较的问题，用包络计算、帧特征、切分算法三模块可互换的 findsylls 工具包统一经典与神经路线，在英语、西班牙语和 Kono 语七个语料上以 50 ms 容差比较核、边界与区间 F1，最强神经组合以 3-5 tok/s 实现最高边界与区间精度，但经典包络在吞吐量上高出一个数量级。

针对哈萨克语、吉尔吉斯语、乌兹别克语数据稀缺问题，论文用 200 万小时音频的簇级重加权预训练加领域感知微调，在受控对比中降低中亚语言词错误率，代价是英语小幅回退且依赖内部众包与合成数据。

针对 Warlpiri、Dalabon、Dharawal 三种极低资源澳大利亚原住民语言识别，论文用回放增强的弹性权重巩固与约束引导的知识蒸馏来适配预训练模型，最强的约束引导知识蒸馏在单语适配中把高资源语言保持在 92.89% 并把新语种学到 100%，代价是仍需保留旧模型做教师且顺序适配效果依赖评测条件。

针对中日两个零样本语音分类任务，论文显示仅靠多语言离散国际音标词元训练的模型会失效，而用连续发音特征向量做分类能显著提升稀有音的召回，但送气用单帧最优、鼻音部位用段平均最优，时间聚合方式必须按线索的持续性选择。

论文针对音频大模型是否真用文本上下文做转写的问题，构建 55.93 小时、8 语 23 域的自然语音基准并用 L0-L6 逐级加信号的提示框架，在 5 个模型上测得母语文字实体表带来最大命名实体增益而对抗错误实体暴露盲从与无视两种失败，且基线转写好的模型不一定更会用上下文。

针对毛利语没有可用合成语音、通用引擎发音近乎不可懂的问题，Te Hiku Media 以原住民领导、母语者音色、逐句人工整理与听辨做出男声约 24 小时加女声超 8 小时的双语录音和 90 句加 100 句固定基准，用少而精的数据得到毛利语优先的高质量语音，代价是流程耗时耗人且评估主要依赖专家主观听辨。

针对非自回归合成依赖准确时长预测导致语速和韵律失真的问题，论文用可学习的扩展与删除标记配合分段伸缩训练与分层置信推理，在 Seed 测试上把初始长度错误纠正回来，代价是引入块大小与阈值等新超参数。

针对解码器独占式语音前缀需要大模型同时学单调对齐与语言建模的问题，该文用对齐器编码器先把 T 帧压缩为 U 个标签同步状态再在切分层注入冻结大模型的上层做连接器，在 LibriSpeech 上以 3.2/5.6 词错误率优于同尺寸基线，代价是仍需联合训练轻量头与低秩适配且晚注入会退化。

该研究用 BigVGAN 单元声码器在孟加拉语、印地语、泰米尔语和泰卢固语上对比聚类数与说话人及语言条件，显示增大聚类数主要提升可懂度而显式说话人条件决定音色保持，小聚类下语言监督才有附加增益，但大聚类下附加语言条件可能无益甚至轻微损伤。

论文针对 Whisper 在德拉威语上词错误率偏高的问题提出解码器内的加权注意力与自条件反馈，在韩语上把词错误率从 3.34% 降到 2.51%、在斯瓦希里语上从 16.07% 降到 14.58%，代价是每层增加轻量门控与一次中间预测投影。

针对大语音识别模型一次性剪枝会误删低幅度音素权重的问题，PhonePrune 用互补分布与最小对立体约束构造音素三元组校准集并做音素感知校准，在 50% 稀疏度下报告平均词错误率 11.50%，在韩语和日语上相对 Distil-Whisper 分别降低 13.41% 和 13.83%，代价是在英语集上弱于部分压缩基线且依赖强制对齐边界。

针对 Whisper 类模型在英语多领域顺序适配中的灾难性遗忘，论文提出以熵加权 token 蒸馏提纯保持方向、仅在冲突时对监督梯度做可调投影并只调解码器，最终平均词错误率 8.12% 相对不忘学习降低 7.2%，代价是新领域适配词错误率有所上升且 η 需权衡。

该研究用 10150 张 MENA 文化图像的三元组对比基准检验文本与语音、英文与阿拉伯语下视觉 grounding 是否一致，提出条件性对比不稳定性指标并报告语音尤其在阿拉伯语下显著放大碎片化失败，而增大规模与语音加文本联合输入只能缓解不能消除。

论文用同一 MMS 骨干的 126 至 4017 语言识别模型对比 49 种语言的质心聚类，显示只有 4K 规模在 K=18 处把系统发生恢复从 ARI 0.47 推到 0.74 并以 1.00 精度分离出太平洋宏簇，代价是仍有一个毛利语例外和一处未解释分支。

该研究为泰卢固语和马拉雅拉姆语新建诱发朗读与社交媒体实拍两类三分类语音数据集，并用 Wav2Vec 2.0 加 IndicBERT 的注意力融合做基线，报告同域内多模态互补有效而跨域时声学失配导致大幅下降且文本单模态更稳。

该研究针对 6 种南部班图语，用词错误率加声调统计的混合难度排序和门控声调适配器做课程学习，在 Swivuriso 训练并向 NCHLT 迁移，最好的 W2V-BERT 声调条件模型平均词错误率为 28.41%，但架构按语族分化且课程收益不稳定。

针对发音词典只能覆盖约百种语言而制约多语言合成的问题，UR-BERT 用通用罗马化统一输入并增加语音 token 预测来对齐声学，在 11 种语言的 VITS 对比中多数指标占优，代价是仍依赖教师语音模型与强制对齐质量且极低资源下可懂度提升有限。

针对多语言视频中自动语音识别不可靠、文本主导失效的问题，VINAYAKA 只用音频与视觉线索并在双曲空间做跨模态融合，在四个数据集的域内与跨数据集评测中取得最优，同时跨语言迁移仍有明显下降。

针对微调后朗读变好、自发语音变差的演播室偏置问题，论文用印地语和马拉雅拉姆语的四档复杂度基准证明早做大幅更新是主因约 12 个百分点，再用难到易的三阶段配方让 244M 模型在自发语音上追平 769M 常规模型，代价是必须在高可塑阶段先吃最难数据并依赖解码器集中适配。