多语言

针对解码器独占式语音前缀需要大模型同时学单调对齐与语言建模的问题，该文用对齐器编码器先把 T 帧压缩为 U 个标签同步状态再在切分层注入冻结大模型的上层做连接器，在 LibriSpeech 上以 3.2/5.6 词错误率优于同尺寸基线，代价是仍需联合训练轻量头与低秩适配且晚注入会退化。

该研究用 BigVGAN 单元声码器在孟加拉语、印地语、泰米尔语和泰卢固语上对比聚类数与说话人及语言条件，显示增大聚类数主要提升可懂度而显式说话人条件决定音色保持，小聚类下语言监督才有附加增益，但大聚类下附加语言条件可能无益甚至轻微损伤。

论文针对 Whisper 在德拉威语上词错误率偏高的问题提出解码器内的加权注意力与自条件反馈，在韩语上把词错误率从 3.34% 降到 2.51%、在斯瓦希里语上从 16.07% 降到 14.58%，代价是每层增加轻量门控与一次中间预测投影。

针对大语音识别模型一次性剪枝会误删低幅度音素权重的问题，PhonePrune 用互补分布与最小对立体约束构造音素三元组校准集并做音素感知校准，在 50% 稀疏度下报告平均词错误率 11.50%，在韩语和日语上相对 Distil-Whisper 分别降低 13.41% 和 13.83%，代价是在英语集上弱于部分压缩基线且依赖强制对齐边界。

针对 Whisper 类模型在英语多领域顺序适配中的灾难性遗忘，论文提出以熵加权 token 蒸馏提纯保持方向、仅在冲突时对监督梯度做可调投影并只调解码器，最终平均词错误率 8.12% 相对不忘学习降低 7.2%，代价是新领域适配词错误率有所上升且 η 需权衡。

该研究用 10150 张 MENA 文化图像的三元组对比基准检验文本与语音、英文与阿拉伯语下视觉 grounding 是否一致，提出条件性对比不稳定性指标并报告语音尤其在阿拉伯语下显著放大碎片化失败，而增大规模与语音加文本联合输入只能缓解不能消除。

论文用同一 MMS 骨干的 126 至 4017 语言识别模型对比 49 种语言的质心聚类，显示只有 4K 规模在 K=18 处把系统发生恢复从 ARI 0.47 推到 0.74 并以 1.00 精度分离出太平洋宏簇，代价是仍有一个毛利语例外和一处未解释分支。

该研究为泰卢固语和马拉雅拉姆语新建诱发朗读与社交媒体实拍两类三分类语音数据集，并用 Wav2Vec 2.0 加 IndicBERT 的注意力融合做基线，报告同域内多模态互补有效而跨域时声学失配导致大幅下降且文本单模态更稳。

该研究针对 6 种南部班图语，用词错误率加声调统计的混合难度排序和门控声调适配器做课程学习，在 Swivuriso 训练并向 NCHLT 迁移，最好的 W2V-BERT 声调条件模型平均词错误率为 28.41%，但架构按语族分化且课程收益不稳定。

针对发音词典只能覆盖约百种语言而制约多语言合成的问题，UR-BERT 用通用罗马化统一输入并增加语音 token 预测来对齐声学，在 11 种语言的 VITS 对比中多数指标占优，代价是仍依赖教师语音模型与强制对齐质量且极低资源下可懂度提升有限。

针对多语言视频中自动语音识别不可靠、文本主导失效的问题，VINAYAKA 只用音频与视觉线索并在双曲空间做跨模态融合，在四个数据集的域内与跨数据集评测中取得最优，同时跨语言迁移仍有明显下降。

针对微调后朗读变好、自发语音变差的演播室偏置问题，论文用印地语和马拉雅拉姆语的四档复杂度基准证明早做大幅更新是主因约 12 个百分点，再用难到易的三阶段配方让 244M 模型在自发语音上追平 769M 常规模型，代价是必须在高可塑阶段先吃最难数据并依赖解码器集中适配。

本文解读 Te Taura Whiri 与 Google 围绕毛利语地名发音的新西兰英语 TTS 合作，用谅解备忘录、参与框架、知识产权协议与对齐框架把文化分歧变成可执行步骤，并以 5 人对 5 人的混合评估验证发音质量，但不报告声学模型细节与定量指标。

针对印度初学者母语混英语代码词的口语提问，CodeVaani 用分语种语音识别加代码感知转写修正再接代码模型作答，在 500 条真人语音上把词错率降到 8.1% 左右并获得超 89% 公平以上评价，代价是依赖双 H100 异步流水线且未验证多轮与延迟。

该研究用同一批声学特征同时训练临床诊断模型与人类听判预测模型，发现两者整体部分对齐但在希腊语与男性组完全失齐，而病理模型在该两组未超随机水平，代价是全局可解释性会掩盖这种分组失效。

该文把语音编码器表示聚成系统发生树并与 Glottolog 标准树比较，报告词典统计上限仍明显优于所有神经表示，而 Whisper-LID 相对最好、XEUS 最差，且多数模型在未见语言上反而重建得更好。

该研究把痴呆检测做成二分类语音任务，用冻结的基础语音编码器加轻量下游头比较单语与多语训练，最强证据是英语合并集 0.854 F1 与多语合并集 0.761 F1，而代价是小语种与跨语言零样本性能明显下降且依赖切分与时长等实验条件。

该研究用 WavLM-Large 对比语系感知与随机采样的 60 小时延续预训练，语系感知在下游得分 0.50 显著高于随机的 0.04，但两者仍低于约 94k 小时训练的原始基线，说明语言结构在数据受限时能缓解退化而不能替代大规模预训练。

该研究在 42 种语言的替换错误上直接测量语音、形态、句法和词义相似度，用混合效应贝塔回归证明句子语义保留来自跨维度交互而非单维度叠加，最强证据是形态句法联合保留的增益和系统差异，但代价是对插入删除不建模且依赖现有工具链的标注噪声。

针对中英会话语码切换数据稀缺问题，该工作用语音级 CMI 连同可懂度和自然度做多评价偏好学习来优化 CosyVoice2 合成，再把合成语音与真实语音混合微调 Whisper 等识别模型，在 SEAME 上把混合错误率降到 DevMAN 8.9% 与 DevSGE 14.2%，代价是依赖伪帧语言标签与多模型打分流水线。