From Sinhala to Dhivehi: Cross-Lingual Transfer Learning for Low-Resource Speech Recognition
📄 From Sinhala to Dhivehi: Cross-Lingual Transfer Learning for Low-Resource Speech Recognition #语音识别 #迁移学习 #自监督学习 #低资源 #多语言 6.6/10 | 创新 1.2/2 | 严谨 0.8/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6.6/10 | 前50% | #语音识别 | #迁移学习 | #自监督学习 #低资源 | arxiv 👥 作者与机构 第一作者:Lukmal Ilyas(未说明机构) 通讯作者:未明确说明 作者列表:Lukmal Ilyas(未说明机构)、Nevidu Jayatilleke(未说明机构) 💡 毒舌点评 亮点是系统性地对比了五种迁移范式并发现语言ID令牌在低资源双语场景下的反直觉损害,同时用土耳其语控制实验干净地剥离了语言相关性效应;短板则在于全篇无多次重复实验与统计检验,部分架构不一致(XLS‑R与Wav2Vec2‑BERT混用)且未做音素级错误分析,使“最佳策略”的可靠性打了折扣,而且KenLM带来的绝对增益远超任何迁移策略,显得迁移学习本身收益甚微。 📌 核心摘要 问题:低资源语言Dhivehi缺乏足够语音数据,本文研究利用语言亲缘关系较近且资源较多的Sinhala进行跨语言迁移,提升Dhivehi语音识别性能。 方法核心:以Wav2Vec/XLS‑R预训练编码器为基础,比较五种迁移范式——仅Dhivehi微调、顺序微调(先Sinhala后Dhivehi)、多语言联合微调(含/不含语言ID令牌)、继续预训练(在Sinhala音频上继续自监督学习后微调Dhivehi)以及土耳其语无关语言控制实验;解码端统一采用5‑gram KenLM浅融合与CTC束搜索。 新意:首次在Sinhala→Dhivehi方向上进行受控跨语言迁移研究,揭示语言ID令牌在低资源双语条件下可能有害,并通过无关语言控制实验验证了语言亲缘关系对迁移的贡献。 主要实验:在Common Voice Dhivehi验证集上,最佳系统(继续预训练+KenLM)达12.89% WER、2.70% CER,优于Dhivehi‑only基线(13.50% WER / 3.02% CER)。KenLM解码平均降低约27个WER百分点。多语言微调不含语言ID令牌(13.26% WER)优于含令牌(18.46% WER)。土耳其控制实验(13.77% WER)劣于Sinhala多语言微调,验证了语言亲缘性的作用。具体结果见表。 配置 LM WER(%) CER(%) Dhivehi only ✓ 13.50 3.02 Dhivehi only ✕ 41.27 6.19 Sequential (Si→Dv) ✓ 15.15 3.48 Sequential (Si→Dv) ✕ 43.55 6.69 Multi 60h Si + LID ✓ 18.46 3.72 Multi 60h Si + LID ✕ 42.29 6.40 Multi 60h Si, no LID ✓ 13.26 3.08 Multi 60h Si, no LID ✕ 42.09 6.30 Multi 30h Si, no LID ✓ 13.34 3.04 Multi 30h Si, no LID ✕ 41.94 6.33 Cont. pretrain Si→Dv ✓ 12.89 2.70 Cont. pretrain Si→Dv ✕ 40.54 5.95 Turkish ctrl, no LID ✓ 13.77 3.24 Turkish ctrl, no LID ✕ 43.02 6.60 实际意义:为极度低资源语音识别提供了可复用的迁移学习框架与解码策略经验,明确指出外部语言模型的重要性不亚于迁移策略本身,对类似小众语言对的技术落地有直接参考价值。 主要局限:仅进行单次运行无统计检验,继续预训练采用不同架构(XLS‑R)导致与其他实验可比性不足,缺乏音素级错误分析,解码超参数调优有限,且评估局限于单一测试集。 🔗 开源详情 代码:https://github.com/lukmalilyas/From-Sinhala-to-Dhivehi-ASR 模型权重:论文中未提及提供,代码仓库中未确认包含 数据集: Sinhala:OpenSLR SLR52,https://www.openslr.org/52/ Dhivehi:Mozilla Common Voice版本24.0 Dhivehi子集,https://commonvoice.mozilla.org/ Turkish:Mozilla Common Voice版本22.0土耳其语子集,https://commonvoice.mozilla.org/ Demo:论文中未提及 复现材料:提供实验脚本地址,并声称覆盖17个实验运行、5种迁移范式的全部组合。脚本中应包含论文所述的主要超参数设置,但缺少预训练模型、KenLM文件及详细环境配置,离一键复现仍有距离。 🏗️ 方法概述和架构 整体流程:输入原始16kHz单声道音频,经Wav2Vec/XLS‑R系列自监督编码器提取上下文语音表征;表征通过一个线性层映射到字符级标签空间,用CTC损失进行监督训练;推理阶段,CTC输出的声学得分与外部5‑gram KenLM语言模型得分通过浅融合束搜索进行联合解码,产生最终文本。整个系统是模块化的“自监督编码器 + CTC微调 + LM解码”流水线。 ...