僧伽罗语语音识别为什么难:从隐马尔可夫模型到自监督预训练的综述解读
本文综述 2006-2025 年僧伽罗语 ASR,问题是标注语料少、形态复杂导致词错误率高,对比显示同架构下修正 OpenSLR-52 标注可带来 18.1% 相对下降,而跨测试集的 WER 数字不可直接比较,且大模型微调仍需解决方言、噪声和代码混合问题。
本文综述 2006-2025 年僧伽罗语 ASR,问题是标注语料少、形态复杂导致词错误率高,对比显示同架构下修正 OpenSLR-52 标注可带来 18.1% 相对下降,而跨测试集的 WER 数字不可直接比较,且大模型微调仍需解决方言、噪声和代码混合问题。
论文针对标注很少且教师本身也在同样少标注下训练的声音分类,提出先把真值换回前 k 高置信集合再把支撑内关系、支撑与补集质量、补集内关系分开蒸馏,在城市声场景和鸟鸣两个基准上稳定优于独热基线和常规全分布蒸馏,但对其他强蒸馏基线的相对优势随任务、预算和指标而变化。
针对配对语音文本不足时语音大模型难以对齐声学与文本的问题,论文用语音到音素预训练音频编码器、用纯文本生成的音素到字形任务预热大模型,再端到端微调,在日语和中文上把字错率相对降低 27% 到 72%,代价是多两段预训练且在字母文字小语种上增益有限。
该文发布为录制 42 小时约鲁巴语语音而准备的 24905 句带声调符号文本,讲清来源改写与 Unicode 清洗过程,其复用价值只在标准约鲁巴语朗读新闻语域内成立。
针对印地语带时间戳转写问题,论文在 Whisper 编码器输出上加一个字符级线性 CTC 头做强制对齐,时间戳精度与依赖外部模型的 WhisperX 相当,并用 CTC 输出长度约束缓解短语音幻觉,但结论只在原文四个测试集和人工标注条件下成立。
在冻结 wav2vec 2.0 与 4 维 PCA 和 200 样本预算下对照 QSVM、RBF-SVM 与单隐层 MLP,最强证据是 ASV19 到 ADD 上 QSVM 以 AUC 76.04% 和 EER 27.00% 保留可分性而 MLP 退到约 50%,代价是反向与近域转移反转且校准更差。
共分析 48 篇语音/AI 论文
针对标注稀缺且带声调和形态变化的 Basaà语,研究用多语言自监督表示 XLS-R 做微调,在 1671 条测试上报告词错误率 14.13% 和字错误率 3.51%,代价是方言覆盖窄且声调细节仍易错。
该文用真实语音加静态人脸经 Wav2Lip 生成唇同步视频来解决视听数据稀缺,在西班牙语上以混合真实加合成数据取得最高 16.2% 的相对词错误率下降,在加泰罗尼亚语上验证了零真实视听数据下合成训练仍能带来 15.2% 的多模态增益,但合成单用时仍弱于真实数据且噪声下增益收窄。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对巴尔的摩与芝加哥警用电台噪声大、无标注量大的问题,论文用现成大模型生成伪标签再微调,并报告大语言模型作评判的过滤在两城两模型上优于对数概率与注意力分数,但与人工阈值构成的上限仍有明显差距。
共分析 43 篇语音/AI 论文
针对现代标准阿拉伯语学习者语音少、合成错音与真实错音分布不一致的问题,该研究用预训练编码器加因果空洞时序卷积做音素识别,先在大规模母语加合成数据上学通用映射再在约 2 小时真实学习者数据上适应,并用 6 个检查点混淆网络融合加 N 元重打分稳定输出,在 QuranMB.v2 盲测上音素级 F1 达到 0.7201,相对基线 0.4414 提升 63.1%,代 …
针对音频伪造检测标注少、跨域差的问题,ADD-DINO 先在 100 万无标注音频上做全局-局部非对比自蒸馏预训练、再用 20% 标注微调教师骨干,在 19LA 上接近全量监督并在跨域上把平均等错误率从 15.31% 降到 12.25%,代价是仍需大规模预训练与微调增强且未公开代码权重。
ARTIST 把多语言语音到语音翻译转成先预测目标端发音特征离散单元再合成波形的两段任务,用冻结的 20 码本向量量化自编码器做跨语言瓶颈并配合编码器中间 CTC 与卷积增强差分注意力解码器,在仅用短句训练却测长句的条件下以 166M 参数在 BLEU、COMET 和 chrF 上超过 1.2B 参数基线,代价是仍依赖发音特征提取器与两阶段预训练冻结的设计。
针对四对低资源语音到英语翻译的统一共享负迁移问题,论文用聚类分组、自交叉梯度相似度定共享比与联合 SVD 加正则 CCA 定能量分配来只改造编码器第 11 层 FFN2,在统一微调基线上取得最高 14.4% 相对 BLEU 增益,代价是只验证了单层单模型且部分语言对仍有回退。
针对重度构音障碍语音与通用模型声学失配及数据稀缺问题,论文用先做词汇域适应再只微调编码器前端的个性化 Conformer 管线,在 UASpeech 平均词错误率 21.5% 与 TORGO 平均 12.7% 上报告优于此前序列到序列方法,并以移动端采集与持续重训闭环支撑儿童使用,但重度 76.4% 基线差距、儿童数据缺失与公开可用性仍受限。
针对构音障碍数据少且严重程度声学差异大的问题,该工作冻结 WavLM 主干、在底层用共享 LoRA 学通用声学、在高层用临床监督路由的专家 LoRA 做严重程度特化,在 UA-Speech 上 5 分类宏 F1 达 61.55%、2 分类 F1 达 94.54%,代价是依赖说话人独立划分与临床严重度标注做路由监督。
该工作用统一流程采集博多语等四语 146 小时自发独白,以声学分布与说话人无关语种识别验证可分性,最强融合特征达 92.95% 准确率,代价是性别不平衡与无转写限制。
论文把 Whisper-Small 适配到比斯拉马语、纳夫桑语和雷莱帕语三种太平洋语言,报告了随数据量变化的识别误差、编码器与解码器的层级表示漂移以及向英语和历史语言的遗忘,用全量微调与 LoRA 及其变体的对照揭示了新语言可塑性与旧能力保持之间的严格权衡。