低资源非洲语言语音识别:架构、数据量与适配策略如何起作用
本文在六种非洲语言上控制每语言数据量,对比三种语音识别模型,发现 Phi-4 整体字符错误率最低、数据饱和点因模型而异、领域数据对不同模型效果不同,而结论只在所测语言、数据来源和单次训练条件下成立。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
本文在六种非洲语言上控制每语言数据量,对比三种语音识别模型,发现 Phi-4 整体字符错误率最低、数据饱和点因模型而异、领域数据对不同模型效果不同,而结论只在所测语言、数据来源和单次训练条件下成立。
该文针对训练与人机交互测试之间的混响加性噪声失配,在 Wav2vec 2.0 卷积层与 Transformer 层之间加入 40 维自编码器潜空间与单状态高斯混合模型估计的仿射补偿,在 MSP-Podcast 模拟训练与 PR2 机器人实录测试下用少量数据取得平均一致性相关系数提升,但全量数据时优势消失且须重训后端才能生效。
针对带噪目标训练会留下残留噪声的问题,论文用非成对干净语音的 Sinkhorn 漂移损失在语音质量评估模型隐空间内做分布对齐,在 VoiceBank-DEMAND 上保住波形保真度的同时提升听感指标,并在 CHiME-3 真机录音的域自适应中同样改善听感。
针对因子化 Transducer 用文本微调非空预测器会提升新领域但损害源领域的问题,论文提出把适配后预测器当作残差修正并用每前缀门控决定采纳多少,在保留新领域增益的同时源领域词错误率基本不变。
论文针对真实语码切换语音稀缺而合成语音存在失配的问题,对每个语言对和每个预训练模型用合成语音做 Reptile 元训练得到易适应的初始化,再用 1 小时真实标注语音适配,并在四种架构上以持续微调为主要对照验证了词错误率的相对下降,但增益大小依赖模型与语言对且部分小样本结论仍待多种子验证。
论文在全部 22 种印度 scheduled 语言的 1164 段录音上零样本比较九个说话人日志系统,用印度电话银标签适配分割网络得到时长加权 16.78% 的错误率,并证明话语内停顿是否切分这一标注口径能带来 1.9 到 4.1 个百分点的系统性差异。
针对非音乐音频到符号音乐的一对多转换问题,Sori 用只在音乐音频上训练的编码器加双解码器结构配合域对抗训练和无分类器引导,在 AudioSet 评测上用连续参数控制贴合输入与音乐性之间的权衡,并以平均实时率 0.82 在消费级 CPU 上实现流式推理。
论文用组内划分在三个英语数据集上对照零样本、混合 LoRA 与分组 LoRA,发现增益集中在基线错误大且集中的地方,而混合适配常能持平或超过分组适配,因此超过零样本不能直接当作个性化的证据。
论文比较声学导向与内容导向两类攻击者在六种语言匿名语音上的再识别能力,发现攻击效果随匿名语音的语言可用性下降而下降,而大规模多语语音转换数据微调只能部分缩小跨语言差距。
该文要从听者视频加说话人音频文本推断听者六类情绪,用视觉对齐的说话人筛选加无标注听者自举训练视觉专家,再只对低置信样本用说话内容作诱因做二选一推理,在 MER-Cross 上报告 76.25% 加权平均 F1,代价是多阶段筛选与受限的大语言模型调用。
用两个外域模拟咨询数据预测未见过第三个项目的专家总体印象,基于专家量表构念的本地小模型文本打分达到嵌套留一域 Spearman 0.54,超过域内训练,代价是需要一批无标签目标会话做按域特征校准且输出只支持排序。
该文把成人 PhonoQ-2.0 适配到儿童语音,对比三种强制对齐监督与两种初始化,用 58 名儿童 1352 个辅音人工标注检验,显示清浊全面提升、发音方式依赖儿童对齐、部位对比与纵向变化保持可解释,但增益因特征类而异且临床样本很小。
论文引入系统级偏好准确率检验预测 MOS 能否复现人评的系统两两优劣,发现在两个增强任务上单模型最高仅 76.8%,集成与领域自适应也只在限定条件下改善,说明相关系数高不等于比选可靠。
针对合成训练与真实对话失配且无信号级真值的问题,该文用合成预训练加目标感知弱监督过渡再做质量过滤的 RemixIT 重混自适应,在 REAL-TSE 未见场景 EVAL-2 上把 TER 从 0.763 降到 0.713,代价是只保留 4.2 小时高置信伪标签且依赖说话人标注与转写质量。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
语音的噪声、通道、说话人与跨模态差异本质是分布不一致,本文沿 Monge 到 Kantorovich 再到 Sinkhorn 与神经求解的路线讲清对齐机制,报告在增强、识别与反欺骗中的迁移用法,并指出长序列可扩展性与代价函数选择仍是主要代价。
针对巴尔的摩与芝加哥警用电台噪声大、无标注量大的问题,论文用现成大模型生成伪标签再微调,并报告大语言模型作评判的过滤在两城两模型上优于对数概率与注意力分数,但与人工阈值构成的上限仍有明显差距。
针对现代标准阿拉伯语学习者语音少、合成错音与真实错音分布不一致的问题,该研究用预训练编码器加因果空洞时序卷积做音素识别,先在大规模母语加合成数据上学通用映射再在约 2 小时真实学习者数据上适应,并用 6 个检查点混淆网络融合加 N 元重打分稳定输出,在 QuranMB.v2 盲测上音素级 F1 达到 0.7201,相对基线 0.4414 提升 63.1%,代 …
针对无源域数据、只有多个预训练源分类器和极少量有标签目标数据的语音情感分类问题,MOCHEE 用软置换对齐加元学习合并权重构造靶向分类器,在 CAFÉ和 Oréau 上报告最高准确率与 Macro-F1,但对齐与内外层划分等细节仍有未验证边界。
论文把成人训练的自监督匿名化流水线用 MyST 儿童语料微调内容编码器和声码器并换成儿童音色池,在单人域内与跨口音和双人混合下维持高隐私的同时改善可懂度和儿童感,但双人可用性仍受目标说话人提取质量限制。