先转写哪一段:Easper 用会话级排序证明重复比干净更重要
针对田野语言建档转写瓶颈,论文提出免代码的 ELAN 到微调再到切分转写流水线 Easper,并在三种瓦努阿图语言上以会话为单位比较五种排序策略,显示优先词汇重复的策略早期字符错误率更低,但干净录音并非无用且结论受语料规模限制。
针对田野语言建档转写瓶颈,论文提出免代码的 ELAN 到微调再到切分转写流水线 Easper,并在三种瓦努阿图语言上以会话为单位比较五种排序策略,显示优先词汇重复的策略早期字符错误率更低,但干净录音并非无用且结论受语料规模限制。
论文以音素受控仿真加英到日真实跨语言两路对照,检验预训练语音合成模型在微调中学习未见目标音素的能力,发现微调自然度更高但达到相同目标音素错误率需要相同或更多数据,说明预训练主要改善自然度而对音素增加帮助有限。
针对哈萨克语、吉尔吉斯语、乌兹别克语数据稀缺问题,论文用 200 万小时音频的簇级重加权预训练加领域感知微调,在受控对比中降低中亚语言词错误率,代价是英语小幅回退且依赖内部众包与合成数据。
针对 Warlpiri、Dalabon、Dharawal 三种极低资源澳大利亚原住民语言识别,论文用回放增强的弹性权重巩固与约束引导的知识蒸馏来适配预训练模型,最强的约束引导知识蒸馏在单语适配中把高资源语言保持在 92.89% 并把新语种学到 100%,代价是仍需保留旧模型做教师且顺序适配效果依赖评测条件。
针对毛利语没有可用合成语音、通用引擎发音近乎不可懂的问题,Te Hiku Media 以原住民领导、母语者音色、逐句人工整理与听辨做出男声约 24 小时加女声超 8 小时的双语录音和 90 句加 100 句固定基准,用少而精的数据得到毛利语优先的高质量语音,代价是流程耗时耗人且评估主要依赖专家主观听辨。
针对穿玻璃墙采集的 -5 dB 到 -1 dB 带限毫米波雷达语音,本文用预训练学带宽扩展加微调学抗噪的两阶段 RAD-GAN 实现 1 kHz 到 4 kHz 重建,最强证据是加权分 0.333 超过 WaveVoiceNet 的 0.260 和 HiFi-GAN 的 0.288,代价是 87,000,536 参数与两阶段共约 20 小时单卡训练。
论文针对 Whisper 在德拉威语上词错误率偏高的问题提出解码器内的加权注意力与自条件反馈,在韩语上把词错误率从 3.34% 降到 2.51%、在斯瓦希里语上从 16.07% 降到 14.58%,代价是每层增加轻量门控与一次中间预测投影。
针对韩语正字法与实际发音不一致且低资源下隐式学习困难的问题,论文提出只标记鼻音韵尾的选择性同位异音切分 SALT-N,在 12.75 小时上把字形输入的 CER 从 4.74% 降到 3.30% 并取得最高主观自然度,代价是放弃全量同位异音标记所追求的声学分辨率。
该研究以海得拉巴达基尼自然电话对话为对象,用非对称知情采集加方言规则标注来保住易被抑制的方言特征,其依据是 160 人语料设计与 60 人预调查揭示的语境漂移,代价是牺牲录音室级音质并依赖人工核验。
针对合成训练难迁移到真实环境的问题,论文用 2.9 小时 CHiME-3 真实带转录噪声加 VCTK 合成对做开关双模式微调,在 CHiME 上把词错误率从 63.66 降到 20.27 并把感知质量做到 3.23,代价是增强偏置与识别偏置仍需二选一且加长开关会回落感知质量。
该研究为泰卢固语和马拉雅拉姆语新建诱发朗读与社交媒体实拍两类三分类语音数据集,并用 Wav2Vec 2.0 加 IndicBERT 的注意力融合做基线,报告同域内多模态互补有效而跨域时声学失配导致大幅下降且文本单模态更稳。
该研究针对 6 种南部班图语,用词错误率加声调统计的混合难度排序和门控声调适配器做课程学习,在 Swivuriso 训练并向 NCHLT 迁移,最好的 W2V-BERT 声调条件模型平均词错误率为 28.41%,但架构按语族分化且课程收益不稳定。
论文研究如何在低资源印地语农业对话场景下低成本建 100 小时语料,选择自动语音识别加轻量 mT5 纠错再加标注员到验证员到核查员三层校验,最强证据是相对纯人工标注时间减少 61.1%,代价是领域外泛化仍依赖通用基线且大模型纠错更慢更不稳。
论文研究极低资源 Warlpiri 语识别该从哪种高资源语言迁移,用声学嵌入相似度加句法音位语法类型相似度排序候选源并以 Whisper 迁移验证,最强证据是 Assamese 迁移后词错误率 32.6%、字错误率 12.3%,代价是结论依赖 1.5 小时特定语料与固定微调流程且零样本与微调下最优相似度指标不同。
针对耳语缺少基频且与正常音谱和时长差异大的问题,WhisperVC 用有限配对数据做跨域对齐、只用正常音做由粗到精的梅尔生成与声码器适配,在普通话上把字错率从 22.937% 降到 16.932%,代价是仍需分阶段训练且依赖内容编码器与说话人嵌入条件。
针对多方言阿拉伯语反欺骗基准缺失问题,ArFake 用 Casablanca 八方言加四种 TTS 构建 54413 条混合语料并以 Whisper-large 加浅分类头做检测,在域内取得 4.88% 等错误率、在未见 VITS 上取得 97.94% 准确率,代价是训练集伪造占比近七成且部分满分依赖低质量合成伪影。
该工作把希腊语歌曲做成片段级对齐的歌词转写基准,用 Whisper 做转写专用、多任务混合与语音到歌声两阶段微调,最强两阶段 Large-v3 把归一化词错误率降到 27.2%,代价是依赖人声分离与强制对齐流水线且伴奏与增强并未带来增益。
针对音频标注贵且通用主动学习忽略时频结构的问题,论文提出先用软损失分布刻画难学模式再用特征加梯度相似度匹配无标注样本的 TSAL,在 40% 标注预算下以 ESC-50 上 82.65% 对 79.90% 等结果领先基线,代价是每轮需额外计算伪标签梯度和相似度排序。
论文用西弗里斯兰语检验大模型生成式纠错能否超越五选一上限,靠公开集加非公开离线集对照排除记忆,最强证据是 GPT-5.1 把词错率降到公开集 8.9% 与离线集 13.8%,代价是开源小模型几乎不改写且插入词判断仍不稳。
该研究用 WavLM-Large 对比语系感知与随机采样的 60 小时延续预训练,语系感知在下游得分 0.50 显著高于随机的 0.04,但两者仍低于约 94k 小时训练的原始基线,说明语言结构在数据受限时能缓解退化而不能替代大规模预训练。