用可验证奖励把语码切换听写拉回原语言:CER 与书写系奖励的分工
该文把语码切换识别当作可验证奖励问题,用组相对策略优化在仅一成合成语码切换语音上训练,以字符错率奖励消灭整句翻译、以书写保真奖励压制错文字系,并用两遍起草加改写让模型再听一次,二十成数据在人工录制的双语测试上超过全量低秩监督微调,但代价是单步采样更贵且在阿拉伯语等对上改写可能过纠。
该文把语码切换识别当作可验证奖励问题,用组相对策略优化在仅一成合成语码切换语音上训练,以字符错率奖励消灭整句翻译、以书写保真奖励压制错文字系,并用两遍起草加改写让模型再听一次,二十成数据在人工录制的双语测试上超过全量低秩监督微调,但代价是单步采样更贵且在阿拉伯语等对上改写可能过纠。
针对曼尼普尔两种拉丁拼写藏缅语的数据空白,论文用教科书录制加自动切分流水线建成 9.58 小时坦库尔语和 10.79 小时马林语单说话人库,并在相同划分上训练 Tacotron 2 与 FastSpeech 2,最强组合 FastSpeech 2 加 StyleMelGAN 在主观盲测取得 3.06 与 3.51 分,代价是方言差异与声调建模仍限制可懂度。
论文用 17 小时马库萨斯语和 4 小时库克群岛毛利语自然对话做 Wav2Vec2 等基础模型微调与联合训练,最好的马库萨斯单语模型中位 CER 为 16、WER 为 30 左右,人工从 ASR 改起比纯手打每分钟音频快 0.7 到 2.4 倍,但跨语言联合只带来微弱且不显著的提升。
在 Qwen3-Omni 30B 与 1000 题 MMAR 音频推理任务上,结构化提示以 72.6% 准确率比基线提高 5.5 个百分点,而需要大量候选生成与迭代微调的 ReST 与自动优化的 MIPROv2 反而低于基线,代价是提示只重组推理流程而不增加可迁移的权重知识。
针对纯文本对齐与声学解码接口不匹配且难度不可控的问题,TASU2 用词错误率分档控制的文本到 CTC 后验模拟器生成伪声学监督,在 LibriSpeech 源域和 SlideSpeech、TED 等多域上优于 TASU 和 TTS 增强,代价是模拟器需先用七分之一 LibriSpeech 加增强的教师后验训练且主实验固定使用低错误档。
论文研究每任务每语言只有 3-5 小时标注时如何做多语言多任务语音大模型,选择冻结编码器与大模型只训练投影层并先做高资源语音识别预训练,最强证据是意大利语单语从零训练词错误率 129% 降到 5.4%、翻译从 0.8% 升到 48.2%,代价是未见任务仍不能零样本泛化且跨语言效果受语系距离限制。
SGILE 针对原住民语言教学的低资源 TTS 问题,选择用开源 EveryVoice 工具包降低建声门槛并用 BWS 等强制选择评测降低听音人负担,论文以网页 Demo 展示不同数据量声音与 BWS 问卷流程,但正文未报告正式主观得分与统计检验。
针对北萨米语标注只有 20 小时的问题,论文比较大教师生成全部伪标签与大小模型一致过滤子集,并证明先伪标签后人工标注的两阶段微调能让 95M 小模型在域外测试上相对降低字符错误率,而混合训练与反向顺序会退化。
针对 Whisper 类模型在低资源语言上顺序微调时的灾难性遗忘,论文提出用语言均衡回放构造整体参考梯度并做冲突投影的统一梯度投影方法,在 Whisper-large-v3 上报告平均遗忘接近零,但目标语言可塑性仍需与回放量和模型容量一起权衡。
论文研究约 1 万使用者的胡拉语如何做社区所有的文档化,方法是社区发起的众包翻译加长者审校平台 Vavanagi,最强证据是 77 名译者与 4 名审校者产出 12124 对平行句且一次通过率 91%,代价是目前仍以文本为入口、语音只作附件且下游翻译与识别模型尚未建成。
针对粤语语用资源稀缺且纯文本评测掩盖语音线索的问题,该研究把英文语用题转写为粤语并配对录音构建问答基准,报告显示文本加语音拼接优于纯文本而纯语音落后,但先进融合与说话人多样性仍受限。
针对塞浦路斯、克里特和麦西尼亚三种希腊方言的低资源转写问题,论文用标准希腊语翻译起步、混合转写与翻译过渡、最终收敛到方言转写的多任务课程,在三档 Whisper 规模上报告了优于直接微调的词错误率,同时保留了翻译正则与 donor 数据等代价与边界条件。
针对多语联合微调中的负迁移与低资源一致性学习中的确认偏误,论文用共享-私有融合 LoRA 解耦容量竞争、用置信门控平均教师提供稳定目标,在 Kathbath 五语上把宏平均 WER 降到 19.85%,代价是引入双分支与两阶段调度等额外复杂度。
针对田野语言建档转写瓶颈,论文提出免代码的 ELAN 到微调再到切分转写流水线 Easper,并在三种瓦努阿图语言上以会话为单位比较五种排序策略,显示优先词汇重复的策略早期字符错误率更低,但干净录音并非无用且结论受语料规模限制。
论文以音素受控仿真加英到日真实跨语言两路对照,检验预训练语音合成模型在微调中学习未见目标音素的能力,发现微调自然度更高但达到相同目标音素错误率需要相同或更多数据,说明预训练主要改善自然度而对音素增加帮助有限。
针对哈萨克语、吉尔吉斯语、乌兹别克语数据稀缺问题,论文用 200 万小时音频的簇级重加权预训练加领域感知微调,在受控对比中降低中亚语言词错误率,代价是英语小幅回退且依赖内部众包与合成数据。
针对 Warlpiri、Dalabon、Dharawal 三种极低资源澳大利亚原住民语言识别,论文用回放增强的弹性权重巩固与约束引导的知识蒸馏来适配预训练模型,最强的约束引导知识蒸馏在单语适配中把高资源语言保持在 92.89% 并把新语种学到 100%,代价是仍需保留旧模型做教师且顺序适配效果依赖评测条件。
针对毛利语没有可用合成语音、通用引擎发音近乎不可懂的问题,Te Hiku Media 以原住民领导、母语者音色、逐句人工整理与听辨做出男声约 24 小时加女声超 8 小时的双语录音和 90 句加 100 句固定基准,用少而精的数据得到毛利语优先的高质量语音,代价是流程耗时耗人且评估主要依赖专家主观听辨。
针对穿玻璃墙采集的 -5 dB 到 -1 dB 带限毫米波雷达语音,本文用预训练学带宽扩展加微调学抗噪的两阶段 RAD-GAN 实现 1 kHz 到 4 kHz 重建,最强证据是加权分 0.333 超过 WaveVoiceNet 的 0.260 和 HiFi-GAN 的 0.288,代价是 87,000,536 参数与两阶段共约 20 小时单卡训练。
论文针对 Whisper 在德拉威语上词错误率偏高的问题提出解码器内的加权注意力与自条件反馈,在韩语上把词错误率从 3.34% 降到 2.51%、在斯瓦希里语上从 16.07% 降到 14.58%,代价是每层增加轻量门控与一次中间预测投影。