论文解读

用可验证奖励把语码切换听写拉回原语言:CER 与书写系奖励的分工

该文把语码切换识别当作可验证奖励问题,用组相对策略优化在仅一成合成语码切换语音上训练,以字符错率奖励消灭整句翻译、以书写保真奖励压制错文字系,并用两遍起草加改写让模型再听一次,二十成数据在人工录制的双语测试上超过全量低秩监督微调,但代价是单步采样更贵且在阿拉伯语等对上改写可能过纠。

 · 更新于 2026-11-05 · 约 17 分钟 · 8267 字 阅读 →
论文解读

拉丁拼写不等于英语发音:为坦库尔语和马林语从零建库并训练字符级 TTS

针对曼尼普尔两种拉丁拼写藏缅语的数据空白,论文用教科书录制加自动切分流水线建成 9.58 小时坦库尔语和 10.79 小时马林语单说话人库,并在相同划分上训练 Tacotron 2 与 FastSpeech 2,最强组合 FastSpeech 2 加 StyleMelGAN 在主观盲测取得 3.06 与 3.51 分,代价是方言差异与声调建模仍限制可懂度。

 · 更新于 2026-11-05 · 约 19 分钟 · 9427 字 阅读 →
论文解读

17 小时田野录音能把转写加速到 2.4 倍吗:马库萨斯语 ASR 的单语、联合与人工校对实验

论文用 17 小时马库萨斯语和 4 小时库克群岛毛利语自然对话做 Wav2Vec2 等基础模型微调与联合训练,最好的马库萨斯单语模型中位 CER 为 16、WER 为 30 左右,人工从 ASR 改起比纯手打每分钟音频快 0.7 到 2.4 倍,但跨语言联合只带来微弱且不显著的提升。

 · 更新于 2026-11-05 · 约 18 分钟 · 8538 字 阅读 →
论文解读

有限数据下改提示还是改权重:结构化推理以零训练成本超越自训练

在 Qwen3-Omni 30B 与 1000 题 MMAR 音频推理任务上,结构化提示以 72.6% 准确率比基线提高 5.5 个百分点,而需要大量候选生成与迭代微调的 ReST 与自动优化的 MIPROv2 反而低于基线,代价是提示只重组推理流程而不增加可迁移的权重知识。

 · 更新于 2026-11-05 · 约 17 分钟 · 8405 字 阅读 →
论文解读

不用录音也能对齐语音大模型:用可控错误率模拟声学后验的 TASU2

针对纯文本对齐与声学解码接口不匹配且难度不可控的问题,TASU2 用词错误率分档控制的文本到 CTC 后验模拟器生成伪声学监督,在 LibriSpeech 源域和 SlideSpeech、TED 等多域上优于 TASU 和 TTS 增强,代价是模拟器需先用七分之一 LibriSpeech 加增强的教师后验训练且主实验固定使用低错误档。

 · 更新于 2026-11-05 · 约 20 分钟 · 9738 字 阅读 →
论文解读

先做高资源语音识别预训练,再用三五小时做多任务多语言适配

论文研究每任务每语言只有 3-5 小时标注时如何做多语言多任务语音大模型,选择冻结编码器与大模型只训练投影层并先做高资源语音识别预训练,最强证据是意大利语单语从零训练词错误率 129% 降到 5.4%、翻译从 0.8% 升到 48.2%,代价是未见任务仍不能零样本泛化且跨语言效果受语系距离限制。

 · 更新于 2026-11-05 · 约 20 分钟 · 9645 字 阅读 →
论文解读

数据很少、听众很少时怎么做 TTS:SGILE 的高效建声与高效评测

SGILE 针对原住民语言教学的低资源 TTS 问题,选择用开源 EveryVoice 工具包降低建声门槛并用 BWS 等强制选择评测降低听音人负担,论文以网页 Demo 展示不同数据量声音与 BWS 问卷流程,但正文未报告正式主观得分与统计检验。

 · 更新于 2026-11-05 · 约 21 分钟 · 10507 字 阅读 →
论文解读

先用全部伪标签再用人工标注:北萨米语小模型的一次伪标签迭代

针对北萨米语标注只有 20 小时的问题,论文比较大教师生成全部伪标签与大小模型一致过滤子集,并证明先伪标签后人工标注的两阶段微调能让 95M 小模型在域外测试上相对降低字符错误率,而混合训练与反向顺序会退化。

 · 更新于 2026-11-05 · 约 17 分钟 · 8468 字 阅读 →
论文解读

主导语言挤占更新方向时,如何用均衡投影守住多语低资源记忆

针对 Whisper 类模型在低资源语言上顺序微调时的灾难性遗忘,论文提出用语言均衡回放构造整体参考梯度并做冲突投影的统一梯度投影方法,在 Whisper-large-v3 上报告平均遗忘接近零,但目标语言可塑性仍需与回放量和模型容量一起权衡。

 · 更新于 2026-11-05 · 约 22 分钟 · 10780 字 阅读 →
论文解读

小语种自己建平台:胡拉语社区如何把翻译、审校和数据治理留在村里

论文研究约 1 万使用者的胡拉语如何做社区所有的文档化,方法是社区发起的众包翻译加长者审校平台 Vavanagi,最强证据是 77 名译者与 4 名审校者产出 12124 对平行句且一次通过率 91%,代价是目前仍以文本为入口、语音只作附件且下游翻译与识别模型尚未建成。

 · 更新于 2026-11-05 · 约 21 分钟 · 10424 字 阅读 →
论文解读

听出言外之意:粤语语音语用基准如何让韵律参与推理

针对粤语语用资源稀缺且纯文本评测掩盖语音线索的问题,该研究把英文语用题转写为粤语并配对录音构建问答基准,报告显示文本加语音拼接优于纯文本而纯语音落后,但先进融合与说话人多样性仍受限。

 · 更新于 2026-11-05 · 约 18 分钟 · 8772 字 阅读 →
论文解读

先翻译再转写:用四段课程把 Whisper 拉向希腊方言

针对塞浦路斯、克里特和麦西尼亚三种希腊方言的低资源转写问题,论文用标准希腊语翻译起步、混合转写与翻译过渡、最终收敛到方言转写的多任务课程,在三档 Whisper 规模上报告了优于直接微调的词错误率,同时保留了翻译正则与 donor 数据等代价与边界条件。

 · 更新于 2026-11-05 · 约 17 分钟 · 8279 字 阅读 →
论文解读

共享与私有分开学、不可靠的不去学:低资源多语 ASR 的解耦与过滤

针对多语联合微调中的负迁移与低资源一致性学习中的确认偏误,论文用共享-私有融合 LoRA 解耦容量竞争、用置信门控平均教师提供稳定目标,在 Kathbath 五语上把宏平均 WER 降到 19.85%,代价是引入双分支与两阶段调度等额外复杂度。

 · 更新于 2026-11-05 · 约 20 分钟 · 9636 字 阅读 →
论文解读

先转写哪一段:Easper 用会话级排序证明重复比干净更重要

针对田野语言建档转写瓶颈,论文提出免代码的 ELAN 到微调再到切分转写流水线 Easper,并在三种瓦努阿图语言上以会话为单位比较五种排序策略,显示优先词汇重复的策略早期字符错误率更低,但干净录音并非无用且结论受语料规模限制。

 · 更新于 2026-11-05 · 约 18 分钟 · 8676 字 阅读 →
论文解读

预训练记得旧音素,为何学不会新音素:语音合成中音素增加的对照检验

论文以音素受控仿真加英到日真实跨语言两路对照,检验预训练语音合成模型在微调中学习未见目标音素的能力,发现微调自然度更高但达到相同目标音素错误率需要相同或更多数据,说明预训练主要改善自然度而对音素增加帮助有限。

 · 更新于 2026-11-05 · 约 17 分钟 · 8048 字 阅读 →
论文解读

头部语言占九成时长时,如何让哈萨克语们被听见:GigaAM 的簇级配比与领域配比

针对哈萨克语、吉尔吉斯语、乌兹别克语数据稀缺问题,论文用 200 万小时音频的簇级重加权预训练加领域感知微调,在受控对比中降低中亚语言词错误率,代价是英语小幅回退且依赖内部众包与合成数据。

 · 更新于 2026-11-05 · 约 18 分钟 · 8896 字 阅读 →
论文解读

极少样本下既要学会新语种又不能忘记旧语种:两种混合持续学习如何分工

针对 Warlpiri、Dalabon、Dharawal 三种极低资源澳大利亚原住民语言识别,论文用回放增强的弹性权重巩固与约束引导的知识蒸馏来适配预训练模型,最强的约束引导知识蒸馏在单语适配中把高资源语言保持在 92.89% 并把新语种学到 100%,代价是仍需保留旧模型做教师且顺序适配效果依赖评测条件。

 · 更新于 2026-11-05 · 约 19 分钟 · 9113 字 阅读 →
论文解读

少而精才能出声:为毛利语做伦理可控的高质量合成语音

针对毛利语没有可用合成语音、通用引擎发音近乎不可懂的问题,Te Hiku Media 以原住民领导、母语者音色、逐句人工整理与听辨做出男声约 24 小时加女声超 8 小时的双语录音和 90 句加 100 句固定基准,用少而精的数据得到毛利语优先的高质量语音,代价是流程耗时耗人且评估主要依赖专家主观听辨。

 · 更新于 2026-11-05 · 约 19 分钟 · 9073 字 阅读 →
论文解读

低信噪比毫米波雷达语音重建:先学会补高频,再学会抗噪声

针对穿玻璃墙采集的 -5 dB 到 -1 dB 带限毫米波雷达语音,本文用预训练学带宽扩展加微调学抗噪的两阶段 RAD-GAN 实现 1 kHz 到 4 kHz 重建,最强证据是加权分 0.333 超过 WaveVoiceNet 的 0.260 和 HiFi-GAN 的 0.288,代价是 87,000,536 参数与两阶段共约 20 小时单卡训练。

 · 更新于 2026-11-05 · 约 21 分钟 · 10445 字 阅读 →
论文解读

德拉威语为何更难解码:从词形稀疏到加权注意力与自条件反馈

论文针对 Whisper 在德拉威语上词错误率偏高的问题提出解码器内的加权注意力与自条件反馈,在韩语上把词错误率从 3.34% 降到 2.51%、在斯瓦希里语上从 16.07% 降到 14.58%,代价是每层增加轻量门控与一次中间预测投影。

 · 更新于 2026-11-05 · 约 15 分钟 · 7289 字 阅读 →