论文解读

只用五分钟新被试数据:从单人五十小时听觉预训练向感知与产出的语音检测迁移

论文用单被试五十小时听觉脑磁图预训练的 Conformer 编码器,再到十八名新被试每任务约五分钟数据上微调做语音有无检测,证明任务内小幅提升而跨听觉感知与朗读产出任务提升更大,但个体差异和仅做检测任务限制了推广。

 · 更新于 2026-10-15 · 约 17 分钟 · 8343 字 阅读 →
论文解读

只用 13 分钟电喉语音:先学会合成电喉声,再学着把它变回自然声

针对时间对齐的电喉转自然语音数据稀缺问题,该研究用 13 分钟真实电喉语音把预训练任意到多说话人转换模型先微调为自然到电喉合成器以批量生成合成平行数据,再用合成数据监督微调出可转多目标音色的一到多电喉到自然模型,最强证据是合成电喉语音的频谱失真和转换后语音的韵律与可懂度优于基线,代价是仍需预训练转换模型与大规模自然语音库且对特殊音素与情感韵律覆盖不足。

 · 更新于 2026-10-15 · 约 22 分钟 · 10536 字 阅读 →
论文解读

不用通用六情绪:毛利语情感语料为何先重定 16 类再录音

该研究为毛利语构建首个 16 类情感表演语料 Pā-Kakare 并用听辨与基频、强度、语速验证其可区分性,最强证据是八选一听辨 36.15% 显著高于 12.5% 机会水平且三项声学特征方差分析均显著,代价是表演语料自然度有限、混淆集中在相近唤醒度类别且数据需申请受管访问。

 · 更新于 2026-10-15 · 约 20 分钟 · 9541 字 阅读 →
论文解读

从零到 147 小时:普什图语开放语音库如何先补句子再借广播破圈

该文为普什图语从界面本地化、维基句子抽取、易丢音素补句到广播动员建成 147 小时众包朗读库,并用 MCV20 微调 Whisper Base 在 MCV20 测试集上报告 13.4% 词错误率,但朗读口音、方言与性别缺失限制了外推。

 · 更新于 2026-10-15 · 约 19 分钟 · 9033 字 阅读 →
论文解读

冻住编解码器再补音高:声调丢失为何要走旁路残差

针对冻结神经音频编解码器丢失词义性基频的问题,论文提出旁路音高注入残差适配器 PIRA,用 1.25M 至 1.65M 可训练参数和每帧 5 比特边信息把平均编解码器引入声调错误率降低 35.7%,同时保持英语质量不变且可完整移除。

 · 更新于 2026-10-15 · 约 16 分钟 · 7874 字 阅读 →
论文解读

没见过的搭嘴音为何反而认得更准:自监督模型在 G|ui 与 West !Xoon 上的微调检验

论文把 Wav2Vec2 与 HuBERT 微调到两种富含搭嘴音的 Khoisan 语言上比较搭嘴与非搭嘴音素误差,报告搭嘴误差显著更低且单语 HuBERT 整体最优,但冻结基座与盲目增大规模或语言数都不能保证更好。

 · 更新于 2026-10-15 · 约 18 分钟 · 8986 字 阅读 →
论文解读

看不见的语言也能借力:用施主 LoRA 初始化受体 LoRA 的跨语言迁移

针对 Whisper 预训练几乎未见过的低资源受体语言,论文用同语系内正字法分布最接近的施主语言先训 LoRA 再迁移初始化受体 LoRA,在 40-100 小时条件下相对受体单独微调获得约 9%-17% 的词错误率下降,代价是仍需数十小时受体标注语音与施主大语料先训。

 · 更新于 2026-10-15 · 约 21 分钟 · 10426 字 阅读 →
论文解读

用可验证奖励把语码切换听写拉回原语言:CER 与书写系奖励的分工

该文把语码切换识别当作可验证奖励问题,用组相对策略优化在仅一成合成语码切换语音上训练,以字符错率奖励消灭整句翻译、以书写保真奖励压制错文字系,并用两遍起草加改写让模型再听一次,二十成数据在人工录制的双语测试上超过全量低秩监督微调,但代价是单步采样更贵且在阿拉伯语等对上改写可能过纠。

 · 更新于 2026-10-15 · 约 17 分钟 · 8267 字 阅读 →
论文解读

拉丁拼写不等于英语发音:为坦库尔语和马林语从零建库并训练字符级 TTS

针对曼尼普尔两种拉丁拼写藏缅语的数据空白,论文用教科书录制加自动切分流水线建成 9.58 小时坦库尔语和 10.79 小时马林语单说话人库,并在相同划分上训练 Tacotron 2 与 FastSpeech 2,最强组合 FastSpeech 2 加 StyleMelGAN 在主观盲测取得 3.06 与 3.51 分,代价是方言差异与声调建模仍限制可懂度。

 · 更新于 2026-10-15 · 约 19 分钟 · 9427 字 阅读 →
论文解读

17 小时田野录音能把转写加速到 2.4 倍吗:马库萨斯语 ASR 的单语、联合与人工校对实验

论文用 17 小时马库萨斯语和 4 小时库克群岛毛利语自然对话做 Wav2Vec2 等基础模型微调与联合训练,最好的马库萨斯单语模型中位 CER 为 16、WER 为 30 左右,人工从 ASR 改起比纯手打每分钟音频快 0.7 到 2.4 倍,但跨语言联合只带来微弱且不显著的提升。

 · 更新于 2026-10-15 · 约 18 分钟 · 8538 字 阅读 →
论文解读

有限数据下改提示还是改权重:结构化推理以零训练成本超越自训练

在 Qwen3-Omni 30B 与 1000 题 MMAR 音频推理任务上,结构化提示以 72.6% 准确率比基线提高 5.5 个百分点,而需要大量候选生成与迭代微调的 ReST 与自动优化的 MIPROv2 反而低于基线,代价是提示只重组推理流程而不增加可迁移的权重知识。

 · 更新于 2026-10-15 · 约 17 分钟 · 8405 字 阅读 →
论文解读

不用录音也能对齐语音大模型:用可控错误率模拟声学后验的 TASU2

针对纯文本对齐与声学解码接口不匹配且难度不可控的问题,TASU2 用词错误率分档控制的文本到 CTC 后验模拟器生成伪声学监督,在 LibriSpeech 源域和 SlideSpeech、TED 等多域上优于 TASU 和 TTS 增强,代价是模拟器需先用七分之一 LibriSpeech 加增强的教师后验训练且主实验固定使用低错误档。

 · 更新于 2026-10-15 · 约 20 分钟 · 9738 字 阅读 →
论文解读

先做高资源语音识别预训练,再用三五小时做多任务多语言适配

论文研究每任务每语言只有 3-5 小时标注时如何做多语言多任务语音大模型,选择冻结编码器与大模型只训练投影层并先做高资源语音识别预训练,最强证据是意大利语单语从零训练词错误率 129% 降到 5.4%、翻译从 0.8% 升到 48.2%,代价是未见任务仍不能零样本泛化且跨语言效果受语系距离限制。

 · 更新于 2026-10-15 · 约 20 分钟 · 9645 字 阅读 →
论文解读

数据很少、听众很少时怎么做 TTS:SGILE 的高效建声与高效评测

SGILE 针对原住民语言教学的低资源 TTS 问题,选择用开源 EveryVoice 工具包降低建声门槛并用 BWS 等强制选择评测降低听音人负担,论文以网页 Demo 展示不同数据量声音与 BWS 问卷流程,但正文未报告正式主观得分与统计检验。

 · 更新于 2026-10-15 · 约 21 分钟 · 10507 字 阅读 →
论文解读

先用全部伪标签再用人工标注:北萨米语小模型的一次伪标签迭代

针对北萨米语标注只有 20 小时的问题,论文比较大教师生成全部伪标签与大小模型一致过滤子集,并证明先伪标签后人工标注的两阶段微调能让 95M 小模型在域外测试上相对降低字符错误率,而混合训练与反向顺序会退化。

 · 更新于 2026-10-15 · 约 17 分钟 · 8468 字 阅读 →
论文解读

主导语言挤占更新方向时,如何用均衡投影守住多语低资源记忆

针对 Whisper 类模型在低资源语言上顺序微调时的灾难性遗忘,论文提出用语言均衡回放构造整体参考梯度并做冲突投影的统一梯度投影方法,在 Whisper-large-v3 上报告平均遗忘接近零,但目标语言可塑性仍需与回放量和模型容量一起权衡。

 · 更新于 2026-10-15 · 约 22 分钟 · 10780 字 阅读 →
论文解读

小语种自己建平台:胡拉语社区如何把翻译、审校和数据治理留在村里

论文研究约 1 万使用者的胡拉语如何做社区所有的文档化,方法是社区发起的众包翻译加长者审校平台 Vavanagi,最强证据是 77 名译者与 4 名审校者产出 12124 对平行句且一次通过率 91%,代价是目前仍以文本为入口、语音只作附件且下游翻译与识别模型尚未建成。

 · 更新于 2026-10-15 · 约 21 分钟 · 10424 字 阅读 →
论文解读

听出言外之意:粤语语音语用基准如何让韵律参与推理

针对粤语语用资源稀缺且纯文本评测掩盖语音线索的问题,该研究把英文语用题转写为粤语并配对录音构建问答基准,报告显示文本加语音拼接优于纯文本而纯语音落后,但先进融合与说话人多样性仍受限。

 · 更新于 2026-10-15 · 约 18 分钟 · 8772 字 阅读 →
论文解读

先翻译再转写:用四段课程把 Whisper 拉向希腊方言

针对塞浦路斯、克里特和麦西尼亚三种希腊方言的低资源转写问题,论文用标准希腊语翻译起步、混合转写与翻译过渡、最终收敛到方言转写的多任务课程,在三档 Whisper 规模上报告了优于直接微调的词错误率,同时保留了翻译正则与 donor 数据等代价与边界条件。

 · 更新于 2026-10-15 · 约 17 分钟 · 8279 字 阅读 →
论文解读

共享与私有分开学、不可靠的不去学:低资源多语 ASR 的解耦与过滤

针对多语联合微调中的负迁移与低资源一致性学习中的确认偏误,论文用共享-私有融合 LoRA 解耦容量竞争、用置信门控平均教师提供稳定目标,在 Kathbath 五语上把宏平均 WER 降到 19.85%,代价是引入双分支与两阶段调度等额外复杂度。

 · 更新于 2026-10-15 · 约 20 分钟 · 9636 字 阅读 →