论文解读

声调不能丢:用自动声调映射把跨语言强制对齐接到声调语言上

针对低资源声调语言缺少专用声学模型的问题,CrossPhon-Tonal 在发音特征映射后增加自动声调映射,在六种声调语言上达到与专家人工映射可比、并在多组上超过 3600 小时 Global English 模型的一致率,但低训练量模型与克罗地亚语等边界条件仍暴露明显短板。

 · 更新于 2026-11-04 · 约 19 分钟 · 9448 字 阅读 →
论文解读

普通话先验拉偏方言词:用跨度级偏好把最强的同音竞争者压下去

针对四川话低资源识别中方言词被高频普通话同音词替换的排序错误,DASR-CPO 在 LoRA 微调后用挖掘出的普通话混淆做跨度级无参照偏好优化,在 4.53 小时数据上把字错率从 24.85% 降到 22.58%、实体 F1 从 72.82 提到 74.15,代价是依赖词表覆盖与非说话人无关划分。

 · 更新于 2026-11-04 · 约 17 分钟 · 8067 字 阅读 →
论文解读

不确定性找出发音难点,再让微调多练难点:非典型语音的省数据个性化

针对非典型语音数据少且差异大的问题,该研究用变分低秩适配估计认知不确定性并合成音素难度分来指导过采样,在英语和德语数据上降低了个性化误差,但加深个性化会带来通用语音上的遗忘代价。

 · 更新于 2026-11-04 · 约 19 分钟 · 9485 字 阅读 →
论文解读

希腊语缺干净长语音时,用确定性提示词加单人低秩适配锁住说话人

针对现代希腊语干净单人语料稀缺导致的多说话人平均音色漂移问题,论文用 WhisperX 对齐过滤的有声书管线加 Parler-TTS 两阶段适配解决,以确定性提示词加 3.5 小时单人 LoRA 达到词错误率 10.7% 和说话人一致性 4.24 分,代价是频谱保真度和目标说话人相似度仍有限且仅验证单一男性朗读风格。

 · 更新于 2026-11-04 · 约 21 分钟 · 10345 字 阅读 →
论文解读

高水平巴斯克语口语能分清吗:mHuBERT-147 与 wav2vec 2.0 的 C1 二分类对照

论文在巴斯克语 C1 考试独白与英语 ICNALE 独白上用纯语音自监督模型做二分类,巴斯克语上 mHuBERT-147 显著优于 wav2vec 2.0 xlsr 而英语 B2 上结论反转,代价是高水平相邻等级差异细微且语料不可公开。

 · 更新于 2026-11-04 · 约 17 分钟 · 8115 字 阅读 →
论文解读

看不见后缀时就必须做决定:用可变块恢复孟加拉语码切换的形态完整性

针对孟加拉语-英语句内语码切换在固定前视流式中被截断词缀的问题,论文用语音活动检测切分的 3 秒语义块调用离线全局注意力并配 750 词脚本锚定注入,在通用集上把形态误差降到 0.35 左右,代价是延迟随停顿变化且依赖语音活动检测质量。

 · 更新于 2026-11-04 · 约 15 分钟 · 7340 字 阅读 →
论文解读

不用逐层试错:让自监督目标自己选出 Whisper 适配层

针对儿童与方言等低资源域偏移,Gumbel-BEARD 用可训练的硬 Gumbel-Softmax 在每步自动选择 Whisper 编码器预测层并配合 BEST-RQ 自监督适配,在 MyST 上以 10 小时标注达到全量 133 小时微调相当的 9.35% 词错误率,并在全量时达到 8.21%,代价是仍需两阶段适配与有限标注微调。

 · 更新于 2026-11-04 · 约 17 分钟 · 8157 字 阅读 →
论文解读

低资源也有高质量:用语言学定制数据加自监督模型做阿姆哈拉语和阿凡奥罗莫语合成

该工作针对阿姆哈拉语和阿凡奥罗莫语从零搭建录音室级多说话人语音合成数据与基于 SpeechT5 的微调流程,用 100 小时加 13 小时针对性数据的规模与主观平均意见分 4.65 和 4.43 证明语言学知情数据是关键,代价是同形异义消歧仍依赖规范化输入且未开源验证。

 · 更新于 2026-11-04 · 约 16 分钟 · 7726 字 阅读 →
论文解读

唤醒度易迁移、效价值价贵:英语到普通话情感属性的跨语言适配要多少小时

在英语 MSP-Podcast 约 104 小时与台湾普通话 BIIC-Podcast 约 102 小时上用 WavLM Large 做唤醒度、效价、优势度回归,发现唤醒度用 2 小时适配即可追平 100 小时单语模型而效价需约 20 小时,且优势度测试集绝对值极低限制了结论外推。

 · 更新于 2026-11-04 · 约 16 分钟 · 7739 字 阅读 →
论文解读

英语大模型做印度语语音:直接微调为何胜过继续混入英语

论文把近 10 万小时英语预训练的 F5-TTS 直接在 1417 小时 11 种印度语言上微调,用对照实验显示直接微调在总体 MUSHRA 73.4 上超过混入英语与从零训练,并以 10 小时每语言保留涌现能力为代价换来零资源语言的可扩展性。

 · 更新于 2026-11-04 · 约 18 分钟 · 8813 字 阅读 →
论文解读

只看脸说方言:K-DIALECT 如何把说话人身份与方言韵律分开建模

K-DIALECT 针对参考音频稀缺的韩语方言合成问题,用双分支人脸编码器定身份风格、用方言条件基频预测器定韵律,并以 FiLM 融合生成语音,在六种方言上以主观方言流利度和自然度领先语音基线,代价是说话人相似度仍低于有参考音频的 XTTS-v2。

 · 更新于 2026-11-04 · 约 20 分钟 · 9919 字 阅读 →
论文解读

只用母语语音学发音:离散单元惊异度如何替代标注与对齐

该研究只用母语语音训练离散单元与三元语言模型,用惊异度统计和文本预测单元的动态时间规整对齐做发音评估,在 SpeechOcean762 上音频加文本达到准确度 0.661 并跨库迁移到 L2-ARCTIC,代价是仍需朗读文本才能发挥对齐增益且回归校准依赖少量学习者打分。

 · 更新于 2026-11-04 · 约 20 分钟 · 9947 字 阅读 →
论文解读

五十小时能做富格式医疗转写吗:拉脱维亚语端到端与两阶段路线的对照

针对拉脱维亚语医疗口述的富格式转写问题,论文比较直接生成格式文本的端到端微调与先逐字转写再用大模型格式化的两阶段路线,最强证据是微调 Whisper-large-v3 加 75 小时伪标注数据达到 10.6% 词错误率,代价是幻觉风险与格式细节仍需人工校验。

 · 更新于 2026-11-04 · 约 18 分钟 · 8609 字 阅读 →
论文解读

只用五分钟新被试数据:从单人五十小时听觉预训练向感知与产出的语音检测迁移

论文用单被试五十小时听觉脑磁图预训练的 Conformer 编码器,再到十八名新被试每任务约五分钟数据上微调做语音有无检测,证明任务内小幅提升而跨听觉感知与朗读产出任务提升更大,但个体差异和仅做检测任务限制了推广。

 · 更新于 2026-11-04 · 约 17 分钟 · 8343 字 阅读 →
论文解读

只用 13 分钟电喉语音:先学会合成电喉声,再学着把它变回自然声

针对时间对齐的电喉转自然语音数据稀缺问题,该研究用 13 分钟真实电喉语音把预训练任意到多说话人转换模型先微调为自然到电喉合成器以批量生成合成平行数据,再用合成数据监督微调出可转多目标音色的一到多电喉到自然模型,最强证据是合成电喉语音的频谱失真和转换后语音的韵律与可懂度优于基线,代价是仍需预训练转换模型与大规模自然语音库且对特殊音素与情感韵律覆盖不足。

 · 更新于 2026-11-04 · 约 22 分钟 · 10536 字 阅读 →
论文解读

不用通用六情绪:毛利语情感语料为何先重定 16 类再录音

该研究为毛利语构建首个 16 类情感表演语料 Pā-Kakare 并用听辨与基频、强度、语速验证其可区分性,最强证据是八选一听辨 36.15% 显著高于 12.5% 机会水平且三项声学特征方差分析均显著,代价是表演语料自然度有限、混淆集中在相近唤醒度类别且数据需申请受管访问。

 · 更新于 2026-11-04 · 约 20 分钟 · 9541 字 阅读 →
论文解读

从零到 147 小时:普什图语开放语音库如何先补句子再借广播破圈

该文为普什图语从界面本地化、维基句子抽取、易丢音素补句到广播动员建成 147 小时众包朗读库,并用 MCV20 微调 Whisper Base 在 MCV20 测试集上报告 13.4% 词错误率,但朗读口音、方言与性别缺失限制了外推。

 · 更新于 2026-11-04 · 约 19 分钟 · 9033 字 阅读 →
论文解读

冻住编解码器再补音高:声调丢失为何要走旁路残差

针对冻结神经音频编解码器丢失词义性基频的问题,论文提出旁路音高注入残差适配器 PIRA,用 1.25M 至 1.65M 可训练参数和每帧 5 比特边信息把平均编解码器引入声调错误率降低 35.7%,同时保持英语质量不变且可完整移除。

 · 更新于 2026-11-04 · 约 16 分钟 · 7874 字 阅读 →
论文解读

没见过的搭嘴音为何反而认得更准:自监督模型在 G|ui 与 West !Xoon 上的微调检验

论文把 Wav2Vec2 与 HuBERT 微调到两种富含搭嘴音的 Khoisan 语言上比较搭嘴与非搭嘴音素误差,报告搭嘴误差显著更低且单语 HuBERT 整体最优,但冻结基座与盲目增大规模或语言数都不能保证更好。

 · 更新于 2026-11-04 · 约 18 分钟 · 8986 字 阅读 →
论文解读

看不见的语言也能借力:用施主 LoRA 初始化受体 LoRA 的跨语言迁移

针对 Whisper 预训练几乎未见过的低资源受体语言,论文用同语系内正字法分布最接近的施主语言先训 LoRA 再迁移初始化受体 LoRA,在 40-100 小时条件下相对受体单独微调获得约 9%-17% 的词错误率下降,代价是仍需数十小时受体标注语音与施主大语料先训。

 · 更新于 2026-11-04 · 约 21 分钟 · 10426 字 阅读 →