论文解读

用全局带局部学真伪:ADD-DINO 以两阶段自蒸馏缓解标注稀缺

针对音频伪造检测标注少、跨域差的问题,ADD-DINO 先在 100 万无标注音频上做全局-局部非对比自蒸馏预训练、再用 20% 标注微调教师骨干,在 19LA 上接近全量监督并在跨域上把平均等错误率从 15.31% 降到 12.25%,代价是仍需大规模预训练与微调增强且未公开代码权重。

 · 更新于 2026-10-15 · 约 20 分钟 · 9758 字 阅读 →
论文解读

用发音器官的动作做桥梁:ARTIST 如何把 11 种印度语言压缩进 20 个离散单元做英译

ARTIST 把多语言语音到语音翻译转成先预测目标端发音特征离散单元再合成波形的两段任务,用冻结的 20 码本向量量化自编码器做跨语言瓶颈并配合编码器中间 CTC 与卷积增强差分注意力解码器,在仅用短句训练却测长句的条件下以 166M 参数在 BLEU、COMET 和 chrF 上超过 1.2B 参数基线,代价是仍依赖发音特征提取器与两阶段预训练冻结的设计。

 · 更新于 2026-10-15 · 约 19 分钟 · 9161 字 阅读 →
论文解读

低资源多语语音翻译中统一共享为何冲突:用梯度行为自动定分组与共享比

针对四对低资源语音到英语翻译的统一共享负迁移问题,论文用聚类分组、自交叉梯度相似度定共享比与联合 SVD 加正则 CCA 定能量分配来只改造编码器第 11 层 FFN2,在统一微调基线上取得最高 14.4% 相对 BLEU 增益,代价是只验证了单层单模型且部分语言对仍有回退。

 · 更新于 2026-10-15 · 约 18 分钟 · 8630 字 阅读 →
论文解读

先对齐词汇再贴近个人:两阶段个性化让构音障碍语音识别走进手机

针对重度构音障碍语音与通用模型声学失配及数据稀缺问题,论文用先做词汇域适应再只微调编码器前端的个性化 Conformer 管线,在 UASpeech 平均词错误率 21.5% 与 TORGO 平均 12.7% 上报告优于此前序列到序列方法,并以移动端采集与持续重训闭环支撑儿童使用,但重度 76.4% 基线差距、儿童数据缺失与公开可用性仍受限。

 · 更新于 2026-10-15 · 约 18 分钟 · 8645 字 阅读 →
论文解读

冻住大模型、只练小适配器:用分层专家应对构音障碍严重程度差异

针对构音障碍数据少且严重程度声学差异大的问题,该工作冻结 WavLM 主干、在底层用共享 LoRA 学通用声学、在高层用临床监督路由的专家 LoRA 做严重程度特化,在 UA-Speech 上 5 分类宏 F1 达 61.55%、2 分类 F1 达 94.54%,代价是依赖说话人独立划分与临床严重度标注做路由监督。

 · 更新于 2026-10-15 · 约 17 分钟 · 8127 字 阅读 →
论文解读

在没有转写时如何证明自发语音语料可用:喜马拉雅四语的采集与验证

该工作用统一流程采集博多语等四语 146 小时自发独白,以声学分布与说话人无关语种识别验证可分性,最强融合特征达 92.95% 准确率,代价是性别不平衡与无转写限制。

 · 更新于 2026-10-15 · 约 19 分钟 · 9419 字 阅读 →
论文解读

远距离低资源适应为何逼出表示重写:太平洋语言上的可塑性与稳定性困境

论文把 Whisper-Small 适配到比斯拉马语、纳夫桑语和雷莱帕语三种太平洋语言,报告了随数据量变化的识别误差、编码器与解码器的层级表示漂移以及向英语和历史语言的遗忘,用全量微调与 LoRA 及其变体的对照揭示了新语言可塑性与旧能力保持之间的严格权衡。

 · 更新于 2026-10-15 · 约 17 分钟 · 8058 字 阅读 →
论文解读

声调不能丢:用自动声调映射把跨语言强制对齐接到声调语言上

针对低资源声调语言缺少专用声学模型的问题,CrossPhon-Tonal 在发音特征映射后增加自动声调映射,在六种声调语言上达到与专家人工映射可比、并在多组上超过 3600 小时 Global English 模型的一致率,但低训练量模型与克罗地亚语等边界条件仍暴露明显短板。

 · 更新于 2026-10-15 · 约 19 分钟 · 9448 字 阅读 →
论文解读

普通话先验拉偏方言词:用跨度级偏好把最强的同音竞争者压下去

针对四川话低资源识别中方言词被高频普通话同音词替换的排序错误,DASR-CPO 在 LoRA 微调后用挖掘出的普通话混淆做跨度级无参照偏好优化,在 4.53 小时数据上把字错率从 24.85% 降到 22.58%、实体 F1 从 72.82 提到 74.15,代价是依赖词表覆盖与非说话人无关划分。

 · 更新于 2026-10-15 · 约 17 分钟 · 8067 字 阅读 →
论文解读

不确定性找出发音难点,再让微调多练难点:非典型语音的省数据个性化

针对非典型语音数据少且差异大的问题,该研究用变分低秩适配估计认知不确定性并合成音素难度分来指导过采样,在英语和德语数据上降低了个性化误差,但加深个性化会带来通用语音上的遗忘代价。

 · 更新于 2026-10-15 · 约 19 分钟 · 9485 字 阅读 →
论文解读

希腊语缺干净长语音时,用确定性提示词加单人低秩适配锁住说话人

针对现代希腊语干净单人语料稀缺导致的多说话人平均音色漂移问题,论文用 WhisperX 对齐过滤的有声书管线加 Parler-TTS 两阶段适配解决,以确定性提示词加 3.5 小时单人 LoRA 达到词错误率 10.7% 和说话人一致性 4.24 分,代价是频谱保真度和目标说话人相似度仍有限且仅验证单一男性朗读风格。

 · 更新于 2026-10-15 · 约 21 分钟 · 10345 字 阅读 →
论文解读

高水平巴斯克语口语能分清吗:mHuBERT-147 与 wav2vec 2.0 的 C1 二分类对照

论文在巴斯克语 C1 考试独白与英语 ICNALE 独白上用纯语音自监督模型做二分类,巴斯克语上 mHuBERT-147 显著优于 wav2vec 2.0 xlsr 而英语 B2 上结论反转,代价是高水平相邻等级差异细微且语料不可公开。

 · 更新于 2026-10-15 · 约 17 分钟 · 8115 字 阅读 →
论文解读

看不见后缀时就必须做决定:用可变块恢复孟加拉语码切换的形态完整性

针对孟加拉语-英语句内语码切换在固定前视流式中被截断词缀的问题,论文用语音活动检测切分的 3 秒语义块调用离线全局注意力并配 750 词脚本锚定注入,在通用集上把形态误差降到 0.35 左右,代价是延迟随停顿变化且依赖语音活动检测质量。

 · 更新于 2026-10-15 · 约 15 分钟 · 7340 字 阅读 →
论文解读

不用逐层试错:让自监督目标自己选出 Whisper 适配层

针对儿童与方言等低资源域偏移,Gumbel-BEARD 用可训练的硬 Gumbel-Softmax 在每步自动选择 Whisper 编码器预测层并配合 BEST-RQ 自监督适配,在 MyST 上以 10 小时标注达到全量 133 小时微调相当的 9.35% 词错误率,并在全量时达到 8.21%,代价是仍需两阶段适配与有限标注微调。

 · 更新于 2026-10-15 · 约 17 分钟 · 8157 字 阅读 →
论文解读

低资源也有高质量:用语言学定制数据加自监督模型做阿姆哈拉语和阿凡奥罗莫语合成

该工作针对阿姆哈拉语和阿凡奥罗莫语从零搭建录音室级多说话人语音合成数据与基于 SpeechT5 的微调流程,用 100 小时加 13 小时针对性数据的规模与主观平均意见分 4.65 和 4.43 证明语言学知情数据是关键,代价是同形异义消歧仍依赖规范化输入且未开源验证。

 · 更新于 2026-10-15 · 约 16 分钟 · 7726 字 阅读 →
论文解读

唤醒度易迁移、效价值价贵:英语到普通话情感属性的跨语言适配要多少小时

在英语 MSP-Podcast 约 104 小时与台湾普通话 BIIC-Podcast 约 102 小时上用 WavLM Large 做唤醒度、效价、优势度回归,发现唤醒度用 2 小时适配即可追平 100 小时单语模型而效价需约 20 小时,且优势度测试集绝对值极低限制了结论外推。

 · 更新于 2026-10-15 · 约 16 分钟 · 7739 字 阅读 →
论文解读

英语大模型做印度语语音:直接微调为何胜过继续混入英语

论文把近 10 万小时英语预训练的 F5-TTS 直接在 1417 小时 11 种印度语言上微调,用对照实验显示直接微调在总体 MUSHRA 73.4 上超过混入英语与从零训练,并以 10 小时每语言保留涌现能力为代价换来零资源语言的可扩展性。

 · 更新于 2026-10-15 · 约 18 分钟 · 8813 字 阅读 →
论文解读

只看脸说方言:K-DIALECT 如何把说话人身份与方言韵律分开建模

K-DIALECT 针对参考音频稀缺的韩语方言合成问题,用双分支人脸编码器定身份风格、用方言条件基频预测器定韵律,并以 FiLM 融合生成语音,在六种方言上以主观方言流利度和自然度领先语音基线,代价是说话人相似度仍低于有参考音频的 XTTS-v2。

 · 更新于 2026-10-15 · 约 20 分钟 · 9919 字 阅读 →
论文解读

只用母语语音学发音:离散单元惊异度如何替代标注与对齐

该研究只用母语语音训练离散单元与三元语言模型,用惊异度统计和文本预测单元的动态时间规整对齐做发音评估,在 SpeechOcean762 上音频加文本达到准确度 0.661 并跨库迁移到 L2-ARCTIC,代价是仍需朗读文本才能发挥对齐增益且回归校准依赖少量学习者打分。

 · 更新于 2026-10-15 · 约 20 分钟 · 9947 字 阅读 →
论文解读

五十小时能做富格式医疗转写吗:拉脱维亚语端到端与两阶段路线的对照

针对拉脱维亚语医疗口述的富格式转写问题,论文比较直接生成格式文本的端到端微调与先逐字转写再用大模型格式化的两阶段路线,最强证据是微调 Whisper-large-v3 加 75 小时伪标注数据达到 10.6% 词错误率,代价是幻觉风险与格式细节仍需人工校验。

 · 更新于 2026-10-15 · 约 18 分钟 · 8609 字 阅读 →