论文解读

用全局带局部学真伪:ADD-DINO 以两阶段自蒸馏缓解标注稀缺

针对音频伪造检测标注少、跨域差的问题,ADD-DINO 先在 100 万无标注音频上做全局-局部非对比自蒸馏预训练、再用 20% 标注微调教师骨干,在 19LA 上接近全量监督并在跨域上把平均等错误率从 15.31% 降到 12.25%,代价是仍需大规模预训练与微调增强且未公开代码权重。

 · 更新于 2026-10-15 · 约 20 分钟 · 9758 字 阅读 →
论文解读

不用切音素也能打分:用老师语音做参照的偏差建模

针对依赖正则音素与强制对齐的发音评估问题,ALFreeD 用教师语音做参照,经 HuBERT 表示、DTW 对齐、帧级偏差与 i 向量压缩再用 MLP 打分,在 SpeechOcean762 上用 300 到 2500 个标注样本达到 0.68 到 0.74 的皮尔逊相关,代价是仍需同文本教师语音且只验证了句子级总分。

 · 更新于 2026-10-15 · 约 18 分钟 · 8706 字 阅读 →
论文解读

先理解再预测:把掩码预测拆成两步能否保留离散目标又提升通用音频迁移

BEST-RQ-2 保留冻结随机投影离散目标,用只看未掩码块的 ViT 上下文编码器加轻量预测器做两步掩码预测,在同一 AudioSet 划分和 20 万步预算下 X-ARES 与 XARES-LLM 总体迁移优于单阶段基线,而推理只用编码器故推理代价不变,代价是补块式切分仍使语音略低于条带式 BEST-RQ。

 · 更新于 2026-10-15 · 约 20 分钟 · 9994 字 阅读 →
论文解读

只用 250 小时学会 67 种语言的声音:掩码预测为何聚类说话人强、认语言弱

该工作用 47.88M 参数的双向 Mamba2 编码器在约 250 小时 67 语言无标注语音上做掩码离散单元预测,在官方评测以说话人聚类 ARI 0.735 超过四个基线,但语言识别 macro-F1 0.073 与字符错误率 0.870 仍明显落后,且后期检查点出现音素泛化退化。

 · 更新于 2026-10-15 · 约 18 分钟 · 8932 字 阅读 →
论文解读

用冻住的语音表征给扩散去噪指路:在瓶颈处做调制的语音增强

针对扩散语音增强缺语言约束的问题,该工作用冻结 wav2vec 2.0 特征经 FiLM 在 U-Net 瓶颈调制并做指数平滑,在 VoiceBank-DEMAND 上 PESQ 比同宽 StoRM 提升约 0.4,代价是 SI-SDR 略降且 128 通道仍非实时。

 · 更新于 2026-10-15 · 约 18 分钟 · 8763 字 阅读 →
论文解读

继续预训练把内容推上去、把说话人推下来:离散单元与对比模型的分化

在共享多语数据上重算 k-means 伪标签并恢复掩码预测可以改善内容任务但方差大,而说话人日志分离能力在离散单元模型中系统性下降,对比模型则未出现该退化。

 · 更新于 2026-10-15 · 约 20 分钟 · 9717 字 阅读 →
论文解读

语言变了人不该变:用冻结再解冻的预训练前端做跨语言说话人确认

针对注册与测试语言不一致时说话人确认性能下降的问题,该工作用 w2v-BERT 2.0 做冻结前端加多层聚合与三阶段训练,在 tv26 eval-A 上报告等错误率 2.21%、eval-U 上报告 2.99%,代价是 580M 级前端带来的计算开销与对域内微调数据的依赖。

 · 更新于 2026-10-15 · 约 17 分钟 · 8026 字 阅读 →
论文解读

不用蒸馏也能解耦:CycleCodec 用换说话人再换回来约束内容流

针对无可靠教师模型的低资源语言因式分解编码问题,CycleCodec 用编解码器内部的循环说话人交换自监督代替蒸馏,在英语训练、中越零样本测试中提升了解耦稳定性,重建 WER 仍弱于有 WavLM 教师的 LSCodec。

 · 更新于 2026-10-15 · 约 19 分钟 · 9199 字 阅读 →
论文解读

只给 10 小时新语言语音,能否找回音位表:DiscoPhon 的双轨评测

DiscoPhon 要求在未见过的语言上仅用 10 小时语音产出离散单元并映射到预定音位表,用多对一与一对一两轨分别考查单元纯度与音位对应,最强基线 SpidR VP-20 微调后在多对一上显著优于 HuBERT,但插入错误主导且一对一仍极难。

 · 更新于 2026-10-15 · 约 16 分钟 · 7870 字 阅读 →
论文解读

高水平巴斯克语口语能分清吗:mHuBERT-147 与 wav2vec 2.0 的 C1 二分类对照

论文在巴斯克语 C1 考试独白与英语 ICNALE 独白上用纯语音自监督模型做二分类,巴斯克语上 mHuBERT-147 显著优于 wav2vec 2.0 xlsr 而英语 B2 上结论反转,代价是高水平相邻等级差异细微且语料不可公开。

 · 更新于 2026-10-15 · 约 17 分钟 · 8115 字 阅读 →
论文解读

编解码器换语言不用重训,自监督预训练却必须对齐语言

该文把神经音频编解码器与编解码器自监督预训练解耦做三组对照,报告重建语音与离散-token 预训练在英日中任务上对编解码器训练语言不敏感、但对自监督预训练语言高度敏感,代价是仍需为目标语言做一次自监督预训练。

 · 更新于 2026-10-15 · 约 17 分钟 · 8432 字 阅读 →
论文解读

固定随机量化不够用时:用在线投影与蒸馏修伪标签

针对 BEST-RQ 固定随机量化器监督弱且对初始化敏感的问题,论文用在线主成分投影、迭代码本精修和中间层蒸馏码本三处在线改进,在 Librispeech 960 小时预训练加 100 小时微调下把 test-other 从 10.1% 降到 8.8%,代价是增加一个小码本与相似矩阵损失的计算。

 · 更新于 2026-10-15 · 约 18 分钟 · 8631 字 阅读 →
论文解读

词错误率相近不等于错得一样:零样本儿童语音中表示层的误差分化

论文在只用成人语音训练、冻结自监督表示做儿童测试的严格零样本条件下,比较 Wav2Vec2、HuBERT 和 Data2Vec 逐层表示,证明最好词错误率相近的层误差结构、逐句最优选择和大模型纠错可恢复性并不一致,而互补表示的理想选择在失配更重的 CMU Kids 上增益更大,代价是单层选择不稳定且文本纠错几乎无效。

 · 更新于 2026-10-15 · 约 17 分钟 · 8204 字 阅读 →
论文解读

不用逐层试错:让自监督目标自己选出 Whisper 适配层

针对儿童与方言等低资源域偏移,Gumbel-BEARD 用可训练的硬 Gumbel-Softmax 在每步自动选择 Whisper 编码器预测层并配合 BEST-RQ 自监督适配,在 MyST 上以 10 小时标注达到全量 133 小时微调相当的 9.35% 词错误率,并在全量时达到 8.21%,代价是仍需两阶段适配与有限标注微调。

 · 更新于 2026-10-15 · 约 17 分钟 · 8157 字 阅读 →
论文解读

双语发音动作能从语音自监督表示中线性读出吗:芬兰语与俄语 EMA 的跨语言探测

该文用芬兰语俄语双语者的电磁发音仪数据做线性探测,检验自监督语音表示是否编码发音动作,最强证据是多语言模型平均相关约 0.69 且约 5 分钟配对数据即饱和,代价是自发任务与上唇垂直通道明显更难预测。

 · 更新于 2026-10-15 · 约 19 分钟 · 9363 字 阅读 →
论文解读

不用标签也能学空间:用声学软相似把双耳表示排成物理几何

针对双耳录音中方向与混响参数标注稀缺的问题,该工作用跨通道重建加软声学对比约束预训练空间编码器,在五个仿真房间参数任务上多数超过重建基线,但吸收系数等弱几何任务仍有未胜出项且只在仿真条件下验证。

 · 更新于 2026-10-15 · 约 20 分钟 · 9568 字 阅读 →
论文解读

只用母语语音学发音:离散单元惊异度如何替代标注与对齐

该研究只用母语语音训练离散单元与三元语言模型,用惊异度统计和文本预测单元的动态时间规整对齐做发音评估,在 SpeechOcean762 上音频加文本达到准确度 0.661 并跨库迁移到 L2-ARCTIC,代价是仍需朗读文本才能发挥对齐增益且回归校准依赖少量学习者打分。

 · 更新于 2026-10-15 · 约 20 分钟 · 9947 字 阅读 →
论文解读

固定 320 倍下采样为何装不下多采样率:MSR-HuBERT 按率分流对齐 20 毫秒帧

针对固定下采样在不同采样率下帧移错位的问题,MSR-HuBERT 用按采样率分流的自适应下采样卷积把多率波形对齐到统一 20 毫秒时间网格并保留掩码预测与 Transformer,在 16 至 48 kHz 的识别与全带重建对照中给出可核对的收益与代价。

 · 更新于 2026-10-15 · 约 17 分钟 · 8252 字 阅读 →
论文解读

把一个人的 8 段发音连成一张图:多发音图学习为何在 ALS 分级上超过单段基线

针对 ALS 构音障碍分级与 ALSFRS-R 进展预测,该工作把每人多段 2 秒语音的冻结 SSL 嵌入建成单张 k 近邻图并做图分类,最强证据是官方验证集上 HuBERT+GIN 的宏 F1 为任务 1 的 0.73 与任务 2 的 0.69,代价是固定补齐引入重复伪影与固定 kNN 可能连入通道相似而非临床相似的边。

 · 更新于 2026-10-15 · 约 19 分钟 · 9334 字 阅读 →
论文解读

不先认音素,直接认发音特征:PhonoQ-2.0 为何在跨语料与未见语言上更稳

论文把帧级语音直接映射为 22 维音系特征并以发音方式门控保证组合合法,在四种训练语言上以 91.3% 域内和 88.9% 域外平均宏 F1 超过同骨干 CTC 音素基线约 8.8 和 8.6 个点,未见语言平均从 66.9% 提升到 73.6%,代价是特征库存不含鼻化元音与腭化等对比且跨语迁移仍明显掉点。

 · 更新于 2026-10-15 · 约 18 分钟 · 8691 字 阅读 →