用全局带局部学真伪:ADD-DINO 以两阶段自蒸馏缓解标注稀缺
针对音频伪造检测标注少、跨域差的问题,ADD-DINO 先在 100 万无标注音频上做全局-局部非对比自蒸馏预训练、再用 20% 标注微调教师骨干,在 19LA 上接近全量监督并在跨域上把平均等错误率从 15.31% 降到 12.25%,代价是仍需大规模预训练与微调增强且未公开代码权重。
针对音频伪造检测标注少、跨域差的问题,ADD-DINO 先在 100 万无标注音频上做全局-局部非对比自蒸馏预训练、再用 20% 标注微调教师骨干,在 19LA 上接近全量监督并在跨域上把平均等错误率从 15.31% 降到 12.25%,代价是仍需大规模预训练与微调增强且未公开代码权重。
针对依赖正则音素与强制对齐的发音评估问题,ALFreeD 用教师语音做参照,经 HuBERT 表示、DTW 对齐、帧级偏差与 i 向量压缩再用 MLP 打分,在 SpeechOcean762 上用 300 到 2500 个标注样本达到 0.68 到 0.74 的皮尔逊相关,代价是仍需同文本教师语音且只验证了句子级总分。
BEST-RQ-2 保留冻结随机投影离散目标,用只看未掩码块的 ViT 上下文编码器加轻量预测器做两步掩码预测,在同一 AudioSet 划分和 20 万步预算下 X-ARES 与 XARES-LLM 总体迁移优于单阶段基线,而推理只用编码器故推理代价不变,代价是补块式切分仍使语音略低于条带式 BEST-RQ。
该工作用 47.88M 参数的双向 Mamba2 编码器在约 250 小时 67 语言无标注语音上做掩码离散单元预测,在官方评测以说话人聚类 ARI 0.735 超过四个基线,但语言识别 macro-F1 0.073 与字符错误率 0.870 仍明显落后,且后期检查点出现音素泛化退化。
针对扩散语音增强缺语言约束的问题,该工作用冻结 wav2vec 2.0 特征经 FiLM 在 U-Net 瓶颈调制并做指数平滑,在 VoiceBank-DEMAND 上 PESQ 比同宽 StoRM 提升约 0.4,代价是 SI-SDR 略降且 128 通道仍非实时。
在共享多语数据上重算 k-means 伪标签并恢复掩码预测可以改善内容任务但方差大,而说话人日志分离能力在离散单元模型中系统性下降,对比模型则未出现该退化。
针对注册与测试语言不一致时说话人确认性能下降的问题,该工作用 w2v-BERT 2.0 做冻结前端加多层聚合与三阶段训练,在 tv26 eval-A 上报告等错误率 2.21%、eval-U 上报告 2.99%,代价是 580M 级前端带来的计算开销与对域内微调数据的依赖。
针对无可靠教师模型的低资源语言因式分解编码问题,CycleCodec 用编解码器内部的循环说话人交换自监督代替蒸馏,在英语训练、中越零样本测试中提升了解耦稳定性,重建 WER 仍弱于有 WavLM 教师的 LSCodec。
DiscoPhon 要求在未见过的语言上仅用 10 小时语音产出离散单元并映射到预定音位表,用多对一与一对一两轨分别考查单元纯度与音位对应,最强基线 SpidR VP-20 微调后在多对一上显著优于 HuBERT,但插入错误主导且一对一仍极难。
论文在巴斯克语 C1 考试独白与英语 ICNALE 独白上用纯语音自监督模型做二分类,巴斯克语上 mHuBERT-147 显著优于 wav2vec 2.0 xlsr 而英语 B2 上结论反转,代价是高水平相邻等级差异细微且语料不可公开。
该文把神经音频编解码器与编解码器自监督预训练解耦做三组对照,报告重建语音与离散-token 预训练在英日中任务上对编解码器训练语言不敏感、但对自监督预训练语言高度敏感,代价是仍需为目标语言做一次自监督预训练。
针对 BEST-RQ 固定随机量化器监督弱且对初始化敏感的问题,论文用在线主成分投影、迭代码本精修和中间层蒸馏码本三处在线改进,在 Librispeech 960 小时预训练加 100 小时微调下把 test-other 从 10.1% 降到 8.8%,代价是增加一个小码本与相似矩阵损失的计算。
论文在只用成人语音训练、冻结自监督表示做儿童测试的严格零样本条件下,比较 Wav2Vec2、HuBERT 和 Data2Vec 逐层表示,证明最好词错误率相近的层误差结构、逐句最优选择和大模型纠错可恢复性并不一致,而互补表示的理想选择在失配更重的 CMU Kids 上增益更大,代价是单层选择不稳定且文本纠错几乎无效。
针对儿童与方言等低资源域偏移,Gumbel-BEARD 用可训练的硬 Gumbel-Softmax 在每步自动选择 Whisper 编码器预测层并配合 BEST-RQ 自监督适配,在 MyST 上以 10 小时标注达到全量 133 小时微调相当的 9.35% 词错误率,并在全量时达到 8.21%,代价是仍需两阶段适配与有限标注微调。
该文用芬兰语俄语双语者的电磁发音仪数据做线性探测,检验自监督语音表示是否编码发音动作,最强证据是多语言模型平均相关约 0.69 且约 5 分钟配对数据即饱和,代价是自发任务与上唇垂直通道明显更难预测。
针对双耳录音中方向与混响参数标注稀缺的问题,该工作用跨通道重建加软声学对比约束预训练空间编码器,在五个仿真房间参数任务上多数超过重建基线,但吸收系数等弱几何任务仍有未胜出项且只在仿真条件下验证。
该研究只用母语语音训练离散单元与三元语言模型,用惊异度统计和文本预测单元的动态时间规整对齐做发音评估,在 SpeechOcean762 上音频加文本达到准确度 0.661 并跨库迁移到 L2-ARCTIC,代价是仍需朗读文本才能发挥对齐增益且回归校准依赖少量学习者打分。
针对固定下采样在不同采样率下帧移错位的问题,MSR-HuBERT 用按采样率分流的自适应下采样卷积把多率波形对齐到统一 20 毫秒时间网格并保留掩码预测与 Transformer,在 16 至 48 kHz 的识别与全带重建对照中给出可核对的收益与代价。
针对 ALS 构音障碍分级与 ALSFRS-R 进展预测,该工作把每人多段 2 秒语音的冻结 SSL 嵌入建成单张 k 近邻图并做图分类,最强证据是官方验证集上 HuBERT+GIN 的宏 F1 为任务 1 的 0.73 与任务 2 的 0.69,代价是固定补齐引入重复伪影与固定 kNN 可能连入通道相似而非临床相似的边。
论文把帧级语音直接映射为 22 维音系特征并以发音方式门控保证组合合法,在四种训练语言上以 91.3% 域内和 88.9% 域外平均宏 F1 超过同骨干 CTC 音素基线约 8.8 和 8.6 个点,未见语言平均从 66.9% 提升到 73.6%,代价是特征库存不含鼻化元音与腭化等对比且跨语迁移仍明显掉点。