用相对差距教判别器:RAF 如何让 GAN 声码器又保真又泛化
针对 GAN 声码器域内保真与未见场景泛化不足的问题,论文提出用语音自监督表示辅助的质量差距加相对配对反馈的训练目标 RAF,在 LibriTTS 训练并在多未见集验证,最强证据是 RAF 版 BigVGAN-base 在感知指标上超过参数量约 8 倍的 LSGAN 版 BigVGAN,代价是训练需更长片段、自监督模型与梯度惩罚带来更高训练开销。
针对 GAN 声码器域内保真与未见场景泛化不足的问题,论文提出用语音自监督表示辅助的质量差距加相对配对反馈的训练目标 RAF,在 LibriTTS 训练并在多未见集验证,最强证据是 RAF 版 BigVGAN-base 在感知指标上超过参数量约 8 倍的 LSGAN 版 BigVGAN,代价是训练需更长片段、自监督模型与梯度惩罚带来更高训练开销。
针对无说话人标签时伪标签噪声大且低置信样本难利用的问题,该方法用预训练模型多层聚类一致性选出高置信集合做伪监督,并对低置信集合做教师软目标蒸馏与一致性正则,在 Vox1-O 上报告 EER 为 1.09%,代价是需要多轮聚类与重训的迭代流程。
该文用冻结自监督表征做无标注音频到音频检索,在哼唱找歌上用嵌入加动态时间规整最强,在语音找例上用量化聚类加词频逆文档频率最强,而时间敏感性分析解释了为何两域需要相反策略。
ViP-VL 针对 8 倍降采样带来的时间稀疏与掩码错位问题,用声学堆叠加感受野对齐与严格掩码阈值改造 BEST-RQ 加 ChunkFormer,在约 17000 小时越南语无标注语音上预训练出 78M 参数模型,在识别、情感、方言和说话人验证四类任务上报告最优平均结果,代价是仍需大规模预训练算力与多条件微调验证。
针对联邦环境中设备算力不一与语音任务所需表征深度不同,该工作在 Wav2Vec 2.0 中间层插入独立预测头并按层独立聚合,证据显示中间层常优于全 12 层,而浅层可大幅降低内存占用。
针对无成对编辑数据时难以同时改对语义又保住原声音色与环境的问题,Bagpiper-Edit 把编辑改写为丰富描述的文本变换再以原音频为声学锚点生成,并在相邻片段自监督下实现零样本编辑,转写编辑准确率达 79.76% 而说话人相似度保持 0.83,代价是整句替换仍有极端失败与复杂场景稳定性不足。
该研究用 WavLM-Large 对比语系感知与随机采样的 60 小时延续预训练,语系感知在下游得分 0.50 显著高于随机的 0.04,但两者仍低于约 94k 小时训练的原始基线,说明语言结构在数据受限时能缓解退化而不能替代大规模预训练。
该研究用母语语料的上下文相关音素类中心加截断奇异值分解建立母语参照坐标,把每条二语话语的同名音素类投影进去算距离,在自发口语上与综合熟练度呈负相关,在朗读上与发音质量呈负相关,但偏离中仍混有流利度和覆盖度因素。
针对儿童中心长录音中说话人类别难分的问题,论文用 13164 小时有效语音的 40 余种语言儿童中心数据做两轮 HuBERT 预训练再微调做声音类型分类,在留出集上平均 F1 达到 66.9% 接近第二标注者的 69.8%,代价是 32 块 H100 各 30 小时预训练与对其他儿童类的剩余差距。
该研究用 47.88M 参数的双向 Mamba2 编码器在 250 小时 67 语种无标注语音上做掩码离散单元预测,主检查点以 ARI 0.735 超过四个基线,但语种识别与识别错误率仍明显落后,代价是后期训练出现音素泛化退化与本地诊断失效。
该研究把对儿童说话检测放在 182 名儿童共 22 小时多语长程录音上,用儿童中心录音预训练的 BabyHuBERT 加 10 秒上下文窗口做三分类,最强证据是验证集平均 F1 从无上下文约 53.2% 提升到 10 秒约 67.0%,代价是训练时间从 22 分钟涨到 2 小时以上且自动切分下性能大幅回落。
针对全频带黑盒检测难定位伪造痕迹的问题,BandMIL 用 8 频带注意力做可解释谱分析、用 WavLM 做全局时序建模并以门控融合与多实例学习聚合,在 ASVspoof 2019 LA 上报告 1.28% EER 和 0.0331 min t-DCF,但融合在 A10 等三类攻击上弱于单分支且未验证跨数据集泛化。
论文用只在音乐上训练的神经音频指纹处理语音标注难题,一是去重将 50000 条语音留言减至 25017 条,二是用最远点采样在嵌入空间取多样子集,线性探测显示指纹在说话人上 F1 达 96.36%,代价是口音准确率不及 WavLM 且阈值与采样细节未完全公开。
该研究用冻结的自监督语音表示加音节级预分类器与词级时延后分类器做阿英重音检测,多语言联合训练保持接近单语的 97% 英文与 90% 阿语准确率,而跨语言迁移呈方向不对称且后分类器与多语言预训练表示能缩小差距,但仍低于单语基准。
针对跨语言时语言线索与说话人身份纠缠的问题,该工作用正交投影只取自监督特征中与监督嵌入互补的分量,并用流形约束的神经 PLDA 做判别优化,最终融合系统在两条测试赛道上报告等错误率为 1.39% 和 1.95%,代价是三阶段前端与两阶段后端的复杂训练流程和大规模数据依赖。
针对两阶段文本到音频中重建潜空间不一定好生成的问题,Unite-Audio 用部分波形在线编码加全波形 EMA 目标的噪声匹配流匹配联合训练表示与生成,并在 AudioCaps-886 上以 117M 潜流模型得到 CLAP 0.534 与 KL 1.057,代价是 Flow-GRPO 后分布保真度 FD 有所回退。
该研究用发音属性序列代替音素直接建模,在母语数据训练后于学习者语料上做检测与诊断,报告显示误接受率与诊断错误率下降,但误拒绝率略有上升且声调细化带来灵敏度代价。
VoxKit 针对无桌面工具同时集成强制对齐与发音优度分析的问题,用可扩展的桌面流水线串起数据集注册、对齐器训练、双引擎对齐与声学优度打分,其最具体的可核对条件是 42 音素库存下 10 ms 分辨率的帧级后验打分,而代价是本文未报告对齐精度与评分有效性的定量实验。
论文把非语音幻觉当作编码器表示中线性可分的方向来检测,用原始激活转向和稀疏自编码器潜变量加性转向做免微调干预,最强证据是完整非语音测试集上 small 从 72.63% 降到 14.11%、large-v3 从 86.88% 降到 27.33%,代价是中文 CER 明显上升和语音 WER 小幅波动。
针对单句语音情绪识别忽略对话连续性的问题,论文提出只用前文音频做均值池化增强的 ACERT 模块,在 IEMOCAP 上以 25 秒前文将无上下文基线从 68.38% 提高到 79.08%,代价是情绪快速翻转的多人对话如 MELD 几乎无增益。