论文解读
用 125k 探针在 VAE 潜空间里拨动音高:扩散音乐生成的可控性不在自回归独占
针对 Stable Audio Open 的 VAE 潜空间可解码音高类别这一可验证性质,论文用冻结的微型卷积探针在去噪后 40% 窗口内以 RMS 归一化梯度轻推潜变量,在 27 次配对试验中将旋律一致性从 0.112 提升至 0.274 且未报告音质代价。
针对 Stable Audio Open 的 VAE 潜空间可解码音高类别这一可验证性质,论文用冻结的微型卷积探针在去噪后 40% 窗口内以 RMS 归一化梯度轻推潜变量,在 27 次配对试验中将旋律一致性从 0.112 提升至 0.274 且未报告音质代价。
针对 Whisper 在无语音输入上生成流畅幻觉文本的问题,论文用无语音校准集估计解码器幻觉子空间并在推理时做低秩投影以提升无语音概率,门控版本在保留语音识别的同时把非语音幻觉率大幅降低。
针对训练与测试噪声失配导致的增强残留噪声,该文用冻结的自回归干净先验对单条测试语音做 KL 散度自适应,在 DNS 等四组数据上主要提升背景抑制,但需早停且初始已干净时收益很小。
声源定位 | 8.8/10
语音增强 | 6.2/10
音视频理解 | 7.1/10
音频修复 | 7.0/10
语音合成 | 7.8/10
语音合成 | 7.2/10
音乐理解 | 5.5/10
音频分类 | 6.8/10
语音识别 | 8.2/10
语音伪造检测 | 6.5/10
语音识别 | 6.7/10
音频事件检测 | 7.3/10
音视频问答 | 7.3/10
音频理解 | 5.3/10
音频分类 | 6.4/10
语音合成 | 7.7/10