Training-Free Inference-Time Scaling for Audio Source Separation
📄 Training-Free Inference-Time Scaling for Audio Source Separation #语音增强 #音乐源分离 #预训练 #数据增强 ✅ 7.5/10 | 前25% | #语音增强 | #预训练 | #音乐源分离 #数据增强 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:Yongyi Zang (Independent Researcher) 通讯作者:未说明(论文中未明确指定) 作者列表:Yongyi Zang (Independent Researcher), Jingyi Li (University of Illinois Urbana-Champaign), Qiuqiang Kong (The Chinese University of Hong Kong) 💡 毒舌点评 这篇论文巧妙地将“推理时缩放”概念跨界移植到音频分离,通过简单的混合比例搜索让旧模型焕发新生,堪称“炼丹界的低成本改装大师”。其理论证明了性能下限,实验也显示在多个任务上“免费”提升了效果。不过,其效果高度依赖于搜索阶段使用的“裁判”(度量指标)是否靠谱,若指标选择不当或不可用,方法就可能失灵,这无异于把宝都押在了“裁判的公正性”上。 📌 核心摘要 问题:传统的音频源分离模型通常采用单步推理,无法像扩散模型那样通过迭代精炼来提升性能,而专门训练多步模型又成本高昂。 方法核心:提出一种无需训练的推理时间缩放方法。该方法将预训练的单步分离模型转换为多步系统:在每一步,将原始混合信号与上一步的估计输出以不同比例混合,生成多个候选输入,通过模型前向传播后,选择使某个质量指标(如PESQ, UTMOS)最大化的比例作为最优混合,并得到当前步的最佳估计,以此迭代精炼。 新意:首次将“推理时间缩放”范式引入音频源分离;通过理论分析(性能下界、误差界)证明了方法的有效性和稳定性;揭示了该方法与去噪扩散桥模型的内在联系,为方法的成功提供了理论解释。 实验结果:在语音增强(VCTK-DEMAND, DNS Challenge V3)和音乐源分离(MUSDB18-HQ)任务上,该方法在大多数指标上持续优于单步基线。关键数据示例如下: 表1:语音增强性能对比(VCTK-DEMAND - 侵入式指标) ...