扩散模型

📄 DELTA-TTS: Adapting Autoregressive Model into Diffusion Language Model for Text-to-Speech #语音合成 #扩散模型 #参数高效微调 #低资源 7.5/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.5/10 | 前25% | #语音合成 | #扩散模型 | #参数高效微调 #低资源 | arxiv 👥 作者与机构 第一作者：Junwon Moon（未说明） 通讯作者：未说明 作者列表：Junwon Moon、Seungbeom Kim、Yejin Lee、Hoseong Ahn、Sewoong Park、Heeseung Kim、Kyuhong Shim（七位作者均未说明所属机构，但从致谢与主观评测部分可推断其隶属韩国学术机构） 💡 毒舌点评 本文把“先做容易的”这条直觉从文本领域搬运到语音合成，工程上灵巧干净，仅用585小时数据就在WER上掀翻了自家骨干和若干数据量百倍于己的对手。但数据量的鸿沟是荣耀也是隐忧，零开源更是让所有这些漂亮数字只能停留在纸面上，社区无法验证，只能姑妄听之。 📌 核心摘要 要解决的问题：传统自回归（AR）文本转语音（TTS）模型采用严格的从左到右依次生成语音token的方式，推理速度随序列线性增长，且无法利用未来上下文信息，导致在序列起始等证据不足的位置置信度极低，容易产生幻觉和错误累积。 方法核心：提出DELTA-TTS，一个基于LoRA的轻量级适配框架。它冻结预训练的AR TTS骨干网络，通过增加双向注意力、块级LoRA适配器和Conformer风格卷积模块，将其转换为一个按置信度排序生成的离散扩散语言模型（dLLM）。 新颖性：首次将AR-to-dLLM的转换范式从文本领域迁移到语音TTS。针对语音信号强烈的局部时序相关性，引入了卷积模块来弥补全局双向注意力对局部结构建模的不足，并设计了配套的1/t加权损失和时间偏移推理调度策略，系统性地实现了“先易后难”的生成顺序。 主要实验结果：仅使用585小时的LibriTTS数据训练，在Seed-TTS test-en基准上取得了1.75%的词错误率（WER），优于其AR骨干CosyVoice3的2.02%，并超越了多个参数量和数据量远大于它的基线模型，同时推理速度提升3.3倍。 类型 模型 参数量 训练数据 (小时) Seed-TTS test-en WER (%) ↓ SIM ↑ AR CosyVoice3 0.5B 1000K Multilingual 2.02 0.692 AR Seed-TTS N/A N/A 2.25 0.762 AR VoxCPM 0.5B 1800K Multilingual 1.85 0.729 NAR MaskGCT (50 NFE) 1.1B 100K Emilia 2.62 0.714 NAR F5-TTS (32 NFE) 0.3B 100K Emilia 2.00 0.647 Ours DELTA-TTS 0.5B+94M 0.585K LibriTTS 1.75 0.688 实际意义：为工业界大规模部署的AR TTS模型提供了一条低成本（仅需15%新增参数和少量适配数据）、高效率的升级路径，能显著提升推理速度并缓解幻觉问题，尤其是在长语音合成场景下加速效果更佳（4.46倍）。 主要局限性：目标语音长度目前依赖于一个基于文本长度的启发式规则，不够鲁棒；方法目前仅在英语和CosyVoice3这一单一骨干模型上进行了验证。 🔗 开源详情 代码：否。论文中未提及代码链接。 模型权重：否。论文中未提及。 数据集： 训练数据：LibriTTS（585小时），论文中未提供下载链接。 评估数据：Seed-TTS test‑en（1088条）、LibriSpeech‑PC test‑clean Subset B（1127条），论文中未提供下载链接。 Demo：否。论文中未提及。 复现材料：否。附录A.1提供了部分实现细节（LoRA配置、卷积核大小、学习率、batch size、混合精度训练等），但未提供代码、配置文件或模型检查点。 论文引用的开源项目或资源链接： CosyVoice: https://github.com/FunAudioLLM/CosyVoice CosyVoice HuggingFace评估页: https://huggingface.co/FunAudioLLM/CosyVoice-300M Spark TTS: https://github.com/SparkAudio/Spark-TTS FireRedTTS(FireRedTTS2): https://github.com/FireRedTeam/FireRedTTS2 IndexTTS2: https://github.com/IndexTeam/IndexTTS2 Llasa: https://github.com/LlasaTeam/Llasa VoxCPM: https://github.com/VoxCMTeam/VoxCPM DiTAR: https://github.com/DiTAR-project/DiTAR MaskGCT: https://github.com/open-mmlab/Amphion/tree/main/models/tts/maskgct E2 TTS: https://github.com/SWivid/E2-TTS F5-TTS: https://github.com/SWivid/F5-TTS Whisper: https://github.com/openai/whisper faster-whisper: https://github.com/SYSTRAN/faster-whisper WavLM: https://github.com/microsoft/unilm/tree/master/wavlm SpeechMOS (UTMOS): https://github.com/tarepan/SpeechMOS LoRA (Hu et al., 2022): https://github.com/microsoft/LoRA Conformer (Gulati et al., 2020): 未提供单独开源链接（通常指ESPnet等实现） 🏗️ 方法概述和架构 DELTA-TTS的整体流程是一个将预训练AR TTS模型转换为离散扩散语言模型（dLLM）的框架。其核心思想是冻结原AR模型的主体参数，仅通过添加少量可训练模块来改变其生成范式。输入为标准零样本TTS输入（文本、提示语音等），输出为目标语音波形。 ...

📄 DuplexChat: Constructing Speaker-Separated Full-Duplex Dialogue Speech at Scale for Spoken Dialogue Language Modeling #语音交互 #扩散模型 #语音分离 5.9/10 | 创新 0.6/2 | 严谨 0.7/1.5 | 实验 0.4/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 📝 5.9/10 | 前50% | #语音交互 | #扩散模型 | #语音分离 | arxiv 👥 作者与机构 第一作者：Wataru Nakata（The University of Tokyo, Japan） 第二作者：Yuki Saito（The University of Tokyo / JST BOOST） 第三作者：Hiroshi Saruwatari（The University of Tokyo） 通讯作者：未明确标注，推测为 Wataru Nakata 💡 毒舌点评 DuplexChat通过播客管道规模化构建说话人分离的全双工对话语料，填补了公开大规模双通道训练数据的空白，工程集成能力扎实，构建了当前最大规模对话语音资源（~415k小时）。但下游SDLM训练实验完全缺失，使得"适合全双工建模"的核心断言悬空；单通道混合到双通道估计的分离链路引入模型噪声，其分离错误对下游对话建模的长期影响并未讨论。更致命的是，论文仅与Fisher这一电话窄带语料对比声学质量，既未与J-CHAT等相近的播客/音视频对话语料对比，也未讨论pyannote日志模型的级联误差，导致语料真实可用性缺乏说服力。整体来看，这是一个优秀的工程基础设施论文，但缺少SDLM训练验证使其影响力大打折扣——就像造了一条高速公路却从未让它跑过车。 ...

📄 Lights, Camera, Carbon: Architectural Scaling Laws for Video Generation Energy Consumption #音视频生成 #扩散模型 6.9/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 0.4/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.9/10 | 前50% | #音视频生成 | #扩散模型 | arxiv 👥 作者与机构 第一作者：Nidhal Jegham（University of Rhode Island, Sustainable AI Group） 通讯作者：未说明 作者列表：Nidhal Jegham（University of Rhode Island, Sustainable AI Group）、Boris Gamazaychikov（Sustainable AI Group, Paris, France）、Sasha Luccioni（Sustainable AI Group, Montreal, Canada） 💡 毒舌点评 该论文从架构第一性原理出发推导了一套视频生成能耗缩放律，在多模型、多GPU上实现了低于3% MAPE的预测精度，工程框架设计扎实。然而，其核心贡献完全面向视频生成领域，与语音、音乐、音频社区的关联极弱——即便涉及音视频联合生成，分析也仅将音频视为CFG引入的额外视频前向pass开销，未探讨音频模态本身的任何特性。对音频领域读者而言，其直接价值微乎其微。 ...

📄 DreamID-Omni: Unified Framework for Controllable Human-Centric Audio-Video Generation #音视频生成 #扩散模型 #多模态模型 #说话人验证 #多任务学习 8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 0.5/1.5 | 复现 0.4/0.5 | 工程 1.3/1.5 🔥 8/10 | 前25% | #音视频生成 | #扩散模型 | #多模态模型 #说话人验证 | arxiv 👥 作者与机构 第一作者：Xu Guo（清华大学） 通讯作者：Xiangwang Hou（清华大学）、Songtao Zhao（字节跳动） 作者列表：Xu Guo（清华大学）、Fulong Ye（字节跳动）、Qichao Sun（字节跳动）、Liyang Chen（清华大学）、Bingchuan Li（字节跳动）、Pengze Zhang（字节跳动）、Jiawei Liu（字节跳动）、Songtao Zhao（字节跳动）、Qian He（字节跳动）、Xiangwang Hou（清华大学） 💡 毒舌点评 这篇文章的工程野心令人印象深刻——硬生生把三个各自为战的音视频生成任务塞进一个框架，双边对称注入、多阶段课程学习、双层级解耦，把身份绑定和任务冲突这些硬骨头啃了一遍。但读完之后如鲠在喉：Syn-RoPE本质上是RoPE的Margin分区技巧，结构化字幕是MLLM提示工程的产物，三阶段训练是课程学习的实例化——这些精巧的“组合创新”固然有效，却掩盖不了方法层面未见根本性突破的事实。更要命的是，一个号称“统一框架”的顶会投稿，代码和模型权重双双缺失，数据集获取方式也语焉不详，这严重削弱了其学术可信度和传播潜力。论文把“统一”的故事讲得挺好，但开源精神上显然还没“统一”过来。 ...

📄 Dual-View Predictive Diffusion: Lightweight Speech Enhancement via Spectrogram-Image Synergy #语音增强 #语音增强 #扩散模型 8.4/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.4/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 🔥 8.4/10 | 前25% | #语音增强 | #扩散模型 | arxiv 👥 作者与机构 第一作者：Ke Xue（北京理工大学网络空间安全学院） 通讯作者：Rongfei Fan（北京理工大学网络空间安全学院） 作者列表：Ke Xue（北京理工大学网络空间安全学院）、Rongfei Fan（北京理工大学网络空间安全学院）、Kai Li（清华大学计算机科学与技术系、BNRist）、Shanping Yu（北京理工大学网络空间安全学院）、Puning Zhao（中山大学网络空间安全学院）、Jianping An（北京理工大学网络空间安全学院） 💡 毒舌点评 亮点：在轻量级语音增强方向上，DVPD用不到PGUSE 40%的参数量和MACs，在大部分指标上实现了反超，效率-质量权衡玩得漂亮。TLB策略作为从图像扩散模型（FreeU）迁移到语音频谱的"拿来主义"式改造，以零训练成本的即插即用特性在多个U-Net扩散模型上生效，为后续语音扩散推理优化立了一个低成本标杆。短板：整体框架套壳"预测+扩散并行分支"并未跳出现有范式，更像在PGUSE的骨架上做了精巧的频谱感知化装修。TLB虽好，但其分层调参本质上是基于测试集PESQ的oracle选择，实际部署中DNSMOS的映射关系仅做了三档粗糙划分，严格来说存在一定的"test-set tuning"嫌疑，其在新场景下的无参考自适应能力还未被严格验证。论文的理论贡献更多在工程洞察（频谱物理先验编码）而非方法论突破，这使得其离真正顶会oral级影响力尚有一步之遥。 📌 核心摘要 论文要解决的核心问题是：现有扩散语音增强模型将频谱图当作普通2D图像进行空间均匀处理，忽略了音频频谱内在的非均匀信息密度（低频谐波密集、高频能量稀疏）和强各向异性（水平和垂直维度分别对应谐波和瞬态），导致计算效率低、参数冗余大的问题。 核心方法是提出DVPD（Dual-View Predictive Diffusion），从"视觉纹理"与"声学物理"双重视角设计轻量级语音增强框架，包含三个关键创新组件：（a）频率自适应非均匀压缩编码器（FANC），对0-2kHz不加压缩以保留谐波完整性，对2-4kHz、>4kHz频段以递增压缩比和异构膨胀卷积核进行差异化处理；（b）轻量级图像基础频谱感知模块（LISA），通过三阶段动态条纹卷积（沿频率轴和时间轴）捕获频谱的各向异性特征，其中动态核由全局上下文经过卷积和tanh生成；（c）训练无关无损增强策略（TLB），在推理阶段对U-Net的跳跃连接和主干特征按2kHz分界进行分频段调制，并根据输入样本的质量层级自适应地选择不同的放缩因子组合。 与PGUSE等SOTA并行预测-扩散架构相比，DVPD的核心新颖性在于将频谱图的内在物理结构显式编码进网络设计中：FANC的非均匀压缩和LISA的各向异性动态卷积是对频谱声学特性的针对性建模，而非简单采用空间均匀的通用卷积。TLB策略将FreeU式的U-Net特征调制技巧迁移到语音增强，并针对语音频谱的低频谐波完整性要求和高频噪声残留问题做了分频段设计。 主要实验结果如下表所示（WSJ0-UNI测试集）： Method Para. MACs Type PESQ↑ ESTOI↑ CSIG↑ CBAK↑ COVL↑ WV-MOS↑ Degraded - - - 1.67±0.60 0.70±0.18 2.41±1.15 1.92±0.60 2.01±0.87 1.79±2.13 MP-SENet 2.26M 34.58G P 2.71±0.89 0.88±0.13 3.99±0.76 2.90±0.58 3.38±0.89 4.16±0.25 PGUSE 5.1M 26.3G D+P 2.95±0.91 0.91±0.06 4.01±0.77 2.61±0.60 3.53±0.91 3.44±0.66 DVPD (w/o TLB) 1.9M 10.2G D+P 2.99±0.88 0.91±0.12 4.06±0.71 2.93±0.57 3.43±0.87 4.16±0.25 DVPD (w/ TLB) 1.9M 10.2G D+P 3.15±0.79 0.92±0.05 4.21±0.37 3.01±0.47 3.51±0.99 4.27±0.31 DVPD以1.9M参数、10.2G MACs在WSJ0-UNI上取得PESQ 3.15，显著超过PGUSE（5.1M, 26.3G MACs, PESQ 2.95）。即使不使用TLB策略，DVPD（2.99 PESQ）也已超过PGUSE，且纯预测分支DVPD-P仅0.61M参数、2.41G MACs即可达到与2.26M/34.58G MACs的MP-SENet相当的性能（PESQ 2.70 vs 2.71）。 ...

📄 From Inpainting to Editing: Unlocking Robust Mask-Free Visual Dubbing via Generative Bootstrapping #扩散模型 #多模态模型 7.6/10 | 创新 1.7/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.6/1 | 影响 0.9/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.6/10 | 前25% | #扩散模型 | #扩散模型 | #多模态模型 | arxiv 👥 作者与机构 第一作者：Xu He（清华大学深圳国际研究生院） 通讯作者：Zhiyong Wu（清华大学深圳国际研究生院, 香港中文大学） 作者列表：Xu He（清华大学深圳国际研究生院）、Haoxian Zhang（快手Kling团队）、Hejia Chen（快手Kling团队）、Changyuan Zheng（清华大学深圳国际研究生院）、Liyang Chen（清华大学深圳国际研究生院）、Songlin Tang（快手Kling团队）、Jiehui Huang（香港科技大学）、Xiaoqiang Liu（快手Kling团队）、Pengfei Wan（快手Kling团队）、Zhiyong Wu（清华大学深圳国际研究生院 / 香港中文大学） 💡 毒舌点评 亮点：论文提出了一种极具洞察力的“生成式自举”范式，从根本上解决了视觉配音领域因掩码修复带来的唇形泄露、身份漂移等顽疾，实现了无掩码、高保真的视觉配音。时间步自适应多阶段学习策略巧妙解耦了编辑任务中的多目标冲突，模型在复杂场景下的鲁棒性令人印象深刻。短板：技术方案对预训练 DiT 和 Whisper 等强大先验的依赖程度过高，自身基础方法的创新有限，且未能提供对基底模型更换后的鲁棒性分析。提出的 X-DubBench 数据集和模型权重均未公开，仅有的推理代码严重限制了社区复现与公平对比。 ...

📄 Joint Enhancement and Classification using Coupled Diffusion Models of Signals and Logits #语音识别 #语音增强 #鲁棒性 #扩散模型 #多模态模型 9.3/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 🔥 9.3/10 | 前10% | #语音识别 | #扩散模型 | #语音增强 #鲁棒性 | arxiv 👥 作者与机构 第一作者：Gilad Nurko（Technion – Israel Institute of Technology） 通讯作者：Gilad Nurko（Technion – Israel Institute of Technology） 作者列表：Gilad Nurko（Technion – Israel Institute of Technology）、Roi Benita（Technion – Israel Institute of Technology）、Yehoshua Dissen（Technion – Israel Institute of Technology）、Tomohiro Nakatani（NTT, Inc., Japan）、Marc Delcroix（NTT, Inc., Japan）、Shoko Araki（NTT, Inc., Japan）、Joseph Keshet（Technion – Israel Institute of Technology） 💡 毒舌点评 信号与logits扩散的耦合想法聪明又实用，让增强和识别双向奔赴，确实比傻乎乎的“先增强后分类”高出几个段位。但计算开销是硬伤，Nested和Alternating策略的NFE（神经功能评估）倍数（10×和7×）让部署侧直呼受不了，且ASR实验一直抱着受限词表不放，似乎有点逃避大词汇量连续识别的hard mode。整体瑕不掩瑜，ICML的spotlight水平，但别想让审稿人给full oral。 ...

📄 Listening Through the Noise: Cauchy-Driven Diffusion Bridges for Robust Gastrointestinal Auscultation and Clinical Benchmarking #音频修复 #语音增强 #扩散模型 #音频事件检测 7.4/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0.2/1.5 | 复现 0.4/0.5 | 工程 1.1/1.5 ✅ 7.4/10 | 前50% | #音频修复 | #扩散模型 | #语音增强 #音频事件检测 | arxiv 👥 作者与机构 第一作者：Dian Ding（上海交通大学计算机科学与工程系） 通讯作者：Yu Lu（上海交通大学计算机科学与工程系，yulu01@sjtu.edu.cn） 作者列表：Dian Ding（上海交通大学）、Liren Dong（陕西师范大学人工智能与计算机科学学院）、Yu Lu（上海交通大学）、Juntao Zhou（上海交通大学）、Ran Wang（上海交通大学）、Peng Li（陕西师范大学）、Zhenyi Jia（上海交通大学医学院附属第六人民医院普外科）、Guangtao Xue（上海交通大学） 💡 毒舌点评 本文在扩散桥框架内引入 Cauchy 噪声假设，对临床肠鸣音去噪具有扎实的理论动机——但“语音干扰呈重尾分布”这一核心动机仅通过 Fig.2 的目视对比来论证，并未给出正式的统计拟合优度检验，有“看图说话”之嫌。CLINBS 数据集填补了病理肠鸣音空白值得肯定，然而论文未提供任何代码、模型权重或数据集获取方式，严重削弱了可复现性与实际影响力。此外，所有评估均在人工加性混合的语音干扰下进行，即使在附录 C.4 补充了真实病房噪声实验，该实验仍采用加性混合模型（将无肠鸣音的背景录音与纯净肠鸣音线性混合），未涉及真实含噪临床录音的直接去噪，临床适用性仍有待证明。 ...

📄 Optimality of FSQ Tokens for Continuous Diffusion for Categorical Data with Application to Text-to-Speech #语音合成 #扩散模型 8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.1/1.5 | 开源 0.5/1.5 | 复现 0.4/0.5 | 工程 1.3/1.5 🔥 8/10 | 前25% | #语音合成 | #扩散模型 | arxiv 👥 作者与机构 第一作者：Vadim Popov（Huawei Noah’s Ark Lab, National Research University Higher School of Economics） 通讯作者：Vadim Popov（popov.vadim1@huawei.com） 作者列表：Vadim Popov（Huawei Noah’s Ark Lab, National Research University Higher School of Economics）、Wenju Gu（Huawei Noah’s Ark Lab）、Tasnima Sadekova（Huawei Noah’s Ark Lab, National Research University Higher School of Economics）、Georgii Aparin（Huawei Noah’s Ark Lab, National University of Science and Technology MISIS）、Assel Yermekova（Huawei Noah’s Ark Lab） 💡 毒舌点评 这篇论文巧妙地将 FSQ 的几何结构注入了连续扩散混合生成的理论框架, 从路径测度 KL 散度给出了一个漂亮的解释, 并用一套完整的 TTS 系统秀了肌肉。但理论的华美长袍下藏着“等先验”的致命伤疤, 一旦面对真实世界中不平衡的 token 分布, 所谓“最优性”可能瞬间沦为纸上谈兵, 而作者在实验中对此几乎是讳莫如深。 ...

📄 Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Music with Acoustic-Informed Attention Calibration #音乐生成 #扩散模型 #零样本 6.5/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0.5/1.5 | 复现 0.2/0.5 | 工程 1.2/1.5 ✅ 6.5/10 | 前50% | #音乐生成 | #扩散模型 | #零样本 | arxiv 👥 作者与机构 第一作者：Haowen Li（华南理工大学未来技术学院） 通讯作者：Qi Liu（华南理工大学未来技术学院） 作者列表：Haowen Li（华南理工大学未来技术学院）、Tianxiang Li（华南理工大学未来技术学院）、Yi Yang（华南理工大学未来技术学院）、Boyu Cao（华南理工大学未来技术学院）、Qi Liu†（华南理工大学未来技术学院）(*表示共同第一作者，†表示通讯作者) 💡 毒舌点评 这篇论文找到了一个非常漂亮的insight——将BSS的判别式输出（IRM）转化为扩散模型里的软注意力约束，以此解决复调音乐中纯语义注意力“找不到北”的问题。想法本身是成立的，实验也基本撑住了SOTA的claim。但问题是，整个框架厚重地寄生在预训练AudioLDM 2的躯体上，推理慢如牛（10秒音频需24秒），且对BSS模型的质量有硬依赖——本质上是用一个黑箱去修另一个黑箱的缺陷。更致命的是，最强对手PPAE被以“复现困难”为由直接踢出局，这让实验的公平性打上问号。代码和模型权重均未公开，同态可复现性堪忧，这让论文更像一场精巧的概念验证秀，而非社区可信赖的基线。 📌 核心摘要 问题：本文要解决的是零样本、声部级（stem-specific）的复调音乐音色迁移——即精准改变特定声部的音色（如人声→小提琴），同时严格保留其他声部和整体音乐结构不变。现有方法（如Melodia、SteerMusic）因依赖纯语义交叉注意力而缺乏频谱分辨率，在密集混音中遭遇“语义-声学不对齐”（Semantic-Acoustic Misalignment），导致非目标声部失真（Non-target Distortion）或目标声部编辑失败（Target Misalignment）。 方法核心：提出Polyphonia框架，核心是“声学先验校准注意力”（Acoustic-Informed Attention Calibration）。通过盲源分离（BSS）模型HT-Demucs提取概率化的理想比率掩码（IRM）作为声学先验 \(G_{IRM}\)，将其注入预训练扩散模型AudioLDM 2的T-UNet注意力层，实施两种校准操作：源插值（Source Interpolation）保背景，声学调制（Acoustic Modulation）强目标，从而在粗粒度频谱边界内进行精粒度语义合成。 新颖性：首次形式化复调音乐编辑中的“语义-声学不对齐”问题；将判别式的BSS输出（IRM）转化为生成式扩散模型内的软注意力偏差，统一了判别与生成范式；提出了在Pre-Softmax logit空间进行注意力干预的机制，利用Softmax的非线性放大效应以实现更锐利的决策边界。 主要实验结果：在MUSDB18-HQ和MusicDelta数据集上，使用自建的PolyEvalPrompts基准（1170个编辑任务）进行评测。Polyphonia的CLAP分数比最优基线Melodia提升约15.5%（MusicDelta: 0.437 vs. 0.380）。在结构保持与音色对齐的综合指标（ASB, AMB）上取得最优平衡，但在LPAPS和CQT1-PCC等结构保真度指标上并非最优，展现了灵敏度-保真度的清晰trade-off。主观评估中，Polyphonia在目标音色准确性（TTA）和全局音频一致性（GAC）上得分最高。 实际意义：为音乐制作提供了一种零样本的声部级精确编辑工具，避免了对昂贵监督微调（如Music ControlNet）的依赖，具有直接集成的工程潜力。 主要局限性：推理速度慢（扩散迭代100步），高度依赖BSS模型的分离质量和预训练生成模型的能力天花板。作者声称将探索flow-matching等加速策略。 🔗 开源详情 代码：未提供任何代码仓库链接。 模型权重：未发布 Polyphonia 自身的模型权重。实验依赖于预训练的第三方模型：AudioLDM 2 的 cvssp/audioldm checkpoint、MusicGen 的 facebook/musicgen-melody checkpoint、HT-Demucs、Open-Unmix 等，这些均为公开可获取的开放权重。 数据集：使用公开数据集 MUSDB18-HQ 和 MusicDelta（来自MedleyDB）。自建的 PolyEvalPrompts 数据集已公开在Demo页面，但未提供直接下载链接。 Demo：https://polyphonia2026.github.io/polyphonia-demo/ 复现材料：论文附录（C、E、G、J）提供了详细的实现细节、超参数配置与评估方法，并包含核心算法的伪代码。但缺少实际源码、配置文件或模型权重，不能直接复现。 论文中引用的开源项目： AudioLDM 2：https://github.com/haoheliu/AudioLDM2 HT-Demucs：https://github.com/facebookresearch/demucs Open-Unmix：https://github.com/sigsep/open-unmix-pytorch LAION-CLAP：https://github.com/LAION-AI/CLAP MusicGen（来自 AudioCraft）：https://github.com/facebookresearch/audiocraft T5（text-to-text-transfer-transformer） GPT-2：https://github.com/openai/gpt-2 nnAudio：https://github.com/KinWaiCheuk/nnAudio Qwen-Audio：https://github.com/QwenLM/Qwen-Audio Qwen3：https://github.com/QwenLM/Qwen3 fadtk（FAD 工具）：https://github.com/gudgud96/fadtk 🏗️ 方法概述和架构 Polyphonia是一个基于预训练AudioLDM 2扩散模型的双路径零样本编辑框架。其核心思想是：利用盲源分离（BSS）获得的概率化频谱掩码作为外部声学先验，在扩散模型的逆序推理（Inversion）和编辑去噪（Editing）过程中，对T-UNet的注意力图进行校准，从而解决纯语义注意力在复调音乐中无法精确定位目标声部的问题。整体流程分为三个阶段： ...