扩散模型

📄 Direct Preference Optimization For Speech Autoregressive Diffusion Models #语音合成 #扩散模型 #偏好优化 #零样本 ✅ 7.5/10 | 前25% | #语音合成 | #扩散模型 | #偏好优化 #零样本 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 中 👥 作者与机构 第一作者：Zhijun Liu（香港中文大学（深圳）SDS, SRIBD, SAI；字节跳动Seed） 通讯作者：Shuai Wang（南京大学智能科学与技术学院） 作者列表： Zhijun Liu（香港中文大学（深圳）SDS, SRIBD, SAI；字节跳动Seed） Dongya Jia（字节跳动Seed） Xiaoqiang Wang（字节跳动Seed） Chenpeng Du（字节跳动Seed） Shuai Wang（南京大学智能科学与技术学院；深圳湾区研究院） Zhuo Chen（字节跳动Seed） Haizhou Li（香港中文大学（深圳）SDS, SRIBD, SAI；深圳湾区研究院） 💡 毒舌点评 亮点在于首次成功将DPO“移植”到语音自回归扩散模型上，用实验证明了其能显著提升表达力（F0方差翻倍）和鲁棒性（CER降25%），开辟了ARDM后训练的新路径。短板则在于对训练过程中“winning/losing样本扩散损失双升”这一反常现象缺乏理论解释，且开源信息仅限音频示例，核心代码与模型未公开，影响了工作的可复现性和影响力。 📌 核心摘要 问题：当前基于自回归扩散模型（ARDM）的零样本TTS虽性能领先，但生成的语音常与人类偏好不对齐，例如在给定情感提示时仍可能产出单调的语音，缺乏表达力且在处理长难句时鲁棒性不足。 方法核心：提出ARDM-DPO，一种专为语音ARDM设计的直接偏好优化方法。它将DPO从离散LLM或通用扩散模型扩展到连续Token的自回归扩散框架中，推导了适用于v-prediction（如DiTAR模型）的训练目标函数。 新意：这是首个针对TTS领域ARDM的偏好对齐方法。它无需训练独立的奖励模型，而是直接利用偏好数据微调模型，使模型输出分布向人类偏好的样本偏移。 实验结果：在DiTAR基座模型上进行实验。任务A（提升表达力）：ARDM-DPO将F0方差从14.2 Hz提升至29.2 Hz（近翻倍），同时说话人相似度（SIM）仅从0.770微降至0.765，WER从5.17%降至3.73%。任务B（提升鲁棒性）：在复杂文本测试集上，CER从8.37%降至6.32%（降幅25%）。主观评估显示，任务A中表达力获显著提升，任务B中自然度和说话人相似度得以保持。主要结果见表1和表2。 表1：任务A（提升F0方差）部分结果 ...

📄 DisContSE: Single-Step Diffusion Speech Enhancement based on Joint Discrete and Continuous Embeddings #语音增强 #扩散模型 #音频大模型 #自回归模型 #预训练 🔥 8.5/10 | 前10% | #语音增强 | #扩散模型 | #音频大模型 #自回归模型 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yihui Fu（德国布伦瑞克工业大学通信技术研究所） 通讯作者：未说明 作者列表：Yihui Fu（德国布伦瑞克工业大学通信技术研究所）、Tim Fingscheidt（德国布伦瑞克工业大学通信技术研究所） 💡 毒舌点评 这篇论文的亮点在于它巧妙地将离散token的保真度与连续嵌入的phonetic精度结合起来，并且通过“量化误差掩码初始化”这一小巧思，成功地将扩散过程的反向步骤压缩到一步，实现了性能与效率的双赢。不过，论文通篇没有提及代码和模型开源的具体计划，对于想要立刻复现或应用其技术的同行来说，这无疑是一个不小的障碍。 📌 核心摘要 问题：现有基于离散音频编解码器的扩散语音增强方法虽然保真度好，但推理时需要多次迭代，计算复杂度高；且在恢复正确音素（phoneme）方面表现不佳，导致其侵入式指标分数较低。 方法核心：本文提出DisContSE，一个混合判别/生成模型。它联合处理离散的音频编解码器token和连续嵌入，分别通过离散增强模块和连续增强模块进行优化，并引入语义增强模块提升音素准确性。其关键创新是提出“量化误差掩码初始化”策略，使得在推理时仅需一步扩散过程即可生成结果。 与已有方法相比新在哪里：首次实现了基于音频编解码器的单步扩散语音增强；提出了联合离散与连续表征的统一框架，并明确设计了三个功能互补的增强模块；通过量化误差指导初始化，优化了单步推理的质量。 主要实验结果：在URGENT 2024挑战赛数据集上进行评估，DisContSE在PESQ、POLQA、UTMOS等关键指标和主观MOS测试中均排名第一，总体排名（2.36，越低越好）显著优于所有对比的基线扩散模型。消融实验证明了每个模块及单步策略的有效性。关键结果对比如下： 方法 类型 PESQ POLQA UTMOS ESTOI 总体排名 SGMSE+ [1] G30 2.75 2.98 2.74 0.78 6.27 CRP [15] G1 3.10 3.01 3.04 0.81 3.36 StoRM [17] D+G50 2.94 3.02 2.95 0.79 4.82 Universe++ [18] D+G8 3.09 3.23 3.04 0.80 4.18 DisContSE (prop.) D+G1 3.14 3.25 3.13 0.80 2.36 实际意义：该工作为语音增强领域提供了一种高效且高质量的解决方案，单步推理特性使其更适合部署在实时或资源受限的应用场景中。 主要局限性：论文未明确开源代码和模型权重，限制了即时复现；尽管提出了单步扩散，但模型本身结构相对复杂，结合了多个预训练模型（DAC, WavLM）和独立的增强模块，总参数量较大。 🏗️ 模型架构 DisContSE是一个由三个主要模块和一个共享的离散扩散解码器构成的混合架构。 ...

📄 Discrete Diffusion for Generative Modeling of Text-Aligned Speech Tokens #语音合成 #扩散模型 #自回归模型 #语音表示 ✅ 7.5/10 | 前25% | #语音合成 | #扩散模型 | #自回归模型 #语音表示 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Pin-Jui Ku（NVIDIA；Georgia Institute of Technology） 通讯作者：未说明 作者列表：Pin-Jui Ku（NVIDIA；Georgia Institute of Technology），He Huang（NVIDIA），Jean-Marie Lemercier（NVIDIA），Subham Sekhar Sahoo（NVIDIA；Cornell Tech），Zhehuai Chen（NVIDIA），Ante Jukić（NVIDIA） 💡 毒舌点评 亮点：论文将新兴的离散扩散模型系统性地应用于语音token重建，并提供了迄今最全面的实证分析，结论（如FSQ优于RVQ、Conf-TopK采样更佳）对后续相关工作有直接的工程指导价值。短板：论文主要贡献是“应用与分析”，而非提出基础理论或解决语音token化中的核心难题（如语义与声学信息的完美解耦），且未探讨其方法对下游语音大模型（如TTS、ASR）性能的影响，使其深度和影响力受限。 📌 核心摘要 要解决什么问题：现有的TASTE语音token化框架依赖自回归（AR）解码器来重建语音，这导致推理速度慢，且重建质量可能非最优。 方法核心是什么：提出用离散扩散模型（DDM）替代TASTE中的AR解码器。模型在推理时，通过迭代去噪（从全掩码到逐步揭示）来并行预测S3 token序列，再由vocoder生成波形。 与已有方法相比新在哪里：首次在TASTE框架中系统性地应用并分析DDM。与AR解码器相比，DDM解码具有并行性，且质量更高。同时，论文系统比较了向量量化方案（RVQ vs. FSQ），发现FSQ能显著提升性能。 主要实验结果如何：在LibriSpeech数据集上，DDM解码器相比AR基线实现了3.3倍的推理速度提升（测试集1.65秒 vs. 5.48秒）。使用RVQ量化时，DDM的WER比AR降低35%（测试集：5.10% vs. 7.60%），UT-MOS提升0.45（4.27 vs. 3.82）。使用FSQ量化后，性能进一步提升，AR模型的WER相对降低35%，UT-MOS提升0.14。DDM模型在10步推理时即可达到峰值性能，甚至单步推理也基本可用。关键实验结果对比如下表： 模型 量化方式 测试集 WER (%) ↓ UT-MOS ↑ AR基线 4L-RVQ test-clean 7.60 3.82 本文DDM 4L-RVQ test-clean 5.10 4.27 本文DDM 4L-FSQ test-clean 4.00 4.30 本文DDM 10步 test-clean 3.70 4.28 本文DDM 单步 test-clean 5.14 3.81 实际意义是什么：为语音token化中的高效、高质量解码提供了一个优于自回归范式的新方案，展示了离散扩散模型在条件生成任务中的潜力，并提供了工程实践上的具体指导（如采样器选择、步数设置）。 主要局限性是什么：模型性能严重依赖一个外部长度预测器来估计S3 token序列长度；论文未验证该改进的语音表示对下游语音大模型（如端到端TTS、ASR）的具体增益；其优势建立在强条件（文本+TASTE embedding）上，对于无条件或弱条件生成任务的普适性未探讨。 🏗️ 模型架构 本文模型架构建立在TASTE框架之上，包含两个主要部分：TASTE Tokenizer和解码器（AR或DDM）。整体流程如图1所示。 ...

📄 Disentangling Physiology from Fidelity: Latent-Guided Diffusion Models for Cross-Modal Cardiac Synthesis #音频生成 #扩散模型 #状态空间模型 #数据增强 #跨模态 ✅ 7.5/10 | 前25% | #音频生成 | #扩散模型 | #状态空间模型 #数据增强 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Chenyang Xu（西安电子科技大学 网络安全学院） 通讯作者：Hao Wang（西安电子科技大学 网络安全学院） 作者列表：Chenyang Xu（西安电子科技大学 网络安全学院）、Siming Li（西安电子科技大学 电信工程学院）、Wensai Xuan（西安电子科技大学 机电工程学院）、Hao Wang（西安电子科技大学 网络安全学院） 💡 毒舌点评 亮点：论文巧妙地将“内容”（生理状态）与“风格”（信号波形）解耦，其潜在空间t-SNE可视化（图4）首次提供了学习到的生理状态分离的直观证据，这是一个令人信服的贡献。短板：方法的有效性高度依赖于配对、同步且状态标注清晰的高质量数据（如Ephnogram），在真实世界更嘈杂、异构的临床数据中的泛化能力存疑，而论文未对此进行任何讨论或验证。 📌 核心摘要 要解决的问题：心电图（ECG）与心音图（PCG）的跨模态合成对于综合心血管评估至关重要，但面临长程依赖建模和保持临床保真度的挑战。 方法核心：提出Mamba-Diff-VAE两阶段框架。第一阶段，共享的Mamba-VAE编码器将输入信号编码到一个捕获核心生理内容的结构化共享潜在空间。第二阶段，条件Mamba扩散解码器在潜在代码和元数据（如生理状态）的引导下，生成高保真的目标波形。 与已有方法相比新在哪里：不同于直接端到端的条件扩散模型，该工作明确将“内容表示”与“波形生成”解耦。使用Mamba替代Transformer处理长序列，具有线性复杂度优势。并且首次实证了学习到的潜在空间能有意义地区分生理状态（如静息与运动后）。 主要实验结果：在Ephnogram数据集上，该方法在ECG-to-PCG和PCG-to-ECG双向合成任务上均取得SOTA。与最强基线SSSM-Diff相比，在ECG-to-PCG任务上MSE降低40%（0.149 vs 0.089），相关性提高13%（0.745 vs 0.847）；在PCG-to-ECG任务上MSE降低35%（0.173 vs 0.112）。消融研究（表2）证实了VAE组件和共享编码器的关键作用。 实际意义：该框架可用于生成高质量的合成心脏信号进行数据增强，提升下游诊断模型性能；其结构化潜在空间为心脏生理状态建模和潜在生物标志物发现提供了新途径。 主要局限性：研究仅基于一个公开数据集（Ephnogram）和健康/运动状态，未在病理数据集上验证泛化性；潜在空间分析主要停留在t-SNE可视化层面；推理过程未针对临床实时性进行优化。 🏗️ 模型架构 论文提出的Mamba-Diff-VAE是一个两阶段生成框架，旨在实现ECG和PCG信号的双向合成。其整体架构如图1所示。 ...

📄 DISSR: Disentangling Speech Representation for Degradation-Prior Guided Cross-Domain Speech Restoration #语音增强 #扩散模型 #对比学习 #领域适应 #模型评估 ✅ 7.5/10 | 前25% | #语音增强 | #扩散模型 | #对比学习 #领域适应 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Ziqi Liang（蚂蚁集团，杭州） 通讯作者：Jian Wang（蚂蚁集团，杭州，bobblair.wj@antgroup.com） 作者列表：Ziqi Liang（蚂蚁集团），Zhijun Jia（蚂蚁集团），Chang Liu（中国科学技术大学，合肥），Minghui Yang（蚂蚁集团），Zhihong Lu（蚂蚁集团），Jian Wang（蚂蚁集团）。 注：作者贡献标注为† Equal Contribution，故Ziqi Liang与Zhijun Jia贡献相当。 💡 毒舌点评 亮点：论文直击现有语音修复模型跨说话人风格泛化能力差的痛点，并提出了一个新颖的假设——降质信息与说话人风格解耦，并据此设计了引导扩散模型的先验模块，思路清晰且具有启发性。短板：支撑“降质信息包含在说话人风格中”这一核心假设的实验（图3）略显间接，分类器收敛快慢并不能直接等同于“说话人风格”特征包含了全部且纯粹的“降质”信息，论证链不够坚实。 📌 核心摘要 解决的问题：现有语音修复方法多为针对单一失真的特定模型，泛化能力差，尤其是面对训练时未见过的说话人风格（跨域）时性能下降明显。 方法核心：提出DisSR模型，核心思想是将退化语音解纠缠为内容、说话人风格和降质表示。其中，降质表示被设计为说话人无关的先验信息，并用于条件引导一个基于扩散模型的恢复网络。同时，引入跨域对齐训练来最小化不同说话人分布间的差距。 创新点：1) 提出并实验验证了降质信息主要存在于说话人风格表示中的假设；2) 利用说话人无关的降质先验引导扩散模型进行通用语音修复；3) 设计了针对降质编码器的跨域对齐训练策略以提升模型泛化能力。 主要实验结果：在跨语言（英→中/日）跨说话人测试集上，DisSR在DNSMOS、PESQ-wb、MCD三项指标上均优于VoiceFixer、SelfRemaster和SGMSE+M基线模型（例如在LibriTTS→VCTK英文测试集上，PESQ-wb为3.02，相比最优基线SGMSE+M的2.74有显著提升）。在单任务修复（如带宽扩展、去噪）中，DisSR也展现出竞争力，总体感知质量（COVL）占优。消融实验表明，所提出的各组件（多层级降质先验、降质表示学习、跨域对齐损失）均对性能有贡献。 实际意义：为构建能处理多种失真且对新说话人鲁棒的通用语音修复系统提供了一种新思路，具有较强的实用价值。 主要局限性：核心假设的直接验证稍显薄弱；实验中假设“每条语音内降质相同，语音间变化”，这与真实世界复杂场景可能存在差距；未公开代码与模型，限制了可复现性。 🏗️ 模型架构 DisSR的整体架构如图2所示，主要分为两个协同工作的模块：说话人无关的降质解纠缠模块和跨域语音恢复模块。 ...

📄 DiTSE: High-Fidelity Generative Speech Enhancement via Latent Diffusion Transformers #语音增强 #扩散模型 #Transformer #高保真音频 🔥 8.5/10 | 前10% | #语音增强 | #扩散模型 | #Transformer #高保真音频 学术质量 8.5/7 | 选题价值 8.0/2 | 复现加成 8.0 | 置信度 高 👥 作者与机构 第一作者：Heitor R. Guimarães (INRS-EMT, Université du Québec, Montréal, Canada) 通讯作者：未明确说明（根据作者顺序和单位，通常最后一位或带有†标记的作者可能是通讯作者，但论文中未明确标注） 作者列表： Heitor R. Guimarães（INRS-EMT, Université du Québec, Montréal, Canada；其工作在Adobe Research实习期间完成） Jiaqi Su（Adobe Research, San Francisco, California, United States） Rithesh Kumar（Adobe Research, San Francisco, California, United States） Tiago H. Falk（INRS-EMT, Université du Québec, Montréal, Canada） Zeyu Jin（Adobe Research, San Francisco, California, United States） 💡 毒舌点评 亮点：该工作首次在主观评测中将语音增强的输出质量提升至与真实录音棚录音（DAPS数据集）“无法区分”的水平（MOS 4.34 vs. 4.30），这是生成式语音增强领域一个重要的里程碑。 短板：模型（335M参数）相比多数基线更庞大，且依赖32步的扩散采样，实时性可能受限，其“高保真”优势在资源受限场景下的实用性有待考量；此外，尽管使用了离散编解码器进行后处理，但核心的连续潜在空间扩散仍面临VAE重建瓶颈（如VBD数据集上VAE重建分数低于原生48kHz音频）。 ...

📄 DiTSinger: Scaling Singing Voice Synthesis with Diffusion Transformer and Implicit Alignment #歌唱语音合成 #扩散模型 #数据增强 #隐式对齐 ✅ 7.0/10 | 前25% | #歌唱语音合成 | #扩散模型 | #数据增强 #隐式对齐 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Zongcai Du（咪咕音乐，中国移动通信集团公司） 通讯作者：未说明 作者列表：Zongcai Du（咪咕音乐，中国移动通信集团公司）、Guilin Deng（咪咕音乐，中国移动通信集团公司）、Xiaofeng Guo（咪咕音乐，中国移动通信集团公司）、Xin Gao（咪咕音乐，中国移动通信集团公司）、Linke Li（咪咕音乐，中国移动通信集团公司）、Kaichang Cheng（咪咕音乐，中国移动通信集团公司）、Fubo Han（咪咕音乐，中国移动通信集团公司）、Siyu Yang（咪咕音乐，中国移动通信集团公司）、Peng Liu（咪咕音乐，中国移动通信集团公司）、Pan Zhong（咪咕音乐，中国移动通信集团公司）、Qiang Fu（咪咕音乐，中国移动通信集团公司） 💡 毒舌点评 亮点： 论文提出了一套精巧的“PseudoSinger”数据构建流程，用“固定旋律+LLM生成歌词”的方式规模化生产高质量训练数据，从根源上缓解了SVS领域的数据饥渴问题。短板： 作为核心模型的DiTSinger，其架构本质是DiT在音频领域的直给式应用，隐式对齐机制是主要的架构创新，但整体模型设计的“性感”程度和理论深度稍显不足，更像是一项扎实的工程优化而非范式突破。 📌 核心摘要 这篇论文旨在解决歌唱语音合成（SVS）领域面临的训练数据稀缺和对齐标签依赖两大挑战。 论文方法的核心包含两部分：1）提出一个两阶段的数据构建管道，通过固定旋律并利用大语言模型（LLM）生成多样歌词，先训练“PseudoSinger”模型，再用其合成大规模（500小时）数据，显著扩充了训练语料。2）设计了DiTSinger模型，一个基于扩散Transformer（DiT）的潜在扩散模型，并引入了一个隐式对齐机制，通过限制音素注意力范围来消除对显式音素时长标注的依赖。 与已有方法相比，新在：a) 首次在SVS领域系统性地构建了用于模型训练的大规模合成数据管道；b) 将可扩展的DiT架构引入SVS，并验证了模型和数据的规模效应；c) 提出了一种不依赖显式时长标签的隐式对齐方法，提升了鲁棒性。 主要实验结果显示，随着模型规模（从Small到Large）和训练数据量（从30h到530h）的增加，合成质量（以MCD衡量）持续提升（见图3）。最终的DiTSinger L2模型在MOS（4.02）上超过了DiffSinger（3.80）、StyleSinger（3.62）和TCSinger（3.89），同时在F0RMSE（11.18 Hz）等客观指标上也取得了最优结果（见表2）。 该工作的实际意义在于提供了一条可扩展的、减少人工标注依赖的高质量歌唱数据合成与模型训练路径。其主要局限性在于：研究仅限于中文数据集，且模型忽略了如演唱技巧等更复杂的风格因素。 ...

📄 DMP-TTS: Disentangled Multi-Modal Prompting for Controllable Text-to-Speech with Chained Guidance #语音合成 #扩散模型 #可控语音 #对比学习 #多任务学习 ✅ 7.5/10 | 前25% | #语音合成 | #扩散模型 | #可控语音 #对比学习 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Kang Yin（中国科学技术大学），Chunyu Qiang（快手科技） （论文标注†表示同等贡献，故两位均为第一作者） 通讯作者：Sirui Zhao（中国科学技术大学），Tong Xu（中国科学技术大学），Chen Zhang（快手科技） （论文标注*表示通讯作者） 作者列表： Kang Yin（中国科学技术大学） Chunyu Qiang（快手科技） Sirui Zhao（中国科学技术大学） Xiaopeng Wang（快手科技） Yuzhe Liang（快手科技） Pengfei Cai（中国科学技术大学） Tong Xu（中国科学技术大学） Chen Zhang（快手科技） Enhong Chen（中国科学技术大学） 💡 毒舌点评 本文的亮点在于将风格编码、解耦训练和引导推理整合成了一套逻辑自洽且实用的方案，Style-CLAP的多任务设计和cCFG的层级控制思路清晰有效，实验数据扎实，切实推动了可控TTS在解耦方向上的进步。然而，其创新更多是“优秀的组合”而非“从零的突破”，且说话人相似度这一关键指标不及部分基线，暴露出在追求强风格表达时维持音色一致性仍是未完全攻克的难题。 ...

📄 Do We Need EMA for Diffusion-Based Speech Enhancement? Toward A Magnitude-Preserving Network Architecture #语音增强 #扩散模型 #Schrödinger桥 #幅度保持 ✅ 7.5/10 | 前50% | #语音增强 | #扩散模型 | #Schrödinger桥 #幅度保持 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Julius Richter（汉堡大学计算机系信号处理组） 通讯作者：未说明 作者列表：Julius Richter（汉堡大学计算机系信号处理组）、Danilo de Oliveira（汉堡大学计算机系信号处理组）、Timo Gerkmann（汉堡大学计算机系信号处理组） 💡 毒舌点评 亮点：这篇论文最大的价值在于用严谨的实验“破除了一个迷思”——即图像生成领域中常用的长EMA策略在语音增强中并不适用，甚至有害。这为优化扩散模型在音频领域的训练提供了直接、反直觉且实用的结论。 短板：模型本身是已有组件（EDM2、MP-ADM、Schrödinger Bridge）的“乐高式”组合，缺乏架构层面的原生创新。其性能（如Table 2）与先前工作（如SB-VE）相比并未取得全面、显著的优势，说服力略有折扣。 📌 核心摘要 问题：论文旨在解决扩散模型语音增强中两个被忽视的问题：一是网络激活和权重幅度的不可控增长导致的训练不稳定；二是在图像生成中能提升多样性的指数移动平均（EMA）参数平滑技术，在语音增强任务中的作用和最佳配置尚不明确。 方法核心：作者提出EDM2SE框架，将EDM2的训练动态和幅度保持（Magnitude-Preserving）架构引入基于Schrödinger桥的语音增强。核心包括：a）采用幅度保持学习层（MP-Add, MP-SiLU）和时间依赖的预条件处理（输入/输出缩放）来稳定训练；b）设计两种跳跃连接配置，使网络分别预测环境噪声（cs=1）或干净语音（cs=0）；c）首次系统分析EMA对语音增强的影响，发现短EMA甚至无EMA优于长EMA。 新意：与已有方法（如SGMSE+， SB-VE）相比，新意在于：1）将EDM2的幅度保持理念适配到语音领域的Schrödinger桥模型中；2）对比了预测噪声与预测语音两种设计，揭示其在不同指标上的互补性；3）首次通过实验证明在语音增强中，短EMA或无EMA的性能优于长EMA，这与图像生成领域的认知相反。 主要实验结果：在VoiceBank-DEMAND和EARS-WHAM数据集上评估。关键结果：a）如图2所示，EMA长度超过约0.2（相对标准差）后，所有指标（SI-SDR, PESQ等）显著下降。b）如表1所示，两种跳跃连接设计各有优势：cs=1（预测噪声）在PESQ上略优，cs=0（预测语音）在SI-SDR和NISQA上略高。c）如表2所示，在匹配条件下，EDM2SE与SGMSE+、SB-VE性能相当（例如PESQ 2.97 vs 2.93/2.91）；但在失配条件下，EDM2SE表现出更强的鲁棒性（SI-SDR 14.79 vs 10.13/17.71， PESQ 2.69 vs 2.62/2.00）。 实际意义：为构建稳定、高效的扩散语音增强模型提供了实践指南，特别是在预条件化、跳跃连接选择和EMA设置上。其“短EMA更优”的发现对优化语音类扩散模型的训练流程有直接参考价值。 主要局限：模型架构创新有限，更多是成熟技术的适配与验证。尽管在失配条件下鲁棒性较好，但在最佳匹配条件下的峰值性能未明确超越先前最强基线（如Table 2中SB-VE的SI-SDR更高）。 🏗️ 模型架构 EDM2SE的整体框架是一个基于U-Net结构的条件扩散模型，其核心是幅度保持的扩散模型架构（MP-ADM），并适配了Schrödinger桥（SB）的条件过程。 ...

📄 DOMA: Leveraging Diffusion Language Models with Adaptive Prior for Intent Classification and Slot Filling #语音对话系统 #意图识别 #槽填充 #扩散模型 #鲁棒性 🔥 8.5/10 | 前25% | #语音对话系统 | #扩散模型 | #意图识别 #槽填充 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Siqi Yang（电子科技大学） 通讯作者：Fan Zhou（电子科技大学；智能数字媒体技术四川省重点实验室；喀什电子与信息产业研究院） 作者列表：Siqi Yang（电子科技大学），Yue Lei（电子科技大学），Wenxin Tai（电子科技大学），Jin Wu（电子科技大学），Jia Chen（电子科技大学），Ting Zhong（电子科技大学），Fan Zhou*（电子科技大学；智能数字媒体技术四川省重点实验室；喀什电子与信息产业研究院） 💡 毒舌点评 这篇论文巧妙地将扩散语言模型（DLM）的并行生成能力用于纠正ASR转录错误，并通过一个轻量级的自适应先验模块来解决DLM可能“改对为错”的痛点，想法很实用。不过，整个框架的性能瓶颈和复杂度高度依赖于所使用的DLM（如LLaDA），自适应先验模块本身也可能引入新的错误（例如错误地掩码了本应保留的token），论文对此的边界讨论不足。 📌 核心摘要 本文针对自动语音识别（ASR）错误会传播并损害下游口语理解（SLU）任务（如意图分类和槽填充）性能的问题，提出了一个模型无关的框架DOMA。DOMA的核心是使用扩散语言模型（DLM）对ASR转录文本进行细化，并引入了一个自适应先验（AP）机制来引导DLM的生成过程。具体来说，DOMA首先使用DLM生成多个候选细化假设，然后利用一个轻量级的、可训练的AP模块（包含自注意力和门控机制）来识别并保留原始ASR转录中可能正确的token，从而构建一个部分掩码的初始序列，而非从完全掩码开始生成。这有助于减少DLM的过度纠正，同时减少所需的扩散步数，提升推理效率。在SLURP、ATIS和SNIPS三个基准数据集上的实验表明，DOMA在多种基线模型（如RoBERTa, SpokenCSE）上一致提升了ICSF性能，相对提升最高达3.2%（例如，DOMA+SpokenCSE在SLURP上的IC准确率从85.51%提升至88.26%）。同时，与自回归LLM细化方法相比，DOMA将推理延迟降低了34.8%（RTF从0.66降至0.43）。该框架的意义在于为提升SLU系统对ASR错误的鲁棒性提供了一种高效、通用的后处理方案。主要局限性在于其效果依赖于强大的预训练DLM（如LLaDA-8B），且AP模块的训练需要额外数据和计算资源。 关键实验结果表： 模型 训练集 数据集 SLURP (WER=17.12%) ATIS (WER=10.31%) SNIPS (WER=7.69%) Accuracy (↑) / SLU-F1 (↑) Accuracy (↑) / SLU-F1 (↑) Accuracy (↑) / SLU-F1 (↑) RoBERTa [20] Oracle 82.78 / 72.19 95.87 / 87.18 96.99 / 95.31 DOMA+RoBERTa [20] Oracle 84.77 / 74.23 97.40 / 88.56 97.72 / 97.19 SpokenCSE [6] Oracle+ASR 85.51 / 74.39 97.58 / 90.02 98.17 / 97.80 DOMA+SpokenCSE [6] Oracle+ASR 88.26 / 76.82 98.15 / 90.65 98.61 / 98.11 图1展示了DOMA嵌入整个ICSF工作流的示意图。DOMA位于ASR输出和ICSF模型之间，负责文本精细化。 ...