扩散模型

ICML 2026 语音/音频论文详细分析 共分析 137 篇 ICML 2026 论文 🎯 任务分类 点击任务标签查看该方向所有论文： 音视频理解（18篇） 音视频生成（10篇） 音频分类（9篇） 音频理解（8篇） 音乐生成（8篇） 语音合成（8篇） 音视频问答（8篇） 语音识别（5篇） 语音伪造检测（4篇） 语音交互（4篇） 语音增强（4篇） 语音编码（4篇） 多模态模型（3篇） 音频伪造检测（3篇） 音频分离（2篇） 空间音频（2篇） 音频编码（2篇） 音频修复（2篇） 语音属性识别（2篇） 音频生成（2篇） ⚡ 会议概览 📥 ICML 2026 接收 6341 篇论文 → 🔍 关键词 + LLM 筛选 137 篇音频/语音/音乐相关 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音视频理解 18篇 ██████████████████ #音视频生成 10篇 ██████████ #音频分类 9篇 █████████ #音频理解 8篇 ████████ #音乐生成 8篇 ████████ #语音合成 8篇 ████████ #音视频问答 8篇 ████████ #语音识别 5篇 █████ #语音伪造检测 4篇 ████ #语音交互 4篇 ████ #语音增强 4篇 ████ #语音编码 4篇 ████ #多模态模型 3篇 ███ #音频伪造检测 3篇 ███ #音频分离 2篇 ██ 📊 论文评分排行榜（137 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with T 9.4分 前10% #音视频理解 🥈 Joint Enhancement and Classification using Coupled Diff 9.3分 前10% #语音识别 🥉 Learning Tight Rejection Boundaries without Negatives f 9.3分 前10% #语音伪造检测 4. AVTrack: Audio-Visual Tracking in Human-centric Complex 9.3分 前10% #音视频理解 5. A Semantically Consistent Dataset for Data-Efficient Qu 9.2分 前10% #音频分离 6. SAM Audio: Segment Anything in Audio 9.2分 前10% #音频分离 7. MECAT: A Multi-Experts Constructed Benchmark for Fine-G 9.1分 前10% #音频理解 8. $\tau$-Voice: Benchmarking Full-Duplex Voice Agents on 9.1分 前10% #语音交互 9. PhaseCoder: Microphone Geometry-Agnostic Spatial Audio 8.7分 前25% #空间音频 10. BAT: Better Audio Transformer Guided by Convex Gated Pr 8.6分 前25% #音频分类 11. SPEAR: A Unified SSL Framework for Learning Speech and 8.4分 前25% #音频理解 12. Dual-View Predictive Diffusion: Lightweight Speech Enha 8.4分 前25% #语音增强 13. Unlocking Cross-Modal Biosignal Synthesis: A Temporally 8.3分 前25% - 14. CoLA: Cross-Modal Low-rank Adaptation for Multimodal Do 8.3分 前25% #音视频理解 15. Speech-Audio Compositional Attacks on Multimodal LLMs a 8.3分 前25% #音频理解 16. MoST: Mixing Speech and Text with Modality-Aware Mixtur 8.2分 前25% - 17. IVQ: Structured and Lightweight Vector Quantization via 8.2分 前25% #音频编码 18. Spherical Procrustes Alignment for Reliable Medical Aud 8.2分 前25% #音频分类 19. Attend to Anything: Foundation Model for Unified Human 8.2分 前25% #音视频理解 20. VocSim A Training-free Benchmark for Zero-shot Content 8.2分 前25% #音频检索 21. JAEGER: Joint 3D Audio-Visual Grounding and Reasoning i 8.1分 前25% #声源定位 22. LALM-as-a-Judge: Benchmarking Large Audio-Language Mode 8.1分 前25% #语音交互 23. Pianist Transformer: Towards Expressive Piano Performan 8.1分 前25% #音乐生成 24. Simultaneous Speech-to-Speech Translation Without Align 8.0分 前25% #语音翻译 25. PHALAR: Phasors for Learned Musical Audio Representatio 8.0分 前25% #音乐生成 26. Optimality of FSQ Tokens for Continuous Diffusion for C 8.0分 前25% #语音合成 27. SonicMaster: Towards Controllable All-in-One Music Rest 8.0分 前25% #音频修复 28. Do Audio LLMs Listen or Read? Analyzing and Mitigating 8.0分 前25% #语音属性识别 29. Multiple Choice Learning of Low-Rank Adapters for Langu 8.0分 前25% #多模态模型 30. Bridging the Stability-Expressivity Gap: Synthetic Data 8.0分 前25% #语音合成 31. FutureOmni: Evaluating Future Forecasting from Omni-Mod 8.0分 前25% #音视频问答 32. Acoustic Interference: A New Paradigm Weaponizing Acous 8.0分 前25% #音频理解 33. ReGen: Hierarchical Multi-Prompt Representation Generat 8.0分 前25% #语音编码 34. DiscoForcing: A Unified Framework for Real-Time Audio-D 8.0分 前25% #音乐生成 35. DreamID-Omni: Unified Framework for Controllable Human- 8.0分 前25% #音视频生成 36. AgentSteerTTS: A Multi-Agent Closed-Loop Framework for 7.9分 前25% #语音合成 37. STAR-VAE: Structured Topology-Aware Regularization for 7.9分 前25% #音频生成 38. HyperPotter: Spell the Charm of High-Order Interactions 7.9分 前25% #音频伪造检测 39. T2AV-Compass: Towards Unified Evaluation for Text-to-Au 7.9分 前25% #音视频生成 40. Decoupling The “What” and “Where” With Polar Coordinate 7.8分 前25% #音乐生成 41. V-LynX: Token Interface Alignment for Video+X LLMs 7.8分 前25% #音视频问答 42. Ariadne’s Thread of LipSync: Unraveling Forgeries via I 7.8分 前25% #音视频理解 43. SONAR: Spectral‑Contrastive Audio Residuals for General 7.8分 前25% #语音伪造检测 44. TMD-Bench: A Multi-Level Evaluation Paradigm for Music– 7.7分 前25% #音视频生成 45. AudioMosaic: Contrastive Masked Audio Representation Le 7.7分 前25% #音频分类 46. BFCL Audio: An Audio Function Calling Evaluation for La 7.7分 前25% #语音交互 47. SALSA-V: Shortcut-Augmented Long-form Synchronized Audi 7.6分 前25% #音视频生成 48. BEAT: Tokenizing and Generating Symbolic Music by Unifo 7.6分 前25% #音乐生成 49. From Inpainting to Editing: Unlocking Robust Mask-Free 7.6分 前25% #扩散模型 50. Hearing Without Noticing? Attention-Aware Stealthy Blac 7.6分 前25% #语音识别 51. AVGen-Bench: A Task-Driven Benchmark for Multi-Granular 7.6分 前25% #音视频生成 52. Alethia: a Foundational Encoder for Voice Deepfakes 7.6分 前25% #语音伪造检测 53. AG-REPA: Causal Layer Selection for Representation Alig 7.6分 前25% #语音合成 54. AVI-Bench: Toward Human-like Audio-Visual Intelligence 7.6分 前25% #音视频理解 55. Two-dimensional quantization for geometry-aware audio c 7.6分 前25% #语音编码 56. Abstraction Induces the Brain Alignment of Language and 7.5分 前25% #语音编码 57. Self-Guidance: Enhancing Neural Codecs via Decoder Mani 7.5分 前25% #语音编码 58. OmniVideo-R1: Reinforcing Audio-visual Reasoning with Q 7.5分 前25% #音视频问答 59. Listening Through the Noise: Cauchy-Driven Diffusion Br 7.4分 前50% #音频修复 60. MoshiRAG: Asynchronous Knowledge Retrieval for Full-Dup 7.4分 前50% - 61. Omni-Perception Policy Optimization for Multimodal Emot 7.4分 前50% #音视频理解 62. video-SALMONN S: Memory-Enhanced Streaming Audio-Visual 7.3分 前50% #音视频问答 63. Group Cognition Learning: Making Everything Better Thro 7.3分 前50% #音视频理解 64. REST: Diffusion-based Real-time End-to-end Streaming Ta 7.3分 前50% #音视频生成 65. PhoStream: Benchmarking Real-World Streaming for Omnimo 7.3分 前50% #音视频问答 66. ProactiveLLM: Learning Active Interaction for Streaming 7.2分 前50% #语音识别 67. Stream RAG: Instant and Accurate Spoken Dialogue System 7.2分 前50% #流式处理 68. Probing Cross-modal Information Hubs in Audio-Visual LL 7.2分 前50% #音视频理解 69. Efficient Multi-modal Dataset Distillation via Analytic 7.2分 前50% #对比学习 70. Self-Supervised Flow Matching for Scalable Multi-Modal 7.2分 前50% #音视频生成 71. CoCoEmo: Composable and Controllable Human-Like Emotion 7.1分 前50% #语音合成 72. Scaling Transformers for End-to-End Discrete Audio Toke 7.1分 前50% #音频编码 73. Query-Based Asymmetric Modeling with Decoupled Input–Ou 7.1分 前50% #语音增强 74. OmniSIFT: Modality-Asymmetric Token Compression for Eff 7.1分 前50% #音视频问答 75. Sparse Autoencoders for Interpretable Emotion Control i 7.0分 前50% #语音合成 76. The Silent Thought: Modeling Internal Cognition in Full 7.0分 前50% #知识蒸馏 77. Hidden in Plain Tokens: Simply Robust, Gradient-Free Wa 7.0分 前50% #音频水印 78. Efficient Distributed MLLM Training with Cornstarch 7.0分 前50% #音视频理解 79. Reasoning LLM Improves Speaker Recognition in Long-form 7.0分 前50% - 80. Real-World Unsupervised Models Generalize to Predict Br 6.9分 前50% #模型评估 81. From Talking to Singing: A New Challenge for Audio-Visu 6.9分 前50% #音视频理解 82. OmniShow: Unifying Multimodal Conditions for Human-Obje 6.9分 前50% #音视频生成 83. E-VAds: An E-commerce Short Videos Understanding Benchm 6.9分 前50% #音视频问答 84. STARCaster: Spatio-Temporal AutoRegressive Video Diffus 6.8分 前50% #音视频生成 85. Zero-Shot Rankability: Revealing Latent Ordinal Structu 6.8分 前50% #音视频理解 86. An Exterior Method for Nonnegative Matrix Factorization 6.8分 前50% #音频分类 87. FoeGlass: Simple In-Context Learning Is Enough for Red 6.8分 前50% #语音伪造检测 88. Native Active Perception as Reasoning for Omni-Modal Un 6.8分 前50% #音视频理解 89. Unlocking Speech–Text Compositional Powers: Instruction 6.7分 前50% #语音交互 90. UltraLIF: Fully Differentiable Spiking Neural Networks 6.7分 前50% #音频分类 91. Towards Streaming Synchronized Spatial Audio Generation 6.6分 前50% #音视频生成 92. TextME: Bridging Unseen Modalities Through Text Descrip 6.6分 前50% - 93. Evaluating and Rewarding LALMs for Expressive Role-Play 6.6分 前50% #语音合成 94. PADS-TAL: Padding-Annealed Diffusion Sampling in Text-A 6.6分 前50% #音乐生成 95. ADEPT: RL-Aligned Agentic Decoding of Emotion via Evide 6.5分 前50% #语音情感识别 96. Universal Algorithm-Implicit Learning 6.5分 前50% #音频分类 97. SARSteer: Safeguarding Large Audio Language Models via 6.5分 前50% - 98. MetaPerch: Learning from metadata for bioacoustics foun 6.5分 前50% #音频分类 99. Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Mus 6.5分 前50% #音乐生成 100. CMI-RewardBench: Evaluating Music Reward Models with Co 6.4分 前50% #音乐生成 101. Multimodal Fact-Level Attribution for Verifiable Reason 6.4分 前50% #音频理解 102. MedMosaic: A Challenging Large Scale Benchmark of Diver 6.4分 前50% #音频理解 103. INFER: Learning Implicit Neural Frequency Response Fiel 6.4分 前50% #空间音频 104. Characterizing the Predictive Impact of Modalities with 6.4分 前50% - 105. PCRNet: Phase-aware Complex Refinement Network for EEG- 6.4分 前50% #实时处理 106. OmniFit: Bridging Modalities via Layer-Adaptive Token C 6.3分 前50% #音视频理解 107. EchoingPixels: Aliasing-Resistant Joint Token Reduction 6.3分 前50% #音视频理解 108. Quaternion Self-Attention with Shared Scores 6.3分 前50% #语音增强 109. LightAVSeg: Lightweight Audio-Visual Segmentation 6.3分 前50% #模型压缩 110. SURF: Separation via Unsupervised Remixing Flow 6.2分 前50% #语音分离 111. Neural-Inspired Modeling of Auditory Selection and Comp 6.2分 前50% #音视频语音分离 112. AuTAgent: A Reinforcement Learning Framework for Tool-A 6.2分 前50% #音频理解 113. Multimodal Latent Language Modeling with Next-Token Dif 6.1分 前50% #语音合成 114. FakeWorld 1.0: An Omni-modal Benchmark for Fake Media a 6.1分 前50% #可解释性 115. ConsMSA: Semantic Distribution Consistency Learning for 6.1分 前50% #多模态模型 116. MusicDET: Zero-Shot AI-Generated Music Detection 6.1分 前50% #音频伪造检测 117. Convex Low-resource Accent-Robust Language Detection in 6.0分 前50% #语音识别 118. NeuroCLUS: A Foundation Model with Functional Clusterin 6.0分 前50% #语音识别 119. Sparse Tokens Suffice: Jailbreaking Audio Language Mode 5.9分 前50% #模型剪枝 120. Scaling Behavior in Model Fine-tuning for Audio DeepFak 5.9分 前50% #音频伪造检测 121. Bioacoustic Geolocation: Species Sounds as Geographic S 5.8分 前50% #音频理解 122. AudioChat: Unified Audio Storytelling, Editing, and Und 5.8分 前50% #音频生成 123. Omni-Diffusion: Unified Multimodal Understanding and Ge 5.8分 前50% - 124. Robust Signal Enhancement via Fractional Detail Views a 5.7分 前50% #语音增强 125. Multimodal Fusion via Self-Consistent Task-Gradient Fie 5.5分 前50% #鲁棒性 126. NAACA: Training-Free NeuroAuditory Attentive Cognitive 5.5分 前50% #音频事件检测 127. Language Model Augmented Semi-Supervised Statistical In 5.4分 后50% #语音属性识别 128. MER-DG: Modality-Entropy Regularization for Multimodal 5.4分 后50% #音视频理解 129. Towards Understanding Modality Interaction in Multimoda 5.3分 后50% #音视频理解 130. Stable Spectral Copula Alignment for Robust Multimodal 5.2分 后50% #鲁棒性 131. Multimodal Meta-Verifier with Explicit Structured Recal 5.2分 后50% #多模态模型 132. WaveSSM: Multiscale State-Space Models for Non-stationa 4.8分 后50% #音频分类 133. Efficient, Property-Aligned Fan-Out Retrieval via RL-Co 4.7分 后50% #音乐检索 134. VIBE: Disentangling Social Dynamics via Kinematics-Info 4.6分 后50% - 135. UniFLoW: Universal Multi-Modal Federated LoRA Fine-Tuni 4.4分 后50% #音视频问答 136. Rethinking Attention in Spiking Transformers: Overcomin 3.6分 后50% #音频分类 137. PRIM：Cooperative Dynamic Token Compression for Efficien 3.6分 后50% #音视频理解 📋 论文列表 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions 🔥 9.4/10 | 前10% | #音视频理解 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 影响 0.9/1.5 | 开源 1.5/1.5 ...

📄 Addressing Limited Data in Auditory Attention Decoding with Diffusion Generative Models 标签：#语音分离 #扩散模型 #助听器 #音频理解 #Transformer 5.1/10 | 创新 0.8/2 | 严谨 1.1/1.5 | 实验 0.5/1.5 | 清晰 0.9/1 | 影响 0.7/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 5.1/10 | 后50% | 文档类型：应用研究 | 评分置信度：高 | #语音分离 | #扩散模型 | #助听器 #音频理解 | arxiv 👥 作者与机构 第一作者：David Rannaleet（隆德大学自动控制系），Victor Gunnarsson（隆德大学自动控制系） 通讯作者：Martin A. Skoglund（Eriksholm研究中心，林雪平大学电气工程系），Emina Alickovic（Eriksholm研究中心，林雪平大学电气工程系） 作者列表：David Rannaleet（隆德大学自动控制系），Victor Gunnarsson（隆德大学自动控制系），Bo Bernhardsson（隆德大学自动控制系），Martin A. Skoglund（Eriksholm研究中心，林雪平大学电气工程系），Emina Alickovic（Eriksholm研究中心，林雪平大学电气工程系） 💡 毒舌点评 一个动机明确、设计合理但实验评估极其薄弱的概念验证。将成熟技术组合应用于新问题，本身无可厚非，但仅凭不到1%的微弱提升、单一数据集验证以及与“噪声添加”这一孱弱基线的对比，就想在顶会中宣称“显著改善性能”，证据链完全不够看。更像是一份扎实的硕士论文工作，而非一项成熟的会议贡献。 ...

📄 FillGauss: Fine-Grained Filling-Aware Impact Sound Generation for 3D Gaussian Splatting 标签：#音频生成 #扩散模型 #多模态模型 #数据集 #音频理解 6.2/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1/1.5 ✅ 6.2/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音频生成 | #扩散模型 | #多模态模型 #数据集 | arxiv 👥 作者与机构 第一作者：Chen Yang 通讯作者：Jinbao Wang 作者列表：Chen Yang, Ganye Wen, Bin Huang, Jiayi Lyu, Zehai Niu, Linlin Shen, Jinbao Wang (Shenzhen University) 💡 毒舌点评 本文敏锐地指出了现有3D音效生成研究中普遍忽视物体内部物理状态这一关键盲点，并为此构建了首个细粒度、物理对齐的FillImpact数据集，为解决此问题提供了坚实的数据基础，任务定义和数据集贡献突出。然而，其提出的FillGauss框架本质上是将成熟的3DGS编码器、文本编码器和预训练音频扩散模型（TangoFlux）进行了模块化组合与微调，在生成模型或物理编码机制层面缺乏底层原创性。此外，核心数据集和代码均未开源，严重削弱了其作为领域基准的学术影响力和可复现性。 ...

📄 WanSong v1.0 Technical Report 标签：#音乐生成 #扩散模型 #歌唱生成 #强化学习 #音频理解 7.6/10 | 创新 1.8/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1.3/1.5 ✅ 7.6/10 | 前25% | 文档类型：系统技术报告 | 评分置信度：高 | #音乐生成 | #扩散模型 | #歌唱生成 #强化学习 | arxiv 👥 作者与机构 第一作者：未说明 通讯作者：未说明 作者列表：Binghui Chen, Pandeng Li, Yu Liu, Jingren Zhou (Wan Team, Alibaba Group) 💡 毒舌点评 亮点：双音轨（人声/背景）独立建模方案直击痛点，有效解决了CFG引导下两者质量此消彼长的困境，工程实现细节丰富，展现了工业级长音频生成系统的完整设计。 短板：作为一篇旨在展示“商业级”系统的技术报告，完全缺乏开源承诺与代码/模型释放计划，评估体系（尤其是自研的“音乐性”评估模型）的公正性和可验证性存疑，这极大地削弱了其作为学术论文的可信度和影响力。论文回避了与近期同期、架构相似的强基线（如DiffRhythm2, ACE-Step）的直接实验对比，使其声称的性能优势显得不完整。 ...

语音/音乐/音频论文速递 2026-07-17 共分析 15 篇论文 ⚡ 今日概览 📥 抓取 15 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音乐生成 3篇 ███ #多模态模型 2篇 ██ #语音合成 2篇 ██ #语音伪造检测 1篇 █ #语音分离 1篇 █ #音视频理解 1篇 █ #音视频生成 1篇 █ #音频事件检测 1篇 █ 📊 论文评分排行榜（15 篇，按分数降序） 排名 论文 总分 分档 文档类型 主任务 🥇 Can Tokens Compete? Token Representations against Super 8.3分 前25% 系统技术报告 #音频事件检测 🥈 SLT 2026 REAL-TSE Challenge: Real-world Target Speaker 8.1分 前25% 系统技术报告 #语音分离 🥉 MIDI-RAE-JEPA: Hierarchical Representation Learning and 7.9分 前25% 系统技术报告 #音乐生成 4. RW-Voice-EQ Bench: A Real World Benchmark for Evaluatin 7.9分 前25% 数据集与基准 #语音合成 5. Dialogs: a studio-quality expressive conversational Rus 7.8分 前25% 数据集与基准 #语音合成 6. WanSong v1.0 Technical Report 7.6分 前25% 系统技术报告 #音乐生成 7. InCarEmo: A Multimodal Dataset for In-Cabin Emotion Rec 7.3分 前50% 数据集与基准 #多模态模型 8. What does the model actually see? Evaluation protocols 7.2分 前50% 方法研究 #音频质量评估 9. SceneBind: Binding What and Where Across Vision, Audio 6.6分 前50% 方法研究 #音视频理解 10. ITGPT: A Transformer Based Architecture for the Generat 6.5分 前50% 系统技术报告 #音乐生成 11. AlphaWiSE: Adaptive Weight Interpolation for Continual 6.4分 前50% 方法研究 #音频检索 12. MultiRef-Compass: Towards Comprehensive Evaluation of M 6.3分 前50% 数据集与基准 #音视频生成 13. Large Audio Language Models for Spoofing-Aware Speaker 6.2分 前50% 方法研究 #语音伪造检测 14. Stop Thinking, Start Looking: Efficient Post-Training f 5.6分 前50% 方法研究 #多模态模型 15. Video = World + Event Stream 4.9分 后50% 系统技术报告 #音频理解 📋 论文列表 🥇 Can Tokens Compete? Token Representations against Supervised CNN Backbones for BirdCLEF+ 2026 8.3/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.5/1.5 ...

📄 Bring Music The Horizon: Music-Driven 360^\circ Video Generation 标签：#生成模型 #音视频生成 #扩散模型 #参数高效微调 #音频理解 5.3/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.3/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0.2/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 📝 5.3/10 | 后50% | 文档类型：系统技术报告 | 评分置信度：高 | #音视频生成 | #生成模型 | #扩散模型 #参数高效微调 | arxiv 👥 作者与机构 第一作者：Kai Hsu Tsai（National Yang Ming Chiao Tung University, Department of Computer Science） 通讯作者：未说明 作者列表：Kai Hsu Tsai（National Yang Ming Chiao Tung University, Department of Computer Science）、Yong Wei Fu（National Yang Ming Chiao Tung University, Department of Computer Science）、Hung I Yang（National Yang Ming Chiao Tung University, Department of Computer Science）、Yu-Chih Chen（National Yang Ming Chiao Tung University, Department of Computer Science） 💡 毒舌点评 将音乐情感驱动的生成与360度沉浸式视频结合，提出了一个有吸引力的应用问题。然而，整个工作更像一个初步的工程可行性验证（Proof-of-Concept），而非严谨的研究论文——关键实验、定量评估和复现细节几乎全部缺失，使其贡献停留在了“想法”层面。 ...

📄 Efficient Text-to-Audio Generation via Pruning 标签：#音频生成 #模型剪枝 #扩散模型 #高效推理 #音频理解 7.6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.6/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #音频生成 | #模型剪枝 | #扩散模型 #高效推理 | arxiv 👥 作者与机构 第一作者：Arshdeep Singh（萨里大学） 通讯作者：未说明 作者列表：Arshdeep Singh（萨里大学）、Yi Yuan（萨里大学）、Yun Chen（萨里大学）、Wenwu Wang（萨里大学）、Mark D. Plumbley（萨里大学） 💡 毒舌点评 论文将成熟的模型剪枝技术系统性地应用于音频扩散模型，通过聚焦U-Net深层块实现了显著的压缩，并细致分析了剪枝对语义类别的影响，这一应用工作有一定价值。然而，其核心贡献存在明显短板：1）方法层面缺乏创新，使用的是最基础的、基于ℓ1范数的被动剪枝，未与当前先进的剪枝方法（如基于泰勒展开、梯度、结构化剪枝或自适应剪枝率等）进行任何对比，增量贡献有限；2）声称的“轻量级微调”实则需要1M步，其计算成本与训练小型模型相比未见优势；3）对其他模型的对比（如与AudioLDM2）在数据、配置公平性上存在疑问，且效率指标（MACs、推理速度）对比不完整。论文的实验洞察（如安全关键声音受影响）有价值，但解决方案（微调）过于常规。 📌 核心摘要 本文旨在解决基于扩散模型的文本到音频生成模型（如AudioLDM）计算成本高昂、难以部署的问题。核心方法是采用基于ℓ1范数的滤波器剪枝技术，针对模型中参数和计算最集中的U-Net深层卷积块（b3, b4）进行模型压缩，并辅以轻量级微调以恢复性能。实验结果表明，该方法能移除高达83%的U-Net参数和39%的乘加运算（MACs），经过微调后，模型的FAD和KL散度指标优于未剪枝的基线模型。此外，研究发现剪枝会影响模型生成某些声音事件（尤其是安全关键声音）的能力，但通过微调可大部分恢复。主要局限性包括：剪枝策略相对基础，缺乏与其它先进剪枝方法的对比；微调代价高昂（1M步）；效率评估维度（如不同硬件延迟）不足；与其他模型的对比存在公平性疑问。 ...

📄 Music-to-Dance Generation via Atomic Movements 标签：#音乐生成 #扩散模型 #多模态模型 #音频理解 #Transformer 7.4/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.5/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.4/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音乐生成 | #扩散模型 | #多模态模型 #音频理解 | arxiv 👥 作者与机构 第一作者：Xinhao Cai（北京大学王选计算机技术研究所） 通讯作者：Yang Liu（北京大学） 作者列表：Xinhao Cai（北京大学王选计算机技术研究所）、Yixuan Sun（北京大学王选计算机技术研究所）、Minghang Zheng（北京大学电子学与计算机科学技术学院）、Qingchao Chen（北京大学）、Xin Jin（国家健康数据科学研究院）、Song-chun Zhu（北京大学通用人工智能国家重点实验室、北京通用人工智能研究院）、Yang Liu（北京大学智能科学与技术学院） 💡 毒舌点评 论文敏锐地抓住了现有音乐驱动舞蹈生成方法在结构建模上的缺失，提出的“原子动作”概念及相应的两阶段生成框架具有清晰的工程洞察，其通过将舞蹈解耦为符号化规划与连续化执行，确实提升了生成舞蹈的结构一致性和可控性。然而，其核心贡献——“原子动作”的发现流程高度依赖外部模型（TMR编码器、Gemini、GPT）与特定超参数选择，可复现性与泛化性存疑。更关键的是，所有验证仅在AIST++这一较小且单一风格的基准上进行，缺乏跨数据集泛化与真实场景（如编辑、交互）的验证，使得其宣称的“结构化”优势的实际价值与普适性大打折扣。 📌 核心摘要 本文旨在解决音乐驱动舞蹈生成中，现有端到端方法将舞蹈视为连续信号而忽略其组合性质，导致生成舞蹈结构不连贯、难以编辑控制的问题。作者提出了一种基于“原子动作”的结构感知生成框架。方法核心包含两部分：1）原子动作发现流水线，通过自适应分割、基于运动特征的聚类以及引入大语言模型进行语义重聚类，从连续舞蹈数据中提取出语义可解释、可重复且包含变化的基本运动单元。2）两阶段生成框架，第一阶段使用离散扩散模型规划原子动作序列（类型、时长、时序），第二阶段使用带有过渡损失的连续扩散模型完成舞蹈，实现动作的重新生成与平滑过渡。与现有的Bailando、EDGE、Lodge等方法相比，本文的核心创新在于引入了显式的结构化中间表示（原子动作），并将生成过程解耦为规划和执行，以模拟人类编舞过程。实验结果表明，该方法在FID（运动保真度）、多样性、节拍对齐分数（BAS）和检索准确率（RR）上均取得最优或接近最优的结果，特别是RR指标（26.6%）远超其他基线，验证了其在结构一致性上的优势。该工作的实际意义在于提高了生成舞蹈的可控性、可解释性和编辑性。主要局限性在于实验仅在AIST++数据集（约5.2小时）上进行，数据规模有限，且评估对舞蹈艺术性的考量不足。 ...

📄 Audio-Native Speech Recognition with a Frozen Discrete-Diffusion Language Model 标签：#语音识别 #扩散模型 #参数高效微调 #多语言 #音频理解 5.7/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.3/1.5 📝 5.7/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #语音识别 | #扩散模型 | #参数高效微调 #多语言 | arxiv 👥 作者与机构 第一作者：Harsha Vardhan Khurdula (Interfaze AI) 通讯作者：未说明 作者列表：Harsha Vardhan Khurdula (Interfaze AI), Abhinav Kumar Singh (Interfaze AI), Yoeven D Khemlani (Interfaze AI), Vineet Agarwal (Interfaze AI) 💡 毒舌点评 本文最核心的卖点——“音频原生”和“长度无关成本”——在论文所展示的实验结果下显得苍白无力。一个在仅219小时数据上训练、性能全面落后于同等规模自回归基线的系统，其“可行性证明”的意义大于实用价值。关键创新CTC接地技巧是一个聪明的工程补救，但更像是在掩盖一个根本性问题：用一个为文本设计的、未针对语音模态预训练的冻结大模型做ASR，是否是一条高效路径？作者将性能瓶颈归咎于“数据规模”，这是一个典型的未经验证的“未来可期”声明，在缺乏任何数据缩放实验的情况下，这更像是为当前不佳性能的开脱。更致命的是，核心依赖的26B DiffusionGemma模型虽被描述为“open-weight”，但本文并未提供其适配器权重或训练代码，使得任何复用或深入研究都无从谈起。这篇论文本质上是一个有趣但昂贵的玩具，展示了一种可能，但离改变现状相距甚远。 ...

📄 UD-ASD: A Unified Diffusion Model for Anomalous Sound Detection 标签：#音频事件检测 #扩散模型 #音频理解 #Transformer #模型评估 6.6/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.9/1.5 ✅ 6.6/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音频事件检测 | #扩散模型 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者：Pengxiang Gao（中国科学技术大学） 通讯作者：Yanzhi Song（中国科学技术大学） 作者列表：Pengxiang Gao（中国科学技术大学）、Yu Qiu（中国科学技术大学）、Yanzhi Song（中国科学技术大学） 💡 毒舌点评 本文提出了一个用统一条件扩散模型解决多机器异常声音检测的方案，切入点很实际，通过"条件投影器+重建误差GMM建模"的组合拳有效降低了多机器监控的部署成本，在DCASE2022数据集上取得了最优的总体Hmean。然而，其核心的"条件引导"机制实质上仅是一个标准嵌入层加通道拼接，与常规条件扩散模型中的条件注入方式并无本质差异，论文对此缺乏深度分析；GMM作为异常评分的"双峰分布"动机论证草率，仅凭t-SNE图的定性观察就设定2个混合成分；整体方法更像是在成熟框架上的一个稳健工程应用，而非深刻的技术范式革新。 📌 核心摘要 本文旨在解决工业异常声音检测（ASD）中现有方法需要为每台机器单独训练模型、导致部署成本高昂的问题。其核心方法是提出一个统一的条件扩散模型（UD-ASD），包含三个部分：一个将机器ID编码为条件嵌入的轻量级"条件投影器"（CP），一个在条件引导下重建正常频谱图的扩散模型，以及一个用高斯混合模型（GMM）建模重建误差分布以进行异常评分的系统。与已有方法相比，新意在于通过CP实现了单一模型处理多种机器类型，并通过跨机器学习获得更本质的特征空间。实验在DCASE2022 Task 2数据集上进行，统一模型UD-ASD-U的总体Hmean AUC达到77.16%、pAUC达到62.80%，相比官方AE基线分别提升了24.15%和10.00%的绝对值；相比单独训练的UD-ASD-S基线分别提升了3.44%和2.52%（这也是论文摘要中所声称的改进幅度）。实际意义在于显著降低了多机器工业监控场景下的模型存储和训练成本。主要局限性包括依赖准确的机器标签，且不适用于训练时未见过的全新机器类型。 ...