ICML 2026 语音/音频论文详细分析

ICML 2026 语音/音频论文详细分析 共分析 137 篇 ICML 2026 论文 🎯 任务分类 点击任务标签查看该方向所有论文: 音视频理解(18篇) 音视频生成(10篇) 音频分类(9篇) 音频理解(8篇) 音乐生成(8篇) 语音合成(8篇) 音视频问答(8篇) 语音识别(5篇) 语音伪造检测(4篇) 语音交互(4篇) 语音增强(4篇) 语音编码(4篇) 多模态模型(3篇) 音频伪造检测(3篇) 音频分离(2篇) 空间音频(2篇) 音频编码(2篇) 音频修复(2篇) 语音属性识别(2篇) 音频生成(2篇) ⚡ 会议概览 📥 ICML 2026 接收 6341 篇论文 → 🔍 关键词 + LLM 筛选 137 篇音频/语音/音乐相关 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音视频理解 18篇 ██████████████████ #音视频生成 10篇 ██████████ #音频分类 9篇 █████████ #音频理解 8篇 ████████ #音乐生成 8篇 ████████ #语音合成 8篇 ████████ #音视频问答 8篇 ████████ #语音识别 5篇 █████ #语音伪造检测 4篇 ████ #语音交互 4篇 ████ #语音增强 4篇 ████ #语音编码 4篇 ████ #多模态模型 3篇 ███ #音频伪造检测 3篇 ███ #音频分离 2篇 ██ 📊 论文评分排行榜(137 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with T 9.4分 前10% #音视频理解 🥈 Joint Enhancement and Classification using Coupled Diff 9.3分 前10% #语音识别 🥉 Learning Tight Rejection Boundaries without Negatives f 9.3分 前10% #语音伪造检测 4. AVTrack: Audio-Visual Tracking in Human-centric Complex 9.3分 前10% #音视频理解 5. A Semantically Consistent Dataset for Data-Efficient Qu 9.2分 前10% #音频分离 6. SAM Audio: Segment Anything in Audio 9.2分 前10% #音频分离 7. MECAT: A Multi-Experts Constructed Benchmark for Fine-G 9.1分 前10% #音频理解 8. $\tau$-Voice: Benchmarking Full-Duplex Voice Agents on 9.1分 前10% #语音交互 9. PhaseCoder: Microphone Geometry-Agnostic Spatial Audio 8.7分 前25% #空间音频 10. BAT: Better Audio Transformer Guided by Convex Gated Pr 8.6分 前25% #音频分类 11. SPEAR: A Unified SSL Framework for Learning Speech and 8.4分 前25% #音频理解 12. Dual-View Predictive Diffusion: Lightweight Speech Enha 8.4分 前25% #语音增强 13. Unlocking Cross-Modal Biosignal Synthesis: A Temporally 8.3分 前25% - 14. CoLA: Cross-Modal Low-rank Adaptation for Multimodal Do 8.3分 前25% #音视频理解 15. Speech-Audio Compositional Attacks on Multimodal LLMs a 8.3分 前25% #音频理解 16. MoST: Mixing Speech and Text with Modality-Aware Mixtur 8.2分 前25% - 17. IVQ: Structured and Lightweight Vector Quantization via 8.2分 前25% #音频编码 18. Spherical Procrustes Alignment for Reliable Medical Aud 8.2分 前25% #音频分类 19. Attend to Anything: Foundation Model for Unified Human 8.2分 前25% #音视频理解 20. VocSim A Training-free Benchmark for Zero-shot Content 8.2分 前25% #音频检索 21. JAEGER: Joint 3D Audio-Visual Grounding and Reasoning i 8.1分 前25% #声源定位 22. LALM-as-a-Judge: Benchmarking Large Audio-Language Mode 8.1分 前25% #语音交互 23. Pianist Transformer: Towards Expressive Piano Performan 8.1分 前25% #音乐生成 24. Simultaneous Speech-to-Speech Translation Without Align 8.0分 前25% #语音翻译 25. PHALAR: Phasors for Learned Musical Audio Representatio 8.0分 前25% #音乐生成 26. Optimality of FSQ Tokens for Continuous Diffusion for C 8.0分 前25% #语音合成 27. SonicMaster: Towards Controllable All-in-One Music Rest 8.0分 前25% #音频修复 28. Do Audio LLMs Listen or Read? Analyzing and Mitigating 8.0分 前25% #语音属性识别 29. Multiple Choice Learning of Low-Rank Adapters for Langu 8.0分 前25% #多模态模型 30. Bridging the Stability-Expressivity Gap: Synthetic Data 8.0分 前25% #语音合成 31. FutureOmni: Evaluating Future Forecasting from Omni-Mod 8.0分 前25% #音视频问答 32. Acoustic Interference: A New Paradigm Weaponizing Acous 8.0分 前25% #音频理解 33. ReGen: Hierarchical Multi-Prompt Representation Generat 8.0分 前25% #语音编码 34. DiscoForcing: A Unified Framework for Real-Time Audio-D 8.0分 前25% #音乐生成 35. DreamID-Omni: Unified Framework for Controllable Human- 8.0分 前25% #音视频生成 36. AgentSteerTTS: A Multi-Agent Closed-Loop Framework for 7.9分 前25% #语音合成 37. STAR-VAE: Structured Topology-Aware Regularization for 7.9分 前25% #音频生成 38. HyperPotter: Spell the Charm of High-Order Interactions 7.9分 前25% #音频伪造检测 39. T2AV-Compass: Towards Unified Evaluation for Text-to-Au 7.9分 前25% #音视频生成 40. Decoupling The “What” and “Where” With Polar Coordinate 7.8分 前25% #音乐生成 41. V-LynX: Token Interface Alignment for Video+X LLMs 7.8分 前25% #音视频问答 42. Ariadne’s Thread of LipSync: Unraveling Forgeries via I 7.8分 前25% #音视频理解 43. SONAR: Spectral‑Contrastive Audio Residuals for General 7.8分 前25% #语音伪造检测 44. TMD-Bench: A Multi-Level Evaluation Paradigm for Music– 7.7分 前25% #音视频生成 45. AudioMosaic: Contrastive Masked Audio Representation Le 7.7分 前25% #音频分类 46. BFCL Audio: An Audio Function Calling Evaluation for La 7.7分 前25% #语音交互 47. SALSA-V: Shortcut-Augmented Long-form Synchronized Audi 7.6分 前25% #音视频生成 48. BEAT: Tokenizing and Generating Symbolic Music by Unifo 7.6分 前25% #音乐生成 49. From Inpainting to Editing: Unlocking Robust Mask-Free 7.6分 前25% #扩散模型 50. Hearing Without Noticing? Attention-Aware Stealthy Blac 7.6分 前25% #语音识别 51. AVGen-Bench: A Task-Driven Benchmark for Multi-Granular 7.6分 前25% #音视频生成 52. Alethia: a Foundational Encoder for Voice Deepfakes 7.6分 前25% #语音伪造检测 53. AG-REPA: Causal Layer Selection for Representation Alig 7.6分 前25% #语音合成 54. AVI-Bench: Toward Human-like Audio-Visual Intelligence 7.6分 前25% #音视频理解 55. Two-dimensional quantization for geometry-aware audio c 7.6分 前25% #语音编码 56. Abstraction Induces the Brain Alignment of Language and 7.5分 前25% #语音编码 57. Self-Guidance: Enhancing Neural Codecs via Decoder Mani 7.5分 前25% #语音编码 58. OmniVideo-R1: Reinforcing Audio-visual Reasoning with Q 7.5分 前25% #音视频问答 59. Listening Through the Noise: Cauchy-Driven Diffusion Br 7.4分 前50% #音频修复 60. MoshiRAG: Asynchronous Knowledge Retrieval for Full-Dup 7.4分 前50% - 61. Omni-Perception Policy Optimization for Multimodal Emot 7.4分 前50% #音视频理解 62. video-SALMONN S: Memory-Enhanced Streaming Audio-Visual 7.3分 前50% #音视频问答 63. Group Cognition Learning: Making Everything Better Thro 7.3分 前50% #音视频理解 64. REST: Diffusion-based Real-time End-to-end Streaming Ta 7.3分 前50% #音视频生成 65. PhoStream: Benchmarking Real-World Streaming for Omnimo 7.3分 前50% #音视频问答 66. ProactiveLLM: Learning Active Interaction for Streaming 7.2分 前50% #语音识别 67. Stream RAG: Instant and Accurate Spoken Dialogue System 7.2分 前50% #流式处理 68. Probing Cross-modal Information Hubs in Audio-Visual LL 7.2分 前50% #音视频理解 69. Efficient Multi-modal Dataset Distillation via Analytic 7.2分 前50% #对比学习 70. Self-Supervised Flow Matching for Scalable Multi-Modal 7.2分 前50% #音视频生成 71. CoCoEmo: Composable and Controllable Human-Like Emotion 7.1分 前50% #语音合成 72. Scaling Transformers for End-to-End Discrete Audio Toke 7.1分 前50% #音频编码 73. Query-Based Asymmetric Modeling with Decoupled Input–Ou 7.1分 前50% #语音增强 74. OmniSIFT: Modality-Asymmetric Token Compression for Eff 7.1分 前50% #音视频问答 75. Sparse Autoencoders for Interpretable Emotion Control i 7.0分 前50% #语音合成 76. The Silent Thought: Modeling Internal Cognition in Full 7.0分 前50% #知识蒸馏 77. Hidden in Plain Tokens: Simply Robust, Gradient-Free Wa 7.0分 前50% #音频水印 78. Efficient Distributed MLLM Training with Cornstarch 7.0分 前50% #音视频理解 79. Reasoning LLM Improves Speaker Recognition in Long-form 7.0分 前50% - 80. Real-World Unsupervised Models Generalize to Predict Br 6.9分 前50% #模型评估 81. From Talking to Singing: A New Challenge for Audio-Visu 6.9分 前50% #音视频理解 82. OmniShow: Unifying Multimodal Conditions for Human-Obje 6.9分 前50% #音视频生成 83. E-VAds: An E-commerce Short Videos Understanding Benchm 6.9分 前50% #音视频问答 84. STARCaster: Spatio-Temporal AutoRegressive Video Diffus 6.8分 前50% #音视频生成 85. Zero-Shot Rankability: Revealing Latent Ordinal Structu 6.8分 前50% #音视频理解 86. An Exterior Method for Nonnegative Matrix Factorization 6.8分 前50% #音频分类 87. FoeGlass: Simple In-Context Learning Is Enough for Red 6.8分 前50% #语音伪造检测 88. Native Active Perception as Reasoning for Omni-Modal Un 6.8分 前50% #音视频理解 89. Unlocking Speech–Text Compositional Powers: Instruction 6.7分 前50% #语音交互 90. UltraLIF: Fully Differentiable Spiking Neural Networks 6.7分 前50% #音频分类 91. Towards Streaming Synchronized Spatial Audio Generation 6.6分 前50% #音视频生成 92. TextME: Bridging Unseen Modalities Through Text Descrip 6.6分 前50% - 93. Evaluating and Rewarding LALMs for Expressive Role-Play 6.6分 前50% #语音合成 94. PADS-TAL: Padding-Annealed Diffusion Sampling in Text-A 6.6分 前50% #音乐生成 95. ADEPT: RL-Aligned Agentic Decoding of Emotion via Evide 6.5分 前50% #语音情感识别 96. Universal Algorithm-Implicit Learning 6.5分 前50% #音频分类 97. SARSteer: Safeguarding Large Audio Language Models via 6.5分 前50% - 98. MetaPerch: Learning from metadata for bioacoustics foun 6.5分 前50% #音频分类 99. Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Mus 6.5分 前50% #音乐生成 100. CMI-RewardBench: Evaluating Music Reward Models with Co 6.4分 前50% #音乐生成 101. Multimodal Fact-Level Attribution for Verifiable Reason 6.4分 前50% #音频理解 102. MedMosaic: A Challenging Large Scale Benchmark of Diver 6.4分 前50% #音频理解 103. INFER: Learning Implicit Neural Frequency Response Fiel 6.4分 前50% #空间音频 104. Characterizing the Predictive Impact of Modalities with 6.4分 前50% - 105. PCRNet: Phase-aware Complex Refinement Network for EEG- 6.4分 前50% #实时处理 106. OmniFit: Bridging Modalities via Layer-Adaptive Token C 6.3分 前50% #音视频理解 107. EchoingPixels: Aliasing-Resistant Joint Token Reduction 6.3分 前50% #音视频理解 108. Quaternion Self-Attention with Shared Scores 6.3分 前50% #语音增强 109. LightAVSeg: Lightweight Audio-Visual Segmentation 6.3分 前50% #模型压缩 110. SURF: Separation via Unsupervised Remixing Flow 6.2分 前50% #语音分离 111. Neural-Inspired Modeling of Auditory Selection and Comp 6.2分 前50% #音视频语音分离 112. AuTAgent: A Reinforcement Learning Framework for Tool-A 6.2分 前50% #音频理解 113. Multimodal Latent Language Modeling with Next-Token Dif 6.1分 前50% #语音合成 114. FakeWorld 1.0: An Omni-modal Benchmark for Fake Media a 6.1分 前50% #可解释性 115. ConsMSA: Semantic Distribution Consistency Learning for 6.1分 前50% #多模态模型 116. MusicDET: Zero-Shot AI-Generated Music Detection 6.1分 前50% #音频伪造检测 117. Convex Low-resource Accent-Robust Language Detection in 6.0分 前50% #语音识别 118. NeuroCLUS: A Foundation Model with Functional Clusterin 6.0分 前50% #语音识别 119. Sparse Tokens Suffice: Jailbreaking Audio Language Mode 5.9分 前50% #模型剪枝 120. Scaling Behavior in Model Fine-tuning for Audio DeepFak 5.9分 前50% #音频伪造检测 121. Bioacoustic Geolocation: Species Sounds as Geographic S 5.8分 前50% #音频理解 122. AudioChat: Unified Audio Storytelling, Editing, and Und 5.8分 前50% #音频生成 123. Omni-Diffusion: Unified Multimodal Understanding and Ge 5.8分 前50% - 124. Robust Signal Enhancement via Fractional Detail Views a 5.7分 前50% #语音增强 125. Multimodal Fusion via Self-Consistent Task-Gradient Fie 5.5分 前50% #鲁棒性 126. NAACA: Training-Free NeuroAuditory Attentive Cognitive 5.5分 前50% #音频事件检测 127. Language Model Augmented Semi-Supervised Statistical In 5.4分 后50% #语音属性识别 128. MER-DG: Modality-Entropy Regularization for Multimodal 5.4分 后50% #音视频理解 129. Towards Understanding Modality Interaction in Multimoda 5.3分 后50% #音视频理解 130. Stable Spectral Copula Alignment for Robust Multimodal 5.2分 后50% #鲁棒性 131. Multimodal Meta-Verifier with Explicit Structured Recal 5.2分 后50% #多模态模型 132. WaveSSM: Multiscale State-Space Models for Non-stationa 4.8分 后50% #音频分类 133. Efficient, Property-Aligned Fan-Out Retrieval via RL-Co 4.7分 后50% #音乐检索 134. VIBE: Disentangling Social Dynamics via Kinematics-Info 4.6分 后50% - 135. UniFLoW: Universal Multi-Modal Federated LoRA Fine-Tuni 4.4分 后50% #音视频问答 136. Rethinking Attention in Spiking Transformers: Overcomin 3.6分 后50% #音频分类 137. PRIM:Cooperative Dynamic Token Compression for Efficien 3.6分 后50% #音视频理解 📋 论文列表 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions 🔥 9.4/10 | 前10% | #音视频理解 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 影响 0.9/1.5 | 开源 1.5/1.5 ...

2026-07-04 · 更新于 2026-09-04 · 108 min · 22980 words

Decoupling Turn-Taking from Semantics: A Decoupled Data Approach for Finite-State-Machine-Based Full-Duplex Dialogue

📄 何时闭嘴何时开口分开学:用真实重叠教会状态机的全双工配方 英文题目:Decoupling Turn-Taking from Semantics: A Decoupled Data Approach for Finite-State-Machine-Based Full-Duplex Dialogue 一句话:针对合成带学不会真实打断与重叠时序的问题,该工作用人人语音学轮次、用可配人机文本保语义并以事件规则与来源感知损失缝合,在受控词量下轮次 F1 提升约 0.31、放量后语义距基座仅差 0.09,代价是单带仍压缩连续时间与副语言。 标签:#语音交互 | #大语言模型 | #流式处理 | #基准测试 评分:7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5 👥 作者与机构 Yihang Li:Kyoto University Chenhui Chu:Kyoto University 💬 毒舌点评 把轮次控制与语义解耦、用真实人人对话学打断的思路切中了神经有限状态机合成数据的要害,事件引导的规则序列化做得扎实可扩展。但合成基线复现自由度偏大且语义评估口径不对等,暂停处理的激进策略也暴露了单带序列化压缩连续时间的固有代价。 📌 核心摘要 全双工对话需要同时处理打断、反向通道和地板争夺,而神经有限状态机将状态转换与回复生成序列化到单条因果带上,却依赖大语言模型合成难以还原真实声学时序的训练带。本文提出解耦数据方法,用真实人人口语对话学习轮次控制,用可配置的人机文本对话塑造语义,并以全规则的事件引导变换加来源感知校准损失实现联合训练。在控制训练token量的对比中,该方法在轮次F1与VoiceBench上均大幅超越合成基线,扩大到按比例上采样混合后语义基本恢复至基座模型零样本水平。实际意义在于为基于有限状态机的全双工系统提供了可扩展到任意人人语料且无需大语言模型标注的配方。主要边界是单带离散化必然损失连续时间与副语言信息,且当前仅覆盖双人问答场景。 🔗 开源与复现资源 代码: 仓库链接为 https://github.com/Liyht/def-fsm 模型权重: 论文中说明模型与代码均在 https://github.com/Liyht/def-fsm 获取,未提及独立HuggingFace或ModelScope权重链接 数据集: 采用Switchboard语料和Fisher语料作为人人口语对话,未提及获取链接,采用ShareGPT52K数据集作为人机对话,链接为 https://huggingface.co/datasets/RyokoAI/ShareGPT52K,另用GPT-4-Turbo生成1500个合成对话作为基线,未提及公开链接 Demo: 论文中未提及 复现材料: 基础模型为Qwen3-4B,人人与人机按1比1 token量混合,Fisher与Switchboard按4比1混合,来源感知校准损失设置tau为1且alpha为0.6,上下文长度为1024 token,峰值学习率为1.0e-5且warmup比例为0.03,token匹配设置训练至多300步,放量混合设置训练至多700步,细节见Appendix B.1和Appendix D 论文中引用的开源项目: Faster-Whisper,链接为 https://github.com/SYSTRAN/faster-whisper,Kokoro TTS,链接为 https://github.com/hexgrad/kokoro,另提及Whisper-Turbo和SimulStreaming和Silero VAD和Qwen3-32B,未提及对应链接 资源可达性验证:code=temporarily_unreachable;model=temporarily_unreachable;dataset=temporarily_unreachable;third_party=temporarily_unreachable;third_party=temporarily_unreachable 🧭 深度解读 人为什么能边听边想边插话? 想象你和朋友争论金星和火星哪个更大,你刚说到一半,对方轻轻嗯了一声,你自然继续讲下去。可当对方突然提高声音纠正你,你会立刻停下让对方说完。 ...

2026-09-04 · 更新于 2026-09-04 · 5 min · 879 words

Dual-Form ASR: Semantics-Aware Inverse Text Normalization for Chinese Speech Recognition

📄 该归一的漏掉,不该归一的乱改:双形式识别如何管住数字 英文题目:Dual-Form ASR: Semantics-Aware Inverse Text Normalization for Chinese Speech Recognition 一句话:中文语音识别同时要忠实记录怎么说、又要得体呈现怎么写,论文用提示词切换的口语与书面配对监督加数字敏感的序列优化,在必需归一上做到 4.64% I-CER 与 94.85% 关键词 F1、在禁用保留上做到 95.18% 保留率,代价是训练数字覆盖仅 4.4% 且评测局限于离线小规模人工集。 标签:#语音识别 | #语音大模型 | #大语言模型 | #基准测试 评分:6.8/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5 👥 作者与机构 Fengrun Zhang:机构信息未在 arXiv HTML 中可靠披露 Li Fu:机构信息未在 arXiv HTML 中可靠披露 Wangjin Zhou:机构信息未在 arXiv HTML 中可靠披露 Lu Fan:机构信息未在 arXiv HTML 中可靠披露 Youzheng Wu:机构信息未在 arXiv HTML 中可靠披露 Xiaodong He:机构信息未在 arXiv HTML 中可靠披露 💬 毒舌点评 把中文逆文本归一化从级联后处理收编为提示词可控的双形式联合建模,并用 Require-ITN 与 Forbid-ITN 把该归一和不该归一拆开考核,是切中部署痛点的设计。短板是书面目标中含阿拉伯数字的时长仅占4.4%,评测只靠772条与309条的单一SpeechIO衍生集,序列级奖励相对验证后监督的增益有限却包装成核心方法贡献。 ...

2026-09-04 · 更新于 2026-09-04 · 2 min · 296 words

DuplexSpeechBench-IFEval: Evaluating Implicit Instruction Following in Full-Duplex Voice Agents

📄 说了像本人,不等于接得住话:角色暗示里的时机考验 英文题目:DuplexSpeechBench-IFEval: Evaluating Implicit Instruction Following in Full-Duplex Voice Agents 一句话:论文用同一段用户语音对比显式规则与人设暗示下的接话时机,发现全双工模型推断代价最高达 9.7 个百分点,而内容像角色的模型仍做不出打断与附和,且安全冲突下仅一例过半守住安全侧。 标签:#语音交互 | #语音大模型 | #基准测试 | #实时处理 | #模型评估 评分:7.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5 👥 作者与机构 Puneet Mathur:University of Maryland College Park, USA Dinesh Manocha:Project Page: 💬 毒舌点评 把显式打断规则换成悲伤辅导员与911接线员的人设暗示来考全双工话轮控制,这个切口抓得准且泄漏控制做了实事。遗憾在于6个系统绝对指令遵从率普遍低于50%,近零差距模型的细排名在阈值抖动下并不稳,安全层级结论更多是30例小样本警示而非定论。 📌 核心摘要 全双工语音智能体需要根据角色推断何时倾听、附和、打断、让出或保持话轮,现有评测多只给显式话轮指令。论文提出DuplexSpeechBench-IFEval(DSB-IFEval,隐式指令遵循评测),用同一用户音频搭配5种条件协议对比显式执行与人设暗示执行。方法上以8个行为对比角色、6类会话探针、程序化合成与双通道实时编排为流水线,以确定性指令遵从分数Instruction Adherence Score(IAS,指令遵从分数)与大语言模型评价的人设内容分数Persona Adherence Score(PAS,人设遵从分数)解耦内容与时机。6系统实验显示全双工架构的蕴含差距Entailment Gap(蕴含差距)达9.7个百分点,而回合制系统内容跟随强但打断与附和几乎为0。安全冲突下仅MiniCPM-o-4.5在语义层60.0%选择安全侧,且IAS非零者仅2个系统。该基准为角色化实时语音部署提供了可复现的层级检验,但局限在英语双轮合成语音与小规模安全集。 ...

2026-09-04 · 更新于 2026-09-04 · 4 min · 790 words

Geometric Ceilings on Time-Frequency Masking for Single-Channel Separation

📄 掩蔽走不到的地方:一条直线、一个夹角与均方误差的回拉 英文题目:Geometric Ceilings on Time-Frequency Masking for Single-Channel Separation 一句话:单通道时频掩蔽的实增益格式把估计锁死在混合方向的直线上,论文用投影几何算出精确上限与四层算子类,再以非循环高斯混合后验证明均方准则会把估计拉回直线并在 MUSDB18 上测得 11.44 dB 量级的稳定缺口。 标签:#音乐源分离 | #生成模型 | #理论分析 | #基准测试 评分:7.9/10 | 创新 1.6/2 | 技术严谨 1.3/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5 👥 作者与机构 Maxime Baelde:organization=Independent researcher, city=Lille, country=France 💬 毒舌点评 亮点在于把时频掩蔽上限写成投影几何并证明均方准则把后验均值拉回实数线,理论链条完整且可证伪。短板是所测高斯混合先验远弱于当代分离器,整篇更像用弱模型验证强定理而非逼近上限本身。 📌 核心摘要 单通道时频掩蔽长期以理想比值掩蔽等特解作为上限,无法回答实增益格式本身禁止什么。本文把单频点估计看作复平面上的实线性算子,证明最优实增益是源向量向混合线上的正交投影,残差完全由源与混合夹角决定。作者建立实掩蔽、复掩蔽、宽线性与跨频耦合四层嵌套算子类,并对应先验零均值、循环对称与频率独立三条假设。构造堆叠实虚谱上的非循环高斯混合先验,其后验均值形式上离开最小类,但证明相位后验关于混合方向对称时均值落回实线,超额误差等于 oracle 增益的后验方差。在 MUSDB18 上人声与伴奏分离实验中,拟合估计器始终大幅低于逐帧上限,且增加分量数、训练量与全协方差均未弥合差距,约七成缺口可归因于后验方差。意义在于把突破上限的希望从更宽滤波器转向帧自适应先验与非均方准则。局限是测量取自较弱的浅层生成模型,且上限经重合成传输存在数值松弛。 🔗 开源与复现资源 代码:https://github.com/mbaelde/masking-ceiling,tag v1.0.0,separator 实现导入自 https://github.com/mbaelde/generative-audio-source-models 模型权重:论文中未提及 数据集:论文中未提及 Demo:论文中未提及 复现材料:论文说明全部 figure 和 table 可由 tag v1.0.0 复现,训练配置采用 diagonal 协方差并设置 floor 为 10-6,EM 迭代为 30 次,每种配置按 K 取 8,16,32 独立拟合且使用固定 seed,训练量按每源 20000 和 150000 frames 设置两档,堆叠维度在 L 为 1024 时是 1026,在 L 为 256 时是 258 论文中引用的开源项目:masking-ceiling https://github.com/mbaelde/masking-ceiling,generative-audio-source-models https://github.com/mbaelde/generative-audio-source-models 资源可达性验证:code=temporarily_unreachable;code=temporarily_unreachable;third_party=temporarily_unreachable;third_party=temporarily_unreachable 🧭 深度解读 单通道分离为何总在时频图上做乘法 想象你只拿到一轨混音,要从中捞出人声。最省事的办法是在短时傅里叶变换后的每个小格子上乘一个实数,把混合的幅度压一压、抬一抬,相位则原样保留。这就是理想比值掩蔽、维纳滤波和无数神经网络掩蔽器的共同格式,简单、稳定、易训练。 ...

2026-09-04 · 更新于 2026-09-04 · 5 min · 915 words

Last Translation Benchmark

📄 不再打总分:给每道翻译难题配一把专用量尺 英文题目:Last Translation Benchmark 一句话:面对饱和的机器翻译基准与失灵的整体打分,这项工作用众包难例加逐题验证规则把评价变成可复现的通过率,最强模型仅约四成通过而人工接近满分,代价是样本偏向刻意难题与英文中心。 标签:#语音翻译 | #大语言模型 | #多语言 | #基准测试 | #多模态模型 评分:6.4/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.4/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5 👥 作者与机构 Vilém Zouhar:机构信息未在 arXiv HTML 中可靠披露 Niyati Bafna:机构信息未在 arXiv HTML 中可靠披露 Mukund Choudhary:机构信息未在 arXiv HTML 中可靠披露 Maike Züfle:机构信息未在 arXiv HTML 中可靠披露 Sara Rajaee:机构信息未在 arXiv HTML 中可靠披露 Pinzhen Chen:机构信息未在 arXiv HTML 中可靠披露 Jannis Vamvas:机构信息未在 arXiv HTML 中可靠披露 Sara Papi:机构信息未在 arXiv HTML 中可靠披露 Ona de Gibert:机构信息未在 arXiv HTML 中可靠披露 Bhavitvya Malik:机构信息未在 arXiv HTML 中可靠披露 Eliya Habba:机构信息未在 arXiv HTML 中可靠披露 Orfeas Menis Mastromichalakis:机构信息未在 arXiv HTML 中可靠披露 Patrícia Schmidtová:机构信息未在 arXiv HTML 中可靠披露 Michelle Wastl:机构信息未在 arXiv HTML 中可靠披露 Sheriff Issaka:机构信息未在 arXiv HTML 中可靠披露 Leshem Choshen:机构信息未在 arXiv HTML 中可靠披露 Stella Biderman:机构信息未在 arXiv HTML 中可靠披露 Antonis Anastasopoulos:机构信息未在 arXiv HTML 中可靠披露 Jan Niehues:机构信息未在 arXiv HTML 中可靠披露 Rico Sennrich:机构信息未在 arXiv HTML 中可靠披露 Mrinmaya Sachan:机构信息未在 arXiv HTML 中可靠披露 Ondřej Bojar:机构信息未在 arXiv HTML 中可靠披露 Kenton Murray:机构信息未在 arXiv HTML 中可靠披露 Jörg Tiedemann:机构信息未在 arXiv HTML 中可靠披露 Alham Fikri Aji:机构信息未在 arXiv HTML 中可靠披露 Philipp Koehn:机构信息未在 arXiv HTML 中可靠披露 Christof Monz:机构信息未在 arXiv HTML 中可靠披露 Alexandra Birch:机构信息未在 arXiv HTML 中可靠披露 Sowmya Vajjala:机构信息未在 arXiv HTML 中可靠披露 Chalamalasetti Kranti:机构信息未在 arXiv HTML 中可靠披露 Cristina España-Bonet:机构信息未在 arXiv HTML 中可靠披露 Nobin Sarwar:机构信息未在 arXiv HTML 中可靠披露 David Kaczér:机构信息未在 arXiv HTML 中可靠披露 Shunta Asano:机构信息未在 arXiv HTML 中可靠披露 Malik Marmonier:机构信息未在 arXiv HTML 中可靠披露 Daban Q. Jaff:机构信息未在 arXiv HTML 中可靠披露 Vaisakhi Mishra:机构信息未在 arXiv HTML 中可靠披露 Hend Al- Khalifa:机构信息未在 arXiv HTML 中可靠披露 Gabriele Sarti:机构信息未在 arXiv HTML 中可靠披露 Sourajit Saha:机构信息未在 arXiv HTML 中可靠披露 Nils Rehlinger:机构信息未在 arXiv HTML 中可靠披露 Juan Daniel Cuervo Villa:机构信息未在 arXiv HTML 中可靠披露 Jonathan Tonglet:机构信息未在 arXiv HTML 中可靠披露 Saugata Purkayastha:机构信息未在 arXiv HTML 中可靠披露 Dominik Macháček:机构信息未在 arXiv HTML 中可靠披露 Jagannathan Ramanujam:机构信息未在 arXiv HTML 中可靠披露 Heejin Do:机构信息未在 arXiv HTML 中可靠披露 Zuzana Nadova:机构信息未在 arXiv HTML 中可靠披露 Fred Philippy:机构信息未在 arXiv HTML 中可靠披露 Fabian Retkowski:机构信息未在 arXiv HTML 中可靠披露 Maria Lymperaiou:机构信息未在 arXiv HTML 中可靠披露 Silvia Casola:机构信息未在 arXiv HTML 中可靠披露 Hanna Yukhymenko:机构信息未在 arXiv HTML 中可靠披露 Shubhashis Roy Dipta:机构信息未在 arXiv HTML 中可靠披露 Sangwon Ryu:机构信息未在 arXiv HTML 中可靠披露 Andrés Jerez:机构信息未在 arXiv HTML 中可靠披露 Ron Keinan:机构信息未在 arXiv HTML 中可靠披露 Shuaib Shuaib Yusuf:机构信息未在 arXiv HTML 中可靠披露 Avantica Vempati:机构信息未在 arXiv HTML 中可靠披露 Maria Carmen Staiano:机构信息未在 arXiv HTML 中可靠披露 Sukannya Purkayastha:机构信息未在 arXiv HTML 中可靠披露 Adrian Cosma:机构信息未在 arXiv HTML 中可靠披露 Vitalii Babenko:机构信息未在 arXiv HTML 中可靠披露 Erivan Inan:机构信息未在 arXiv HTML 中可靠披露 Aviral Nigam:机构信息未在 arXiv HTML 中可靠披露 Wafa Aissa:机构信息未在 arXiv HTML 中可靠披露 Fatima Haouari:机构信息未在 arXiv HTML 中可靠披露 Venkata Prasanth Kumar Gummadi:机构信息未在 arXiv HTML 中可靠披露 Mehdi Jafarzadeh:机构信息未在 arXiv HTML 中可靠披露 Valentin Scourneau:机构信息未在 arXiv HTML 中可靠披露 Lukas Edman:机构信息未在 arXiv HTML 中可靠披露 Kaiser Sun:机构信息未在 arXiv HTML 中可靠披露 Shaomu Tan:机构信息未在 arXiv HTML 中可靠披露 Mohammad Sadegh Gholizadeh:机构信息未在 arXiv HTML 中可靠披露 Johannes-Rudolf David:机构信息未在 arXiv HTML 中可靠披露 Dipankar Srirag:机构信息未在 arXiv HTML 中可靠披露 Javier García Gilabert:机构信息未在 arXiv HTML 中可靠披露 Ruta Binkyte:机构信息未在 arXiv HTML 中可靠披露 Manar Ali:机构信息未在 arXiv HTML 中可靠披露 Ana-Maria Bucur:机构信息未在 arXiv HTML 中可靠披露 Sabry E. Farrag:机构信息未在 arXiv HTML 中可靠披露 Youssef Saber:机构信息未在 arXiv HTML 中可靠披露 Yihong Liu:机构信息未在 arXiv HTML 中可靠披露 Jean Maillard:机构信息未在 arXiv HTML 中可靠披露 Cojocaru Nicoleta:机构信息未在 arXiv HTML 中可靠披露 Xiaochuang Yuan:机构信息未在 arXiv HTML 中可靠披露 Sina Ahmadi:机构信息未在 arXiv HTML 中可靠披露 Philipp Mondorf:机构信息未在 arXiv HTML 中可靠披露 Kaustubh Dhole:机构信息未在 arXiv HTML 中可靠披露 Roman Wixinger:机构信息未在 arXiv HTML 中可靠披露 Shenbin Qian:机构信息未在 arXiv HTML 中可靠披露 Manuel Tuor:机构信息未在 arXiv HTML 中可靠披露 Sergey Troshin:机构信息未在 arXiv HTML 中可靠披露 Jonathan Yahav:机构信息未在 arXiv HTML 中可靠披露 Fida Mohammad Thoker:机构信息未在 arXiv HTML 中可靠披露 Amir Arsalan Rezapour:机构信息未在 arXiv HTML 中可靠披露 Lance Calvin Lim Gamboa:机构信息未在 arXiv HTML 中可靠披露 Manon Reusens:机构信息未在 arXiv HTML 中可靠披露 Kätriin Kukk:机构信息未在 arXiv HTML 中可靠披露 Koel Dutta Chowdhury:机构信息未在 arXiv HTML 中可靠披露 💬 毒舌点评 把评价从整体印象分改为单样本可判定验证规则,用信息不对称缓解大语言模型(Large Language Model,LLM)既当选手又当裁判的自利偏差,思路干净且可诊断。短板是众包难例天然偏向猎奇、对抗与英文中心分布,对日常翻译质量代表性不足,规则质量与跨语言可比性仍高度依赖人工复核,迁移主张偏强。 ...

2026-09-04 · 更新于 2026-09-04 · 5 min · 1031 words

StrixAE: An Intelligent Agent for Audio Enhancement under Complex Distortion Coupling in Real-World Scenarios

📄 失真缠在一起时,谁来决定先修什么、用什么修 英文题目:StrixAE: An Intelligent Agent for Audio Enhancement under Complex Distortion Coupling in Real-World Scenarios 一句话:真实语音常是噪声混响多人说话耦合且修法因人而异,StrixAE 让多模态大模型先听诊再调度外部专家工具链,并以格式结构感知三路奖励做强化学习,在真实录音与个性化任务上取得局部最优但以级联误差与复现缺失为代价。 标签:#语音增强 | #音频大模型 | #强化学习 | #基准测试 评分:5.5/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 0.8/1.5 | 清晰度 0.5/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.9/1.5 👥 作者与机构 Chenglin Wu:Xiamen University Junjie Wu:Xiamen University Jinhang Chen:Xiamen University Mingyang Chen:Xiamen University Zixu Lin:Xiamen University Jiabian Chen:Fuyao University of Science and TechnologyEqual contribution. Xinghao Ding:Xiamen University Xiaotong Tu:Xiamen University 💬 毒舌点评 把耦合失真增强重构为可执行工具链调度问题的工程直觉是对的,用格式与结构奖励约束幻觉也有针对性。短板是写作与证据链粗糙:强化学习算法在 APRL 与 GRPO-AE 之间摇摆,URGENT 表格出现四行完全相同的第三名,闭源基线命名与虚构感极强的大模型版本让人难以信任所谓全面最优。 ...

2026-09-04 · 更新于 2026-09-04 · 5 min · 986 words

Summary of the ChinaVoices Challenge 2026: Data, Tasks, Baseline, and Methods

📄 十六种乡音一张卷:ChinaVoices 如何让方言识别与转写同场可比 英文题目:Summary of the ChinaVoices Challenge 2026: Data, Tasks, Baseline, and Methods 一句话:ChinaVoices 为 16 类中文方言建立辨识与识别共享音频的统一评测,用三级说话人无关划分与隐藏集复核给出可比起点,头部受限系统达到 83.19% 辨识准确率与 11.08% 转写字错率,代价是数据组合不受控而难以分离数据与方法增益。 标签:#语音识别 | #参数高效微调 | #低资源 | #基准测试 评分:6.9/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5 👥 作者与机构 Yujie Liao:机构信息未在 arXiv HTML 中可靠披露 Bingshen Mu:机构信息未在 arXiv HTML 中可靠披露 Shuiyuan Wang:机构信息未在 arXiv HTML 中可靠披露 Liumeng Xue:School of Intelligence Science and Technology, Nanjing University Hexin Liu:Nanyang Technological University Xian Shi:Independent Researcher Jie Hu:Beijing Huiting Technology Co., Ltd. Lei Xie:机构信息未在 arXiv HTML 中可靠披露 💬 毒舌点评 亮点在于为长期各自为战的中文方言评测提供了统一的16方言双任务平台与隐藏集复核流程,分析扎实且对工业界有直接参考价值。短板在于科学增量有限,基线偏弱且未控制训练资源变量,导致排行榜更多反映工程堆料而非可归因的方法突破。 ...

2026-09-04 · 更新于 2026-09-04 · 4 min · 764 words

The 2026 PNPL Competition: Word Classification and Efficient Cross-Subject Generalisation in LibriBrain100

📄 八十小时练一人,十分钟认新人:词分类竞赛把跨被试泛化变成硬指标 英文题目:The 2026 PNPL Competition: Word Classification and Efficient Cross-Subject Generalisation in LibriBrain100 一句话:论文以 LibriBrain100 的约 80 小时单被试深度与 32 人广度为底,用固定 50 词加 Moses 50 加 OVMI 三重评估组织深广双赛道,深度基线 BAcc@10 达 73.23% 而广度仅 42.96% 且 OVMI 低至 0.014,证明分钟级跨被试仍是最大鸿沟。 标签:#语音识别 | #自监督学习 | #低资源 | #基准测试 评分:7.5/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.7/1 | 影响力 1.2/1.5 | 开源 1.2/1.5 | 可复现 0.1/0.5 | 工程/实践 1/1.5 👥 作者与机构 Francesco Mantegna:PNPL, Department of Engineering Science, University of Oxford, UK Gereon Elvers:PNPL, Department of Engineering Science, University of Oxford, UK Dulhan Jayalath:PNPL, Department of Engineering Science, University of Oxford, UK Gilad Landau:PNPL, Department of Engineering Science, University of Oxford, UK Tasha Kim:PNPL, Department of Engineering Science, University of Oxford, UK Miran Özdogan:PNPL, Department of Engineering Science, University of Oxford, UK Luisa Kurth:PNPL, Department of Engineering Science, University of Oxford, UK Teyun Kwon:PNPL, Department of Engineering Science, University of Oxford, UK SungJun Cho:PNPL, Department of Engineering Science, University of Oxford, UK;OHBA, Oxford Centre for Integrative Neuroimaging, University of Oxford, UK Benjamin Ballyk:PNPL, Department of Engineering Science, University of Oxford, UK Alex Fung:PNPL, Department of Engineering Science, University of Oxford, UK;FMRIB, Oxford Centre for Integrative Neuroimaging, University of Oxford, UK Anna Greer:PNPL, Department of Engineering Science, University of Oxford, UK Pratik Somaiya:PNPL, Department of Engineering Science, University of Oxford, UK Christian Herff:Maastricht University, The Netherlands Yorguin Mantilla Ramos:UNIQUE, Université de Montréal, Canada Hamza Abdelhedi:UNIQUE, Université de Montréal, Canada Karim Jerbi:UNIQUE, Université de Montréal, Canada;Mila–Quebec AI Institute, Canada Greg Farquhar:Google DeepMind, UKJoint first authors Brendan Shillingford:Google DeepMind, UKJoint first authors Mark Woolrich:OHBA, Oxford Centre for Integrative Neuroimaging, University of Oxford, UK Oiwi Parker Jones:PNPL, Department of Engineering Science, University of Oxford, UK 💬 毒舌点评 把非侵入语音解码从单被试刷分拉向临床最痛的跨被试少样本与零样本,课程设计与双轨评估颇有野心。短板是全篇零新模型,两个参考模型均为旧工作复用,宽松的 Top-10 指标叠加功能词为主的词表让绝对分数虚胖,OVMI 揭开后通信价值几乎归零。 ...

2026-09-04 · 更新于 2026-09-04 · 7 min · 1491 words

ToolDF: Tool-Integrated Reasoning for Mixed-Authenticity Audio Deepfake Detection

📄 真假混在一起时,只给整段打分为什么不够:ToolDF 的分诊式推理 英文题目:ToolDF: Tool-Integrated Reasoning for Mixed-Authenticity Audio Deepfake Detection 一句话:针对一段音频里真伪线索并存的混合伪造问题,ToolDF 让音频大模型做分诊编排而非直接判真假,在复合测试上拿到 81.89 的复合平均分,代价是性能仍受分离器和专家检测器上限牵制。 标签:#音频伪造检测 | #多模态模型 | #参数高效微调 | #基准测试 评分:8.4/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5 👥 作者与机构 Taewoo Kim:Multi-Modal Research Center, KETI, South Korea;Department of Artificial Intelligence, Korea University, South Korea Young Han Lee:Multi-Modal Research Center, KETI, South Korea Nam In Park:机构信息未在 arXiv HTML 中可靠披露 Chanwoo Kim:Department of Artificial Intelligence, Korea University, South Korea 💬 毒舌点评 把混合真伪检测从整段二分类改写为可解析的编排推理,用监督轨迹把分离与分诊决策学了出来,思路干净。短板是整套裁决仍被外挂分离器和四个专家上限锁死,工具错则编排再漂亮也只是把错误解释得很清楚。 ...

2026-09-04 · 更新于 2026-09-04 · 4 min · 815 words