音视频理解

ICML 2026 语音/音频论文详细分析 共分析 137 篇 ICML 2026 论文 🎯 任务分类 点击任务标签查看该方向所有论文： 音视频理解（18篇） 音视频生成（10篇） 音频分类（9篇） 音频理解（8篇） 音乐生成（8篇） 语音合成（8篇） 音视频问答（8篇） 语音识别（5篇） 语音伪造检测（4篇） 语音交互（4篇） 语音增强（4篇） 语音编码（4篇） 多模态模型（3篇） 音频伪造检测（3篇） 音频分离（2篇） 空间音频（2篇） 音频编码（2篇） 音频修复（2篇） 语音属性识别（2篇） 音频生成（2篇） ⚡ 会议概览 📥 ICML 2026 接收 6341 篇论文 → 🔍 关键词 + LLM 筛选 137 篇音频/语音/音乐相关 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音视频理解 18篇 ██████████████████ #音视频生成 10篇 ██████████ #音频分类 9篇 █████████ #音频理解 8篇 ████████ #音乐生成 8篇 ████████ #语音合成 8篇 ████████ #音视频问答 8篇 ████████ #语音识别 5篇 █████ #语音伪造检测 4篇 ████ #语音交互 4篇 ████ #语音增强 4篇 ████ #语音编码 4篇 ████ #多模态模型 3篇 ███ #音频伪造检测 3篇 ███ #音频分离 2篇 ██ 📊 论文评分排行榜（137 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with T 9.4分 前10% #音视频理解 🥈 Joint Enhancement and Classification using Coupled Diff 9.3分 前10% #语音识别 🥉 Learning Tight Rejection Boundaries without Negatives f 9.3分 前10% #语音伪造检测 4. AVTrack: Audio-Visual Tracking in Human-centric Complex 9.3分 前10% #音视频理解 5. A Semantically Consistent Dataset for Data-Efficient Qu 9.2分 前10% #音频分离 6. SAM Audio: Segment Anything in Audio 9.2分 前10% #音频分离 7. MECAT: A Multi-Experts Constructed Benchmark for Fine-G 9.1分 前10% #音频理解 8. $\tau$-Voice: Benchmarking Full-Duplex Voice Agents on 9.1分 前10% #语音交互 9. PhaseCoder: Microphone Geometry-Agnostic Spatial Audio 8.7分 前25% #空间音频 10. BAT: Better Audio Transformer Guided by Convex Gated Pr 8.6分 前25% #音频分类 11. SPEAR: A Unified SSL Framework for Learning Speech and 8.4分 前25% #音频理解 12. Dual-View Predictive Diffusion: Lightweight Speech Enha 8.4分 前25% #语音增强 13. Unlocking Cross-Modal Biosignal Synthesis: A Temporally 8.3分 前25% - 14. CoLA: Cross-Modal Low-rank Adaptation for Multimodal Do 8.3分 前25% #音视频理解 15. Speech-Audio Compositional Attacks on Multimodal LLMs a 8.3分 前25% #音频理解 16. MoST: Mixing Speech and Text with Modality-Aware Mixtur 8.2分 前25% - 17. IVQ: Structured and Lightweight Vector Quantization via 8.2分 前25% #音频编码 18. Spherical Procrustes Alignment for Reliable Medical Aud 8.2分 前25% #音频分类 19. Attend to Anything: Foundation Model for Unified Human 8.2分 前25% #音视频理解 20. VocSim A Training-free Benchmark for Zero-shot Content 8.2分 前25% #音频检索 21. JAEGER: Joint 3D Audio-Visual Grounding and Reasoning i 8.1分 前25% #声源定位 22. LALM-as-a-Judge: Benchmarking Large Audio-Language Mode 8.1分 前25% #语音交互 23. Pianist Transformer: Towards Expressive Piano Performan 8.1分 前25% #音乐生成 24. Simultaneous Speech-to-Speech Translation Without Align 8.0分 前25% #语音翻译 25. PHALAR: Phasors for Learned Musical Audio Representatio 8.0分 前25% #音乐生成 26. Optimality of FSQ Tokens for Continuous Diffusion for C 8.0分 前25% #语音合成 27. SonicMaster: Towards Controllable All-in-One Music Rest 8.0分 前25% #音频修复 28. Do Audio LLMs Listen or Read? Analyzing and Mitigating 8.0分 前25% #语音属性识别 29. Multiple Choice Learning of Low-Rank Adapters for Langu 8.0分 前25% #多模态模型 30. Bridging the Stability-Expressivity Gap: Synthetic Data 8.0分 前25% #语音合成 31. FutureOmni: Evaluating Future Forecasting from Omni-Mod 8.0分 前25% #音视频问答 32. Acoustic Interference: A New Paradigm Weaponizing Acous 8.0分 前25% #音频理解 33. ReGen: Hierarchical Multi-Prompt Representation Generat 8.0分 前25% #语音编码 34. DiscoForcing: A Unified Framework for Real-Time Audio-D 8.0分 前25% #音乐生成 35. DreamID-Omni: Unified Framework for Controllable Human- 8.0分 前25% #音视频生成 36. AgentSteerTTS: A Multi-Agent Closed-Loop Framework for 7.9分 前25% #语音合成 37. STAR-VAE: Structured Topology-Aware Regularization for 7.9分 前25% #音频生成 38. HyperPotter: Spell the Charm of High-Order Interactions 7.9分 前25% #音频伪造检测 39. T2AV-Compass: Towards Unified Evaluation for Text-to-Au 7.9分 前25% #音视频生成 40. Decoupling The “What” and “Where” With Polar Coordinate 7.8分 前25% #音乐生成 41. V-LynX: Token Interface Alignment for Video+X LLMs 7.8分 前25% #音视频问答 42. Ariadne’s Thread of LipSync: Unraveling Forgeries via I 7.8分 前25% #音视频理解 43. SONAR: Spectral‑Contrastive Audio Residuals for General 7.8分 前25% #语音伪造检测 44. TMD-Bench: A Multi-Level Evaluation Paradigm for Music– 7.7分 前25% #音视频生成 45. AudioMosaic: Contrastive Masked Audio Representation Le 7.7分 前25% #音频分类 46. BFCL Audio: An Audio Function Calling Evaluation for La 7.7分 前25% #语音交互 47. SALSA-V: Shortcut-Augmented Long-form Synchronized Audi 7.6分 前25% #音视频生成 48. BEAT: Tokenizing and Generating Symbolic Music by Unifo 7.6分 前25% #音乐生成 49. From Inpainting to Editing: Unlocking Robust Mask-Free 7.6分 前25% #扩散模型 50. Hearing Without Noticing? Attention-Aware Stealthy Blac 7.6分 前25% #语音识别 51. AVGen-Bench: A Task-Driven Benchmark for Multi-Granular 7.6分 前25% #音视频生成 52. Alethia: a Foundational Encoder for Voice Deepfakes 7.6分 前25% #语音伪造检测 53. AG-REPA: Causal Layer Selection for Representation Alig 7.6分 前25% #语音合成 54. AVI-Bench: Toward Human-like Audio-Visual Intelligence 7.6分 前25% #音视频理解 55. Two-dimensional quantization for geometry-aware audio c 7.6分 前25% #语音编码 56. Abstraction Induces the Brain Alignment of Language and 7.5分 前25% #语音编码 57. Self-Guidance: Enhancing Neural Codecs via Decoder Mani 7.5分 前25% #语音编码 58. OmniVideo-R1: Reinforcing Audio-visual Reasoning with Q 7.5分 前25% #音视频问答 59. Listening Through the Noise: Cauchy-Driven Diffusion Br 7.4分 前50% #音频修复 60. MoshiRAG: Asynchronous Knowledge Retrieval for Full-Dup 7.4分 前50% - 61. Omni-Perception Policy Optimization for Multimodal Emot 7.4分 前50% #音视频理解 62. video-SALMONN S: Memory-Enhanced Streaming Audio-Visual 7.3分 前50% #音视频问答 63. Group Cognition Learning: Making Everything Better Thro 7.3分 前50% #音视频理解 64. REST: Diffusion-based Real-time End-to-end Streaming Ta 7.3分 前50% #音视频生成 65. PhoStream: Benchmarking Real-World Streaming for Omnimo 7.3分 前50% #音视频问答 66. ProactiveLLM: Learning Active Interaction for Streaming 7.2分 前50% #语音识别 67. Stream RAG: Instant and Accurate Spoken Dialogue System 7.2分 前50% #流式处理 68. Probing Cross-modal Information Hubs in Audio-Visual LL 7.2分 前50% #音视频理解 69. Efficient Multi-modal Dataset Distillation via Analytic 7.2分 前50% #对比学习 70. Self-Supervised Flow Matching for Scalable Multi-Modal 7.2分 前50% #音视频生成 71. CoCoEmo: Composable and Controllable Human-Like Emotion 7.1分 前50% #语音合成 72. Scaling Transformers for End-to-End Discrete Audio Toke 7.1分 前50% #音频编码 73. Query-Based Asymmetric Modeling with Decoupled Input–Ou 7.1分 前50% #语音增强 74. OmniSIFT: Modality-Asymmetric Token Compression for Eff 7.1分 前50% #音视频问答 75. Sparse Autoencoders for Interpretable Emotion Control i 7.0分 前50% #语音合成 76. The Silent Thought: Modeling Internal Cognition in Full 7.0分 前50% #知识蒸馏 77. Hidden in Plain Tokens: Simply Robust, Gradient-Free Wa 7.0分 前50% #音频水印 78. Efficient Distributed MLLM Training with Cornstarch 7.0分 前50% #音视频理解 79. Reasoning LLM Improves Speaker Recognition in Long-form 7.0分 前50% - 80. Real-World Unsupervised Models Generalize to Predict Br 6.9分 前50% #模型评估 81. From Talking to Singing: A New Challenge for Audio-Visu 6.9分 前50% #音视频理解 82. OmniShow: Unifying Multimodal Conditions for Human-Obje 6.9分 前50% #音视频生成 83. E-VAds: An E-commerce Short Videos Understanding Benchm 6.9分 前50% #音视频问答 84. STARCaster: Spatio-Temporal AutoRegressive Video Diffus 6.8分 前50% #音视频生成 85. Zero-Shot Rankability: Revealing Latent Ordinal Structu 6.8分 前50% #音视频理解 86. An Exterior Method for Nonnegative Matrix Factorization 6.8分 前50% #音频分类 87. FoeGlass: Simple In-Context Learning Is Enough for Red 6.8分 前50% #语音伪造检测 88. Native Active Perception as Reasoning for Omni-Modal Un 6.8分 前50% #音视频理解 89. Unlocking Speech–Text Compositional Powers: Instruction 6.7分 前50% #语音交互 90. UltraLIF: Fully Differentiable Spiking Neural Networks 6.7分 前50% #音频分类 91. Towards Streaming Synchronized Spatial Audio Generation 6.6分 前50% #音视频生成 92. TextME: Bridging Unseen Modalities Through Text Descrip 6.6分 前50% - 93. Evaluating and Rewarding LALMs for Expressive Role-Play 6.6分 前50% #语音合成 94. PADS-TAL: Padding-Annealed Diffusion Sampling in Text-A 6.6分 前50% #音乐生成 95. ADEPT: RL-Aligned Agentic Decoding of Emotion via Evide 6.5分 前50% #语音情感识别 96. Universal Algorithm-Implicit Learning 6.5分 前50% #音频分类 97. SARSteer: Safeguarding Large Audio Language Models via 6.5分 前50% - 98. MetaPerch: Learning from metadata for bioacoustics foun 6.5分 前50% #音频分类 99. Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Mus 6.5分 前50% #音乐生成 100. CMI-RewardBench: Evaluating Music Reward Models with Co 6.4分 前50% #音乐生成 101. Multimodal Fact-Level Attribution for Verifiable Reason 6.4分 前50% #音频理解 102. MedMosaic: A Challenging Large Scale Benchmark of Diver 6.4分 前50% #音频理解 103. INFER: Learning Implicit Neural Frequency Response Fiel 6.4分 前50% #空间音频 104. Characterizing the Predictive Impact of Modalities with 6.4分 前50% - 105. PCRNet: Phase-aware Complex Refinement Network for EEG- 6.4分 前50% #实时处理 106. OmniFit: Bridging Modalities via Layer-Adaptive Token C 6.3分 前50% #音视频理解 107. EchoingPixels: Aliasing-Resistant Joint Token Reduction 6.3分 前50% #音视频理解 108. Quaternion Self-Attention with Shared Scores 6.3分 前50% #语音增强 109. LightAVSeg: Lightweight Audio-Visual Segmentation 6.3分 前50% #模型压缩 110. SURF: Separation via Unsupervised Remixing Flow 6.2分 前50% #语音分离 111. Neural-Inspired Modeling of Auditory Selection and Comp 6.2分 前50% #音视频语音分离 112. AuTAgent: A Reinforcement Learning Framework for Tool-A 6.2分 前50% #音频理解 113. Multimodal Latent Language Modeling with Next-Token Dif 6.1分 前50% #语音合成 114. FakeWorld 1.0: An Omni-modal Benchmark for Fake Media a 6.1分 前50% #可解释性 115. ConsMSA: Semantic Distribution Consistency Learning for 6.1分 前50% #多模态模型 116. MusicDET: Zero-Shot AI-Generated Music Detection 6.1分 前50% #音频伪造检测 117. Convex Low-resource Accent-Robust Language Detection in 6.0分 前50% #语音识别 118. NeuroCLUS: A Foundation Model with Functional Clusterin 6.0分 前50% #语音识别 119. Sparse Tokens Suffice: Jailbreaking Audio Language Mode 5.9分 前50% #模型剪枝 120. Scaling Behavior in Model Fine-tuning for Audio DeepFak 5.9分 前50% #音频伪造检测 121. Bioacoustic Geolocation: Species Sounds as Geographic S 5.8分 前50% #音频理解 122. AudioChat: Unified Audio Storytelling, Editing, and Und 5.8分 前50% #音频生成 123. Omni-Diffusion: Unified Multimodal Understanding and Ge 5.8分 前50% - 124. Robust Signal Enhancement via Fractional Detail Views a 5.7分 前50% #语音增强 125. Multimodal Fusion via Self-Consistent Task-Gradient Fie 5.5分 前50% #鲁棒性 126. NAACA: Training-Free NeuroAuditory Attentive Cognitive 5.5分 前50% #音频事件检测 127. Language Model Augmented Semi-Supervised Statistical In 5.4分 后50% #语音属性识别 128. MER-DG: Modality-Entropy Regularization for Multimodal 5.4分 后50% #音视频理解 129. Towards Understanding Modality Interaction in Multimoda 5.3分 后50% #音视频理解 130. Stable Spectral Copula Alignment for Robust Multimodal 5.2分 后50% #鲁棒性 131. Multimodal Meta-Verifier with Explicit Structured Recal 5.2分 后50% #多模态模型 132. WaveSSM: Multiscale State-Space Models for Non-stationa 4.8分 后50% #音频分类 133. Efficient, Property-Aligned Fan-Out Retrieval via RL-Co 4.7分 后50% #音乐检索 134. VIBE: Disentangling Social Dynamics via Kinematics-Info 4.6分 后50% - 135. UniFLoW: Universal Multi-Modal Federated LoRA Fine-Tuni 4.4分 后50% #音视频问答 136. Rethinking Attention in Spiking Transformers: Overcomin 3.6分 后50% #音频分类 137. PRIM：Cooperative Dynamic Token Compression for Efficien 3.6分 后50% #音视频理解 📋 论文列表 🥇 TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions 🔥 9.4/10 | 前10% | #音视频理解 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 影响 0.9/1.5 | 开源 1.5/1.5 ...

📄 OmniReasoner: Thinking with Long Audio-Video via Native Tool Use 标签：#音视频理解 #强化学习 #音频理解 #Transformer #模型评估 6.9/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.4/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.9/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #强化学习 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者：Yu Chen (University of Chinese Academy of Sciences, Institute of Automation, CAS)（工作于实习期间完成于Shopee） 通讯作者：Haibo Zhang (Shopee)、Chaofan Chen (Beijing University of Technology) 作者列表：Yu Chen（University of Chinese Academy of Sciences, Institute of Automation, CAS）、Caorui Li（Southeast University）、Ziyu Xiong（Southeast University）、Yidong Wang（Shopee）、Mingqi Gao（Tsinghua University）、Shuman Liu（Shopee）、Biao Liu（Southeast University）、Chunfeng Yang（Southeast University）、Anxiang Zeng（Shopee）、Haibo Zhang（Shopee）、Chaofan Chen（Beijing University of Technology） 💡 毒舌点评 亮点：本文将主动工具使用范式创新性地引入长音视频推理，设计了一个两阶段（全局预览 + 局部聚焦）的端到端可训练框架。核心设计——TimeAnchor机制——通过简单的文本时间标记巧妙解决了跨采样粒度（稀疏全局预览 vs. 稠密局部片段）下工具参数的时间对齐难题，设计简洁有效。配套的“时间增强数据引擎”实现了工具使用轨迹的自动合成，减少了对昂贵人工标注的依赖。实验在多个音视频和视频基准上展现了稳定提升。 短板：论文对“音频”模态的处理深度严重不足。音频在框架中仅作为视频的附属信息被压缩编码（2秒区块内的token），未能作为独立的推理主体进行深入分析（如声音事件定位、语音内容理解）。这导致其核心贡献实质上是“长视频+辅助音频”的推理，而非真正的“音视频”联合推理。此外，工具类型单一（仅时间放大），依赖特定基座模型（Qwen-Omni的交织方案），评估基准存在偏好，这些都限制了其通用性和影响力。 ...

📄 Efficient Audio-Visual Event Recognition via Knowledge Distillation and Dynamic INT8 Quantization of a Hybrid Cross-Attention Network 标签：#音视频理解 #模型压缩 #知识蒸馏 #音频理解 #Transformer 5.8/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.7/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 📝 5.8/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #模型压缩 | #知识蒸馏 #音频理解 | arxiv 👥 作者与机构 第一作者：Parinaz Binandeh Dehaghani (University of Porto, Porto, Portugal) 通讯作者：未说明 作者列表：Parinaz Binandeh Dehaghani (University of Porto, Porto, Portugal)， Danilo Pena (ResoSight, Montreal, Canada)， A. Pedro Aguiar (University of Porto, Porto, Portugal) 💡 毒舌点评 亮点：论文目标明确，针对音视频事件识别（AVER）模型的边缘部署难题，提出了一个结合架构压缩、知识蒸馏和量化的完整工程思路，在AVE数据集上实现了参数减少约59%且精度损失可控的效果，流程清晰，面向实际部署。短板：核心贡献在于对成熟技术的组合应用，缺乏深层次的机制创新；实验验证严重不足，仅在一个规模和复杂度有限的单一数据集上测试，未与任何同期高效AVER方法或压缩技术进行对比，也缺乏关键消融实验，严重削弱了结论的说服力；声称适用于边缘部署，却未提供任何推理延迟、吞吐量或能耗等关键性能指标。 ...

📄 EII-SCL: Harnessing Emotional Inertia for Multimodal Emotion Recognition in Conversation 标签：#语音情感识别 #对比学习 #多模态模型 #音视频理解 #音频理解 5.2/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.9/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 📝 5.2/10 | 后50% | 文档类型：方法研究 | 评分置信度：高 | #语音情感识别 | #对比学习 | #多模态模型 #音视频理解 | arxiv 👥 作者与机构 第一作者：Zilong Huang（香港理工大学电气与电子工程系） 通讯作者：Man-Wai Mak（香港理工大学电气与电子工程系） 作者列表：Zilong Huang（香港理工大学电气与电子工程系）、Kong Aik Lee（香港理工大学电气与电子工程系）、Chong-Xin Gan（香港理工大学电气与电子工程系）、Zezhong Jin（香港理工大学电气与电子工程系）、Ruichen Zuo（香港理工大学电气与电子工程系）、Man-Wai Mak（香港理工大学电气与电子工程系） 💡 毒舌点评 论文将心理学"情感惯性"概念引入对比学习框架，通过区分"硬负样本"来优化对话情感识别，这一洞察有一定新意且实验结果有所提升。但其方法本质上是对现有监督对比学习框架的精巧调参式改进，实验仅在两个数据集上验证，且未开源代码与模型，使其学术贡献的扎实度与可验证性大打折扣。此外，与真正的SOTA方法（如FEMI）的公平对比不足——作者自建的基线模型本身较弱，EII-SCL的提升更像是"低起点上的增量"而非"强基线上的一击制胜"。 ...

📄 Audio-Visual Flamingo: Open Audio-Visual Intelligence for Long and Complex Videos 标签：#音视频理解 #多模态模型 #音视频问答 #数据集 #课程学习 6.0/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.0/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音视频理解 | #多模态模型 | #音视频问答 #数据集 | arxiv 👥 作者与机构 第一作者：Sreyan Ghosh（NVIDIA, USA；University of Maryland, USA） 通讯作者：未说明 作者列表：Sreyan Ghosh（NVIDIA, USA；University of Maryland, USA）、Arushi Goel（NVIDIA, USA；University of Maryland, USA）、Kaousheik Jayakumar（University of Maryland, USA）、Lasha Koroshinadze（University of Maryland, USA）、Nishit Anand（University of Maryland, USA）、Siddharth Gururani（NVIDIA, USA）、Hanrong Ye（NVIDIA, USA）、Pritam Biswas（NVIDIA, USA）、Yuanhang Su（NVIDIA, USA）、Ehsan Hosseini-Asl（NVIDIA, USA）、Sang-gil Lee（NVIDIA, USA）、Zhifeng Kong（NVIDIA, USA）、Jaehyeon Kim（NVIDIA, USA）、Sungwon Kim（NVIDIA, USA）、Karan Sapra（NVIDIA, USA）、S Sakshi（University of Maryland, USA）、Ramani Duraiswami（University of Maryland, USA）、Dinesh Manocha（University of Maryland, USA）、Andrew Tao（NVIDIA, USA）、Mohammad Shoeybi（NVIDIA, USA）、Bryan Catanzaro（NVIDIA, USA）、Ming-Yu Liu（NVIDIA, USA）、Wei Ping（NVIDIA, USA） 💡 毒舌点评 论文在工程和开源上堪称模范生，提供了从数据集、训练代码到模型权重的完整“全家桶”，对音视频理解领域的研究者极具实用价值。然而，其核心创新更接近于一个精心设计的系统集成和工程优化，而非原理性突破，方法的新颖性相对有限。 ...

📄 AV-JEPA: Extending LeJEPA to Audio-Visual Self-Supervised Learning 标签：#多模态模型 #自监督学习 #音视频理解 #音频理解 #Transformer 5.7/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.3/1.5 📝 5.7/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #自监督学习 | #多模态模型 #音频理解 | arxiv 👥 作者与机构 第一作者：Benjamin Robson（未说明） 通讯作者：未说明 作者列表：Benjamin Robson（未说明）、Santeri Mentu（未说明）、Wenshuai Zhao（未说明）、Arno Solin（未说明） 💡 毒舌点评 本文将JEPA理论优雅地扩展到音视频领域，设计极度简洁（无解码器、无EMA教师、无对比损失），并通过详尽的消融实验清晰地验证了模态dropout作为核心机制的有效性，展现了理论指导实践的良好范例。然而，其性能与当前SOTA的MAE基线存在显著差距（VGGSound 57.1% vs. 67.1%，AudioSet 32.7 vs. 53.3 mAP），且完全没有开源，使得其实际贡献和影响力大打折扣。论文更像一个精心设计的“概念验证”，而非能立即推动领域性能前进的竞争性工作。 ...

📄 Constrained Hebbian Learning Supports Efficient Representational Allocation under Structural Constraints 标签：#音视频理解 #多模态模型 #自监督学习 #理论分析 #音频理解 6.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6.7/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #多模态模型 | #自监督学习 #理论分析 | arxiv 👥 作者与机构 第一作者：Patrick Inoue（KEIM Institute, Albstadt-Sigmaringen University, Germany; Department of Computer Science, Chemnitz University of Technology, Germany） 通讯作者：Patrick Inoue（标注 ∗） 作者列表：Patrick Inoue（KEIM Institute, Albstadt-Sigmaringen University, Germany; Department of Computer Science, Chemnitz University of Technology, Germany）、Florian Röhrbein（Department of Computer Science, Chemnitz University of Technology, Germany）、Andreas Knoblauch（KEIM Institute, Albstadt-Sigmaringen University, Germany） 💡 毒舌点评 本文引入了一个受约束的赫布学习框架来探讨神经表征的成本-性能权衡，这在概念上是值得肯定的。然而，其核心实验设置存在一个根本性问题：将预训练的大规模深度学习模型（MAE）提取的固定高维嵌入作为“高阶感官输入”来模拟生物神经系统的早期处理，这种模拟与真实生物系统“边学习边表征”的动态过程存在本质差异。论文将这种设置解释为“剥离低层特征提取的复杂性”，但在批评者看来，这更像是在一个已经被深度学习模型“咀嚼”和“结构化”过的、高度抽象的空间里进行局部学习的演练。其论证的核心——Hebbian规则在固定嵌入上能产生更高效的表征——能否推广到从原始感官流中学习，仍然是一个巨大的问号。此外，评估指标（VIB）本身的假设和局限（如高斯近似）也可能影响结论的普适性。总体而言，文章提供了一个精心设计的对比实验，但其生物合理性和现实意义有待商榷。 ...

📄 SceneBind: Binding What and Where Across Vision, Audio and Language 标签：#多模态模型 #音视频理解 #对比学习 #空间音频 #音频理解 6.6/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 6.6/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #多模态模型 | #对比学习 #空间音频 | arxiv 👥 作者与机构 第一作者：Mingfei Chen (University of Washington) 通讯作者：Eli Shlizerman (University of Washington) 作者列表：Mingfei Chen (University of Washington), Zijun Cui (University of Washington, University of Texas at Dallas), Ruoke Zhang (University of Washington), Hyeonggon Ryu (Hankuk University of Foreign Studies), Eli Shlizerman (University of Washington) 💡 毒舌点评 论文将场景理解从“是什么”推进到“在哪里”，提出了一个完整的语义-空间绑定框架和配套数据集，实验设计扎实，在空间检索任务上优势明显。然而，它本质上是将视觉领域的“对象槽”思想嫁接到音视频场景理解中，创新更多在于问题定义和工程组合；更关键的是，论文对空间音频信号的利用较为浅层（仅简单拼接特征），且核心贡献与音频领域的直接关联性有限，影响力主要惠及多模态和具身智能社区。 ...

📄 AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning 标签：#多模态模型 #音视频理解 #音频字幕生成 #强化学习 #音频理解 9.2/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.5/1.5 🔥 9.2/10 | 前10% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #多模态模型 | #音频字幕生成 #强化学习 | arxiv 👥 作者与机构 第一作者：Yanghai Wang（南京大学 NJU-LINK 团队） 通讯作者：Zhaoxiang Zhang（中国科学院自动化研究所） 作者列表：Yanghai Wang（南京大学 NJU-LINK 团队）、Jiahao Wang（南京大学 NJU-LINK 团队）、Jiafu Tang（南京大学 NJU-LINK 团队）、Yuanxing Zhang（快手 Kling 团队）、Zhe Cao（南京大学 NJU-LINK 团队）、Hanyan Bian（南京大学 NJU-LINK 团队）、Zijie Zhang（南京大学 NJU-LINK 团队）、Weiliang Luo（南京大学 NJU-LINK 团队）、Zhiyu Pan（南京大学 NJU-LINK 团队）、Zixuan Dong（南京大学 NJU-LINK 团队）、Jiaheng Liu（南京大学 NJU-LINK 团队）、Zhaoxiang Zhang（中国科学院自动化研究所） 💡 毒舌点评 论文对全模态视频描述中“模态隔离”和“语音中心偏见”两大顽疾的诊断一针见血，并提出了从数据构造、训练优化到评测基准的完整工程化解决方案，工程落地能力很强，展现了优秀的系统思维。然而，其数据生成管线和评估协议对 Gemini、GPT-5 等闭源强大模型的严重依赖，构成了方法独立性和可复现性的重大隐患。评测基准（1,226个视频）的规模虽经人工标注，但其作为通用标准的权威性仍显不足，且评测过程自身又引入闭源LLM作为裁判，可能形成“AI评估AI”的循环，其结论的客观性和普适性有待更广泛的检验。 ...

📄 Beyond Time Shifts: Adapting Omni-LLM as a Reference-Free Evaluator for Generative Audio-Visual Models 标签：#音视频理解 #强化学习 #音频质量评估 #大语言模型 #音频理解 6.0/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.0/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #强化学习 | #音频质量评估 #大语言模型 | arxiv 👥 作者与机构 第一作者：Yijie Qian（Zhejiang University, Hangzhou, China） 通讯作者：Yong Liu（Zhejiang University, Hangzhou, China）和 Shujun Wang（The Hong Kong Polytechnic University, Hong Kong, China） 作者列表：Yijie Qian（Zhejiang University）、Juncheng Wang（未说明）、Chao Xu（Zhejiang University）、Huihan Wang（Zhejiang University）、Yuxiang Feng（Zhejiang University）、Yang Liu（Zhejiang University）、Baigui Sun（IROOTECH TECHNOLOGY）、Yong Liu（Zhejiang University）、Shujun Wang（The Hong Kong Polytechnic University） 💡 毒舌点评 本文精准地切中了音视频生成评估中的一个核心痛点：传统指标在面对结构性、语义性错误时的失效，并提出了一个从数据集、模型架构到训练范式的系统化解决方案。其核心贡献在于将人类偏好这一主观、相对的判断，通过巧妙的工程设计转化为一个客观、可部署的参考无关评估器，工程完整性和对现有评估范式局限性的批判都相当到位。然而，论文在技术细节的披露上存在明显瑕疵，特别是ℝ-GRPO算法的推导和关键设计动机解释不足，让人怀疑其是精心设计还是过度工程化；同时，评估指标本身（如SyncBench）的泛化性和在更广泛生成任务中的有效性尚未得到充分验证。 ...