音视频理解

📄 Efficient Audio-Visual Event Recognition via Knowledge Distillation and Dynamic INT8 Quantization of a Hybrid Cross-Attention Network 标签：#音视频理解 #模型压缩 #知识蒸馏 #音频理解 #Transformer 5.8/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.7/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 📝 5.8/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #模型压缩 | #知识蒸馏 #音频理解 | arxiv 👥 作者与机构 第一作者：Parinaz Binandeh Dehaghani (University of Porto, Porto, Portugal) 通讯作者：未说明 作者列表：Parinaz Binandeh Dehaghani (University of Porto, Porto, Portugal)， Danilo Pena (ResoSight, Montreal, Canada)， A. Pedro Aguiar (University of Porto, Porto, Portugal) 💡 毒舌点评 亮点：论文目标明确，针对音视频事件识别（AVER）模型的边缘部署难题，提出了一个结合架构压缩、知识蒸馏和量化的完整工程思路，在AVE数据集上实现了参数减少约59%且精度损失可控的效果，流程清晰，面向实际部署。短板：核心贡献在于对成熟技术的组合应用，缺乏深层次的机制创新；实验验证严重不足，仅在一个规模和复杂度有限的单一数据集上测试，未与任何同期高效AVER方法或压缩技术进行对比，也缺乏关键消融实验，严重削弱了结论的说服力；声称适用于边缘部署，却未提供任何推理延迟、吞吐量或能耗等关键性能指标。 ...

📄 EII-SCL: Harnessing Emotional Inertia for Multimodal Emotion Recognition in Conversation 标签：#语音情感识别 #对比学习 #多模态模型 #音视频理解 #音频理解 5.2/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.9/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 📝 5.2/10 | 后50% | 文档类型：方法研究 | 评分置信度：高 | #语音情感识别 | #对比学习 | #多模态模型 #音视频理解 | arxiv 👥 作者与机构 第一作者：Zilong Huang（香港理工大学电气与电子工程系） 通讯作者：Man-Wai Mak（香港理工大学电气与电子工程系） 作者列表：Zilong Huang（香港理工大学电气与电子工程系）、Kong Aik Lee（香港理工大学电气与电子工程系）、Chong-Xin Gan（香港理工大学电气与电子工程系）、Zezhong Jin（香港理工大学电气与电子工程系）、Ruichen Zuo（香港理工大学电气与电子工程系）、Man-Wai Mak（香港理工大学电气与电子工程系） 💡 毒舌点评 论文将心理学"情感惯性"概念引入对比学习框架，通过区分"硬负样本"来优化对话情感识别，这一洞察有一定新意且实验结果有所提升。但其方法本质上是对现有监督对比学习框架的精巧调参式改进，实验仅在两个数据集上验证，且未开源代码与模型，使其学术贡献的扎实度与可验证性大打折扣。此外，与真正的SOTA方法（如FEMI）的公平对比不足——作者自建的基线模型本身较弱，EII-SCL的提升更像是"低起点上的增量"而非"强基线上的一击制胜"。 ...

📄 Audio-Visual Flamingo: Open Audio-Visual Intelligence for Long and Complex Videos 标签：#音视频理解 #多模态模型 #音视频问答 #数据集 #课程学习 6.0/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.0/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音视频理解 | #多模态模型 | #音视频问答 #数据集 | arxiv 👥 作者与机构 第一作者：Sreyan Ghosh（NVIDIA, USA；University of Maryland, USA） 通讯作者：未说明 作者列表：Sreyan Ghosh（NVIDIA, USA；University of Maryland, USA）、Arushi Goel（NVIDIA, USA；University of Maryland, USA）、Kaousheik Jayakumar（University of Maryland, USA）、Lasha Koroshinadze（University of Maryland, USA）、Nishit Anand（University of Maryland, USA）、Siddharth Gururani（NVIDIA, USA）、Hanrong Ye（NVIDIA, USA）、Pritam Biswas（NVIDIA, USA）、Yuanhang Su（NVIDIA, USA）、Ehsan Hosseini-Asl（NVIDIA, USA）、Sang-gil Lee（NVIDIA, USA）、Zhifeng Kong（NVIDIA, USA）、Jaehyeon Kim（NVIDIA, USA）、Sungwon Kim（NVIDIA, USA）、Karan Sapra（NVIDIA, USA）、S Sakshi（University of Maryland, USA）、Ramani Duraiswami（University of Maryland, USA）、Dinesh Manocha（University of Maryland, USA）、Andrew Tao（NVIDIA, USA）、Mohammad Shoeybi（NVIDIA, USA）、Bryan Catanzaro（NVIDIA, USA）、Ming-Yu Liu（NVIDIA, USA）、Wei Ping（NVIDIA, USA） 💡 毒舌点评 论文在工程和开源上堪称模范生，提供了从数据集、训练代码到模型权重的完整“全家桶”，对音视频理解领域的研究者极具实用价值。然而，其核心创新更接近于一个精心设计的系统集成和工程优化，而非原理性突破，方法的新颖性相对有限。 ...

📄 AV-JEPA: Extending LeJEPA to Audio-Visual Self-Supervised Learning 标签：#多模态模型 #自监督学习 #音视频理解 #音频理解 #Transformer 5.7/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.3/1.5 📝 5.7/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #自监督学习 | #多模态模型 #音频理解 | arxiv 👥 作者与机构 第一作者：Benjamin Robson（未说明） 通讯作者：未说明 作者列表：Benjamin Robson（未说明）、Santeri Mentu（未说明）、Wenshuai Zhao（未说明）、Arno Solin（未说明） 💡 毒舌点评 本文将JEPA理论优雅地扩展到音视频领域，设计极度简洁（无解码器、无EMA教师、无对比损失），并通过详尽的消融实验清晰地验证了模态dropout作为核心机制的有效性，展现了理论指导实践的良好范例。然而，其性能与当前SOTA的MAE基线存在显著差距（VGGSound 57.1% vs. 67.1%，AudioSet 32.7 vs. 53.3 mAP），且完全没有开源，使得其实际贡献和影响力大打折扣。论文更像一个精心设计的“概念验证”，而非能立即推动领域性能前进的竞争性工作。 ...

📄 Constrained Hebbian Learning Supports Efficient Representational Allocation under Structural Constraints 标签：#音视频理解 #多模态模型 #自监督学习 #理论分析 #音频理解 6.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6.7/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #多模态模型 | #自监督学习 #理论分析 | arxiv 👥 作者与机构 第一作者：Patrick Inoue（KEIM Institute, Albstadt-Sigmaringen University, Germany; Department of Computer Science, Chemnitz University of Technology, Germany） 通讯作者：Patrick Inoue（标注 ∗） 作者列表：Patrick Inoue（KEIM Institute, Albstadt-Sigmaringen University, Germany; Department of Computer Science, Chemnitz University of Technology, Germany）、Florian Röhrbein（Department of Computer Science, Chemnitz University of Technology, Germany）、Andreas Knoblauch（KEIM Institute, Albstadt-Sigmaringen University, Germany） 💡 毒舌点评 本文引入了一个受约束的赫布学习框架来探讨神经表征的成本-性能权衡，这在概念上是值得肯定的。然而，其核心实验设置存在一个根本性问题：将预训练的大规模深度学习模型（MAE）提取的固定高维嵌入作为“高阶感官输入”来模拟生物神经系统的早期处理，这种模拟与真实生物系统“边学习边表征”的动态过程存在本质差异。论文将这种设置解释为“剥离低层特征提取的复杂性”，但在批评者看来，这更像是在一个已经被深度学习模型“咀嚼”和“结构化”过的、高度抽象的空间里进行局部学习的演练。其论证的核心——Hebbian规则在固定嵌入上能产生更高效的表征——能否推广到从原始感官流中学习，仍然是一个巨大的问号。此外，评估指标（VIB）本身的假设和局限（如高斯近似）也可能影响结论的普适性。总体而言，文章提供了一个精心设计的对比实验，但其生物合理性和现实意义有待商榷。 ...

📄 SceneBind: Binding What and Where Across Vision, Audio and Language 标签：#多模态模型 #音视频理解 #对比学习 #空间音频 #音频理解 6.6/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 6.6/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #多模态模型 | #对比学习 #空间音频 | arxiv 👥 作者与机构 第一作者：Mingfei Chen (University of Washington) 通讯作者：Eli Shlizerman (University of Washington) 作者列表：Mingfei Chen (University of Washington), Zijun Cui (University of Washington, University of Texas at Dallas), Ruoke Zhang (University of Washington), Hyeonggon Ryu (Hankuk University of Foreign Studies), Eli Shlizerman (University of Washington) 💡 毒舌点评 论文将场景理解从“是什么”推进到“在哪里”，提出了一个完整的语义-空间绑定框架和配套数据集，实验设计扎实，在空间检索任务上优势明显。然而，它本质上是将视觉领域的“对象槽”思想嫁接到音视频场景理解中，创新更多在于问题定义和工程组合；更关键的是，论文对空间音频信号的利用较为浅层（仅简单拼接特征），且核心贡献与音频领域的直接关联性有限，影响力主要惠及多模态和具身智能社区。 ...

📄 AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning 标签：#多模态模型 #音视频理解 #音频字幕生成 #强化学习 #音频理解 9.2/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.5/1.5 🔥 9.2/10 | 前10% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #多模态模型 | #音频字幕生成 #强化学习 | arxiv 👥 作者与机构 第一作者：Yanghai Wang（南京大学 NJU-LINK 团队） 通讯作者：Zhaoxiang Zhang（中国科学院自动化研究所） 作者列表：Yanghai Wang（南京大学 NJU-LINK 团队）、Jiahao Wang（南京大学 NJU-LINK 团队）、Jiafu Tang（南京大学 NJU-LINK 团队）、Yuanxing Zhang（快手 Kling 团队）、Zhe Cao（南京大学 NJU-LINK 团队）、Hanyan Bian（南京大学 NJU-LINK 团队）、Zijie Zhang（南京大学 NJU-LINK 团队）、Weiliang Luo（南京大学 NJU-LINK 团队）、Zhiyu Pan（南京大学 NJU-LINK 团队）、Zixuan Dong（南京大学 NJU-LINK 团队）、Jiaheng Liu（南京大学 NJU-LINK 团队）、Zhaoxiang Zhang（中国科学院自动化研究所） 💡 毒舌点评 论文对全模态视频描述中“模态隔离”和“语音中心偏见”两大顽疾的诊断一针见血，并提出了从数据构造、训练优化到评测基准的完整工程化解决方案，工程落地能力很强，展现了优秀的系统思维。然而，其数据生成管线和评估协议对 Gemini、GPT-5 等闭源强大模型的严重依赖，构成了方法独立性和可复现性的重大隐患。评测基准（1,226个视频）的规模虽经人工标注，但其作为通用标准的权威性仍显不足，且评测过程自身又引入闭源LLM作为裁判，可能形成“AI评估AI”的循环，其结论的客观性和普适性有待更广泛的检验。 ...

📄 Beyond Time Shifts: Adapting Omni-LLM as a Reference-Free Evaluator for Generative Audio-Visual Models 标签：#音视频理解 #强化学习 #音频质量评估 #大语言模型 #音频理解 6.0/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.0/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #强化学习 | #音频质量评估 #大语言模型 | arxiv 👥 作者与机构 第一作者：Yijie Qian（Zhejiang University, Hangzhou, China） 通讯作者：Yong Liu（Zhejiang University, Hangzhou, China）和 Shujun Wang（The Hong Kong Polytechnic University, Hong Kong, China） 作者列表：Yijie Qian（Zhejiang University）、Juncheng Wang（未说明）、Chao Xu（Zhejiang University）、Huihan Wang（Zhejiang University）、Yuxiang Feng（Zhejiang University）、Yang Liu（Zhejiang University）、Baigui Sun（IROOTECH TECHNOLOGY）、Yong Liu（Zhejiang University）、Shujun Wang（The Hong Kong Polytechnic University） 💡 毒舌点评 本文精准地切中了音视频生成评估中的一个核心痛点：传统指标在面对结构性、语义性错误时的失效，并提出了一个从数据集、模型架构到训练范式的系统化解决方案。其核心贡献在于将人类偏好这一主观、相对的判断，通过巧妙的工程设计转化为一个客观、可部署的参考无关评估器，工程完整性和对现有评估范式局限性的批判都相当到位。然而，论文在技术细节的披露上存在明显瑕疵，特别是ℝ-GRPO算法的推导和关键设计动机解释不足，让人怀疑其是精心设计还是过度工程化；同时，评估指标本身（如SyncBench）的泛化性和在更广泛生成任务中的有效性尚未得到充分验证。 ...

📄 SVF-CR: Synchronized Visual-Facial Cross-Refinement for Multimodal Ambivalence and Hesitancy Recognition 标签：#音视频理解 #多模态模型 #音频理解 #Transformer #模型评估 6.4/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.3/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.4/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #多模态模型 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者：Hyein Park（康阳大学（Konyang University）AI软件融合系） 通讯作者：Junhwa Kim（康阳大学（Konyang University）AI软件融合系） 作者列表：Hyein Park（康阳大学AI软件融合系）、Namho Kim（韩国广播公司（KBS））、Junhwa Kim（康阳大学AI软件融合系） 💡 毒舌点评 论文针对“矛盾心理与犹豫识别”这一小众但有趣的任务，提出了一套精心设计的视觉-面部跨模态交互框架，模块拆解和消融实验做得相当详尽，这一点值得肯定。然而，其核心创新点（双向跨注意力、一致性/差异性证据构建）本质上是将CV和多模态领域已有的成熟技术（如跨模态注意力、元素级操作）进行组合并应用于一个特定场景，新意有限；且所有实验仅限于单一、小型数据集，严重制约了结论的普适性和影响力。 ...

📄 Uncovering Latent Depression Severity for Binary Depression Detection via Advantage-weighting Ranking #音视频理解 #对比学习 #医疗音频 #多模态模型 7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 0.5/1.5 ✅ 7/10 | 前50% | #音视频理解 | #对比学习 | #医疗音频 #多模态模型 | arxiv 👥 作者与机构 第一作者：Manning Gao（华南师范大学） 通讯作者：未明确标注（推测为 Sijie Mai，华南师范大学，根据常见通讯作者惯例） 作者列表：Manning Gao（华南师范大学）、Tingyi Liu（华南师范大学）、Leheng Zhang（华南师范大学）、Haifeng Hu（中山大学）、Yuncheng Jiang（华南师范大学）、Sijie Mai（华南师范大学） 💡 毒舌点评 该工作抓住了二元抑郁检测中粗粒度标签丢失连续严重度信息的痛点，将排序学习引入基于音视频的自动抑郁检测，idea 有洞察力。BAR Loss 通过动态优势加权聚焦难样本，实验设计也较为扎实。但核心方法始终在成对损失框架内修修补补，学理深度有限，且作者完全不提供代码、模型或数据集链接，在严重依赖开源和快速复现的顶会语境下，这种封闭姿态会极大削弱社区信任与实际影响力。 ...