音视频理解

📄 \(C^3\)ASD: Multi-Level Consistency-Driven Representation Learning #音视频理解 #对比学习 #知识蒸馏 #鲁棒性 7.5/10 | 创新 1.5/2 | 严谨 1.4/1.5 | 实验 1.4/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.5/10 | 前25% | #音视频理解 | #对比学习 | #知识蒸馏 #鲁棒性 | arxiv 👥 作者与机构 第一作者：Jin Hong (Chung-Ang University, Seoul, Republic of Korea)，与 Jisoo Park 为共同第一作者（*Equal contribution） 通讯作者：未说明（论文未明确标注通讯作者，第三作者 Junseok Kwon 可能为通讯作者，但文中未标注） 作者列表：Jin Hong (Chung-Ang University)、Jisoo Park (Chung-Ang University)、Junseok Kwon (Chung-Ang University) 💡 毒舌点评 亮点在于将一致性正则化系统拆解为嵌入级、序列级、预测级三个互补层次，附录中梯度旋转性质、Fisher判别等价性和MSE梯度有界性分析为方法提供了超出一般应用论文的理论深度。短板同样刺眼：完全无开源代码或模型权重，干净数据上mAP增益仅0.2个百分点，LR-ASD以更少参数（0.84M）取得更高mAP（94.5%），方法的绝对性能并非SOTA；腐败场景下1-2%的绝对提升虽具统计意义但实际价值存疑，且所有腐败均为合成注入，缺乏真实恶劣录制环境验证。 ...

📄 AVI-Bench: Toward Human-like Audio-Visual Intelligence of Omni-MLLMs #音视频理解 #多模态模型 #基准测试 7.6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.6/10 | 前25% | #音视频理解 | #多模态模型 | #基准测试 | arxiv 👥 作者与机构 第一作者：Yaoting Wang（复旦大学大数据学院） 通讯作者：Henghui Ding（复旦大学大数据学院） 作者列表：Yaoting Wang（复旦大学大数据学院）、Ziyi Zhang（华中科技大学）、Wenming Tu（上海交通大学）、Shaoxuan Xu（中国人民大学）、Wenjie Du（南洋理工大学）、Cheng Liang（上海交通大学）、Weijun Wang（清华大学智能产业研究院(AIR)）、Yuanchao Li（爱丁堡大学）、Guangyao Li（清华大学）、Hao Fei（牛津大学）、Yuanchun Li（清华大学智能产业研究院(AIR)）、Henghui Ding（复旦大学大数据学院）、Yunxin Liu（清华大学智能产业研究院(AIR)） 💡 毒舌点评 这篇论文野心勃勃地构建了一个认知启发的音视频智能评测基准，四层分类法试图用精巧的数学公式来量化“类人”智能。然而，这套公式的惩罚系数（α=0.5）选择得相当随意，其理论或实证根据约等于零，更像是为了给一个朴素的直觉套上学术外衣。论文声称追求“类人”智能，却将与人类表现的巨大差距简单归因于模型能力不足，而对基准任务本身可能存在的、未对齐人类能力评估的深层问题避而不谈，这无疑是一种自我实现的预言。 ...

📄 AVTrack: Audio-Visual Tracking in Human-centric Complex Scenes #音视频理解 #多模态模型 9.3/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 9.3/10 | 前10% | #音视频理解 | #多模态模型 | arxiv 👥 作者与机构 第一作者：Yaoting Wang（复旦大学大数据学院、计算机科学技术学院/人工智能学院） 通讯作者：Henghui Ding hhding@fudan.edu.cn（复旦大学大数据学院、计算机科学技术学院/人工智能学院） 作者列表：Yaoting Wang（复旦大学大数据学院、计算机科学技术学院/人工智能学院）、Yun Zhou（同上）、Zipei Zhang（同上）、Henghui Ding（同上） 💡 毒舌点评 AVTrack用一个精心策划的、仅含测试集的基准，漂亮地撕下了现有AVIS方法在真实复杂场景下的“遮羞布”。八个挑战维度覆盖全面，让那些在简单场景中“称王称霸”的模型原形毕露——HOTA不足21，堪称惨烈。然而，论文提出的“救世主”基线AVTracker，本质上是一个靠堆砌VLM和SAM“老本”的模块化流水线。其推理开销大到离谱（每帧18,900 GFLOPs），速度仅为0.21 FPS，且整个基准不提供训练集，让“如何在这套场景上通过训练真正变强”成为一个悬而未决的开放问题。这更像是一个昂贵的“鉴定师”，而非一个实用的“解题者”。 📌 核心摘要 本论文针对现有人中心音频视觉实例分割（AVIS）基准场景简单、缺乏动态挑战的问题，提出了AVTrack数据集，包含871个视频、3120个精细标注的实例轨迹，覆盖视觉遮挡、相机运动变化、多轮说话等八类复杂条件。该数据集定位为纯测试集，旨在提供一个长期稳定的评估平台。 方法上，论文设计了一个基于模块化流水线的基线AVTracker，利用Whisper转写与说话人嵌入进行语块聚合，再配合视觉大模型（VLM）Qwen3-VL和SAM3在局部窗口内建立音视对应，最后通过全局推理模块关联同一说话人的轨迹片段。与以往端到端AVIS方法相比，AVTracker的独特之处在于其训练无关、可插拔的模块化架构，直接用文本语义桥接音频和视觉。在AVTrack上的实验表明，主流VIS方法HOTA<12，最强AVIS方法HOTA<21，而AVTracker达到了29.08 HOTA，领先约8个点。此外，论文还与商业模型Gemini 2.5 Pro进行了零样本对比，其HOTA仅为14.4，进一步证明了AVTrack的挑战性。该基准为评估复杂场景下的人中心音视理解提供了有价值的测试平台；其主要局限是计算代价极高，且纯测试集设计使模型无法利用场景内训练数据进行适配。 主要实验结果如下（表2摘要，数值为百分比）： 方法类型 方法名称 HOTA DetA AssA IDF1 MOTA VIS VITA 9.70 10.54 9.35 12.32 1.91 VIS LBVQ 10.29 11.77 9.36 12.87 1.98 VIS CAVIS 11.46 12.10 10.07 12.95 1.96 AVIS AVISM 20.84 23.22 19.53 26.57 3.95 AVIS ACVIS 20.60 22.59 19.66 26.23 4.23 AVIS AVTrackFormer 21.47 22.51 20.26 26.41 4.11 AVIS AVTracker 29.08 31.18 28.47 34.55 16.20 🔗 开源详情 代码：论文仅提供了项目网站，未提及公开代码仓库。 模型权重：论文未提及提供模型权重。 数据集：论文声明提供数据集下载，但报告中未提及可直接访问的下载链接。根据摘要，项目网站为 https://FudanCVL.github.io/AVTrack/。 Demo：论文中未提及。 复现材料：论文附录F提供了基线AVTracker的实现细节和超参数配置，附录G提供了VLM推理所用的提示，但未提供可直接运行的代码和检查点。 论文中引用的开源项目： SAM (Kirillov et al., 2023) Grounded-SAM (Ren et al., 2024) Mask2Former (Cheng et al., 2022) VITA (Heo et al., 2022) Qwen3-VL (Bai et al., 2025) Whisper (Radford et al., 2023) SpeechBrain / ECAPA-TDNN (Desplanques et al., 2020) MossFormer2 (Zhao et al., 2024) SAM 3 (Carion et al., 2025) 🏗️ 方法概述和架构 AVTracker是一个三阶段、完全基于预训练模型的模块化流水线，不进行任何任务特定训练。其核心思想是利用文本作为音频和视觉之间的语义桥梁，通过"局部音视匹配+全局身份关联"的策略完成追踪。 ...

📄 CoLA: Cross-Modal Low-rank Adaptation for Multimodal Downstream Tasks #音视频理解 #参数高效微调 #LoRA #多模态模型 8.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.7/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1/1.5 🔥 8.3/10 | 前25% | #音视频理解 | #参数高效微调 | #LoRA #多模态模型 | arxiv 👥 作者与机构 第一作者：Wish Suharitdamrong（Surrey Institute for People-Centred AI, University of Surrey; Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey） 通讯作者：Wish Suharitdamrong（ws00372@surrey.ac.uk） 作者列表：Wish Suharitdamrong（Surrey Institute for People-Centred AI, University of Surrey; CVSSP, University of Surrey）、Tony Alex（Surrey Institute for People-Centred AI, University of Surrey; CVSSP, University of Surrey）、Muhammad Awais（Surrey Institute for People-Centred AI, University of Surrey; CVSSP, University of Surrey）、Sara Atito（Surrey Institute for People-Centred AI, University of Surrey; CVSSP, University of Surrey） 💡 毒舌点评 CoLA 将 LoRA 的低秩分解巧妙扩展为双路径结构，为双编码器多模态适配提供了一条简洁的跨模态融合范式；视觉‑语言与音频‑视觉两组任务上的实验也较为扎实，并首次实现了基于 PEFT 的多任务视觉定位。然而，该方法本质上仍是对 LoRA 的线性外推，理论分析仅停留在秩和线性跨度层面，未能给出更深的表征交互机制；且跨模态路径在推理时不可合并带来的开销，在资源敏感场景中会成为硬伤。此外，损失函数完全缺失，复现存在实质性缺口。 ...

📄 EchoingPixels: Aliasing-Resistant Joint Token Reduction for Audio-Visual LLMs #音视频理解 #模型压缩 #多模态模型 6.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 0/1.5 | 清晰 0.9/1 | 影响 0.5/1.5 | 开源 0.5/1.5 | 复现 0.4/0.5 | 工程 1.3/1.5 ✅ 6.3/10 | 前50% | #音视频理解 | #模型压缩 | #多模态模型 | arxiv 👥 作者与机构 第一作者：Chao Gong（复旦大学，蚂蚁集团） 通讯作者：Huijia Zhu（蚂蚁集团），Jingjing Chen（复旦大学） 作者列表：Chao Gong（复旦大学，蚂蚁集团）、Depeng Wang（蚂蚁集团）、Zhipeng Wei（UC Berkeley）、Ya Guo（蚂蚁集团）、Huijia Zhu（蚂蚁集团）、Jingjing Chen（复旦大学） 💡 毒舌点评 论文敏锐地捕捉到稀疏采样下位置编码的频谱混叠这一被忽视的理论瓶颈，并用 Nyquist 视角给出了优雅的 Sync-RoPE 解决方案，实验上也做到了近乎无损的极致压缩。但方法对 RoPE 结构的依赖过强，本质上是对一个特定位置编码的后处理补丁，而非通用的时序建模理论。CS2 模块带来的固定开销在极短序列场景下是高射炮打蚊子，虽然作者在 rebuttal 中补充了效率分析，但跨架构泛化性仍是一道硬伤。 ...

📄 Efficient Distributed MLLM Training with Cornstarch #音视频理解 #多模态模型 #预训练 7/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.7/1 | 影响 0.5/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 7/10 | 前50% | #音视频理解 | #多模态模型 | #预训练 | arxiv 👥 作者与机构 第一作者：Insu Jang（University of Michigan） 通讯作者：Insu Jang（University of Michigan） 作者列表：Insu Jang（University of Michigan）、Runyu Lu（University of Michigan）、Nikhil Bansal（University of Michigan）、Ang Chen（University of Michigan）、Mosharaf Chowdhury（University of Michigan） 💡 毒舌点评 Cornstarch 巧妙地将冻结参数对反向传播的影响量化到流水线划分中，并将负载均衡的粒度从跨 GPU 深入到 GPU 内部计算单元，工程实现扎实。但仅有一种 GPU 型号和合成数据的评测令人对其真实泛化性存疑；且论文聚焦通用多模态系统优化，对音频/语音领域特有挑战着墨甚少，相关工作（如 DistMM、Optimus）的对比也完全缺失，使得该工作在垂直领域的直接参考价值大打折扣。 ...

📄 Group Cognition Learning: Making Everything Better Through Controlled Two-Stage Agents Collaboration #音视频理解 #多模态模型 7.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 7.3/10 | 前50% | #音视频理解 | #多模态模型 | arxiv 👥 作者与机构 第一作者：Chunlei Meng（复旦大学智能机器人研究院与先进制造技术学院） 通讯作者：Chun Ouyang（复旦大学智能机器人研究院与先进制造技术学院） 作者列表：Chunlei Meng（复旦大学）、Pengbin Feng（南加州大学）、Rong Fu（澳门大学）、Hoi Leong Lee（玻璃市马来西亚大学）、Xiaojing Du（阿德莱德大学）、Zhaolu Kang（北京大学）、Zeyu Zhang（澳大利亚国立大学）、Weilin Zhou（新疆大学）、Chun Ouyang（复旦大学）、Zhongxue Gan（复旦大学） 💡 毒舌点评 本文用“治理化协作”这一概念为多模态融合引入了清晰的控制流，选择性交互和共识形成两个阶段的设计相当完整，消融实验也很扎实。但整篇像是多个精巧loss拼凑成的代理系统，四类代理各司其职却也让方法过于臃肿，超参数敏感性实验只覆盖了少数关键项，且没有公开代码，复现难度较高。 📌 核心摘要 要解决的问题：多模态学习中常见的模态支配（梯度集中于最强模态）和伪模态耦合（过拟合偶然共现），导致模型脆弱且可解释性差。 方法核心：提出“群体认知学习 (GCL)”，用两阶段治理化协议取代隐式融合。阶段一（选择性交互）由路由代理提议有向交互路径，审计代理基于边际预测增益动态控制信息传递；阶段二（共识形成）由公共因子代理提取共享语义，聚合代理依据贡献感知的权重形成最终预测。 与已有方法的区别：不同于简单加权融合、事后解耦或基于梯度的优化干预，GCL 首次将交互过程显式地建模为可审计、可门控的代理系统协议，在样本级别根据预测增益直接决定是否进行跨模态通信，并显式惩罚冗余耦合。 主要实验结果：在 CMU-MOSI (MAE 0.685, Acc-7 49.06), CMU-MOSEI (MAE 0.520, Acc-7 55.36) 和 MIntRec (Acc 72.74) 上达到 SOTA，消融表明去掉选择性交互或共识模块都导致性能显著下降，在噪声和置换压力测试及跨任务/跨模态组合泛化实验中鲁棒性明显优于基线。 实际意义：为多模态情感分析和意图识别提供了一种可解释、抗噪声的融合范式，有望迁移到其他需要审计交叉模态贡献的领域（如健康监测、法庭证据合成）。 主要局限性：代理结构复杂、超参数较多，训练需要额外的教师增益信号，且论文未公开代码，工业落地前需更多验证。同时，所有实验基于预提取特征，缺少端到端训练验证。 🔗 开源详情 代码：论文中未提及代码链接 模型权重：论文中未提及 数据集：论文使用了 CMU-MOSI、CMU-MOSEI、MIntRec、CREMA-D、UCF101、AVE、Food101 等公开数据集，但未提供直接下载链接 Demo：论文中未提及 复现材料：论文中给出了部分实验环境与超参数（PyTorch、Adam、batch size 128、weight decay \(1\times 10^{-4}\)、A100 32GB、早停 patience 6），含附录 A/B，但未提供代码、检查点或配置文件 论文中引用的开源项目：未提及（论文仅以参考文献形式引用各方方法，未给出代码仓库或项目链接） 🏗️ 方法概述和架构 GCL 是一个两阶段治理化多模态学习框架。输入为三种模态的语言 (l)、声学 (a)、视觉 (v) 经过模态特定编码器得到的独立特征，输出为最终预测。整个流程由四个功能显式定义、协同工作的代理执行，不依赖隐式融合。 ...

📄 OmniFit: Bridging Modalities via Layer-Adaptive Token Compression for Omnimodal Large Language Models #音视频理解 #模型压缩 #多模态模型 #高效推理 6.3/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.7/1.5 | 开源 0.1/1.5 | 复现 0.1/0.5 | 工程 1.1/1.5 ✅ 6.3/10 | 前50% | #音视频理解 | #模型压缩 | #多模态模型 #高效推理 | arxiv 👥 作者与机构 第一作者：Zining Wang（北京航空航天大学计算机科学与工程学院，复杂与关键软件环境国家重点实验室） 通讯作者：Xianglong Liu（北京航空航天大学计算机科学与工程学院，复杂与关键软件环境国家重点实验室） 其他作者：Zhihang Yuan（北京大学）、Yingjie Zhai（华为技术有限公司）、Wenshuo Li（华为技术有限公司）、Han Shu（华为技术有限公司）、Ruihao Gong（复杂与关键软件环境国家重点实验室）、Jinyang Guo（北京航空航天大学计算机科学与工程学院/人工智能学院，复杂与关键软件环境国家重点实验室） 💡 毒舌点评 这篇论文的动机分析（层间异质性和跨模态锚点驱动）是一次漂亮的现象学观察，作者花了大力气证明“为什么”需要层自适应和跨模态对齐。但坦白说，方法论上更像一个“证件照”：SVD、DPC-KNN、余弦相似度这套组合拳看起来体面，深究下去却没有真正的新算法原理。核心卖点“training-free”既是铠甲也是软肋——轻量化部署确实友好，但也意味着它永远只能做“事后诸葛亮”，无法改变模型自身对冗余信息的处理逻辑。实验覆盖面广是优点，但依然缺少对深层why的拷问：为什么基于静态编码器输出的余弦相似度，能成为深层复杂语义交互的良好代理？这篇工作给了一个“够用”的解释，但离“令人信服”还有距离。 ...

📄 PRIM：Cooperative Dynamic Token Compression for Efficient Large Multimodal Models #多模态模型 #音视频理解 3.6/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0/1.5 | 开源 0/1.5 | 复现 0/0.5 | 工程 0/1.5 📝 3.6/10 | 后50% | #音视频理解 | #多模态模型 | arxiv 👥 作者与机构 第一作者：Song Li（北京邮电大学 网络与交换技术国家重点实验室） 通讯作者：Yongping Xiong（北京邮电大学 网络与交换技术国家重点实验室） 其他作者：无。论文仅列出两位作者。 💡 毒舌点评 本文基于对多模态大模型中注意力的观察，构建了一套无训练的推理阶段令牌压缩流水线。这种“观察-设计-验证”的套路本身并无新意，且每个模块（早期融合、注意力剪枝、频域压缩）均是现有技术的直接借用或微调。更致命的是，论文声称“高效推理”，却完全没有提供任何代码、模型权重或复现配置，这使得所有所谓的效率提升、记忆开销减少和延迟降低都成了无法核实的“纸上谈兵”。在开源已成为顶级会议标配的今天，这种做法严重削弱了论文的可信度和影响力，对于注重实践和复现的语音/音频社区而言，这更是一篇参考价值几乎为零的工作。 📌 核心摘要 这篇论文旨在解决大型多模态模型（LMMs）在推理长音视频内容时，因输入令牌数量巨大而导致的计算和内存开销过高的问题。文章通过对LLM内部注意力分布的分析，做出了两个核心观察：（1）跨模态交互主要集中在LLM的浅层，深层则趋于稀疏和抽象；（2）在所有层中，音频令牌获得的注意力权重始终高于视频令牌，表明音频包含更密集的语义信息，而视频则存在大量冗余。基于这些观察，作者提出了PRIM，一个无需额外训练、即插即用的推理阶段协同压缩框架。该框架包含四个主要模块：多模态交叉融合（MCF）将文本-音视频的早期交互外移至LLM之前；注意力引导的选择（AGS）利用音频显著性动态控制各时间窗口的视频令牌压缩比率；频率感知压缩（FAC）利用2D-DCT保留低频能量分量以压缩视频令牌；任务自适应剪枝（TAA）则根据指令复杂度在LLM内部动态分配令牌预算。实验在Qwen2.5-Omni、LLaVA-OneVision、LLaVA-Video等模型和多个音视频基准（如MVBench、VideoMME、AVUT）上展开，结果表明PRIM在显著降低FLOPs（低至28%）和推理延迟的同时，能保持与全量模型接近甚至更优的准确率。其声称的实际意义在于为多模态模型的部署提供了一种低成本方案。 核心实验数据（基于Qwen2.5-Omni-7B）如下所示： 方法 保留率 FLOPs比 MVBench MLVU LongVideoBench VideoMME Overall 平均分 Qwen2.5-Omni-7B (全量) 100% 100% 59.0 58.5 67.3 60.7 61.4 PRIM (Ours) 65% 54% 58.8 58.3 67.1 60.3 61.1 PRIM (Ours) 50% 41% 57.6 58.4 65.9 59.6 60.4 PRIM (Ours) 35% 28% 54.3 53.2 62.9 56.2 56.7 主要局限包括：方法强依赖于固定时间窗口划分，无法直接处理流式输入；所有评估均基于离线长视频理解基准，缺乏对纯音频任务（如ASR、音频事件检测）的验证，在多任务/多场景下如何自动、泛化地分配压缩比率仍未解决；完全没有提供开源代码或模型，复现和实际应用价值存疑。 ...

📄 Probing Cross-modal Information Hubs in Audio-Visual LLMs #音视频理解 #可解释性 #多模态模型 7.2/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 7.2/10 | 前50% | #音视频理解 | #多模态模型 | #可解释性 | arxiv 👥 作者与机构 第一作者：Jihoo Jung（KAIST 电气工程系） 通讯作者：Joon Son Chung（KAIST 电气工程系） 作者列表：Jihoo Jung（KAIST 电气工程系）、Chaeyoung Jung（KAIST 电气工程系）、Ji-Hoon Kim（中央大学 先进影像科学研究生院）、Joon Son Chung（KAIST 电气工程系） 💡 毒舌点评 论文提出了一个有趣的反直觉发现：在音视频大模型中，承载跨模态融合信息的并非承载物体语义的"对象token"，而是一类被视为信息盲区的"attention sink token"。这个发现本身对多模态LLM的机制理解有一定价值。但是，作者基于此洞察提出的ASD方法虽然训练免费，却带来了高达3.7倍的推理延迟，这对于一个"即插即用"的工程方案而言，实用价值大打折扣。更致命的是，所有实验仅局限于captioning任务，对更广泛的QA、推理等场景的适用性存疑。此外，AVLLM的可解释性领域整体体量尚小，该工作的实际影响力还有待时间检验。总体来看，洞察有趣但应用路径尚有距离，是一篇典型的"机制分析强但下游应用弱"的论文。 ...