音视频理解

📄 On computational approaches to Pop music culture 标签：#音乐理解 #音视频理解 #音乐文本检索 #模型评估 6.1/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.7/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.9/1.5 ✅ 6.1/10 | 前50% | 文档类型：综述 | 评分置信度：高 | #音乐理解 | #模型评估 | #音视频理解 #音乐文本检索 | arxiv 👥 作者与机构 作者：A. Flexer（奥地利约翰·开普勒大学等）。 💡 毒舌点评 本文最重要的提醒是：只听音频会把 Pop 文化削成波形特征，封面、歌词、音乐视频和传播语境同样是证据。它对“distant reading”迁移到音乐的解释很有启发，但综述提出的多模态愿景仍受数据偏斜、授权和文化语义不可比的现实约束，工程上远比做一个跨模态 embedding 困难。落到证据层面：综述依赖公开英语资源，非英语地区与小众文化的代表性不足；不同语料的版权、采样机制与元数据质量差异会实质影响结论；三个未来方向既缺统一数据标准也没有可复现基线，多模态因果解释更是明确需要文化研究者参与而非自动模型单打独斗。 📌 核心摘要 本文主张 Pop music culture 应被作为音频、视觉、文本和社会文化关系的多模态现象研究，而不是只做音频分析。作者回顾 distant reading、distant listening、distant viewing、歌词 NLP、封面图像、音乐视频和大规模 MIR 语料的工作，指出真正融合多模态的研究仍少，语料采样往往造成外部效度问题。文章提出三个研究方向：绘制歌词主题宇宙、建立专辑封面图像志、追踪音乐时间线中的 retro cycles。 ...

📄 CLARA: Clip-Level Multimodal Alignment with VLM-Derived Rationales for Hateful Video Detection 标签：#音视频理解 #多模态模型 #对比学习 #Transformer #内容审核 7.2/10 | 创新 1.4/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.2/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #多模态模型 | #对比学习 #Transformer | arxiv 👥 作者与机构 第一作者：Yuchen Zhang（Institute for Analytics and Data Science, University of Essex） 通讯作者：未明确标注 作者列表： Yuchen Zhang（Institute for Analytics and Data Science, University of Essex） Shuang Dai（Department of Engineering, University of Exeter） Zeyu Fu（Department of Computer Science, University of Exeter） Yunfei Long（School of Electronic Engineering and Computer Science, Queen Mary University of London） Ravi Shekhar（Institute for Analytics and Data Science, University of Essex） Haralambos Mouratidis（Institute for Analytics and Data Science, University of Essex） 💡 毒舌点评 这篇论文把“utterance-aligned clip 多模态对齐 + MoE 动态融合 + local-global 对比学习 + VLM rationale + gated Transformer”组合得比较完整，并且在 HateMM、MHC_CN、MHC_EN、DeHate 四个评测设置上稳定超过 MM-HSD、HVGuard、MoRE 等强基线，工程完成度和实验覆盖度不低。但方法层面的核心增量更像是对现有 MoE、对比学习、clip 级分割和 VLM reasoning 的重新打包，缺乏本质上新的建模机制或理论 insight。更直接地说，rationale 中显式包含 VLM 对 hate/non-hate 的最终判断，存在模型直接利用 Qwen3VL 的预测信号而非真正学会跨模态仇恨理解的嫌疑；论文并未对 rationale 字段做拆解消融来排除这一点。作为音视频理解论文，其音频表征本身并非创新来源，音频只是多模态通道之一，语音领域的核心贡献有限。 ...

📄 Multi-Granularity Sentiment Integration for LLM-Based Multimodal Sentiment Analysis 标签：#音视频理解 #Adapter #大语言模型 #多模态模型 6.5/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.9/1.5 ✅ 6.5/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音视频理解 | #Adapter | #大语言模型 #多模态模型 | arxiv 👥 作者与机构 第一作者：Shanshan Lin（Fuzhou University, Fuzhou, China） 通讯作者：Xiangwen Liao（Fuzhou University, Fuzhou, China） 作者列表：Shanshan Lin（Fuzhou University）、Yuesheng Wu（Fuzhou University）、Chao Chen（Harbin Institute of Technology, Shenzhen）、Yizhe Yang（Fuzhou University）、Zhihao Chen（Jiangxia University, Fuzhou）、Zexian Yang（Fuzhou University）、Xiangwen Liao（Fuzhou University） 💡 毒舌点评 本文把“非文本模态在进入 LLM 前如何组织时序结构”作为核心问题，并用多粒度编码加伪 token 压缩做文章，这一点比单纯换 adapter 更有思考。但实验对比没有纳入 DEVA、MFON 等直接 LLM-based 竞品的受控复现，且 MOSEI 上 Acc-2/F1 仍明显弱于 UniMSE；正文用“remains competitive with strong multimodal methods”概括略高估，更适合限定为“在 frozen-LLM 设定下相对 MSE-Adapter 的竞争优势”。 ...

📄 Sensor-Driven Mission Synthesis for UAV/UGV Swarms: A TB-CSPN Coordination Architecture with Hardware-Enforced Safety 标签：#音视频理解 #多模态模型 #模型评估 4.4/10 | 创新 1.2/2 | 严谨 0.8/1.5 | 实验 0.5/1.5 | 清晰 0.7/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 0.8/1.5 📝 4.4/10 | 后50% | 文档类型：系统技术报告 | 评分置信度：高 | #音视频理解 | #多模态模型 | #模型评估 | arxiv 👥 作者与机构 第一作者：Uwe M. Borghoff（University of the Bundeswehr Munich, Institute for Software Technology, 85579 Neubiberg, Germany） 通讯作者：Uwe M. Borghoff（University of the Bundeswehr Munich, Institute for Software Technology, 85579 Neubiberg, Germany） 作者列表： Uwe M. Borghoff（University of the Bundeswehr Munich, Institute for Software Technology, 85579 Neubiberg, Germany） Paolo Bottoni（Sapienza University of Rome, Department of Computer Science, 00161 Rome, Italy） Remo Pareschi（SofTware And Knowledge Engineering Lab, STAKE lab, 86100 Campobasso, Italy） 💡 毒舌点评 这篇论文的架构分层思想——语义解释、协调、执行分离，外加独立模拟安全层作为硬性防线——在抵御传感器欺骗和软件失陷方面确有洞察，尤其是“不可逆性随决策层级下移递减”的论证有一定启发性。然而，整篇文章更像一份经过精心包装的蓝图加上一个定性的案例叙事：没有一张真实数据表、没有一条基准对比、没有一个可运行的端到端系统或硬件在环验证，连TB-CSPN的所谓“sub-linear协调开销”也只停留在对旧工作的复述上。读者得到的是一堆token结构、一串协议名称和一个永远不会出错的反事实推演，而看不到系统在真实噪声、延迟和攻击下是否真的不会崩坏。 ...

📄 AI-Guided Learning: Research on Knowledge and Skill Acquisition Support Methods Using Deep Learning Audio-Video Processing Techniques ℹ️ 本文基于论文全文节选生成，超出分析上下文上限的内容未纳入。 标签：#音视频理解 #自监督学习 #语音识别 #语音质量评估 #教育 6.3/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.3/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：中 | #音视频理解 | #自监督学习 | #语音识别 #语音质量评估 | arxiv 👥 作者与机构 第一作者：Kazuki Kawamura（河村和紀，东京大学研究生院跨学科信息学府） 通讯作者：未说明（论文指导教师为Jun Rekimoto，暦本純一，东京大学） 作者列表：Kazuki Kawamura（东京大学）、Jun Rekimoto（东京大学） 💡 毒舌点评 以三个可独立发表的工作拼出完整教育闭环，AIxSpeed 用 ASR 识别表现代理人类听感并验证到约 0.99 的相关性是全文最有价值的洞见。但三个系统的用户实验规模偏小且多处关键统计检验缺位（MOS 未做显著性检验、Profy 不做配对检验），整体像是“三个 demo 各自带一篇短文”的合集而非深度验证的博士论文。 ...

📄 AVCap: Reinforcing Audio-Video Joint Caption with Detail-Aware Reward 标签：#音频字幕生成 #强化学习 #音视频理解 #基准测试 #数据集 8.4/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.4/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音频字幕生成 | #强化学习 | #音视频理解 #基准测试 | arxiv 👥 作者与机构 第一作者：Mingyang Wu（MMLab, CUHK） 通讯作者：原文标注Corresponding author，但未指明具体人物 作者列表：Mingyang Wu（MMLab, CUHK）、Kaituo Feng（MMLab, CUHK）、Bohao Li（MMLab, CUHK）、Kaixiong Gong（MMLab, CUHK）、Zihao Yin（Peking University）、Xiangyu Yue（MMLab, CUHK） 💡 毒舌点评 亮点在于打通了"数据标注—奖励设计—评测"三位一体的闭环：AVCap-100K提供高密度原子级标注，Da-GRPO将奖励细化为原子事实级QA验证，AVCap-Score用同一套探针逻辑做评测。训练与评估在同一粒度的原子事实上对齐，是领域内少见的完整工程实践。7B模型仅靠SFT数据就能在Video-SALMONN-2上从41.7降到36.8（低于此前开源SOTA AVoCaDO的37.3），说明数据质量确实有实质贡献。 ...

📄 MADBench: A Benchmark for Modality-Aware Audio Deepfake Detection 标签：#音视频理解 #多模态模型 #基准测试 #语音合成 #音频生成 6.6/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.5/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 6.6/10 | 前50% | 文档类型：数据集与基准 | 评分置信度：中 | #音视频理解 | #多模态模型 | #基准测试 #语音合成 | arxiv 👥 作者与机构 作者列表：Yanqiu Li、Yang Xiao、Jisheng Bai、Bin Chen、Hong Jia、Ting Dang。 机构编号为 1、2、3；具体机构名称在提供的论文原文片段中未披露。 通信作者信息未披露。 💡 毒舌点评 论文把“环境音频”从被长期忽视的背景音升级成了独立伪造组件，但复现所需的代码、数据和模型权重却被藏成了未披露的第三个组件。行文与表格中存在大量排版损坏字符，读起来像从 PDF 里抢救出来的半成品；实验设计值得肯定，工程开源程度却让“rigorous foundation”显得有点嘴硬。 ...

📄 SAMOT: State-Aware Step Modulation and Optimal Transport Matching for Audio-Visual Instance Segmentation 标签：#音视频理解 #多模态模型 #模型评估 7.7/10 | 创新 1.4/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.7/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #多模态模型 | #模型评估 | arxiv 👥 作者与机构 彭凯（Kai Peng）：大连理工大学，happypk@mail.dlut.edu.cn 申云哲（Yunzhe Shen）：大连理工大学 张淼（Miao Zhang）：大连理工大学 刘雷野（Leiye Liu）：大连理工大学 纪伟（Wei Ji）：耶鲁大学 李晶晶（Jingjing Li）：卡内基梅隆大学 朴永日（Yongri Piao）：大连理工大学 卢湖川（Huchuan Lu）：大连理工大学 注：论文模板中包含对应作者标记，但正文未将标记映射到具体姓名，按“未明确标注”处理。 ...

📄 SCoPE: Training-Free Audio-Visual Event Perception via Sparse Cross-Modal Prior Exchange 标签：#音视频理解 #测试时自适应 #零样本 #高效推理 7.1/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 ✅ 7.1/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音视频理解 | #测试时自适应 | #零样本 #高效推理 | arxiv 👥 作者与机构 第一作者：Jaemo Jeong（KAIST） Junho Yoon（KAIST） Hyunju Kim（KAIST） Dongman Lee（KAIST，通讯作者疑似） 论文提交日期：arXiv 2608.07923v1；全部作者均来自 KAIST 💡 毒舌点评 SCoPE 把“稀疏竞争 + 跨模态代价再分配”做成了一套完全训练-free 的推理框架，在三个基准上普遍带来增益且推理仅 3.16 ms/视频，这是实打实的贡献。但它的核心对比没有做到真正公平：LLP 上对标的是 AV2A 论文里报告的旧数字，测试视频数还差 15 条（1,109 vs 1,124），不是逐视频配对；OV-AVEBench 上自己复现的 AV2A 只有 33.14 Avg，比 OV-AVEL 低近 10 个点，论文却对 AV2A 为何在换基准后崩塌没有给出解释。更值得警惕的是，ASYM（单侧证据）事件提升只有 3.6 个点，Event@evt 甚至比 AV2A 低 0.16 个点（31.04 vs 31.2），说明跨模态先验主要利好双边、长时事件，对真正难的“只闻其声/只现其影”场景帮助有限。此外代码、权重、数据一个链接都没有，关键结果无法独立验证。 ...

📄 C^2MOE: Consistency and Complementarity-guided Mixture of Experts for Incomplete Multimodal Emotion Learning 标签：#音视频理解 #多模态模型 #音频理解 #Transformer #模型评估 4.1/10 | 创新 1.2/2 | 严谨 0.3/1.5 | 实验 0.8/1.5 | 清晰 0.4/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 0.5/1.5 📝 4.1/10 | 后50% | 文档类型：方法研究 | 评分置信度：中 | #音视频理解 | #多模态模型 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者：Yuntao Shou（Central South University of Forestry and Technology；邮箱后缀为 xjtu.edu.cn，与署名机构不一致，原文未解释） 通讯作者：未说明 作者列表：Yuntao Shou（Central South University of Forestry and Technology）、Tao Meng（Central South University of Forestry and Technology）、Wei Ai（Central South University of Forestry and Technology）、Keqin Li（State University of New York, New Paltz, USA；另附“Xi’an, China”但机构名未说明） 💡 毒舌点评 把一致性拆给一个专家、互补性拆给另一个专家的MoE思路是有嚼头的，且实验覆盖了特定缺失与随机缺失两种设置，工作量值得肯定。但核心信息论目标是自相矛盾的：一致性专家在最小化条件熵的同时又在最大化边缘熵，这在理论上并不自洽；互补预测采用最大化重构误差，实际会鼓励输出偏离真实分布。加上公式编号大面积重复、表2中多个基线数值在不同缺失率下完全相同、关键训练细节与图结构定义缺失，当前版本只能算一份不成熟的工作稿。 ...