音视频理解

📄 TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions #音视频理解 #音频字幕生成 #多模态模型 #数据集 #基准测试 #强化学习 9.4/10 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 1.5/1.5 | 复现 0.4/0.5 | 工程 1.4/1.5 🔥 9.4/10 | 前10% | #音视频理解 | #多模态模型 | #音频字幕生成 #数据集 | arxiv 👥 作者与机构 第一作者：Linli Yao（北京大学计算机学院，快手科技Kling团队） 通讯作者：Xu Sun（北京大学计算机学院） 作者列表：Linli Yao（北京大学，快手科技Kling团队）、Yuancheng Wei（华南理工大学）、Yaojie Zhang（电子科技大学）、Lei Li（香港大学）、Xinlong Chen（中国科学院自动化研究所，快手科技Kling团队）、Feifan Song（北京大学）、Ziyue Wang（北京大学）、Kun Ouyang（北京大学）、Yuanxin Liu（北京大学）、Lingpeng Kong（香港大学）、Qi Liu（香港大学）、Pengfei Wan（快手科技Kling团队）、Kun Gai（快手科技Kling团队）、Yuanxing Zhang（快手科技Kling团队）、Xu Sun（北京大学） 💡 毒舌点评 该工作在音视频密集字幕生成领域投下了一枚“定义即创新”的炸弹。其提出的OmniDenseCaptioning任务和SodaM评估指标，直击当前音视频理解缺乏时间粒度和结构化描述的痛点，堪称一次教科书式的任务重塑。7B开源模型在精细定义的子任务上干翻Gemini-2.5-Pro，工程整合能力令人叹服，为社区贡献了完整的开原语料。然而，剥开任务定义与指标的糖衣，模型本身是Qwen2.5-Omni与GRPO的精心调配，缺乏算法层面的范式突破。更令人警惕的是，其引以为傲的SodaM指标和训练数据完全由Gemini系列模型闭环驱动，这种“以子之矛攻子之盾”的策略虽精彩，但也埋下了系统性偏见的隐患，评估的可信度也因此被蒙上一层阴影。 ...

📄 Zero-Shot Rankability: Revealing Latent Ordinal Structure in Multimodal Large Language Models via Language #音视频理解 #提示学习 #多模态模型 #大语言模型 6.8/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.8/10 | 前50% | #音视频理解 | #提示学习 | #多模态模型 #大语言模型 | arxiv 👥 作者与机构 第一作者：Nam Hyeon-Woo（POSTECH，电气工程系） 通讯作者：Tae-Hyun Oh（KAIST，计算机学院） 作者列表：Nam Hyeon-Woo（POSTECH，电气工程系）、Moon Ye-Bin（POSTECH，电气工程系）、Sohwi Lim（KAIST，计算机工程学院）、Kwon Byung-Ki（POSTECH，人工智能研究生院）、Tae-Hyun Oh（KAIST，计算机学院） 💡 毒舌点评 亮点在于将“排序性”概念系统性地扩展到多模态大模型（MLLM）空间，并通过条件嵌入与模态间隙两个可验证的机制清晰解释了VLM与MLLM之间显著的零样本性能差距。短板亦很刺眼：所有核心属性（年龄、人群计数）均为视觉任务，音频部分仅作为“泛化验证”匆匆带过，对语音/音频领域的直接贡献极为薄弱，One-sentence 的“zero-shot rankability”对于泛化性缺乏深入讨论；此外，所有结果基于固定prompt搜索且未给出统计显著性检验，结论的泛化稳健性存疑。方法本质上是对已知技巧（反义词差向量、logit lens）的包装，洞见深度有限。 ...

📄 A global predicted-fMRI drive signal from TRIBE does not predict YouTube replay heatmaps #音视频理解 #多模态模型 7.7/10 | 创新 1/2 | 严谨 1.5/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.3/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.7/10 | 前25% | #音视频理解 | #多模态模型 | arxiv 👥 作者与机构 第一作者：Barada Sahu（Cabal AI） 通讯作者：论文明确标注 Correspondence: barada@gmail.com, cs21bt067.alum25@iitdh.ac.in（两位作者均列为通讯联系人） 作者列表：Barada Sahu（Cabal AI）、Shivesh Pandey（Para AI） 💡 毒舌点评 这是一个负结果但执行得非常干净的实证研究：统计控制、低层基线、排列检验、网络特异性读出一应俱全，把"用预训练脑编码模型的预测信号预判回看行为"这个合理猜想打得粉碎。然而，48个视频的样本规模、YouTube热图本身的内在偏置，以及作品与音频社区核心关切的遥远距离，都让它更像一则谨慎的健康提醒，而非一份能驱动后续大量工作的基石性发现。 📌 核心摘要 本文试图回答一个新颖问题：用当前最强的脑编码模型（TRIBE，2025年Algonauts挑战赛263支队伍中的冠军模型）预测出的fMRI信号，能否像实测fMRI那样预测群体的行为参与度（YouTube"最多重播"热图）。研究者将TRIBE对48个视频的皮层响应浓缩为"全局场功率"（GFP）这一逐秒参与度曲线，与YouTube热图做位置控制的偏相关分析。结果显示，无论整体、分网络还是经自相关保持的排列检验，预测信号与重播行为的相关性均不显著（偏相关 \(r_{part} = +0.058\)，95% CI \([-0.04, 0.15]\)，\(t(47)=1.21\)，\(p=0.23\)），且未超过简单响度或运动基线。工作还贡献了一套绕过YouTube SABR流媒体限制的视频采集pipeline和可恢复的编码缓存系统。论文的意义在于为"用预训练脑编码模型零成本预测市场行为"这种诱人想法提供了首次系统性负证据，其局限在于行为目标的噪声、视频样本的偏差以及所测模型未经行为端点微调。 ...

📄 Reasoning LLM Improves Speaker Recognition in Long-form TV Dramas #强化学习 #多模态模型 #基准测试 #数据集 #音视频理解 7.2/10 | 创新 1.6/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 7.2/10 | 前50% | #音视频理解 | #强化学习 | #多模态模型 #基准测试 | arxiv 👥 作者与机构 第一作者：Yuxuan Li（未说明所属机构） 通讯作者：未明确标注 其他作者：Lingxi Xie， Xinyue Huo， Jihao Qiu， Jiacheng Shao， Pengfei Chen， Jiannan Ge， Kaiwen Duan， Qi Tian（均未提供完整机构信息） 💡 毒舌点评 这篇论文做了一个很扎实的马鞍，但配了一匹昂贵的瘸马。DramaSR-532K 数据集构建用心，填补了长剧集复杂场景下说话人识别的空白，工程上值得肯定。但 DramaSR-LRM 方法本质上是用一个推理 LLM 做多模态证据的“阅读理解”和纠错，依赖昂贵的 Gemini-3-Pro 蒸馏和 RL 微调，还绑定了一堆大模型做周边工具。更关键的是，开源承诺目前还是张空头支票，复现门槛高得离谱。2.3% 的绝对提升聊胜于无，但为了这点收益投入的计算成本，工业界看了大概要摇头。 ...

📄 AV-SyncBench: Decoupled Benchmarking of Temporal and Semantic Audio-Visual Synchronization #音视频理解 #自监督学习 #对比学习 #音频事件检测 8.5/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 🔥 8.5/10 | 前25% | #音视频理解 | #自监督学习 | #对比学习 #音频事件检测 | arxiv 👥 作者与机构 第一作者：Tianhong Zhou（阿里巴巴集团；清华大学） 通讯作者：Jun Song（阿里巴巴集团） 作者列表：Tianhong Zhou（阿里巴巴集团；清华大学）、Mingyang Han（未说明）、Boyu Li（未说明）、Yuxuan Jiang（未说明）、Jiaxin Ye（未说明）、Dongxiao Wang（未说明）、Haoxiang Shi（未说明）、Kunpeng Wang（未说明）、Jun Song（阿里巴巴集团）、Cheng Yu（未说明）、Bo Zheng（未说明） 💡 毒舌点评 亮点是将音视频评估中被长期混淆的时序对齐与语义一致性进行系统性解耦，并基于野生视频构建了五类变量隔离的挑战任务，直击当前多模态模型训练中的维度偏置。短板是语义编辑完全依赖外部生成模型（DDSP、OpenVoice），但未对编辑产物的“声学纯度”进行定量控制或消融，使“纯语义”假设在物理声学层面站得不够稳；同时，数据集仅3,269个视频，基准规模偏小，且0.64秒切片的选择缺乏理论或实验依据，长期使用的鲁棒性存疑。 ...