音视频理解

📄 别再把同步分数当裁判：先问它量的是偏移、内容，还是感知代理 英文题目：What Do Audio-Visual Synchronization Metrics Actually Measure? 一句话：结果不是统一领先者：Synchformer/DeSync 最会追踪全局时间偏移，ImageBind 与 JavisScore 在内容中断和 PEAVS proxy 上更敏感，AV-Align 单独表现最弱。 标签：#音视频理解 #多模态模型 #模型评估 #基准测试 评分：8.8/10 | 创新 1.6/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 0.6/1.5 💬 毒舌点评 这篇论文最扎实的地方，是把 Synchformer/DeSync、ImageBind、JavisScore 和 AV-Align 从排行榜上的 4 个数字还原成不同量具：受控失配、裁剪敏感性、rank-flip 和跨指标一致性放进同一协议后，temporal-oracle 与 PEAVS-proxy 的分叉不再只是口号。尤其 close MMAudio checkpoint 上 0.08 对 0.33–0.35 的 flip probability，迫使读者先问榜单有没有分辨率，再谈谁高谁低。 ...

📄 LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training 标签：#音视频理解 #数据集 #预训练 #对比学习 #多模态模型 9.4/10 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.9/1 | 影响 1.5/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1/1.5 🔥 9.4/10 | 前10% | 文档类型：数据集与基准 | 评分置信度：高 | #音视频理解 | #预训练 | #数据集 #对比学习 | arxiv 👥 作者与机构 第一作者：Andreas Hochlehnert（University of Tübingen, Tübingen AI Center） 通讯作者：正文未明确标注通讯作者；A. Sophia Koepke、Jenia Jitsev、Matthias Bethge 标为共同末位作者 作者列表：Andreas Hochlehnert、Marianna Nezhurina、Mehdi Cherti、Andrej Radonjic、Thaddäus Wiedemer、Christoph Schuhmann、Romain Beaumont、Wieland Brendel、Bernhard Schölkopf、A. Sophia Koepke、Jenia Jitsev、Matthias Bethge（机构：University of Tübingen, Tübingen AI Center；LAION；JSC, FZJ；Wynd Labs；MPI for Intelligent Systems, ELLIS Institute Tübingen；Technical University of Munich, MCML） ...

📄 Task-disentangled Low-Rank Adaptation for Versatile Audio-visual Multi-modal Learning Tasks within a Unified Framework 标签：#音视频理解 #LoRA #多任务学习 #多模态模型 7.4/10 | 创新 1.7/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 7.4/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #LoRA | #多任务学习 #多模态模型 | arxiv 👥 作者与机构 第一作者：Hanyu Xuan（School of Big Data and Statistics, Anhui University, Hefei 230039, China） 通讯作者：Junjun Mao；Zhiliang Wu 作者列表：Hanyu Xuan、Mengqi Zhang、Junjun Mao、Fei Wang、Kun Li、Guanghui Yue、Zhiliang Wu、Hehe Fan（机构：School of Big Data and Statistics, Anhui University, Hefei 230039, China；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center, Hefei 230026, China；College of Information Technology, United Arab Emirates University, Abu Dhabi 15551, United Arab Emirates；School of Biomedical Engineering, Shenzhen University, Shenzhen 518060, China；College of Computing and Data Science, Nanyang Technological University, Singapore 639798, Singapore；School of Artificial Intelligence, Zhejiang University, Hangzhou 310007, China） ...

📄 Motion-Aware Reasoning from Speech to Mask Tracks: Runner-up Solution for the MeViS-Audio Track of the 8th LSVOS Challenge 2026 标签：#音视频理解 #多模态模型 #语音识别 #模型集成 7.1/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：中 | #音视频理解 | #多模态模型 | #语音识别 #模型集成 | arxiv 👥 作者与机构 第一作者：Jinxing Zhou（Mohamed bin Zayed University of Artificial Intelligence） 通讯作者：正文未明确标注 作者列表：Jinxing Zhou、Suiyi Zhao、Yanghao Zhou、Ruohao Guo（机构：Mohamed bin Zayed University of Artificial Intelligence；Anhui University of Science and Technology；National University of Singapore；China Agricultural University） ...

📄 Pre-Decoding Acoustic Triage for Budgeted Vision-Language Captioning of Untrimmed Egocentric Video 标签：#音视频理解 #CNN #多模态模型 #高效推理 9.0/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.4/1.5 | 清晰 0.9/1 | 影响 1.3/1.5 | 开源 0.5/1.5 | 复现 0.4/0.5 | 工程 1.3/1.5 🔥 9.0/10 | 前10% | 文档类型：方法研究 | 评分置信度：中 | #音视频理解 | #CNN | #多模态模型 #高效推理 | arxiv 👥 作者与机构 第一作者：Masoud Jalayer（Aalto University，芬兰） 通讯作者：正文未明确标注 作者列表：Masoud Jalayer、Changyi Li、Yu Xiao（机构：Aalto University，芬兰（Dept. of Information Communications Engineering；Dept. of Electrical Engineering and Automation）） ...

📄 TLive-Omni: An Omni-Modal Understanding Model for E-Commerce Live Streaming 标签：#音视频理解 #多模态模型 #SFT #强化学习 10.0/10 | 创新 1.7/2 | 严谨 1.4/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.4/0.5 | 工程 1/1.5 🔥 10.0/10 | 前10% | 文档类型：系统技术报告 | 评分置信度：中 | #音视频理解 | #多模态模型 | #SFT #强化学习 | arxiv 👥 作者与机构 第一作者：Yibo Hu（Taobao & Tmall Group of Alibaba） 通讯作者：正文未明确标注 作者列表：Yibo Hu、Yu Qian、Mao Gu、Yingfan Tao、Yuhao Chen、Yongdong Luo、Zhuoqun Liu、Meiguang Jin、Junfeng Ma（机构：Taobao & Tmall Group of Alibaba） ...

📄 Towards Actionable Surgical Team Dynamics: from Teamwork to Counterfactual Annotations 标签：#音视频理解 #图神经网络 #说话人日志 #医疗音频 8.9/10 | 创新 1.7/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.9/10 | 前25% | 文档类型：数据集与基准 | 评分置信度：中 | #音视频理解 | #图神经网络 | #说话人日志 #医疗音频 | arxiv 👥 作者与机构 第一作者：Vincenzo Marco De Luca（University of Trento, Trento, Italy） 通讯作者：正文未明确标注 作者列表：Vincenzo Marco De Luca、Antonio Longa、Andrea Passerini（机构：University of Trento, Italy；UiT the Arctic University of Norway, Norway） ...

📄 DAVSS: Distilled Audio-Visual State Space Models 标签：#音视频理解 #知识蒸馏 #模型压缩 #高效推理 6.4/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.9/1.5 ✅ 6.4/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音视频理解 | #知识蒸馏 | #模型压缩 #高效推理 | arxiv 👥 作者与机构 Saurabhchand Bhati 与 James Glass 来自麻省理工学院计算机科学与人工智能实验室（CSAIL）；Mrudula Athi 与 Amit S. Chhetri 来自亚马逊（Amazon）。论文附有生成式 AI 使用披露，声明相关工具仅用于语法检查等基础编辑。 💡 毒舌点评 这篇论文的工程直觉值得肯定：用状态空间学生模型换掉视听分类里的 Transformer 主干，把联合建模层从不足 5% 加深到 30%，确实抓住了注意力二次复杂度限制融合深度的痛点。但宣传口径需要打折扣。摘要宣称「比 CAV-MAE 小 12 倍仍优于它」，引言却写着「小 3.5 倍」，同一篇论文里两个压缩倍数打架，暴露出写作的不严谨；而对照最终对比表，DAVSS-Medium 在 AudioSet 上仍落后 EquiAV 约 1.9 个 mAP，「优于现有视听模型」的说法只在「以小胜大」这个限定条件下成立。速度方面全文只给了相对推理时间的图，没有任何绝对时延或吞吐数字，效率主张难以落地验证。此外蒸馏收益高度依赖教师质量：换成多帧强教师后，在标准的十帧集成推理下学生性能几乎不动，说明这条路线的天花板被教师牢牢锁死——作者自己也承认未来要走出 CAV-MAE 家族找教师。 ...

📄 Multimodal Rapport Estimation in Real-World HRI 标签：#多模态模型 #音视频理解 #模型融合 #模型评估 7.0/10 | 创新 1.1/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 0.9/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.0/10 | 前50% | 文档类型：应用研究 | 评分置信度：中 | #多模态模型 | #音视频理解 | #模型融合 #模型评估 | arxiv 👥 作者与机构 第一作者：Akihiro Sakuramoto（机构未说明） 通讯作者：未说明 作者列表：Akihiro Sakuramoto、Takato Hayashi、Ryo Miyoshi、Yuki Okafuji、Shogo Okada（机构信息未在当前正文中完整说明） 💡 毒舌点评 真实药店环境的人机交互亲和力估计是少见的实地研究，但要把结果当作 HRI 结论需要过四道折扣：单一日本药店、单一机器人形态、日语文化环境，而且机器人由真人远程操控——自主交互的 rapport 动态可能很不一样。九十七个个体样本经分层后更小，三人条件只剩十三个，趋势可能由少数 session 驱动。算法估计的是第三方观察到的亲和度而非参与者自评，不应被读作内心状态测量。低语音与极早退出的互动恰好是被过滤掉的、真实部署中最难的部分。 ...

📄 Emotion Across Speech and Faces: Shared Affective Mechanisms in Multimodal Foundation Models 标签：#音视频理解 #多模态模型 #语音情感识别 #可解释性 #模型评估 7.4/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 7.4/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音视频理解 | #多模态模型 | #语音情感识别 #可解释性 | arxiv 👥 作者与机构 第一作者：Xiutian Zhao（Johns Hopkins University, Center for Language and Speech Processing (CLSP), USA） 通讯作者：未说明 作者列表：Xiutian Zhao（Johns Hopkins University, CLSP, USA）、Luqi Sun（Johns Hopkins University, CLSP, USA）、Björn Schuller（Imperial College London, Group on Language, Audio & Music (GLAM), UK）、Berrak Sisman（Johns Hopkins University, CLSP, USA） 💡 毒舌点评 这篇论文把语音情感识别里已有的“情感敏感神经元”套路横向搬到了面部表情识别，并靠跨模态置零/放大声称发现了共享的情感功能单元。想法有趣，但因果证据几乎完全建立在“只从模型已经答对的样本里挑神经元”的后验挖掘上；没有统计显著性检验、没有非情感高激活对照、没有关键超参消融，也没有排除“这些神经元只是在编码共享的答案决策变量”这一更平凡的解释。结论是“部分共享”，但论证力度只能支撑“部分相关”，离真正的机制性结论还有距离。 ...