音视频理解

该项目要解决多人视频对话中语言、非语言、视觉与时间线索难以统一建模的问题，选择先定义多维度交际行为再建模其关系并生成电影剧本式描述，以虚构与真实语料上的泛化为证据方向，代价是本文仅提出路线而未报告可验证的模型与定量结果。

以 7 名 Babanki-英语双语者自然对话为对象，论文用话语新旧引出的时长线索与手势顶点到元音起始的时滞比较，报告 Babanki 中手势与加长线索更靠音节首，而英语更靠元音，支持手势跟踪亚音节重音时序，但证据限于单音节词与首提及对照。

论文以 6 至 32 个月婴儿视角的纵向音视频为唯一感官来源，构建视频话语、图像话语与多轮交错三种预训练数据并从零训练紧凑视觉语言模型，再以新发布临床工具为依据建成十任务基准，证据显示小模型可在部分认知任务上接近大模型但域外泛化与未见任务仍明显受限。

针对单模态噪声与跨模态语义鸿沟，BYOAVP 以自监督音频增强对齐视觉语义、以动量原型约束做像素级分类，在 AVSBench 与 VPO 六个子任务上取得最优，同时需承担双分支注意力与原型维护的额外开销。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

论文针对音视频大模型单模态理解强但跨模态细粒度时间推理弱的问题，构建包含对齐、低层关系与区间描述的三层基准 FAVE，用 3557、4546、1781 组问答证明十三款模型在联合时序任务上明显落后于人类，而增加采样帧数不能消除该差距。

论文提出只用原始音视频判断最后说话人在跟谁说话的 Omni-MMSI 任务，并用参考引导的工具抽取加两步思维链推理的 Omni-MMSI-R 解决身份归属难题，在 Ego4D 和 YouTube 上取得报告的最优准确率，代价是需手工构建参考对和过滤生成推理标注。

针对全模态大模型音频加视频序列过长问题，OmniZip 用免训练的音频引导加交错时空压缩做推理时剪枝，最强证据是在 Qwen2.5-Omni 上保持接近满词元精度的同时实现 2.51-3.42×预填充加速与约 10G 显存下降，代价是剪枝率需按任务平衡且依赖音频编码器注意力。

针对音视频时间同步被忽视且掩码自编码重建模糊的问题，SyncStream 用隐空间对比掩码自编码学紧凑对齐表示再用条件流匹配精修隐变量，在 VGGSound 上把分类准确率从 38.40% 提升到 49.14% 并降低音频重建误差，代价是两阶段训练与解码器深度需要权衡。

UniM 面向任意组合交错输入输出的理解与生成任务，用 31026 个多任务实例与语义质量、结构完整、交错连贯三维评估检验模型，报告显示现有任意到任意模型得分偏低，而带可追溯推理的智能体基线 UNIMA 更高但仍不完备。

针对生成式视频谣言跨模态语义一致导致旧数据集失真的问题，该研究构建含声明、视频、音频与跨模态四类操纵的 9049 对 RAVM 数据集并提出证据图检测模型 IEEG，以 75.99% 准确率取得最优但仍显示通用大模型的脆弱性，代价是生成与评测流程复杂且数据集链接当前不可用。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

该综述把多模态遗忘按实例级与概念级切分并按干预阶段组织方法，以遗忘强度与效用保留的权衡为主线，报告了身份隐私内容与安全基准的规模与评估维度，并指出跨模态泄漏与对抗再激活是主要代价。

针对非口语与极少口语自闭症个体的多标签沟通理解问题，论文用教师模型按照护者标注生成动作与功能描述并微调开源学生模型，在动作与功能分类上接近闭源教师模型，但绝对准确率仍不高且依赖小规模特定综合征队列。

v-HUB 把视频幽默拆成字幕匹配、幽默解释和开放问答三类可核对任务，用文本、纯视频、视频加音频三组输入对照测出模型重度依赖文字线索，而环境声和画面内文字只带来小而稳定的增益且历史默片更难。

针对音视频大模型推理时 KV 缓存过大问题，AccKV 按层自适应聚焦关键模态并先模态内合并再跨模态校准，在 MVBench 与 AVSD 上用 10% 缓存与 120 词元预算维持接近全缓存精度，但未测量延迟与吞吐提升。

针对引用音频视觉分割中语言理解浅与推理分割互损问题，AURORA 用结构化思维链加分割特征蒸馏起步，再经纠错反思与分组奖励强化学习提升，在引用音频视觉分割的已见与未见划分上取得最高分，其代价是三阶段流水线与多模型标注依赖。

该工作把长片搞笑片段抽取拆成镜头检测、视觉加文本的场景合并、笑声加长文本幽默判断加不当内容过滤与排序四步，用 MovieNet-SSeg 指导的三元组预训练和 10 句 ColBERT 在 OVSD 上提升 18.3% 的 AP、在 MHD 上达到 0.834 的 F1，代价是预告片快切下场景结尾准确率下降与文本分支目前只支持英文。