音视频理解

共分析 137 篇 ICML 2026 论文

论文固定模型与提示只改变视频输入方式，发现没有一种输入在六个模型与三批视频上都最好，分类更准也不保证回归系数与样本占比更接近人工标注。

共分析 28 篇语音/AI 论文

针对不同任务对视频、音频、文本依赖不均而融合模型被迫共用同一表示的问题，MOSAIC 用模态分区的注意力与前馈加受控交叉注意力保持单模态结构，并按任务权重与模态相关度把梯度路由到对应分区，在日常日语会话语料四任务上以更少主干参数取得更高平均宏 F1，但结论目前只在该数据集与配置下成立。

共分析 21 篇语音/AI 论文

Live-OPSD 让流式策略先自己生成回应，再用训练时特权提示给出分布目标并做决策感知筛选，在 LiveProBench 30B 上达到 59.64 分，但结论只在同协议同数据受控对比下成立。

共分析 25 篇语音/AI 论文

针对音视频类别增量学习中新类冲掉旧类边界的问题，冻结三种多模态基础模型的音视频编码器，只训练音频引导视觉的注意力模块和分类器，并用特征与输出两级蒸馏锚定旧状态，在三个基准上提高了平均准确率并降低了遗忘，但结论依赖固定的任务划分、记忆样本量和训练预算。

共分析 34 篇语音/AI 论文

本文把下游任务分成读独立信息和读共享内容两类，推导出音频视频联合嵌入应服从的相关高斯目标，并用白化后的分布正则加局部预测全局来训练，在音频视频分类的冻结探测和微调中与开源基线相当。

共分析 57 篇语音/AI 论文

EVA-Cap 把视听解说拆成带模态、类型、人物和内容的原子事件，用 63K 自建数据的监督微调加两轮 GRPO 优化完整性、人物归属和跨模态同步三类奖励，在事件对齐评测上提升明显，但长输出的幻觉与快速转场仍有限制。

共分析 69 篇语音/AI 论文

OmniCompass 针对视频理解只考问答或只用文字指代的问题，用同一目标的文字与图文配对、视觉与视听双轨道、时间定位加空间定位加问答三任务来诊断模型，并用 50 个模型的评测显示问答强而定位弱、跨指代不一致、开源模型在视听绑定上差距更大，但多帧与时间戳等输入预算会改变结论的适用条件。

X-AVDD 针对配对音频-视觉数据集蒸馏，用先训练带双向交叉注意力的教师模型再按类匹配交叉注意力后嵌入的方法合成每类少量样本，在四个音频-视觉事件识别基准上提高小数据训练精度，并把合成总耗时从 10 小时降到 1.3 小时。

共分析 146 篇语音/AI 论文

针对联合训练中某一模态主导而其他模态欠优化的问题，论文用相对函数进度校准跨模态比较，并通过重分配响应预算与张量级学习率进行闭环调节，在六个数据集上报告了准确率提升，但额外参考构造与探测开销需要分开评估。

针对多模态推理中全量编码浪费算力的问题，SeMARC 用增量融合器 SeMA 逐个执行被选分支并给出前缀预测，再用控制器 ARC 决定下一个取哪个模态或停止，在六个分类数据集上以更少算力保持或提升宏 F1，但结论只在跨被试划分、批量为 1 和原文成本口径下成立。

针对用户级标注与视频级行为异质性不一致的问题，BehavDep 用 TopK 稀疏自编码器拆分视频表征并对齐抑郁行为概念，再学视频级倾向分数做加权聚合，在 MUD3 和 DAIC-WOZ 上取得最高准确率与 F1，代价是两阶段训练与概念集依赖文献先验。

针对两两对比表示在三个以上模态下会丢掉必须联合观察才能出现的协同信号的问题，HRIL 用跨模态经验交叉矩张量加 Tucker 分解刻画多路交互，并用防止核心能量集中的协同正则保留高阶容量，在受控合成任务和多模态基准上做线性探测评估，代价是训练每步要多算张量构造与分解的时间。