音视频理解

共分析 137 篇 ICML 2026 论文

OmniCompass 针对视频理解只考问答或只用文字指代的问题，用同一目标的文字与图文配对、视觉与视听双轨道、时间定位加空间定位加问答三任务来诊断模型，并用 50 个模型的评测显示问答强而定位弱、跨指代不一致、开源模型在视听绑定上差距更大，但多帧与时间戳等输入预算会改变结论的适用条件。

X-AVDD 针对配对音频-视觉数据集蒸馏，用先训练带双向交叉注意力的教师模型再按类匹配交叉注意力后嵌入的方法合成每类少量样本，在四个音频-视觉事件识别基准上提高小数据训练精度，并把合成总耗时从 10 小时降到 1.3 小时。

针对联合训练中某一模态主导而其他模态欠优化的问题，论文用相对函数进度校准跨模态比较，并通过重分配响应预算与张量级学习率进行闭环调节，在六个数据集上报告了准确率提升，但额外参考构造与探测开销需要分开评估。

针对多模态推理中全量编码浪费算力的问题，SeMARC 用增量融合器 SeMA 逐个执行被选分支并给出前缀预测，再用控制器 ARC 决定下一个取哪个模态或停止，在六个分类数据集上以更少算力保持或提升宏 F1，但结论只在跨被试划分、批量为 1 和原文成本口径下成立。

针对用户级标注与视频级行为异质性不一致的问题，BehavDep 用 TopK 稀疏自编码器拆分视频表征并对齐抑郁行为概念，再学视频级倾向分数做加权聚合，在 MUD3 和 DAIC-WOZ 上取得最高准确率与 F1，代价是两阶段训练与概念集依赖文献先验。

针对两两对比表示在三个以上模态下会丢掉必须联合观察才能出现的协同信号的问题，HRIL 用跨模态经验交叉矩张量加 Tucker 分解刻画多路交互，并用防止核心能量集中的协同正则保留高阶容量，在受控合成任务和多模态基准上做线性探测评估，代价是训练每步要多算张量构造与分解的时间。

LeAVJEPA 用单个早期融合 Transformer 把音频、视频和联合输入映射到同一嵌入，以模态缺失局部视图匹配联合中心加 SIGReg 防坍缩，在冻结 AudioSet-20K 上得 36.0 mAP、ESC-50 上得 91.3%、微调 VGGSound 上得 61.1%，代价是冻结与检索仍落后于带显式对齐的最强基线。

MiMo-V2.6 针对长 horizon 智能体任务奖励粗糙、环境单一和训练不稳的问题，用每步 1568 组提示的大批量异步训练、多领域多线束环境与分组智能体打分来扩展强化学习，并在 DeepSWE 等榜单上随算力持续提升，代价是数百万美元量级的 rollout、训练与打分开销和百万 token 上下文的工程复杂度。

针对整体打分掩盖局部错误的问题，论文把预测目标改为引用、镜头和音频事件三组原子单元，用确定性规则查结构、用局部语言模型查语义，在 786 个视频上发现前沿模型局部感知强但跨镜头身份保持和音画关联弱，且格式修补补不回缺失信息。

针对文本图像音频视频混合输入下靠错证据生成的问题，OmniConfess 先冻结候选回答再逐通道重打分形成口供并据此修正判断与局部重写，在 3540 例基准上提升幻觉指标但逐通道重算带来额外推理耗时。

AVSD-Scenes 针对城市声景只有粗标签而缺少听视细节的问题，用两阶段自动管线先分模态生成事件与描述再用大语言模型融合成段，并用检索、对齐、分类与主观评价显示多模态描述在场景级检索与分类上优于单模态且能补充声视嵌入，代价是实例级区分力弱与仍存在幻觉风险。

MAV-C 针对本地渲染等无编码失真场景的视听复杂度估计问题，用熵类音频特征与梯度色彩运动类视觉特征经对数压缩与加权融合得到连续分数，在合成语料上显示单调性与模态隔离，在游戏语料上显示视听分量不相关且仅视觉分量随内容类别变化，代价是尚无主观评分校准且空间模式依赖轨迹元数据。

论文把单声道音频视觉实例分割扩展为双耳音频视觉实例分割，用纯音频声源定位学图像平面空间与语义先验再注入查询解码器，在 BiAVIS-Bench 上报告相对最强单声道基线提升 17.22% mAP 与 7.71% FSLA，代价是依赖固定相机与仿头采集几何并受类别规模限制。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对音视频特征同时需要时间敏感与语义敏感却被混在一起评的问题，该研究用野外视频构造时间扰动与语义编辑两条独立挑战，以 0.64 秒分块对角相似度的二选一准确率为证据，显示时间强者与语义强者并不重合，但生成式编辑引入的额外声学差异仍是代价。

该研究用三模态眼动实验检验普通话反语指责与反语表扬对眼睛和嘴注视分配与瞳孔大小的不同依赖，最强证据是反语指责在三模态下持续偏向眼睛而反语表扬正确理解时偏向嘴且在安静视听下看眼瞳孔更大，代价是单说话人、正确试次极不平衡与无基线瞳孔校正。

针对多模态讽刺中字面积极与非言语冷淡之间的稀疏冲突被联合融合抹平的问题，T-ORR 用动态局部对齐、正交残差分解和冲突路由做信号分离，在 MUStARD 上报告 F1 为 76.8%、在 MUStARD++ 上报告 72.4%，代价是依赖可观测的声视觉不一致且新增对齐与几何约束分支。

该研究把德语桌游解释中表面肯定但自评未完全理解的反馈定义为不一致回声，用声学、头部运动与话语结构特征训练可解释分类器，在交叉验证与保留集上达到约 0.71 的 ROC-AUC 和 0.73 的准确率，代价是依赖回放自评标签与较小的德语特定样本。

针对语音驱动开放集检测中配对数据稀缺与文本中转误差传播问题，Speech2See 用 Grounding DINO 与 HuBERT 先验加 QSA 压缩和 MoLE 微调实现端到端听声定位，在 COCO 闭集达 56.2 AP、零样本达 42.7 AP，但语音连续性与说话人变化仍使长尾与文本上界存在差距。