音视频

论文针对以人为中心的长视频多模态理解，构建约 1001 个视频与 4781 个问答的 LongInsightBench，用六类事件内与事件间任务测出 Gemini3-Pro 总体 80.04% 领先而跨事件因果仍偏低，并以模态替换对照揭示融合 deficit，代价是依赖专有模型与约 250 GPU 小时加 700 美元 API 成本。

针对多语言多模态模型的文化感知碎片化问题，MMAC 用 8 国 10 语言 27,000 题的三模态语义对齐题库和五维评测揭示跨语言跨模态不一致与解释不忠实，并以口音线索增益与整合失败等代价界定其适用边界。

论文针对多人对话音视频生成中身份漂移与轮转混乱难以被感知质量指标发现的问题，构建覆盖四层九维度的失败诊断问答基准，用 12 个全模态模型的诊断得分与三类生成器的人评成功率显示交互层是主要瓶颈，但诊断高度依赖音频输入与提示对齐条件。

论文针对开放式情绪推理中多面幻觉难评估、粗粒度缓解顾此失彼的问题，提出六面 EHR 评估与免训练 HMER 框架，在 19 个模型上显示幻觉普遍存在，而 HMER 在多数据集上降低总体幻觉率并保持情绪预测准确率，代价是迭代评估带来额外 token 与延迟。

该研究把三人对话的群体情绪定义为每秒的唤醒与效价连续估计，用混合状态平行标记成员分歧，以冻结编码器加时序 Transformer 的因果滑动窗口建模，最强证据是音视频融合在一致性与误差上超过单模态，而高混合区间更大的误差揭示了单值表示的边界。

论文以音乐演出问答为对象，论证连续重叠音画与多尺度时间推理需要专门的输入处理与空间-时间结构，其证据是带时空设计的方法在三套基准上系统性领先，而代价是更复杂的分段选择与跨模态对齐及对音乐先验建模不足。

针对全模态理解可绕过模态与跨模态多跳推理路径失衡的问题，OMHBench 用表格三元组加三跳规则与六路模态置换构造 6144 题并报告专有模型仍对语音在后路径大幅掉点而高级提示无一致增益。

论文把同时含文本、音频、图像或视频的问答做成 1375 组优选对，用桥接加人工核验构造基准，报告榜单分数与下游 Best-of-N 表现为同分布 0.94、异分布 0.72 相关，但原生全模态模型仍弱于桥接后的双模态大模型。

针对附和预测中缺视频、模态时间不对齐和只盯触发点的问题，论文用多层跨模态对齐加两阶段课程学习，在韩语 KC-Dialog 上宏 F1 达到 58.53，代价是视频推理耗时从 18.868 毫秒增至 20.083 毫秒。

论文把无指令下的主动帮助定义为视觉加音频加角色文本到动作序列的映射，用 19963 条 122 场景数据和四指标评测显示只有同时理解两模态才能给出正确帮助，而缺任一模态或替换任一模态都会使总体得分大幅下降。

论文用极简听觉测试 DeafTest 和 4555 题的音画推理基准 AV-Odyssey 证明低级听觉感知与高级音画推理高度相关，最强证据是两者准确率的 Pearson 相关达 0.945，而代价是当前模型在计数、响度与音高上仍接近随机猜测。

针对连续音视频流中被动问答与主动触发难以统一的问题，ROMA 用一秒多模态单元加分块时间位置编码与独立说话头做对齐与时机判断，在主动提醒与实时解说上报告最优并保持被动问答竞争力，代价是每秒决策粒度和有限上下文。

针对非口语与极少口语自闭症个体的多标签沟通理解问题，论文用教师模型按照护者标注生成动作与功能描述并微调开源学生模型，在动作与功能分类上接近闭源教师模型，但绝对准确率仍不高且依赖小规模特定综合征队列。

论文用文本化多模态线索统一笑声检测、类型分类与原因解释，并以笑声自指令扩充与混合笑声专家提升泛化，主证据是文本大模型在三任务上优于音视频大模型，代价是依赖外部抽取器与伪标签校对。

论文研究只加音频扰动能否无目标破坏音频视频语言模型的问答，方法是固定视频与文本并用六种损失学习一段可复用的共享扰动，最强证据是组合损失在 AVQA 上达到 96.03% 攻击成功率，代价是跨模型与跨声学域迁移很弱且物理混响下部分目标明显衰减。

针对噪声下单流纠错被音频质量卡住的问题，论文用独立 ASR 与 VSR 双路 N-best 假设加可靠性提示词做语言空间组合，在 LRS2 上把基线相对误差降低约一半，代价是依赖上下游识别头质量并增加大模型串行纠错开销。

v-HUB 把视频幽默拆成字幕匹配、幽默解释和开放问答三类可核对任务，用文本、纯视频、视频加音频三组输入对照测出模型重度依赖文字线索，而环境声和画面内文字只带来小而稳定的增益且历史默片更难。

针对全模态模型易复述可见幻灯片文字而忽略语音的问题，论文提出先在思考块中识别幻灯片文字再在回答块中引用锚定转写，并用四项奖励做组相对策略优化，在实体密集基准上改善实体识别，同时带来思考块的额外推理开销。

论文用同一段母语录音配不同种族照片的匹配假象法，测 9 个语音视觉模型，发现高能力闭源模型在英语中把亚裔降为近母语、在韩语中给外群体加能力分，而小模型多为无差别的视觉干扰降分。

针对双轨分离把主唱与和声混为一轨导致的下游含混问题，VocalRep 用全局身份条件加排序约束做三轨分离，在保持可比分离分的同时以更干净的主唱提升歌声转换可懂度与音高稳定性和唇同步精度，代价是求和比较时累积误差与多人主唱假设受限。