音视频

EVA-Cap 把视听解说拆成带模态、类型、人物和内容的原子事件，用 63K 自建数据的监督微调加两轮 GRPO 优化完整性、人物归属和跨模态同步三类奖励，在事件对齐评测上提升明显，但长输出的幻觉与快速转场仍有限制。

论文用普通视场图像加双耳音频构造听见定位推理三层问答，并给强视听大模型外加一条空间音频支路加三阶段课程训练，在仿真基准上提升定位与关系推理并在真实录音上做迁移验证，但结论只在该仿真划分与离散评价条件下成立。

论文以敲击声提取的品质因子 Q 为目标，先用冻结编码器探测音频与单帧视觉的排序能力差距，再把冻结音频教师蒸馏到冻结 CLIP 加可训练投影头，并用留一材料协议检验增益是否超出类别识别。

FLARE 针对唇读中视觉线索模糊且对姿态和分辨率敏感的问题，用 Whisper 深层语音表示经随机投影量化做掩码预测预训练，并用脸与唇双流联合建模加辅助音频和模态丢弃学习视觉表示，最好的大模型加语言模型解码在 LRS2、LRS3 和 WildVSR 上取得 11.7%、13.2% 和 34.3% 的词错误率，但双视觉分支增加了计算开销且跨任务迁移尚未验证。

论文研究冻结单模态模型在缺模态推理中协作增益衰减的问题，提出保留私有预测通路并用兼容图公共分支做残差修正、再用渐进一致性约束公共表示的方法，在八个数据集的缺失状态平均指标上取得最优且在最小输入下保持正协作增益，但结论只在受控整模态移除和固定评测协议下成立。

论文用文本音频视频四个视角下五个情感选项的分布加熵与分布差异组成 28 维向量训练 CatBoost 回归器，在 CH-SIMS-v2 和 MOSI 上优于只学联合视角分布的对照，代价是每个片段需四次冻结模型查询。

论文用 35 名老人在三种 Alexa 对话任务中同步采集的视频、音频和文本特征做轻度认知障碍二分类，核心证据是单模态随任务波动而三模态融合在任务 1 和任务 3 上都达到 0.76 准确率，但结论只在小样本、MoCA 标签和任务内评测条件下成立。

该文针对指代性音视频分割中固定长推理会损害简单样本的问题，用生成开始前的多模态隐状态预测每个样本需要的推理量，并以轻量路由器在零、短、长三档之间选择，以约 40% 推理词元保留约 96% 常长推理性能。

AV-FlowEdit 针对已有音视频片段的提示词编辑问题，用冻结联合模型的源-目标流差异同时更新视频和音频，并用事件感知的多尺度低频校正抑制非目标漂移，代价是大幅语义改动会拉低与源视频的视觉相似度。

论文要解决多人同框时把声音归属到正确人脸的在线判断问题，用当前帧跨人脸比较加单人历史因果建模实现零前视，在 MSDWild 多人验证集上把竞争性误报相对降低约三分之一，代价是每个块增加 1.57M 参数和跨人脸注意的平方计算量。

论文针对音频条件视觉预测中去掉音频就下结论的问题，提出把解释与干预、留出任务比较和端点对照绑定的 CIViC 四门诊断，并在演员不重叠的人脸光栅、合成特征混合与来源视频不重叠的 SpeakerVid 代理任务上给出通过与失败并存的证据。

论文针对声音表情与画面不一致时生成式回答容易跟随视觉的问题，用共享 WavLM 编码上的视觉查询融合与直接时间积分两路组织输入同一解码器，在 CA-MER 平均指标 67.89 与 EmotionTalk 测试集 62.88% 等条件下验证了直接声学通路的作用，代价是增加 16 个声学 token 与混合任务适配的约束设计。

论文用带约束的强化学习结构搜索解决 22M 参数音视增强模型难以部署到手机等边缘设备的问题，以 35 次候选评估找到 2.9M 参数、14.5 dB SI-SNR 提升的模型，代价是比基线低 0.7 dB。

针对开放式情感描述偏好只给二选一标签而缺少错误定位监督的问题，EmoGavel 用受控错误构造的可验证目标先做接地监督微调再做偏好门控的组相对强化学习，在 EmoPrefer-Data 上自然偏好达到 79.75% 加权 F1、四类受控错误平均 88.20% 并保持 77.27% 接地总分，但缺失证据恢复略有下降且结论适用范围限于四种预设错误。

论文针对全模态大模型的答案可信度问题，用外部全模态编码器把输入和思维链映射到同一空间算贴合与连贯，再给多数投票加权，在 UNO-Bench 上随生成器和模态小幅改善且在开放式全模态问答上相对最稳，代价是需要辅助切分和少量标注校准。

论文针对全模态大模型中问题相关证据仍在单模态分支可恢复却在联合预测中丢失的模态误路由问题，提出免训练的 CaRe 两阶段冲突检测与残差纠偏，并在 CMM 和 AVHBench 上以额外反事实推理为代价取得一致提升。

OmniCompass 针对视频理解只考问答或只用文字指代的问题，用同一目标的文字与图文配对、视觉与视听双轨道、时间定位加空间定位加问答三任务来诊断模型，并用 50 个模型的评测显示问答强而定位弱、跨指代不一致、开源模型在视听绑定上差距更大，但多帧与时间戳等输入预算会改变结论的适用条件。

论文针对开放词汇音视事件定位中手工模板敏感与可学习提示偏向已见类的问题，用跨音频视觉的连续提示调优加语义拓扑一致性正则保持类间相似结构，在 OV-AVEBench 上已见平均 71.2% 与未见平均 61.7% 的条件下取得提升，代价是仍依赖冻结编码器与合成类别代理。

该文研究把多步扩散与流模型压缩到 4 次函数求值的问题，提出只做在轨速度回归并加上训练期残差代理与弱预测排斥的 SMD 框架，在图像、编辑、3D、视频与 33B 音频视频联合模型上验证了对齐与质量表现，但结论依赖同网格评测与原文报告的基线配置。

论文针对联合音画生成中多目标对齐需要大量模型评估的问题，提出先做方差引导的自适应粒子搜索再做短链局部修正的两阶段推理对齐方法，在匹配计算量下提升七个对齐指标并用图像实验验证分配策略的通用性，代价是需要维护在线调度参数和两阶段奖励设置。