音视频

AV-FlowEdit 针对已有音视频片段的提示词编辑问题，用冻结联合模型的源-目标流差异同时更新视频和音频，并用事件感知的多尺度低频校正抑制非目标漂移，代价是大幅语义改动会拉低与源视频的视觉相似度。

论文要解决多人同框时把声音归属到正确人脸的在线判断问题，用当前帧跨人脸比较加单人历史因果建模实现零前视，在 MSDWild 多人验证集上把竞争性误报相对降低约三分之一，代价是每个块增加 1.57M 参数和跨人脸注意的平方计算量。

论文针对音频条件视觉预测中去掉音频就下结论的问题，提出把解释与干预、留出任务比较和端点对照绑定的 CIViC 四门诊断，并在演员不重叠的人脸光栅、合成特征混合与来源视频不重叠的 SpeakerVid 代理任务上给出通过与失败并存的证据。

论文针对声音表情与画面不一致时生成式回答容易跟随视觉的问题，用共享 WavLM 编码上的视觉查询融合与直接时间积分两路组织输入同一解码器，在 CA-MER 平均指标 67.89 与 EmotionTalk 测试集 62.88% 等条件下验证了直接声学通路的作用，代价是增加 16 个声学 token 与混合任务适配的约束设计。

论文用带约束的强化学习结构搜索解决 22M 参数音视增强模型难以部署到手机等边缘设备的问题，以 35 次候选评估找到 2.9M 参数、14.5 dB SI-SNR 提升的模型，代价是比基线低 0.7 dB。

针对开放式情感描述偏好只给二选一标签而缺少错误定位监督的问题，EmoGavel 用受控错误构造的可验证目标先做接地监督微调再做偏好门控的组相对强化学习，在 EmoPrefer-Data 上自然偏好达到 79.75% 加权 F1、四类受控错误平均 88.20% 并保持 77.27% 接地总分，但缺失证据恢复略有下降且结论适用范围限于四种预设错误。

论文针对全模态大模型的答案可信度问题，用外部全模态编码器把输入和思维链映射到同一空间算贴合与连贯，再给多数投票加权，在 UNO-Bench 上随生成器和模态小幅改善且在开放式全模态问答上相对最稳，代价是需要辅助切分和少量标注校准。

论文针对全模态大模型中问题相关证据仍在单模态分支可恢复却在联合预测中丢失的模态误路由问题，提出免训练的 CaRe 两阶段冲突检测与残差纠偏，并在 CMM 和 AVHBench 上以额外反事实推理为代价取得一致提升。

OmniCompass 针对视频理解只考问答或只用文字指代的问题，用同一目标的文字与图文配对、视觉与视听双轨道、时间定位加空间定位加问答三任务来诊断模型，并用 50 个模型的评测显示问答强而定位弱、跨指代不一致、开源模型在视听绑定上差距更大，但多帧与时间戳等输入预算会改变结论的适用条件。

论文针对开放词汇音视事件定位中手工模板敏感与可学习提示偏向已见类的问题，用跨音频视觉的连续提示调优加语义拓扑一致性正则保持类间相似结构，在 OV-AVEBench 上已见平均 71.2% 与未见平均 61.7% 的条件下取得提升，代价是仍依赖冻结编码器与合成类别代理。

该文研究把多步扩散与流模型压缩到 4 次函数求值的问题，提出只做在轨速度回归并加上训练期残差代理与弱预测排斥的 SMD 框架，在图像、编辑、3D、视频与 33B 音频视频联合模型上验证了对齐与质量表现，但结论依赖同网格评测与原文报告的基线配置。

论文针对联合音画生成中多目标对齐需要大量模型评估的问题，提出先做方差引导的自适应粒子搜索再做短链局部修正的两阶段推理对齐方法，在匹配计算量下提升七个对齐指标并用图像实验验证分配策略的通用性，代价是需要维护在线调度参数和两阶段奖励设置。

论文要解决竞争说话人下目标难分离且分阶段放大易放大残留干扰的问题，用目标说话人视频加听力图端到端估计 NAL-R 与 WDRC 目标，最强证据是噪声下客观与听感在竞争语音条件提升最大，代价是整句离线处理与视觉编码器带来约 232 GMACs 计算量。

FloorSAV 针对第一视角窄视野加移动声源难定位的问题，把点云、相机轨迹、声源估计和物体标注画成与视频同步的二维俯视图小视频送给音频视觉大模型做单次联合推理，在 SAVED-Bench 整体从 58.3% 提到 65.3%，代价是依赖高质量点云位姿和多通道音频且地图读数仍受模型能力限制。

该文要从听者视频加说话人音频文本推断听者六类情绪，用视觉对齐的说话人筛选加无标注听者自举训练视觉专家，再只对低置信样本用说话内容作诱因做二选一推理，在 MER-Cross 上报告 76.25% 加权平均 F1，代价是多阶段筛选与受限的大语言模型调用。

论文研究强噪声下用 spoken 示例指定关键词的检测问题，用门控交叉注意力把唇动证据加进查询音频，并在 MISP-QEKS 上证明只有音素承载的视觉表示配合注入式融合才能在 -10 dB 取得大幅等误率下降，但增益依赖编码器与干净注册条件且训练需约 72 小时单卡成本。

针对两两对比表示在三个以上模态下会丢掉必须联合观察才能出现的协同信号的问题，HRIL 用跨模态经验交叉矩张量加 Tucker 分解刻画多路交互，并用防止核心能量集中的协同正则保留高阶容量，在受控合成任务和多模态基准上做线性探测评估，代价是训练每步要多算张量构造与分解的时间。

论文要解决文本生成 5 秒有声视频时的语义与时间对齐问题，采用视频流加音频流的双流扩散结构加联合训练，在语音质量与同步指标上给出证据，代价是两阶段蒸馏与超分带来的额外训练和推理开销。

针对多模态分类中观测标签含噪时难以判断样本是否可信的问题，REFINE 用目标与背景判别分析构造判别特征向量并按类挑选可信表示空间再做标签一致筛选，在七个数据集的多类噪声下提升了分类精度，但结论只在原文的融合结构与筛选节律下成立且个别噪声设置下并未全面领先。

LeAVJEPA 用单个早期融合 Transformer 把音频、视频和联合输入映射到同一嵌入，以模态缺失局部视图匹配联合中心加 SIGReg 防坍缩，在冻结 AudioSet-20K 上得 36.0 mAP、ESC-50 上得 91.3%、微调 VGGSound 上得 61.1%，代价是冻结与检索仍落后于带显式对齐的最强基线。