音视频

论文要解决竞争说话人下目标难分离且分阶段放大易放大残留干扰的问题，用目标说话人视频加听力图端到端估计 NAL-R 与 WDRC 目标，最强证据是噪声下客观与听感在竞争语音条件提升最大，代价是整句离线处理与视觉编码器带来约 232 GMACs 计算量。

FloorSAV 针对第一视角窄视野加移动声源难定位的问题，把点云、相机轨迹、声源估计和物体标注画成与视频同步的二维俯视图小视频送给音频视觉大模型做单次联合推理，在 SAVED-Bench 整体从 58.3% 提到 65.3%，代价是依赖高质量点云位姿和多通道音频且地图读数仍受模型能力限制。

该文要从听者视频加说话人音频文本推断听者六类情绪，用视觉对齐的说话人筛选加无标注听者自举训练视觉专家，再只对低置信样本用说话内容作诱因做二选一推理，在 MER-Cross 上报告 76.25% 加权平均 F1，代价是多阶段筛选与受限的大语言模型调用。

论文研究强噪声下用 spoken 示例指定关键词的检测问题，用门控交叉注意力把唇动证据加进查询音频，并在 MISP-QEKS 上证明只有音素承载的视觉表示配合注入式融合才能在 -10 dB 取得大幅等误率下降，但增益依赖编码器与干净注册条件且训练需约 72 小时单卡成本。

针对两两对比表示在三个以上模态下会丢掉必须联合观察才能出现的协同信号的问题，HRIL 用跨模态经验交叉矩张量加 Tucker 分解刻画多路交互，并用防止核心能量集中的协同正则保留高阶容量，在受控合成任务和多模态基准上做线性探测评估，代价是训练每步要多算张量构造与分解的时间。

论文要解决文本生成 5 秒有声视频时的语义与时间对齐问题，采用视频流加音频流的双流扩散结构加联合训练，在语音质量与同步指标上给出证据，代价是两阶段蒸馏与超分带来的额外训练和推理开销。

针对多模态分类中观测标签含噪时难以判断样本是否可信的问题，REFINE 用目标与背景判别分析构造判别特征向量并按类挑选可信表示空间再做标签一致筛选，在七个数据集的多类噪声下提升了分类精度，但结论只在原文的融合结构与筛选节律下成立且个别噪声设置下并未全面领先。

LeAVJEPA 用单个早期融合 Transformer 把音频、视频和联合输入映射到同一嵌入，以模态缺失局部视图匹配联合中心加 SIGReg 防坍缩，在冻结 AudioSet-20K 上得 36.0 mAP、ESC-50 上得 91.3%、微调 VGGSound 上得 61.1%，代价是冻结与检索仍落后于带显式对齐的最强基线。

MMPostTrainBench 让研究智能体在统一基座和预算下自主改进图像、音频、视频等多模态能力并用目标与非目标、迭代轨迹与合规审计来衡量，MMResearch 再用媒体证据关联、分层记忆与开发集确认的保留机制把提交准确率提高但仍只在所测四任务与预算内成立。

MUNITE 用一个随观测子集变化的完整观测潜变量条件分布统一编码与生成，用共享潜变量样本加各模态独立解码器保持联合一致，并用更丰富观测的自蒸馏从不完整样本中学习，在三个基准上主要提升一对多与无条件联合一致性，单目标质量保持可比。

针对整体打分掩盖局部错误的问题，论文把预测目标改为引用、镜头和音频事件三组原子单元，用确定性规则查结构、用局部语言模型查语义，在 786 个视频上发现前沿模型局部感知强但跨镜头身份保持和音画关联弱，且格式修补补不回缺失信息。

针对文本图像音频视频混合输入下靠错证据生成的问题，OmniConfess 先冻结候选回答再逐通道重打分形成口供并据此修正判断与局部重写，在 3540 例基准上提升幻觉指标但逐通道重算带来额外推理耗时。

论文针对单模态可解的音视频评测无法检验联合推理的问题，用 OmniQA 构造带时间戳证据链的问答与 112K 加 19K 训练数据，并用 MFSD 做线索条件下的 token 级信用分配，在 OmniVideoBench 达 50.0% 且在自建基准达 42.5%，代价是多路线索打分与验证流水线开销。

该文针对开放词汇下每秒事件分类中视听相似度固定融合丢失自由度的问题，用复数卷积网络学习融合视听与文本相似度，并在冻结 ImageBind 上加 iHSV 与相位翻译两路辅助流，在 OV-AVEBench 未见类上达到 66.5/59.1/54.1% 的准确率/段级 F1/事件级 F1，代价是四流推理增加约 135 ms 延迟且跨数据集迁移不稳定。

Prism 针对 2K 联合生成中全注意力二次代价与冗余稀释问题，用宏区自适应块形状与混合块选择实现 2.5 倍训练加速并在 2K 评测上提升质量，但结论依赖自建 2K 数据与特定骨干和阈值。

针对音频视觉大模型中另一模态干扰问题所需证据的判断失准，RED 用问题选择证据类型并用逐点互信息增强对应贡献，在三个幻觉基准上提升准确率而首次 token 时间约为标准解码的 1.5 倍。

Salt++ 针对流式音视频同时需要因果建模和少步蒸馏的问题，先用加噪历史做表示自监督训出因果教师，再让生成器与两个分数模型共用同一因果前缀做分布匹配，在 480p 四步条件下把视觉与运动质量做到超过同条件 OmniForcing 约 57% 和 45%，再把同样的四次调用拆到低分辨率和高分辨率做到 1664×960。

论文用纯文本推理训练提升联合音视频推理，再用约少 90% 输入词元的音视频强化学习恢复感知，在 Qwen2.5-Omni-7B 上推理几何平均提升 25.83% 而感知回到基线之上。

针对无声视频配音需要同时保住可懂度、音色和口型同步的问题，UltraDub 用唇动引导的双路检索学习速度场、再用视觉节拍锚定推理修正，在四个数据集上同步和音色最好，但部分类别字错率仍非最低且推理要多算分支。

针对长视频中证据分散且预建记忆易缺问题细节的矛盾，VideoTapestry 用固定三层记忆加三智能体由粗到细重看视频并组装复合记忆，在四个长视频基准上相对同底座直接推理提升 7.0 到 17.2 个百分点，代价是离线建记忆与多次查询时模型调用。