音视频

MMPostTrainBench 让研究智能体在统一基座和预算下自主改进图像、音频、视频等多模态能力并用目标与非目标、迭代轨迹与合规审计来衡量，MMResearch 再用媒体证据关联、分层记忆与开发集确认的保留机制把提交准确率提高但仍只在所测四任务与预算内成立。

MUNITE 用一个随观测子集变化的完整观测潜变量条件分布统一编码与生成，用共享潜变量样本加各模态独立解码器保持联合一致，并用更丰富观测的自蒸馏从不完整样本中学习，在三个基准上主要提升一对多与无条件联合一致性，单目标质量保持可比。

针对整体打分掩盖局部错误的问题，论文把预测目标改为引用、镜头和音频事件三组原子单元，用确定性规则查结构、用局部语言模型查语义，在 786 个视频上发现前沿模型局部感知强但跨镜头身份保持和音画关联弱，且格式修补补不回缺失信息。

针对文本图像音频视频混合输入下靠错证据生成的问题，OmniConfess 先冻结候选回答再逐通道重打分形成口供并据此修正判断与局部重写，在 3540 例基准上提升幻觉指标但逐通道重算带来额外推理耗时。

论文针对单模态可解的音视频评测无法检验联合推理的问题，用 OmniQA 构造带时间戳证据链的问答与 112K 加 19K 训练数据，并用 MFSD 做线索条件下的 token 级信用分配，在 OmniVideoBench 达 50.0% 且在自建基准达 42.5%，代价是多路线索打分与验证流水线开销。

该文针对开放词汇下每秒事件分类中视听相似度固定融合丢失自由度的问题，用复数卷积网络学习融合视听与文本相似度，并在冻结 ImageBind 上加 iHSV 与相位翻译两路辅助流，在 OV-AVEBench 未见类上达到 66.5/59.1/54.1% 的准确率/段级 F1/事件级 F1，代价是四流推理增加约 135 ms 延迟且跨数据集迁移不稳定。

Prism 针对 2K 联合生成中全注意力二次代价与冗余稀释问题，用宏区自适应块形状与混合块选择实现 2.5 倍训练加速并在 2K 评测上提升质量，但结论依赖自建 2K 数据与特定骨干和阈值。

针对音频视觉大模型中另一模态干扰问题所需证据的判断失准，RED 用问题选择证据类型并用逐点互信息增强对应贡献，在三个幻觉基准上提升准确率而首次 token 时间约为标准解码的 1.5 倍。

Salt++ 针对流式音视频同时需要因果建模和少步蒸馏的问题，先用加噪历史做表示自监督训出因果教师，再让生成器与两个分数模型共用同一因果前缀做分布匹配，在 480p 四步条件下把视觉与运动质量做到超过同条件 OmniForcing 约 57% 和 45%，再把同样的四次调用拆到低分辨率和高分辨率做到 1664×960。

论文用纯文本推理训练提升联合音视频推理，再用约少 90% 输入词元的音视频强化学习恢复感知，在 Qwen2.5-Omni-7B 上推理几何平均提升 25.83% 而感知回到基线之上。

针对无声视频配音需要同时保住可懂度、音色和口型同步的问题，UltraDub 用唇动引导的双路检索学习速度场、再用视觉节拍锚定推理修正，在四个数据集上同步和音色最好，但部分类别字错率仍非最低且推理要多算分支。

针对长视频中证据分散且预建记忆易缺问题细节的矛盾，VideoTapestry 用固定三层记忆加三智能体由粗到细重看视频并组装复合记忆，在四个长视频基准上相对同底座直接推理提升 7.0 到 17.2 个百分点，代价是离线建记忆与多次查询时模型调用。

论文用视觉估计的相机旋转与平移方向约束同一视频前后两段立体声的方位预测，并叠加左右声强差约束，在野外步行视频与仿真对照上验证了该弱监督的有效性与重叠声下的局限。

针对联合音视频扩散后训练中跨模态作用位置与多奖励冲突随训练漂移的问题，该工作用双向跨注意力预门响应做 token 与层级路由，并用分支内冲突系数对先验权重做残差修正，在 LTX-2 与 LTX-2.3 上以更均衡的多奖励轨迹提升质量、对齐与同步，但统一奖励与跨架构泛化仍未解决。

AVSD-Scenes 针对城市声景只有粗标签而缺少听视细节的问题，用两阶段自动管线先分模态生成事件与描述再用大语言模型融合成段，并用检索、对齐、分类与主观评价显示多模态描述在场景级检索与分类上优于单模态且能补充声视嵌入，代价是实例级区分力弱与仍存在幻觉风险。

针对多模态情绪冲突、缺显式表达指导与文本误差向后传播问题，EmAvatar 用多视角并行感知加多轮问答裁决做情绪识别，再用合成脚本加迭代精修指导音视频合成，在 AvaMERG 四任务上报告了可核对的提升，代价是情绪识别阶段约十秒级额外推理开销。

MAV-C 针对本地渲染等无编码失真场景的视听复杂度估计问题，用熵类音频特征与梯度色彩运动类视觉特征经对数压缩与加权融合得到连续分数，在合成语料上显示单调性与模态隔离，在游戏语料上显示视听分量不相关且仅视觉分量随内容类别变化，代价是尚无主观评分校准且空间模式依赖轨迹元数据。

OmniSeek 把音视频问答改为主动多轮取证循环，用 OmniTraj-170K 冷启动再加两阶段强化学习约束双模态依赖，在长视频多跳基准上提升明显，但超长音频仍受上下文窗口限制。

针对联合音视频模型只输出单条混音而难以分源控制的问题，Soundwich 在冻结流匹配模型上并行生成多条音频干声并共享一条视频轨，主基准上窗口成功率达 93.1% 且窗外活动降至 1.7%，代价是多干声带来显存与耗时增长且复杂重叠场景仍易受干扰。

针对无声谈话视频只能看到近似唇形而无法唯一确定音素的问题，论文用训练期真值文本加注意力融合与条件流匹配生成梅尔谱，并在 LRS2/LRS3 上以同步指标领先为证据，代价是推理仍依赖唇读预测文本的准确率。