音视频

论文用视觉估计的相机旋转与平移方向约束同一视频前后两段立体声的方位预测，并叠加左右声强差约束，在野外步行视频与仿真对照上验证了该弱监督的有效性与重叠声下的局限。

针对联合音视频扩散后训练中跨模态作用位置与多奖励冲突随训练漂移的问题，该工作用双向跨注意力预门响应做 token 与层级路由，并用分支内冲突系数对先验权重做残差修正，在 LTX-2 与 LTX-2.3 上以更均衡的多奖励轨迹提升质量、对齐与同步，但统一奖励与跨架构泛化仍未解决。

AVSD-Scenes 针对城市声景只有粗标签而缺少听视细节的问题，用两阶段自动管线先分模态生成事件与描述再用大语言模型融合成段，并用检索、对齐、分类与主观评价显示多模态描述在场景级检索与分类上优于单模态且能补充声视嵌入，代价是实例级区分力弱与仍存在幻觉风险。

针对多模态情绪冲突、缺显式表达指导与文本误差向后传播问题，EmAvatar 用多视角并行感知加多轮问答裁决做情绪识别，再用合成脚本加迭代精修指导音视频合成，在 AvaMERG 四任务上报告了可核对的提升，代价是情绪识别阶段约十秒级额外推理开销。

MAV-C 针对本地渲染等无编码失真场景的视听复杂度估计问题，用熵类音频特征与梯度色彩运动类视觉特征经对数压缩与加权融合得到连续分数，在合成语料上显示单调性与模态隔离，在游戏语料上显示视听分量不相关且仅视觉分量随内容类别变化，代价是尚无主观评分校准且空间模式依赖轨迹元数据。

OmniSeek 把音视频问答改为主动多轮取证循环，用 OmniTraj-170K 冷启动再加两阶段强化学习约束双模态依赖，在长视频多跳基准上提升明显，但超长音频仍受上下文窗口限制。

针对联合音视频模型只输出单条混音而难以分源控制的问题，Soundwich 在冻结流匹配模型上并行生成多条音频干声并共享一条视频轨，主基准上窗口成功率达 93.1% 且窗外活动降至 1.7%，代价是多干声带来显存与耗时增长且复杂重叠场景仍易受干扰。

针对无声谈话视频只能看到近似唇形而无法唯一确定音素的问题，论文用训练期真值文本加注意力融合与条件流匹配生成梅尔谱，并在 LRS2/LRS3 上以同步指标领先为证据，代价是推理仍依赖唇读预测文本的准确率。

输入文本提示与听者轨迹，方法先建全景三维代理并发现声源再用几何声传播渲染双耳音频，在 80 个场景上以隔离源 6.91°方向误差和人类首选 79.5% 支持空间一致性，代价是离线多阶段流水线与静态几何假设。

论文针对来源混淆的视听幻觉，提出在问题状态上做来源条件转向的免训练方法 Secret，最强证据是在 CMM 和 AVHBench 上最高带来 18.0 和 7.1 个百分点的平均准确率提升，代价是需要多分支前向与逐模型选择转向层。

针对环境噪声与竞争语音干扰下的音频视觉问答，OP-CAD 用干净音频视觉加验证答案的冻结特权教师，在学生受损输入生成的同一前缀上做在线蒸馏，并按音频移除与损坏两路敏感度加权，在受损平均准确率与配对保持率上超过同教师的均匀在线蒸馏，代价是每样本四路教师前向与三阶段课程训练的额外开销。

针对预测层分支分配隐式的问题，BC-MLF 用 BCHead 做样本自适应最小约束混合、用 FTCL 按连续情感亲和整理融合表征，在 CMU-MOSEI 与 CH-SIMS 上超过复现的 DeepMLF 基线，代价是增加约 0.1M 量级的门控参数与训练期对比正则。

VISTA 用七字段事件评价调节多模态权重来解释情感冲突，在 CA-MER 冲突子集达到 64.5% 准确率，代价是 360 token 评价目标、每种子 72 GPU 小时训练与 15.5 秒中位推理延迟。

OmniDream 把静音单目视频先扩成全景视频与三维几何，再为每个发声对象生成干声并用光线追踪仿真脉冲响应来渲染一阶 Ambisonics，在自建集与 YT360 上报告了空间对齐提升，但全景扩展耗时约 1680 秒是主要代价。

针对听与说需随对话演变的交互 3D 头生成问题，论文用用户面部视频加双人音频驱动测试时训练与双路快权重适应，在最难跨域划分上随对话推进改善表情统计，但逐帧对齐误差与颈部统计仍有代价与边界。

FlowAct-R2 要解决长时间直播中边播边换参考仍保持身份与连续的问题，用流式多模态参考扩散变换器实现连续视频生成、用离线规划加在线调度的主动交互智能体决定演什么与何时演，在与 Vidu-S1 的人评中取得视频质量 +54.76% 与实时交互 +40.48% 的 GSB 分，代价是原文未公开训练数据、定量协议与延迟成本细节。

该综述把联合生成、跨模态生成与联合编辑统一为同一视听联合分布上的三个问题，用五轴设计分类比较文献，并指出对应关系与单流质量需同时保持，而空缺的离散联合建模与音频到视频方向是主要代价与缺口。

该综述把目标说话人提取组织为音频、视觉、空间、文本语义、神经五类目标线索与判别到生成建模的演进，报告了混淆与失配等条件下的定量变化，并强调无统一最优线索与范式，需按传感、同步与部署约束选择与评估。

该文把是否融合写成共因推断，用冻结音频与视觉估计做后验加权融合，在画面内方向误差上取得可核对的下降，而代价是画面外存在小幅回升。

针对说话人音频驱动听众头部反应的时滞对齐与局部表情随机性问题，REALM 用延迟先验门控融合做粗轨迹再只在表情子空间做音频条件随机残差，在 ViCo 与 L2L 上降低表情与姿态误差并改善帧间动态，但刚体姿态分布与部分方差指标仍有基线更优的反例且依赖离线窗口与机器人专用重定向。