音视频

针对正面视角假设在转头时失效的问题，该工作用多视角张量融合在训练期学习跨视角唇动关联，单视角测试平均 15.718 dB，最强证据是比正面训练对照高 1.616 dB，代价是训练需同步多视角视频与少量额外计算。

MuVAP 针对单通道音频加单视角视频的多人轮替问题，用角色相对投影把任意人数压缩为当前与下一持有者两角色，并用因果视听轨迹锚定全局声学预测，在连续未剪辑对话上评估静默与活跃条件下的换保持与下一说话人预测，但历史窗依赖与类别不平衡带来延迟与偏置代价。

针对视频推理中只看画面或只用语音转文字会丢失语调环境音的问题，Flash-VAReason 用音频时间融合加全局去重保留独特音频令牌，在 CharadesEgo 上取得 Overall 2.3789 的同时把单样本推理控制在 6.10 s，代价是长音频仍需截断且未做细粒度音频事件建模。

针对 AVA 电影数据与现实部署差距，论文构建 44.5 小时多语言多噪声多人脸的 UniTalk 基准，用同协议证明最强 TalkNCE 仅 83.2 mAP 且 Hard 子集降至 77.9 mAP，而 UniTalk 训练的模型能跨库泛化并以 3 小时 AVA 微调达到 92.4 mAP。

针对电视剧多说话人、术语和长程依赖导致的纯音频识别错误，该文用视频大模型抽取剧名与细粒度描述再交由大语言模型只改明显错误，在 Violin-TV 子集上把 WavLM 等基线的词错误率相对降低 7.46% 至 20.75%，代价是依赖外部视频问答与大模型推理且未报告延迟成本。

针对多模态讽刺中字面积极与非言语冷淡之间的稀疏冲突被联合融合抹平的问题，T-ORR 用动态局部对齐、正交残差分解和冲突路由做信号分离，在 MUStARD 上报告 F1 为 76.8%、在 MUStARD++ 上报告 72.4%，代价是依赖可观测的声视觉不一致且新增对齐与几何约束分支。

针对广播档案中目标可能只闻其声、只见其人或两者兼有的问题，该文用单模态 Top-n 检索集在另一模态下的打分一致性来判别活跃模态并切换融合权重，在 BBC Rewind 上以 94.2% P@1 超过单模态与固定融合，但仍距真值标签上界 96.6% 有差距。

论文把目标说话人提取重构为线索结构与可用性可变的条件学习问题，用解耦的线索前端与分离器主干实现可配置组合，并在注册、空间、视觉、文本及缺失线索条件下以相同优化流程验证了互补性与稳定性，主要代价是缺失时仍需占位表示且强空间先验依赖准确方向估计。

该研究用信息结构受控的面对面纸牌任务比较独白与对话中说话人间距，报告时长 9 对、基频 excursion 8 对、头部 4 对、舌体 2 对出现趋同，并以伪配对检验排除模式切换的一般效应。

该研究把德语桌游解释中表面肯定但自评未完全理解的反馈定义为不一致回声，用声学、头部运动与话语结构特征训练可解释分类器，在交叉验证与保留集上达到约 0.71 的 ROC-AUC 和 0.73 的准确率，代价是依赖回放自评标签与较小的德语特定样本。

论文把多人说话视频的谁说了什么拆成以声音或画面为锚的跨模态检索，用受控玩具体验揭示时间编号与位置编号的三阶段绑定，并证明瓶颈在音视对齐，进而用现成说话人检测框加不到 300 步微调带来可复现的提升。

针对综艺节目非写实、强喜剧与强同步音效需求，ARCHES 用规划-生成-检查-分派精修的多智能体循环结合检索增强与经验记忆，在 VSSE-Bench 上把 LSD 降到 0.77 dB、起音误差降到 0.048 秒，代价是依赖大模型判断与多轮迭代开销。

该研究用与 LRS3 测试集七个因素分布严格对齐的新测试集 MV2LRS3 检验五个主流视听模型，发现词错误率从 1% 以下普遍恶化到 14.0% 至 23.5%，且时长与词表偏差是主要驱动因素，视觉模态在新集上反而多数拖累音频。

针对口语翻译评价只用文本上下文而低估人工译文的问题，该文提出以场景视听标签为共同条件的 AV-CXMI，在韩英电影翻译上报告与人工评分显著正相关 r=0.400 而文本版为负相关，代价是依赖云端大模型抽标签且仅在小规模单语对上验证。

针对对话中同一说话人情绪渐变难分的问题，论文提出情绪惯性感知的监督对比学习模块 EII-SCL，用动态惯性窗挑选难负样本并联合交叉熵训练，在 IEMOCAP 和 MELD 上提升可复现骨干，最强加权 F1 达 74.01%，代价是引入注意力窗与对比温度等额外超参数。

Moshi-Face 用离散面部令牌与非自回归 Face Transformer 在 Moshi 上同步生成语音与 3D 脸部运动，在 180 小时对话数据上把教师强制唇同步做到接近重建上限，但语音自然度因领域微调而下降。

MAC-VAD 针对噪声、混响和遮挡下纯音频 VAD 不可靠的问题，用 WavelNet 音频编码器与 EfficientViT 视觉编码器加动态视听交叉注意力融合，并以冻结 Wav2Vec 2.0 做蒸馏，在 MMVAD 上达到 93.52% 准确率与 86.39% F1，代价是 21.4M 参数与对人脸裁剪的依赖。

针对对话情绪识别中多模态对齐难与跨话轮情绪演化难的问题，MF-EDM 先用带多模态锚节点的句内图做融合，再用惯性与传染两条图路径分别建模同说话人持续与跨说话人影响，在四个多语言基准上取得最高加权 F1 与准确率，但完整模型在部分惯性子集上略低于单路径，说明跨说话人消息有时会稀释连续性信号。

该工作把视觉分支的监督从唇语识别和联合训练的口部线索换成音位束识别，用跨模态蒸馏得到因果轻量视觉前端，再配因果分离器，在最低乘加运算量下取得可比或更好的分离质量，但跨域时仍受视觉前端训练域限制。

针对单人姿态特征覆盖不了多人与非人类舞者、AIST++ 仅 60 首曲目易过拟合的问题，PF-D2M 用 Synchformer 视频视觉特征加 DiT 扩散模型与两阶段渐进训练，在 AIST++ 客观节拍指标 F1 达 94.3 与 20 人主观听测中领先，但生成仅约 8 秒且缺乏大型客观基准仍待验证。