音视频

EchoLoc 针对无声源框标注下热图模糊、阈值后处理难优化的问题，用空间与全局对比学习训练热图并从热图导出伪框来监督查询式框预测器，在 VGG-SS 上报告 36.36 cIoU 和 38.28 AUC，在 Flickr-SoundNet-Test 自适应指标上相对最优基线提升，但固定阈值 AUC 存在未胜出项且框质量依赖热图。

针对对话中各模态可靠性逐句变化的问题，EmoEUS 用上下文分布估计输出均值与方差并以 2-Wasserstein 距离显式监督方差，再按不确定性加权融合，在 IEMOCAP 上报告 74.33% 准确率与 74.36% 加权 F1，代价是需要延迟引入辅助损失并维护情绪与模态相关的分布簇中心。

该研究用三模态眼动实验检验普通话反语指责与反语表扬对眼睛和嘴注视分配与瞳孔大小的不同依赖，最强证据是反语指责在三模态下持续偏向眼睛而反语表扬正确理解时偏向嘴且在安静视听下看眼瞳孔更大，代价是单说话人、正确试次极不平衡与无基线瞳孔校正。

针对视频生成音频中时间对齐、多模态控制与细粒度语义难以兼得的问题，FoleyGenEx 在多模态扩散变换器上加入参考音频注入与多模态动态掩码并配副词增强数据，在 AudioCaps、VGGSound 与 Greatest Hits 上保持同步的同时扩展了文本控制、音频控制与续写能力，代价是更复杂的训练配比与推理条件构造。

针对无监督声脸关联中的跨视频假负冲突与模态私有噪声干扰，GMOD 用全局相似图挖掘多正样本做对比学习并用正交解耦分离共享身份特征，在 VoxCeleb1 上报告验证 AUC 为 87.73%，代价是每轮需重建全局图与调控邻居数 k。

针对语音、文本、视频情绪标签经常不一致的问题，MoLD 为每个模态单独预测标签分布再与融合表示拼接做最终判断，在 EmotionTalk 七分类上多模态达到 58.96% UAR 和 59.67% F1，代价是需要模态级标注和三路编码加两步交叉注意力的额外开销。

针对视听语音增强中 SI-SNR 与人耳感知不一致的问题，该工作用冻结的 SALMONN 生成自然语言质量描述再经 BERT 转为 1-5 分作为相对奖励，用 PPO 微调 AVSEC-4 个基线，在测试集上 PESQ 达 1.25 且 21 人听测中以 96.7% 和 67.6% 胜出，代价是奖励文本模式较固定且需额外大模型推理开销。

针对音视频局部短时伪造易被全局池化稀释的问题，MS-GNN 把视频切成 400 ms 非重叠窗口建异构图并做自下而上聚合与自上而下回注，用视频级主损失加窗口级辅助损失训练，在 LAV-DF 上报告 98.12% 准确率与 99.81% AUC，在 FakeAVCeleb 上准确率 93.20% 而 AUC 最高为 96.75%，代价是依赖 …

针对正面视角假设在转头时失效的问题，该工作用多视角张量融合在训练期学习跨视角唇动关联，单视角测试平均 15.718 dB，最强证据是比正面训练对照高 1.616 dB，代价是训练需同步多视角视频与少量额外计算。

MuVAP 针对单通道音频加单视角视频的多人轮替问题，用角色相对投影把任意人数压缩为当前与下一持有者两角色，并用因果视听轨迹锚定全局声学预测，在连续未剪辑对话上评估静默与活跃条件下的换保持与下一说话人预测，但历史窗依赖与类别不平衡带来延迟与偏置代价。

针对视频推理中只看画面或只用语音转文字会丢失语调环境音的问题，Flash-VAReason 用音频时间融合加全局去重保留独特音频令牌，在 CharadesEgo 上取得 Overall 2.3789 的同时把单样本推理控制在 6.10 s，代价是长音频仍需截断且未做细粒度音频事件建模。

针对 AVA 电影数据与现实部署差距，论文构建 44.5 小时多语言多噪声多人脸的 UniTalk 基准，用同协议证明最强 TalkNCE 仅 83.2 mAP 且 Hard 子集降至 77.9 mAP，而 UniTalk 训练的模型能跨库泛化并以 3 小时 AVA 微调达到 92.4 mAP。

针对电视剧多说话人、术语和长程依赖导致的纯音频识别错误，该文用视频大模型抽取剧名与细粒度描述再交由大语言模型只改明显错误，在 Violin-TV 子集上把 WavLM 等基线的词错误率相对降低 7.46% 至 20.75%，代价是依赖外部视频问答与大模型推理且未报告延迟成本。

针对多模态讽刺中字面积极与非言语冷淡之间的稀疏冲突被联合融合抹平的问题，T-ORR 用动态局部对齐、正交残差分解和冲突路由做信号分离，在 MUStARD 上报告 F1 为 76.8%、在 MUStARD++ 上报告 72.4%，代价是依赖可观测的声视觉不一致且新增对齐与几何约束分支。

针对广播档案中目标可能只闻其声、只见其人或两者兼有的问题，该文用单模态 Top-n 检索集在另一模态下的打分一致性来判别活跃模态并切换融合权重，在 BBC Rewind 上以 94.2% P@1 超过单模态与固定融合，但仍距真值标签上界 96.6% 有差距。

论文把目标说话人提取重构为线索结构与可用性可变的条件学习问题，用解耦的线索前端与分离器主干实现可配置组合，并在注册、空间、视觉、文本及缺失线索条件下以相同优化流程验证了互补性与稳定性，主要代价是缺失时仍需占位表示且强空间先验依赖准确方向估计。

该研究用信息结构受控的面对面纸牌任务比较独白与对话中说话人间距，报告时长 9 对、基频 excursion 8 对、头部 4 对、舌体 2 对出现趋同，并以伪配对检验排除模式切换的一般效应。

该研究把德语桌游解释中表面肯定但自评未完全理解的反馈定义为不一致回声，用声学、头部运动与话语结构特征训练可解释分类器，在交叉验证与保留集上达到约 0.71 的 ROC-AUC 和 0.73 的准确率，代价是依赖回放自评标签与较小的德语特定样本。

论文把多人说话视频的谁说了什么拆成以声音或画面为锚的跨模态检索，用受控玩具体验揭示时间编号与位置编号的三阶段绑定，并证明瓶颈在音视对齐，进而用现成说话人检测框加不到 300 步微调带来可复现的提升。

针对综艺节目非写实、强喜剧与强同步音效需求，ARCHES 用规划-生成-检查-分派精修的多智能体循环结合检索增强与经验记忆，在 VSSE-Bench 上把 LSD 降到 0.77 dB、起音误差降到 0.048 秒，代价是依赖大模型判断与多轮迭代开销。