音视频

针对动态说话视频中唇同步线索不可靠的问题，该工作用说话人距离与语音能量的物理一致性做检测，在动态子集上取得 0.7449 的 ROC-AUC 并与唇同步模型集成带来增益，代价是依赖深度估计与声音分离质量且近距离麦克风等场景下关系会被削弱。

针对视听目标说话人提取中深度融合会被野外噪声上限问题，论文用冻结纯音频分离骨干保保真、用 C×C 潜在转向矩阵加视觉门控做通道选择，在 LRS2-2mix 上保持原骨干感知质量并把路由计算降到 256.82G 与实时率 0.147，代价是侵入式分离分提升不如全量微调。

针对多阶段说话人检测随人数变慢、依赖外部人脸检测器的问题，RT-ASDNet 用音频流加视频流加无锚检测头在关键帧上一次输出人脸框与说话状态，在 AVA-ActiveSpeaker 验证集上以联合检测口径取得 77.5% mAP，但与只做分类的离线方法相比仍有明显差距。

该研究在一次未达到主要终点的早期帕金森 2 期试验中检验语音、面部与手指敲击客观测量是否与运动检查量表测到同一构念，并报告客观测量基线相关成立、纵向不跟随量表改善且受试者内变异更小，但眨眼率是例外且结论限于早期轻症人群。

针对噪声混响下唇视觉与声学对齐不稳的问题，论文用混合语音加唇视频先预测 WavLM-KMeans 语义令牌再以令牌为时间对齐线索引导 TFGridNet 或 MossFormer2 做提取，在 VoxCeleb2-2Mix 与 LRS2-2Mix 上取得高于同类音视系统的可运行增益，代价是两阶段流水线与令牌预测精度依赖。

论文在受控晚融合下比较梯度与损失两类平衡方法，报告其均未稳定超过简单拼接基线，并用合成诊断与全局权重上界说明训练拟合信号不能代替留出集判别价值判断，代价是逐样本最优仍有约 8 个百分点结构余量未被利用。

针对重叠语音中部分说话人不在画面内的问题，该研究在序列化输出中增加[None] 视频标记以避免强制关联，并在 LRS3 仿真混合数据上用 WER、VWER、VTER 对照验证，其代价是多说话人加离屏时声画关联误差仍明显增大。

针对多语言视频中自动语音识别不可靠、文本主导失效的问题，VINAYAKA 只用音频与视觉线索并在双曲空间做跨模态融合，在四个数据集的域内与跨数据集评测中取得最优，同时跨语言迁移仍有明显下降。

针对音频视觉问答中朴素音频描述与视觉不一致且缺问题相关细节的问题，VividAC 用视觉智能体先写问题相关视频描述再约束听觉智能体生成音频描述，在 MUSIC-AVQA 上以 59.91% 超过最强端到端基线 7.0 个百分点，代价是级联依赖视觉描述质量并需关键词过滤来缓解误差传递。

该研究用同一句爱尔兰语合成语音的嗓音源改造加三维人脸动画检验视觉通道的作用，最强证据是不一致视觉把快乐识别率从 94% 拉低到 58%，代价是一致视觉并未显著增强目标情感且放松情感仍易与厌倦混淆。

针对多模态意图识别中实例级对比缺少语义锚定、扁平融合忽略层次冗余的问题，MVCL-DAF++ 引入类原型对比与粗到细动态融合，在 MIntRec 上取得 76.18% 准确率与 75.66% 加权 F1、在 MIntRec2.0 上取得 60.40% 准确率与 59.23% 加权 F1，代价是三项损失联合训练与双分支融合的更高复杂度。

针对未切分音视频流需要低延迟生成可确认机器人动作的问题，该工作把 AVBLIP 的 Q-Former 改为按秒分块加左上下文的流式结构，用三组注意力掩码实现并行训练，在 YouCook2 上以 1 到 3 秒提前量实现在线生成，代价是动作与描述质量相对离线下降不到 10%。

针对文本、音频、视觉三模态情感回归任务，SeRIn 用分组融合令牌加掩码隔离与只读视听通路推迟无约束交互，在 CH-SIMS 与 CMU-MOSEI 上全面超过 DeepMLF 等基线，代价是每 MM 块三组交叉注意力带来的可训练参数与计算增加。

针对 vlog 抑郁二分类中特征高度重叠而标签只有 0/1 的问题，该研究用互 Transformer 做音视频融合再以优势加权排序损失同时拉开类间间隔与压紧类内方差，在 D-vlog 上 F1 为 77.66、在 LMVD 上 F1 为 77.01，但阈值需在验证集上重标定且尚未验证临床数据。

针对机场问询中口音英语可用性问题，LocalMATE 用口音估计加缓存、问答检索接地与口音条件语音加说话人脸视频组织端到端流程，最强证据是说话人无重叠下三类口音估计可用且正确适配提升信任而错配损害信任，代价是错配与视频增益有限且需以低置信回退到中性音来兜底。

论文发现联合视频生成中视频到伴随模态的对应强而反向弱，提出以停止梯度的强方向分布为目标的 KL 正则 RecCAR，在视频-动作上把人体解剖学得分从 0.69 提升到 0.75，在视频-音频上把绝对失同步从 0.804 降到 0.752，代价是只微调 LoRA 且需保留原生成损失权重。

针对联合音视频生成中混合奖励难归因与双塔联合更新成本高的问题，AV-GRPO 用模态锚定分组、轨迹锁定加冻结对方塔、交替更新来解耦学习，基座 LTX-2.3 22B 上的 JavisBench 与 VABench 报告显示质量、对齐与同步多项提升，但不同训练方式与指标间仍存在权衡。

TSE-Omni 用单个自回归大模型统一唇动、手势等同步线索与注册音频、文本等异步线索，以自注册历史在 2 秒干净画面后缺失视觉时保持语义分 0.81，代价是流式与弱模态组合仍有质量与语义折中。

论文比较语义、语义加声学、纯声学与标签四类语音表示在两种面部解码器下的三维面部动画质量，发现能编码音位类别且不含低结构声学信息的表示更准确，而标签表示支撑了文本到语音与面动的统一管线，但混合声学信息反而有害且重建误差与感知并不一致。

针对音画伪造在未见篡改与跨语言下易失效的问题，Referee 用一次真实参考做生物特征锚点，经身份瓶颈压缩与跨身份匹配再联合音画时序做真伪判定，在 FakeAVCeleb 训练下跨库与跨语言取得最强 AUC 与 AP，但仍依赖同身份真实参考且对参考质量敏感。