音视频

该研究用与 LRS3 测试集七个因素分布严格对齐的新测试集 MV2LRS3 检验五个主流视听模型，发现词错误率从 1% 以下普遍恶化到 14.0% 至 23.5%，且时长与词表偏差是主要驱动因素，视觉模态在新集上反而多数拖累音频。

针对口语翻译评价只用文本上下文而低估人工译文的问题，该文提出以场景视听标签为共同条件的 AV-CXMI，在韩英电影翻译上报告与人工评分显著正相关 r=0.400 而文本版为负相关，代价是依赖云端大模型抽标签且仅在小规模单语对上验证。

针对对话中同一说话人情绪渐变难分的问题，论文提出情绪惯性感知的监督对比学习模块 EII-SCL，用动态惯性窗挑选难负样本并联合交叉熵训练，在 IEMOCAP 和 MELD 上提升可复现骨干，最强加权 F1 达 74.01%，代价是引入注意力窗与对比温度等额外超参数。

Moshi-Face 用离散面部令牌与非自回归 Face Transformer 在 Moshi 上同步生成语音与 3D 脸部运动，在 180 小时对话数据上把教师强制唇同步做到接近重建上限，但语音自然度因领域微调而下降。

MAC-VAD 针对噪声、混响和遮挡下纯音频 VAD 不可靠的问题，用 WavelNet 音频编码器与 EfficientViT 视觉编码器加动态视听交叉注意力融合，并以冻结 Wav2Vec 2.0 做蒸馏，在 MMVAD 上达到 93.52% 准确率与 86.39% F1，代价是 21.4M 参数与对人脸裁剪的依赖。

针对对话情绪识别中多模态对齐难与跨话轮情绪演化难的问题，MF-EDM 先用带多模态锚节点的句内图做融合，再用惯性与传染两条图路径分别建模同说话人持续与跨说话人影响，在四个多语言基准上取得最高加权 F1 与准确率，但完整模型在部分惯性子集上略低于单路径，说明跨说话人消息有时会稀释连续性信号。

该工作把视觉分支的监督从唇语识别和联合训练的口部线索换成音位束识别，用跨模态蒸馏得到因果轻量视觉前端，再配因果分离器，在最低乘加运算量下取得可比或更好的分离质量，但跨域时仍受视觉前端训练域限制。

针对单人姿态特征覆盖不了多人与非人类舞者、AIST++ 仅 60 首曲目易过拟合的问题，PF-D2M 用 Synchformer 视频视觉特征加 DiT 扩散模型与两阶段渐进训练，在 AIST++ 客观节拍指标 F1 达 94.3 与 20 人主观听测中领先，但生成仅约 8 秒且缺乏大型客观基准仍待验证。

针对动态说话视频中唇同步线索不可靠的问题，该工作用说话人距离与语音能量的物理一致性做检测，在动态子集上取得 0.7449 的 ROC-AUC 并与唇同步模型集成带来增益，代价是依赖深度估计与声音分离质量且近距离麦克风等场景下关系会被削弱。

针对视听目标说话人提取中深度融合会被野外噪声上限问题，论文用冻结纯音频分离骨干保保真、用 C×C 潜在转向矩阵加视觉门控做通道选择，在 LRS2-2mix 上保持原骨干感知质量并把路由计算降到 256.82G 与实时率 0.147，代价是侵入式分离分提升不如全量微调。

针对多阶段说话人检测随人数变慢、依赖外部人脸检测器的问题，RT-ASDNet 用音频流加视频流加无锚检测头在关键帧上一次输出人脸框与说话状态，在 AVA-ActiveSpeaker 验证集上以联合检测口径取得 77.5% mAP，但与只做分类的离线方法相比仍有明显差距。

该研究在一次未达到主要终点的早期帕金森 2 期试验中检验语音、面部与手指敲击客观测量是否与运动检查量表测到同一构念，并报告客观测量基线相关成立、纵向不跟随量表改善且受试者内变异更小，但眨眼率是例外且结论限于早期轻症人群。

针对噪声混响下唇视觉与声学对齐不稳的问题，论文用混合语音加唇视频先预测 WavLM-KMeans 语义令牌再以令牌为时间对齐线索引导 TFGridNet 或 MossFormer2 做提取，在 VoxCeleb2-2Mix 与 LRS2-2Mix 上取得高于同类音视系统的可运行增益，代价是两阶段流水线与令牌预测精度依赖。

论文在受控晚融合下比较梯度与损失两类平衡方法，报告其均未稳定超过简单拼接基线，并用合成诊断与全局权重上界说明训练拟合信号不能代替留出集判别价值判断，代价是逐样本最优仍有约 8 个百分点结构余量未被利用。

针对重叠语音中部分说话人不在画面内的问题，该研究在序列化输出中增加[None] 视频标记以避免强制关联，并在 LRS3 仿真混合数据上用 WER、VWER、VTER 对照验证，其代价是多说话人加离屏时声画关联误差仍明显增大。

针对多语言视频中自动语音识别不可靠、文本主导失效的问题，VINAYAKA 只用音频与视觉线索并在双曲空间做跨模态融合，在四个数据集的域内与跨数据集评测中取得最优，同时跨语言迁移仍有明显下降。

针对音频视觉问答中朴素音频描述与视觉不一致且缺问题相关细节的问题，VividAC 用视觉智能体先写问题相关视频描述再约束听觉智能体生成音频描述，在 MUSIC-AVQA 上以 59.91% 超过最强端到端基线 7.0 个百分点，代价是级联依赖视觉描述质量并需关键词过滤来缓解误差传递。

该研究用同一句爱尔兰语合成语音的嗓音源改造加三维人脸动画检验视觉通道的作用，最强证据是不一致视觉把快乐识别率从 94% 拉低到 58%，代价是一致视觉并未显著增强目标情感且放松情感仍易与厌倦混淆。

针对多模态意图识别中实例级对比缺少语义锚定、扁平融合忽略层次冗余的问题，MVCL-DAF++ 引入类原型对比与粗到细动态融合，在 MIntRec 上取得 76.18% 准确率与 75.66% 加权 F1、在 MIntRec2.0 上取得 60.40% 准确率与 59.23% 加权 F1，代价是三项损失联合训练与双分支融合的更高复杂度。

针对未切分音视频流需要低延迟生成可确认机器人动作的问题，该工作把 AVBLIP 的 Q-Former 改为按秒分块加左上下文的流式结构，用三组注意力掩码实现并行训练，在 YouCook2 上以 1 到 3 秒提前量实现在线生成，代价是动作与描述质量相对离线下降不到 10%。