音视频

针对文本、音频、视觉三模态情感回归任务，SeRIn 用分组融合令牌加掩码隔离与只读视听通路推迟无约束交互，在 CH-SIMS 与 CMU-MOSEI 上全面超过 DeepMLF 等基线，代价是每 MM 块三组交叉注意力带来的可训练参数与计算增加。

针对 vlog 抑郁二分类中特征高度重叠而标签只有 0/1 的问题，该研究用互 Transformer 做音视频融合再以优势加权排序损失同时拉开类间间隔与压紧类内方差，在 D-vlog 上 F1 为 77.66、在 LMVD 上 F1 为 77.01，但阈值需在验证集上重标定且尚未验证临床数据。

针对机场问询中口音英语可用性问题，LocalMATE 用口音估计加缓存、问答检索接地与口音条件语音加说话人脸视频组织端到端流程，最强证据是说话人无重叠下三类口音估计可用且正确适配提升信任而错配损害信任，代价是错配与视频增益有限且需以低置信回退到中性音来兜底。

论文发现联合视频生成中视频到伴随模态的对应强而反向弱，提出以停止梯度的强方向分布为目标的 KL 正则 RecCAR，在视频-动作上把人体解剖学得分从 0.69 提升到 0.75，在视频-音频上把绝对失同步从 0.804 降到 0.752，代价是只微调 LoRA 且需保留原生成损失权重。

针对联合音视频生成中混合奖励难归因与双塔联合更新成本高的问题，AV-GRPO 用模态锚定分组、轨迹锁定加冻结对方塔、交替更新来解耦学习，基座 LTX-2.3 22B 上的 JavisBench 与 VABench 报告显示质量、对齐与同步多项提升，但不同训练方式与指标间仍存在权衡。

TSE-Omni 用单个自回归大模型统一唇动、手势等同步线索与注册音频、文本等异步线索，以自注册历史在 2 秒干净画面后缺失视觉时保持语义分 0.81，代价是流式与弱模态组合仍有质量与语义折中。

论文比较语义、语义加声学、纯声学与标签四类语音表示在两种面部解码器下的三维面部动画质量，发现能编码音位类别且不含低结构声学信息的表示更准确，而标签表示支撑了文本到语音与面动的统一管线，但混合声学信息反而有害且重建误差与感知并不一致。

针对音画伪造在未见篡改与跨语言下易失效的问题，Referee 用一次真实参考做生物特征锚点，经身份瓶颈压缩与跨身份匹配再联合音画时序做真伪判定，在 FakeAVCeleb 训练下跨库与跨语言取得最强 AUC 与 AP，但仍依赖同身份真实参考且对参考质量敏感。

针对噪声和混响导致语音情感特征退化的问题，该研究用音频逆滤波前端加频率注入视觉流的双条件 Transformer U-Net 做音视频融合，在 CREMA-D 等数据上报告了优于单模态与多模态基线的识别率，但强混响与未见噪声下的泛化仍受限。

针对模态内缺失导致证据碎片化问题，SemMSA 用冻结大语言模型隐空间迭代精炼情感语义并以核 Gram 矩阵主谱成分做无锚对齐，在缺失率 0.0 到 0.9 平均上保持领先，但极高缺失与可解释性仍受限。

针对日常视频中增益失衡叠加噪声与混响的问题，SSE 用视频加文字引导的流匹配生成做重混与增强，在 DegradedMix 与 MuddyMix 上以分布与对齐指标优于 VisAH，但单真值重建指标上优势收窄且依赖预训练编解码与分离权重。

针对大语言模型语音识别在噪声下表示不稳的问题，VIB-AVSR 在 LLM 第 4 与第 8 层后只对音频隐状态做变分信息瓶颈压缩与插值，在 LRS2 上 babble 与 speech 噪声多信噪比下降低词错率，而干净语音性能基本保持，代价是需调压缩强度与插入位置且三瓶颈会过正则。

该文用 32 组 105 人的被试内配对设计采集约 59 小时面对面与视频会议群组对话并做多模态特征与人工标注，报告显示视频会议话轮间隔更长、话语更短且句法更简单而面对面愉悦度更高，代价是任务单一且设备与场景控制仍会引入域差异。

针对第一视角下判断说话人是否在对佩戴者说话的问题，该工作用说话人身份与对话轮次感知的文本上下文建模加注视感知的视觉分支，在 Ego4D 验证集上报告 72.40% mAP，代价是依赖转写、说话人聚类与冻结视觉骨干的级联流水线。

针对多人演唱与密集伴奏下的目标歌声分离，MambaVoice 用对数分频音频编码加面部动作门控做条件，再以先 Mamba 后 Transformer 的混合主干建模，报告在 Acappella 未见未闻测试上以 16.2M 参数取得 14.18 dB SDR，并在 URSing 跨域与推理耗时上给出对照，代价是强干扰下仍略低于 VoViT 基线且主观评测样本 …

针对通用多模态只学语义对齐而缺物理量监督的问题，OmniFysics-Nano-V2 用静态属性 grounding 与动态视听事件对齐的双分支数据加两阶段 GRPO，在 21 项中 17 项领先同类全模态模型，代价是依赖商用大模型标注与多阶段训练流程。

Passing 把一段多摩单轨车窗连续录像堆成时空体并沿非线性截面重采样出无尽画面，再用去掉视觉语义分支、只留时间对齐与车内环境声语义锚定的 SpecMaskFoley 实时生成同步声，代价是最终展览声景没有可复算的客观正确性指标，只能靠现场稳定性和艺术协商来收敛。

该文在 Lyra 舞蹈子集上用音频、视频、骨架三模态做 28 标签自动打标，报告最强三模态门控融合宏 ROC-AUC 为 0.864，超过最强音频单模态 0.821，但骨架单模态仅 0.586 且约半数片段缺有效姿态。

针对野外遮挡噪声下说话人易误判问题，ROAM-ASD 联合音频、全脸与嘴部三流并用联合自注意力加模态丢弃融合，在五个基准上取得 98.8%、87.9% 等 mAP，代价是需要人脸跟踪与嘴部关键点定位。

针对视频物体移除后原声残留导致视听不一致的问题，TV-AudioRemover 用已编辑视频加文字指令做选择性声移除，并用百万级单物体对齐数据、多任务与由易到难的两阶段混合训练支撑细粒度区分，其代价是对上游视觉编辑质量和纠缠声源仍有依赖。