音视频

该研究用声音性别与头像外观正交变化的协作游戏二选一任务审计 10 个多模态大模型，发现闭源模型近乎强制声音外观一致、开源模型偏向高风险场景选男性且两种偏置可独立出现，而降低写实度只在部分强配对模型中减弱声音效应。

针对短视频中文本主导而音视频易误判的问题，TEXT 用多模态大模型生成解释做语义锚点，再做解释对齐与轻量时间对齐并以文本路由稀疏专家融合，在四个数据集上取得最低平均绝对误差，但细粒度分类仍有两项未胜出且依赖外部大模型。

针对音视频大模型推理时 KV 缓存过大问题，AccKV 按层自适应聚焦关键模态并先模态内合并再跨模态校准，在 MVBench 与 AVSD 上用 10% 缓存与 120 词元预算维持接近全缓存精度，但未测量延迟与吞吐提升。

针对带声音的人脸视频在压缩、模糊和低分辨率下的退化，GAVN 用低分辨率空间的帧间时域特征做粗修复、用高分辨率空间的音频加关键点身份特征补细节，在 VoxCeleb2 和 Obama 两种说话人场景下取得最优的图像质量与唇音同步分数，但代价是两阶段训练与多模块推理成本。

针对引用音频视觉分割中语言理解浅与推理分割互损问题，AURORA 用结构化思维链加分割特征蒸馏起步，再经纠错反思与分组奖励强化学习提升，在引用音频视觉分割的已见与未见划分上取得最高分，其代价是三阶段流水线与多模型标注依赖。

针对已有视频音轨需随画面增删替换音效的问题，AV-Edit 先用细粒度对比掩码预训练学到音画对齐表示，再用相关门控加多模态扩散重生成，在 VGG-Edit 三类编辑与 VGGSound 生成上报告最优距离与质量，代价是原文承认不能无失真保留原音。

针对混合声中只定位目标声源的问题，该研究用跨实例图像做语义提示，先做语义对齐再做多频带空间对齐，在 VGGSound-SSL 上报告平均绝对误差 16.59 度、准确率 71.29%，代价是依赖合成空间音频与人工核验的提示池。

该文用统一预处理把六种说话条件接入三种主流架构复测，显示纯视觉在域外全面崩溃、音视融合仅在 Lombard 夸张口型下稳定增益，而发音人清晰度与 90 度侧脸的影响远大于小角度偏移与加数据量。

针对短视频广告中夸大表述与跨模态错位带来的细粒度政策违规，BLM-Guard 采用规则锚定的交错模态推理冷启动加自适应评论奖励的分组优化实现可解释审核，在自建基准与消融矩阵中报告严格准确率与一致性提升，但资源本次未能确认可达且一致性依赖大模型打分。

针对播报式基准低估真实对话难度的问题，该工作把 1656 段双人视频会议转成 713.5 hours 训练加 60.1 hours 测试的视听识别基准，报告显示纯音频错误率从 LRS3 的 0.74–1.95% 升至 16.83–24.32%，而混合训练可把对话测试集视听错误率压到 9.83% 与干净条件下 8.48%，代价是必须自备原数据许可并复刻多步清洗 …

针对只有视频级标签的稠密音视事件定位，CLASP 用双模态预测一致性找出显著锚点再向全时序传播语义，在 UnAV-100 与 ActivityNet1.3 上取得弱监督最优，但与全监督约 50% 平均精度仍有明显差距且更依赖锚点超参数。

ConsistTalk 针对音频驱动说话头视频的闪烁、身份漂移与音画失同步，用面部光流时间模块解耦运动、用音频到强度蒸馏建模帧级运动幅度、用强度引导的噪声束搜索做推理初始化，在 HDTF 上报告 FVD 171.7 与更低闪烁，但推理束搜索带来约 B 倍的计算代价。

针对对话多模态情感识别中高阶跨模态交互不足与多目标梯度冲突问题，论文用模态特异低秩多项式融合做表示、用三目标帕累托梯度协调做优化，在 IEMOCAP 上报告 75.42% 准确率、在 MELD 上报告 68.47% 准确率，代价是每轮训练比单分支基线多约 0.66s 的小规模二次规划开销。

针对通用视频背景音乐在时间对齐与多视角特征融合上的困难，Diff-V2M 用节奏预测器从视频估计低分辨率起音检测函数并以情感先行、语义与节奏并行融合的分层交叉注意力约束音频潜在扩散，在域内混合测试与域外 V2M-Bench 上取得更优的客观指标与主观偏好，代价是依赖场景切分与帧差等粗粒度视觉动态且缺乏显式风格控制。

针对口面部神经疾病的音视频联合诊断与严重度估计问题，DIVINE 用分层变分瓶颈分离共享与私有表征并做稀疏门控融合，在 Toronto NeuroFace 上以 DeepSeek-VL2 加 TRILLsson 达到双模态高精度，但缺模态与跨库泛化仍受限。

论文指出当前音频-视觉分割模型依赖视觉显著性而忽视音频，用 AVSBench-Robust 的正负音频对照和分类器引导的相似度学习把单源 G-mIoU 做到 87.672 并把负样本误激活压到近零，代价是正样本分割分数略有回落。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

该研究用音画同步选出说话人、用文本教师蒸馏音频与视觉图网络、再用分层注意力与组合损失做融合，在 MELD 达到 67.75% 加权 F1、在 IEMOCAP 达到 72.44% 加权 F1，代价是引入更多超参数与调参负担。

该文把语音驱动的人脸运动看作情绪条件下的运动隐空间分布，用正交运动字典加情绪子空间保留发音与情感耦合，再用逐层跨注意力融合音频与情绪去调制流匹配速度场，在 MEAD 上取得 82.05% 情绪准确率与 22.58 dB PSNR 并以十步采样实现实时推理，代价是仅覆盖英语与七类基本情绪且对大角度头部转动验证不足。

针对音频驱动人像动画中动作自然度、唇同步、视觉质量互相冲突的问题，该工作用 Talking-Critic 学三维奖励并自动构建 410K 偏好对，再用 TLPO 分专家独立优化后做时步-层自适应融合，报告显示主指标和用户评分全面提升，代价是两阶段训练与多专家推理融合的额外复杂度。