音视频

论文在事件决定声音、外观只影响视频的结构因果模型下证明并验证共享隐变量仍学颜色等视觉捷径，而对 nuisance 做反事实不变干预才能恢复因果预测，代价是需要已知且可增强的 nuisance 并在分布内付出小额误差。

DFD-Lab 把数据集适配、配对片段表示、检测器接口与实验配置分开，用 FakeAVCeleb 训练、过滤后的 Deepfake-Eval-2024 外部测试三类融合实现，最一致的证据是 JPEG50 训练增强把外部 AUROC 从 0.504、0.538、0.458 分别提升到 0.691、0.605、0.570，但三者准确率同时从 …

AVTR-1 用 153M 参数的双音频条件流匹配模型生成头部与表情动作，再用常开的渲染与调度循环把外部语音智能体的可变语音片段变成同步音视频，并用延迟分解与 R-DGG 验证了可交互性与说话人依赖，代价是仍依赖外部语音智能体与固定的窗口节拍。

针对说话数据训练的模型在唱歌时出现节奏漂移和表情受限的问题，论文用三阶段过滤构建 29500 余段野外唱歌头数据，并在 Hallo 等架构上验证了唇同步与节奏对齐的提升，但高强度筛选只保留约 6.9% 原料且依赖人工打分融合。

针对文本查询的音视事件时间定位，论文提出按边界可靠性分配教师监督位置的 OV-OrthKD，在 OV-AVEBench 上达到 0.816 片段 AP 且未见类 F1@0.5 提升 3.4 个百分点，代价是角色固定且仅做局部权重验证。

针对对话语音只看文本历史会漏掉听者即时非言语线索的问题，用回应前 1 秒听者人脸时序做显式回应规划，在严格双人 MELD 协议上时序模型宏平均 F1 和 VAD 一致性略高于纯文本而准确率基本不变，合成阶段仅证明可端到端连通而未改善可懂度。

论文把多模态交互中的用户需求理解定义为先判存在再补全意图的上下文推理任务，用 2078 个合成与真人实录场景和五维指标测 14 个原生模型，最强系统在需上下文的关键信息上仅恢复 44.7% 且误触发普遍超过 50%，而给定标准需求标注能显著改善下游回复。

针对原生音视频直接对话缺数据、难评测的问题，该工作用多智能体合成对话同时做评测集与强化训练语料，报告在合成集从 0.465 到 0.652、在真人实拍集从 0.402 到 0.632 的提升，代价是回复变短且效率与风格奖励之间存在权衡。

AVTrace 把音画时间能力拆成七类可复算的定位与排序任务，用固定测试集显示现有全模态模型语义描述尚可但时间定位与同步判断偏弱，而针对 Gemma4-E4B 的时间后训练能在部分指标上提升但伴随外部任务的涨跌。

共分析 1 篇语音/AI 论文

针对自动视频面试只给分数而缺乏可检查依据的问题，E-AVI 选择先抽取带时间戳的结构化多模态证据再做维度条件打分，在 RecruitView 上把 MAE 从 0.641 降到 0.607、Spearman 从 0.440 提升到 0.541，代价是提取阶段仍是 83.3% 困难样本的瓶颈且推理依赖 15 秒级抽取开销。

针对跨通道矛盾定义的犹豫与矛盾识别问题，论文选择显式建模模态差异的 9 token Transformer 路线，在 BAH 标注测试集上报告 0.7408 Macro F1，代价是小数据下额外 token 带来的过拟合风险与多窗口训练成本。

针对深度与双耳音频简单拼接会丢失几何语义关联的问题，CTAN 用双向重构交叉注意力做主动语义增强、用门控时间记忆桥接听觉死区，在 Replica 与 Matterport3D 未见环境中相对 SoundSpaces 基线提升了未听过声音下的成功率与路径效率，但消融显示各模块贡献与听觉死区恢复能力仍受场景规模与声音泛化条件限制。

该文把视频多模态情感分析拆为极性判别与强度回归，用极性与强度瓶颈专家分别压缩各模态信息再做跨模态路由融合，在四个中英文数据集与多种语言模型上报告了路由设置与专家分工证据，但未公开代码与完整训练预算。

Encypher 研究陌生人如何一起跳舞并共同引导实时神经音频，用 11 人课堂研究显示协作感达 81.8% 认同而个人控制感仅 63.6%，代价是 2 秒生成延迟和屏幕分散注意力的双刃效应。

针对轻量音视语音增强中拼接缺乏结构、先验稠密注意力易错配的问题，SG-Mamba 用±3 帧稀疏异构图做局部内容自适应融合再交由单向 Mamba 建模全局时序，在 LRS3 噪声下取得 13.091 dB SI-SDR，代价为 5.3 M 参数和 3.45 G MACs。

针对语音特征缺少显式人脸空间结构导致口唇与表情不准的问题，该文用音频预测的 68 点地标做局部空间增强与全局补偿来修正三维高斯属性偏移，并在自驱动与跨驱动条件下验证同步与重建，同时以阈值与几何正则的取舍为代价。

针对被动视觉缺失与误导导致的音频视觉导航失败，论文用高层 Transformer 令牌融合选 3×3 局部目标、低层碰撞惩罚图规划转原子动作，在 Replica 与 MP3D 的听过与未听过电话声划分上报告了路径效率与成功率提升，但碰撞图依赖静态假设且仍受深度噪声与仿真条件限制。

针对救护车、消防车、警车与道路背景四分类问题，AVNet 用逐秒对齐的视频查音频交叉注意力做融合，并用单模态教师的软分布蒸馏融合分支，在 281 个 AudioSet 测试片段上融合达到 66.6%，但消防车出现融合低于纯音频的反例且模型容量受限于 D 等于 128。

针对生成式音视频越来越难靠伪影区分的问题，PIVOT 把检测改写为先估计时序物理量再逐条验算事件相关物理定律的核查流程，在 PhysForensics-Bench 上以 70.30% 与 72.16% 的双生成器准确率超过直接大模型目检，但其代价是依赖几何与声学估计质量并在弱观测事件上明显退化。