音视频

输入文本提示与听者轨迹，方法先建全景三维代理并发现声源再用几何声传播渲染双耳音频，在 80 个场景上以隔离源 6.91°方向误差和人类首选 79.5% 支持空间一致性，代价是离线多阶段流水线与静态几何假设。

论文针对来源混淆的视听幻觉，提出在问题状态上做来源条件转向的免训练方法 Secret，最强证据是在 CMM 和 AVHBench 上最高带来 18.0 和 7.1 个百分点的平均准确率提升，代价是需要多分支前向与逐模型选择转向层。

针对环境噪声与竞争语音干扰下的音频视觉问答，OP-CAD 用干净音频视觉加验证答案的冻结特权教师，在学生受损输入生成的同一前缀上做在线蒸馏，并按音频移除与损坏两路敏感度加权，在受损平均准确率与配对保持率上超过同教师的均匀在线蒸馏，代价是每样本四路教师前向与三阶段课程训练的额外开销。

针对预测层分支分配隐式的问题，BC-MLF 用 BCHead 做样本自适应最小约束混合、用 FTCL 按连续情感亲和整理融合表征，在 CMU-MOSEI 与 CH-SIMS 上超过复现的 DeepMLF 基线，代价是增加约 0.1M 量级的门控参数与训练期对比正则。

VISTA 用七字段事件评价调节多模态权重来解释情感冲突，在 CA-MER 冲突子集达到 64.5% 准确率，代价是 360 token 评价目标、每种子 72 GPU 小时训练与 15.5 秒中位推理延迟。

OmniDream 把静音单目视频先扩成全景视频与三维几何，再为每个发声对象生成干声并用光线追踪仿真脉冲响应来渲染一阶 Ambisonics，在自建集与 YT360 上报告了空间对齐提升，但全景扩展耗时约 1680 秒是主要代价。

针对听与说需随对话演变的交互 3D 头生成问题，论文用用户面部视频加双人音频驱动测试时训练与双路快权重适应，在最难跨域划分上随对话推进改善表情统计，但逐帧对齐误差与颈部统计仍有代价与边界。

FlowAct-R2 要解决长时间直播中边播边换参考仍保持身份与连续的问题，用流式多模态参考扩散变换器实现连续视频生成、用离线规划加在线调度的主动交互智能体决定演什么与何时演，在与 Vidu-S1 的人评中取得视频质量 +54.76% 与实时交互 +40.48% 的 GSB 分，代价是原文未公开训练数据、定量协议与延迟成本细节。

该综述把联合生成、跨模态生成与联合编辑统一为同一视听联合分布上的三个问题，用五轴设计分类比较文献，并指出对应关系与单流质量需同时保持，而空缺的离散联合建模与音频到视频方向是主要代价与缺口。

该综述把目标说话人提取组织为音频、视觉、空间、文本语义、神经五类目标线索与判别到生成建模的演进，报告了混淆与失配等条件下的定量变化，并强调无统一最优线索与范式，需按传感、同步与部署约束选择与评估。

该文把是否融合写成共因推断，用冻结音频与视觉估计做后验加权融合，在画面内方向误差上取得可核对的下降，而代价是画面外存在小幅回升。

针对说话人音频驱动听众头部反应的时滞对齐与局部表情随机性问题，REALM 用延迟先验门控融合做粗轨迹再只在表情子空间做音频条件随机残差，在 ViCo 与 L2L 上降低表情与姿态误差并改善帧间动态，但刚体姿态分布与部分方差指标仍有基线更优的反例且依赖离线窗口与机器人专用重定向。

论文把声道建成可微声学管道，用频域传输线求解与可微湍流门控合成元音辅音，再用神经场参数化做梯度反演，并在自监督声码与无配对语音到 MRI 视频上验证，但逆解不唯一且鼻腔未建模。

针对答案监督学不到局部音画配对的问题，SyncRA 用原生时间区间在同一视频内做对称 InfoNCE 中间层对齐，在四种骨干与二十组基准上一致超过答案微调，代价是依赖区间划分与训练期投影头。

该文针对多说话人场景下谁说了哪句话的归因失败，用动物合成诊断集揭示按画面位置顺序配对语音顺序的偏置，并用 400 个位置与顺序解耦的合成视频微调在真实基准上为 Qwen2.5-Omni 带来平均 8.27% 增益。

该研究在 ASPED 上以视频教师蒸馏音频学生，比较十种蒸馏配置，发现宏准确率小幅上升主要来自无行人类准确率上升与行人召回下降的操作点移动，PR-AUC 几乎不变，而选择性屏蔽行人样本的信任过滤蒸馏强化了这一权衡而未提升平均排序能力。

该文用真实语音加静态人脸经 Wav2Lip 生成唇同步视频来解决视听数据稀缺，在西班牙语上以混合真实加合成数据取得最高 16.2% 的相对词错误率下降，在加泰罗尼亚语上验证了零真实视听数据下合成训练仍能带来 15.2% 的多模态增益，但合成单用时仍弱于真实数据且噪声下增益收窄。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

论文在冻结语音与人脸编码器加小头架构下检验音频视觉情感识别，证明预言者选对分支即算对的上限只是分支精度与分歧的函数，拼接融合至多转化约一半头部空间而学习路由处处不如拼接，污染编码器则通过抬高音频分支掩盖头部空间。

针对带噪耳语转正常语音内容丢失问题，论文在冻结 WhisperVC 转换主干的前提下增加音视内容修复模块，在 MUSAN 六档信噪比和三套识别系统下均降低字错率，0 分贝下 Qwen3 识别字错率从 36.29% 降到 28.88%，代价是推理需要同步唇部视频和同说话人正常语音注册。