音视频

论文把声道建成可微声学管道，用频域传输线求解与可微湍流门控合成元音辅音，再用神经场参数化做梯度反演，并在自监督声码与无配对语音到 MRI 视频上验证，但逆解不唯一且鼻腔未建模。

针对答案监督学不到局部音画配对的问题，SyncRA 用原生时间区间在同一视频内做对称 InfoNCE 中间层对齐，在四种骨干与二十组基准上一致超过答案微调，代价是依赖区间划分与训练期投影头。

该文针对多说话人场景下谁说了哪句话的归因失败，用动物合成诊断集揭示按画面位置顺序配对语音顺序的偏置，并用 400 个位置与顺序解耦的合成视频微调在真实基准上为 Qwen2.5-Omni 带来平均 8.27% 增益。

该研究在 ASPED 上以视频教师蒸馏音频学生，比较十种蒸馏配置，发现宏准确率小幅上升主要来自无行人类准确率上升与行人召回下降的操作点移动，PR-AUC 几乎不变，而选择性屏蔽行人样本的信任过滤蒸馏强化了这一权衡而未提升平均排序能力。

该文用真实语音加静态人脸经 Wav2Lip 生成唇同步视频来解决视听数据稀缺，在西班牙语上以混合真实加合成数据取得最高 16.2% 的相对词错误率下降，在加泰罗尼亚语上验证了零真实视听数据下合成训练仍能带来 15.2% 的多模态增益，但合成单用时仍弱于真实数据且噪声下增益收窄。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

论文在冻结语音与人脸编码器加小头架构下检验音频视觉情感识别，证明预言者选对分支即算对的上限只是分支精度与分歧的函数，拼接融合至多转化约一半头部空间而学习路由处处不如拼接，污染编码器则通过抬高音频分支掩盖头部空间。

针对带噪耳语转正常语音内容丢失问题，论文在冻结 WhisperVC 转换主干的前提下增加音视内容修复模块，在 MUSAN 六档信噪比和三套识别系统下均降低字错率，0 分贝下 Qwen3 识别字错率从 36.29% 降到 28.88%，代价是推理需要同步唇部视频和同说话人正常语音注册。

针对开放词汇情绪推理中全局音频编码丢失话语内微韵律的问题，AcoustEmo 用时间戳同步滑动窗口加话语感知声学 Q-Former 提取片段级声学 token，在 EMER-Fine 上取得平均 67.55 分的最佳可运行结果，代价是依赖转写时间戳且需同时保留全局分支。

针对在线视听目标说话人提取中选错人且会议泛化差的问题，该研究把嘴部特征接到个性化增强模型的说话人条件输入并联合微调，在无未来帧与 20 ms 算法延迟下把 46% 的混淆降到 1.6%，并在会议上拉开分离差距与 0.57 和 0.63 MOS 整体质量提升，代价是仅在双人混合上微调且未报告设备端真实耗时。

该工作在 Whisper 加自注意力音视融合基线上对比前缀拼接、交叉注意力和门控加权三种注入方式，用噪声嵌入管融合、用说话人嵌入管解码，在 LRS3 多噪声条件下相对基线取得噪声与说话人适配增益并相对 AV-HuBERT 取得优势，代价是额外参数与推理耗时且两类嵌入信息冗余而无法叠加。

针对口语英语评分数据稀缺问题，论文用 16 专家混合专家分工捕捉多模态线索并以一阶 MAML 学可快速适应的初始化，在 ETS Vericant 上 SEE 总分达到分类 F1 84.88% 与回归 MSE 0.225，代价是仍依赖预训练特征且切段可反映整段的假设待验证。

该文在视觉条件扩散语音先验的去噪分数匹配损失上并联对称 InfoNCE 对齐损失，在匹配与跨数据集失配测试中提升干扰抑制与重建，代价是对视觉输入依赖更强且对比权重需仔细平衡。

针对背景噪声与帧损坏会让融合偏向坏模态的问题，该研究用 Mamba2 加交叉注意力做带噪输入重建干净特征的预训练，在 RAVDESS 上显示噪声音频获益而视频基本保持，仅以视频小幅下降为代价。

针对视听目标说话人分离中判别法过平滑与扩散法需约 30 步迭代的问题，AV-FlowSep 用条件流匹配学习混合到干净梅尔谱的直线传输路径，在 VoxCeleb2 与 LRS2 的语音-语音和语音-噪声任务上以 1 步与 5 步推理取得可比或更优的感知质量与跨数据集稳定性，代价是仍存在面部条件带来的说话人混淆与声码器引入的轻微失真。

针对远场多说话人加噪声下目标说话人提取，论文采用第一阶段视听引导波束形成得到目标与干扰波束、第二阶段双分支跨波束注意力做互斥抑制，在自采真实录制集平均词错误率从 28.40% 降到 20.38%，代价是两阶段级联与双分支结构更复杂。

针对音视频特征同时需要时间敏感与语义敏感却被混在一起评的问题，该研究用野外视频构造时间扰动与语义编辑两条独立挑战，以 0.64 秒分块对角相似度的二选一准确率为证据，显示时间强者与语义强者并不重合，但生成式编辑引入的额外声学差异仍是代价。

针对音视频分路处理导致时间与语义错位的问题，该工作用帧级旋转位置编码加频率注入、跨帧块差异注意力与时间对齐跨模态注意力做对齐，在 AVSD 上报告 50.30% 准确率，但长视频描述性指标仍偏低且训练仅 1 轮。

针对含第三方干扰的自然双人对话在线音视目标说话人提取，该研究用语音大模型预测目标与对话伙伴的近未来活动来引导低延迟分离器，在 IEMOCAP 三人混合上三上下文联合达到平均 10.03 dB、相对基线提升 10.9%，代价是需要两遍训练、2 秒窗与 600 毫秒跳的在线调度和冻结的预测模块。

针对模块化看脸零样本合成在训练用语音嵌入、推理用脸嵌入导致身份漂移的问题，论文用去语料痕迹的说话人编码器加双向脸声对齐，并在声学模型训练中同时约束嵌入空间与共享身份空间的一致性，最强证据是在保持可懂度的同时提升说话人相似性与一致性，代价是三阶段训练与多组损失权重需要协同调试。