GAANet:用非对称时间尺度和全局语义引导做视听语音分离
针对双人混合语音加目标说话人唇部视频的分离任务,GAANet 让音频做逐级降采样而视频保持原时间分辨率,并用压缩到单时间点的全局令牌回头调制各尺度特征,在 LRS2 上达到 16.5 dB SI-SNRi,代价是 3.3M 参数和 19.8G MACs。
针对双人混合语音加目标说话人唇部视频的分离任务,GAANet 让音频做逐级降采样而视频保持原时间分辨率,并用压缩到单时间点的全局令牌回头调制各尺度特征,在 LRS2 上达到 16.5 dB SI-SNRi,代价是 3.3M 参数和 19.8G MACs。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对视听目标说话人分离中判别法过平滑与扩散法需约 30 步迭代的问题,AV-FlowSep 用条件流匹配学习混合到干净梅尔谱的直线传输路径,在 VoxCeleb2 与 LRS2 的语音-语音和语音-噪声任务上以 1 步与 5 步推理取得可比或更优的感知质量与跨数据集稳定性,代价是仍存在面部条件带来的说话人混淆与声码器引入的轻微失真。
针对含第三方干扰的自然双人对话在线音视目标说话人提取,该研究用语音大模型预测目标与对话伙伴的近未来活动来引导低延迟分离器,在 IEMOCAP 三人混合上三上下文联合达到平均 10.03 dB、相对基线提升 10.9%,代价是需要两遍训练、2 秒窗与 600 毫秒跳的在线调度和冻结的预测模块。
针对因果视听说话人分离缺未来上下文且视觉前端笨重的问题,论文用因果化 DeepAVSR 加在线 AV-CrossNet 做基线,再用渐进加权的视觉知识蒸馏把前端压缩到约 48 倍参数与 7.5 倍计算量,并在 LRS2、LRS3 与 VoxCeleb2 上取得在线最优,同时保留教师性能。
针对视听目标说话人提取中深度融合会被野外噪声上限问题,论文用冻结纯音频分离骨干保保真、用 C×C 潜在转向矩阵加视觉门控做通道选择,在 LRS2-2mix 上保持原骨干感知质量并把路由计算降到 256.82G 与实时率 0.147,代价是侵入式分离分提升不如全量微调。
共收录 14 篇 chime-2026 会议论文的 Reader 深度解读
针对室内社交中最多八人四会话并行且重叠率超 90% 的问题,采用每人视觉流做说话人检测分段、音频视觉目标语音抽取去干扰、音频视觉识别转写再做大模型会话聚类的级联路线,最强可复现证据是原始开发集上提交三的 32.03/16.02 到 31.39/15.70 与聚类满分,代价是多前端多后端融合与大模型多次投票的系统复杂度。
音视频语音分离 | 8.8/10
音视频语音分离 | 6.2/10
音视频语音分离 | 6.5/10
音视频语音分离 | 6.8/10
音视频语音分离 | 6.2/10