论文解读

GAANet:用非对称时间尺度和全局语义引导做视听语音分离

针对双人混合语音加目标说话人唇部视频的分离任务,GAANet 让音频做逐级降采样而视频保持原时间分辨率,并用压缩到单时间点的全局令牌回头调制各尺度特征,在 LRS2 上达到 16.5 dB SI-SNRi,代价是 3.3M 参数和 19.8G MACs。

 · 更新于 2026-10-15 · 约 19 分钟 · 9482 字 阅读 →
会议总览

interspeech-2026 论文深度解读

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

 · 更新于 2026-10-15 · 约 2613 分钟 · 1309023 字 阅读 →
论文解读

从混合梅尔谱直达干净梅尔谱:AV-FlowSep 如何用一步流匹配做视听目标说话人分离

针对视听目标说话人分离中判别法过平滑与扩散法需约 30 步迭代的问题,AV-FlowSep 用条件流匹配学习混合到干净梅尔谱的直线传输路径,在 VoxCeleb2 与 LRS2 的语音-语音和语音-噪声任务上以 1 步与 5 步推理取得可比或更优的感知质量与跨数据集稳定性,代价是仍存在面部条件带来的说话人混淆与声码器引入的轻微失真。

 · 更新于 2026-10-15 · 约 17 分钟 · 8174 字 阅读 →
论文解读

在真实轮转对话里做在线提取:用预测的说话活动给分离器指路

针对含第三方干扰的自然双人对话在线音视目标说话人提取,该研究用语音大模型预测目标与对话伙伴的近未来活动来引导低延迟分离器,在 IEMOCAP 三人混合上三上下文联合达到平均 10.03 dB、相对基线提升 10.9%,代价是需要两遍训练、2 秒窗与 600 毫秒跳的在线调度和冻结的预测模块。

 · 更新于 2026-10-15 · 约 20 分钟 · 9816 字 阅读 →
论文解读

在线时不能看未来:用渐进蒸馏把视觉前端变轻并保住说话人区分度

针对因果视听说话人分离缺未来上下文且视觉前端笨重的问题,论文用因果化 DeepAVSR 加在线 AV-CrossNet 做基线,再用渐进加权的视觉知识蒸馏把前端压缩到约 48 倍参数与 7.5 倍计算量,并在 LRS2、LRS3 与 VoxCeleb2 上取得在线最优,同时保留教师性能。

 · 更新于 2026-10-15 · 约 17 分钟 · 8294 字 阅读 →
论文解读

把分离留给冻结骨干、把选择交给视觉门控:Plug-and-Steer 的解耦提取

针对视听目标说话人提取中深度融合会被野外噪声上限问题,论文用冻结纯音频分离骨干保保真、用 C×C 潜在转向矩阵加视觉门控做通道选择,在 LRS2-2mix 上保持原骨干感知质量并把路由计算降到 256.82G 与实时率 0.147,代价是侵入式分离分提升不如全量微调。

 · 更新于 2026-10-15 · 约 18 分钟 · 8954 字 阅读 →
会议总览

chime-2026 论文深度解读

共收录 14 篇 chime-2026 会议论文的 Reader 深度解读

 · 更新于 2026-10-15 · 约 30 分钟 · 14943 字 阅读 →
论文解读

八人四会话强重叠下先用视觉定界再抽取转写的级联路线

针对室内社交中最多八人四会话并行且重叠率超 90% 的问题,采用每人视觉流做说话人检测分段、音频视觉目标语音抽取去干扰、音频视觉识别转写再做大模型会话聚类的级联路线,最强可复现证据是原始开发集上提交三的 32.03/16.02 到 31.39/15.70 与聚类满分,代价是多前端多后端融合与大模型多次投票的系统复杂度。

 · 更新于 2026-10-15 · 约 20 分钟 · 9719 字 阅读 →
论文解读

The ISCSLP 2026 Real-World Audio-Visual Speech Enhancement Challenge

音视频语音分离 | 8.8/10

 · 更新于 2026-10-15 · 约 13 分钟 · 6292 字 阅读 →
论文解读

Separate First, Then Associate: A Two-Stage Approach for Real-World Audio-Visual Speech Enhancement

音视频语音分离 | 6.2/10

 · 更新于 2026-10-15 · 约 11 分钟 · 5443 字 阅读 →
论文解读

DAVE: A Decoupled Audio-Visual Enhancement Framework for Real-World Speech Separation

音视频语音分离 | 6.5/10

 · 更新于 2026-10-15 · 约 13 分钟 · 6225 字 阅读 →
论文解读

Identity-Faithful Audio-Visual Target Speaker Extraction with QIANGDA and VOXBLINK2-AVSE

音视频语音分离 | 6.8/10

 · 更新于 2026-10-15 · 约 22 分钟 · 10746 字 阅读 →
论文解读

Neural-Inspired Modeling of Auditory Selection and Compensation for Audio-Visual Speech Separation

音视频语音分离 | 6.2/10

 · 更新于 2026-10-15 · 约 19 分钟 · 9223 字 阅读 →