音视频语音分离

📄 The ISCSLP 2026 Real-World Audio-Visual Speech Enhancement Challenge 标签：#音视频语音分离 #基准测试 #鲁棒性 #数据集 #开源工具 8.8/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 🔥 8.8/10 | 前25% | 文档类型：数据集与基准 | 评分置信度：高 | #音视频语音分离 | #基准测试 | #鲁棒性 #数据集 | arxiv 👥 作者与机构 第一作者：Kai Li（Tsinghua University） 通讯作者：正文仅以星号标注核心贡献者，未明确通讯作者 作者列表：Kai Li、Wenze Ren、Junjie Li、Cheng Yu、Peijun Yang、Chien-yu Huang、Haibin Wu、Szu-Wei Fu、Wen-Chin Huang、Hsin-Min Wang、Xiaolin Hu、Ming Li、DeLiang Wang、Yu Tsao（机构：Tsinghua University、National Taiwan University、The Hong Kong Polytechnic University、Ohio State University、Wuhan University、Carnegie Mellon University、Meta、NVIDIA、Nagoya University、Academia Sinica、The Chinese University of Hong Kong, Shenzhen） ...

📄 Separate First, Then Associate: A Two-Stage Approach for Real-World Audio-Visual Speech Enhancement 标签：#音视频语音分离 #对比学习 #语音增强 #自监督学习 #音视频 6.2/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.7/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.2/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：中 | #音视频语音分离 | #对比学习 | #语音增强 #自监督学习 | arxiv 👥 作者与机构 第一作者：Tongtao Ling（未说明） 通讯作者：未说明 作者列表：Tongtao Ling（未说明）、Zhong-Qiu Wang（未说明） 论文中未提供作者所属机构、实验室或公司信息。 💡 毒舌点评 两阶段“先分离、后关联”是一个务实且有效的工程解耦：把不可靠视觉特征从语音分离前端中剥离，实验结果较官方基线大幅提升，证明了思路在真实录制条件下的可行性。但方法本质仍是现成 TF-GridNet 分离器加 AV-CLIP 相似度匹配器，关联模块对同步偏差、静音段和视觉退化的鲁棒性没有被真正检验；且无代码、无权重、无模型开源，学术纵深和可验证性不足。 ...

📄 DAVE: A Decoupled Audio-Visual Enhancement Framework for Real-World Speech Separation 标签：#音视频语音分离 #多任务学习 #语音增强 #鲁棒性 6.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.5/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音视频语音分离 | #多任务学习 | #语音增强 #鲁棒性 | arxiv 👥 作者与机构 第一作者：Wei Zhou（Yijiahe AI） 通讯作者：Wanyi Ning（Yijiahe AI / 天津大学） 作者列表：Wei Zhou（Yijiahe AI）、Wanyi Ning（Yijiahe AI / 天津大学）、Yinshang Guo（南京大学）、Qianxiao Fang（Yijiahe AI）、Haitao Qian（Yijiahe AI）、Yingpeng Li（Yijiahe AI） 💡 毒舌点评 DAVE 的设计直觉很清醒：视觉不是用来重建波形的，而是用来做身份归属的低带宽决策，这比把不可靠视觉特征硬塞进分离网络更符合真实场景。可惜“certified”这个说法撑不住：场景分类器只有 98.13% 准确率，误路由会让“结构性不降级”不成立；官方排行榜上 DAVE 主要靠 UTMOS 和 DNSMOS-OVRL 两项无参考感知指标领先，SI-SDR、CER、说话人相似度都不是最优，平均排名只在 4.00/4.14，明显落后于 AITD 和 audioman。再加上没有开源代码、权重或 DAVE-Corpus 下载入口，这套系统更像一个工程报告而不能称为可复现的方法贡献。 ...

📄 Identity-Faithful Audio-Visual Target Speaker Extraction with QIANGDA and VOXBLINK2-AVSE 标签：#音视频语音分离 #多模态模型 #基准测试 #数据集 #数据清洗 6.8/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.2/0.5 | 工程 1/1.5 ✅ 6.8/10 | 前50% | 文档类型：数据集与基准 | 评分置信度：中 | #音视频语音分离 | #多模态模型 | #基准测试 #数据集 | arxiv 👥 作者与机构 Peijun Yang（武汉大学网络空间安全学院 / 武汉大学人工智能学院），Zhan Jin（武汉大学计算机学院），Juan Liu（武汉大学计算机学院 / 武汉大学人工智能学院，共同通讯作者），Ming Li（武汉大学人工智能学院 / 香港中文大学（深圳）人工智能学院，共同通讯作者）。通讯邮箱：liujuan@whu.edu.cn, ming.li.cuhksz@gmail.com。 💡 毒舌点评 “QiangDa 把 AV-TSE 评测从’独立录音合成的干净混合’拉回到’同一物理场景共同录制的双人重叠’，并要求同一段混合分别在 A/B 视觉提示下输出两个不同身份，OSD-first 严格判定也确实堵住了 visual bypass——这个评测思路比只报 SI-SNR 聪明得多，发布 VoxBlink2-AVSE 也有实际价值。但作为 benchmark 论文，实验通篇只有自家 8 个检查点的内部互比，VisualVoice、USEV、AV-GridNet 这些已有 AV-TSE 方法一个直接对比都没有，读者无法判断 QiangDa 到底比旧基准难在哪、新方法比旧方法强在哪；最强的无 speaker-loss 检查点启动 CLI 未完整保存，等于资源论文里最亮的数字作者自己都复现不出来。基准的’锚’没打好，严谨性和可用性都要打折扣。” ...

📄 Neural-Inspired Modeling of Auditory Selection and Compensation for Audio-Visual Speech Separation #音视频语音分离 #语音增强 #多模态模型 6.2/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.6/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6.2/10 | 前50% | #音视频语音分离 | #多模态模型 | #语音增强 | arxiv 👥 作者与机构 第一作者：Xinmeng Xu（岭南大学人工智能系，Department of Artificial Intelligence, Lingnan University） 通讯作者：Haoran Xie（岭南大学人工智能系，Department of Artificial Intelligence, Lingnan University） 作者列表：Xinmeng Xu（岭南大学人工智能系）、Haoran Xie（岭南大学人工智能系）、Xiaohui Tao（南昆士兰大学数学物理与计算学院，School of Mathematics, Physics and Computing, University of Southern Queensland）、Lin Li（武汉理工大学计算机科学与人工智能学院，School of Computer Science and Artificial Intelligence, Wuhan University of Technology）、S. Joe Qin（岭南大学人工智能系） 💡 毒舌点评 这篇论文从认知神经科学中搬来“听觉选择”和“跨模态补偿”的双阶段机制，并在AVSS架构中将其显式化为ASM和CCM模块，想法干净且有洞察力。在LRS2/3和VoxCeleb2上以6.3M的参数稳定超越包括AV-CrossNet在内的现有SOTA，且多说话人重叠和视觉降质下的表现更加突出。然而，致命伤是完全闭源：无代码、无模型、无Demo链接，这在2024年后的ML顶会中极度罕见且难以接受。此外，Section 3.1的信息论不等式与模块设计之间存在一条明晃晃的鸿沟：Eq. 2中的β项从未在损失函数中出现过，其“理论指导设计”的说法本质上是一种后验包装。总体而言，这是一篇工程扎实但理论过度声称、且因闭源而严重削弱影响力的工作。 ...