📄 Neural-Inspired Modeling of Auditory Selection and Compensation for Audio-Visual Speech Separation

#音视频语音分离 #语音增强 #多模态模型

6.2/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.6/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5

✅ 6.2/10 | 前50% | #音视频语音分离 | #多模态模型 | #语音增强 | arxiv

👥 作者与机构

• 第一作者：Xinmeng Xu（岭南大学人工智能系，Department of Artificial Intelligence, Lingnan University）
• 通讯作者：Haoran Xie（岭南大学人工智能系，Department of Artificial Intelligence, Lingnan University）
• 作者列表：Xinmeng Xu（岭南大学人工智能系）、Haoran Xie（岭南大学人工智能系）、Xiaohui Tao（南昆士兰大学数学物理与计算学院，School of Mathematics, Physics and Computing, University of Southern Queensland）、Lin Li（武汉理工大学计算机科学与人工智能学院，School of Computer Science and Artificial Intelligence, Wuhan University of Technology）、S. Joe Qin（岭南大学人工智能系）

💡 毒舌点评

这篇论文从认知神经科学中搬来“听觉选择”和“跨模态补偿”的双阶段机制，并在AVSS架构中将其显式化为ASM和CCM模块，想法干净且有洞察力。在LRS2/3和VoxCeleb2上以6.3M的参数稳定超越包括AV-CrossNet在内的现有SOTA，且多说话人重叠和视觉降质下的表现更加突出。然而，致命伤是完全闭源：无代码、无模型、无Demo链接，这在2024年后的ML顶会中极度罕见且难以接受。此外，Section 3.1的信息论不等式与模块设计之间存在一条明晃晃的鸿沟：Eq. 2中的β项从未在损失函数中出现过，其“理论指导设计”的说法本质上是一种后验包装。总体而言，这是一篇工程扎实但理论过度声称、且因闭源而严重削弱影响力的工作。

📌 核心摘要

1. 要解决什么问题：当前AVSS系统多采用隐式融合，缺乏显式的模态对齐与可靠性建模，导致在强干扰、多说话人重叠或视觉降质时出现语义错配和性能恶化。论文旨在将抑制干扰和补偿缺失内容两个功能显式分离并序贯化，以提升鲁棒性。
2. 方法核心是什么：提出Neuro-SCNet，包含（1）听觉选择模块（ASM），在融合前以视觉引导的时频增益控制，通过bottom-up显著性检测和top-down门控实现四象限分区，筛选目标一致声学特征并抑制干扰；（2）跨模态补偿模块（CCM），通过跨注意力对齐视觉特征，利用包含身份旁路和可靠性加权的残差补偿机制恢复缺失声学细节；（3）视觉预对齐模块（VPA），在有限窗口内通过可微偏移估计和grid_sample校正音视频微小时间偏移，并输出全局可靠性标量r供后续门控使用；（4）双编码器-解码器（幅值+相位），分离语义和声学细节处理。
3. 与已有方法相比新在哪里：首次明确将“选择”和“补偿”建模为两个独立的、序贯的模块，并赋予明确的信息流控制（身份旁路、可靠性门控、错误反馈）。ASM的四象限分区及反对齐流作为抑制性线索的设计，从认知角度有独特motivation。
4. 主要实验结果如何：在LRS2、LRS3、VoxCeleb2三个数据集上均以更少参数量（6.3M）取得三维度（SI-SNRi, SDRi, PESQ）的SOTA。关键对比数据如下：

在多说话人（3Mix/4Mix）上优势扩大。消融实验证明ASM和CCM均不可或缺，且序贯顺序不可颠倒。

5. 实际意义是什么：为鲁棒、可解释的AVSS系统提供了有意义的设计范式，特别适合强干扰或部分视觉缺失场景。轻量设计（6.3M参数，17.8G MACs）具备端侧部署潜力。
6. 主要局限性是什么：理论包装（Sec 3.1）与工程实现之间存在明显的gap——信息瓶颈目标从未被实际优化，损害了其方法论声称的深度；全局可靠性标量r无法处理局部视觉降质；完全闭源严重阻碍社区验证和跟进；部分关键实现细节未披露。

🔗 开源详情

• 代码：论文中未提及任何代码仓库、GitHub链接或直接下载方式。
• 模型权重：论文中未提及任何预训练权重或checkpoint发布。
• 数据集：论文采用公开数据集LRS2、LRS3和VoxCeleb2，未提供直接下载链接，需遵循原数据集发布机构的获取要求（参见 Afouras et al., 2018a; Afouras et al., 2018d; Chung et al., 2018）。
• Demo：论文中未提及任何在线演示或示例音频。
• 复现材料：论文在附录F提供了统一的实验协议、种子固定策略和部分超参数设定；附录A给出了VPA的详细伪代码（Algorithm 1）；附录E给出了图1 T-F map的生成伪代码（Algorithm 2）。但未提供可执行的代码、配置文件或checkpoint。
• 论文中引用的开源项目：AV-ConvTasNet、VisualVoice、CTC-Net、AVLiT-8、RTFS-Net、IIANet、AV-CrossNet、LAVSE、L2L、MuSE、AV-SepFormer、AVSepChain、AV-DPRNN、AV-GridNet等，均以文献形式引用，未提供具体的GitHub URL链接。

🏗️ 方法概述和架构

整体流程：Neuro-SCNet是一个双编码器-解码器架构的AVSS系统。输入为混合语音波形 \(y\) 和同步的嘴部区域视频帧，输出为估计的干净语音波形 \(\hat{x}\)。流程分为四个阶段：

(1) 预处理：对混合音频做STFT获得幅值 \(Y'_m\) 和相位 \(Y_p\)，对幅值施加power-law压缩得到 \(Y_m = (Y'_m)^c\)。视频帧通过冻结的预训练视觉前端CTCNet-Lip提取嵌入，经1×1时间卷积和插值投影至音频时间网格。随后，轻量级视觉预对齐模块（VPA）在有限窗口 \([-K,K]\) 内通过可微偏移估计和grid_sample完成时序对齐，输出校正后的视觉特征 \(\tilde{v}\) 和全局可靠性标量 \(r \in (0,1]\)。

(2) 编码器：由两条并行路径组成。音频编码器为紧凑卷积堆栈，处理 \((Y_m, Y_p)\) 以保留精细时频结构；音视频编码器为 \(N\) 层堆叠的语义分支，每层内部嵌入ASM和CCM，负责跨模态语义对齐和补偿。

(3) 瓶颈层：使用少量FRI-Conformer模块对两个编码器输出的拼接特征进行序列级细化。内部同样嵌入ASM和CCM，ASM执行跨模态的时频门控，CCM注入视觉补偿。

(4) 解码器：双路径解码。幅值分支预测软掩膜 \(M\) 并与 \(Y_m\) 逐元素相乘得到增强幅值；相位分支预测相位残差 \(\Delta Y_p\) 并与 \(Y_p\) 相加得到增强相位（受抗缠绕损失约束）。最终通过iSTFT合成时域语音。

听觉选择模块（ASM）：该模块是论文的核心创新，置于音视频编码器和瓶颈层内部。输入为音频特征 \(A^{(i)}\) 和视觉特征 \(V^{(i)}\)，输出为选择后的音频表征 \(Z_{\text{sel}}\)。

• Bottom-up显著性检测：分别用1×1卷积计算音频和视觉的显著性图 \(S_a = \sigma(f(A^{(i)}))\), \(S_v = \sigma(f(V^{(i)}))\)，取平均形成联合显著性掩膜 \(S = \frac{1}{2}(S_a + S_v)\) 及互补掩膜 \(\bar{S} = 1 - S\)。
• Top-down语义对齐：通过交叉注意力计算对齐特征 \(Y_{\text{att}} = \text{softmax}(QK^\top / \sqrt{C}) \cdot A^{(i)}\)（\(Q\) 来自 \(V^{(i)}\), \(K/V\) 来自 \(A^{(i)}\)），同时以负分交叉注意力计算反对齐特征 \(Y_{\text{unal}} = \text{softmax}(-QK^\top / \sqrt{C}) \cdot A^{(i)}\)，用于表征音视频不一致的成分。
• 四象限分区与门控：将 \(Y_{\text{att}}\) 和 \(Y_{\text{unal}}\) 分别与 \(S\) 和 \(\bar{S}\) 逐元素相乘，形成四个分区：A（显著对齐）、B（非显著对齐）、C（显著反对齐）、D（非显著反对齐）。对B和C施加可学习门控 \(M_B = \sigma(g(B))\), \(M_C = \sigma(g(C))\)（由1×1卷积+PReLU实现），得到精炼成分 \(B_{\text{out}} = M_B \odot B\), \(C_{\text{out}} = M_C \odot C\)，同时保留差分成分 \(B_{\text{diff}} = (1-M_B) \odot B\) 和 \(C_{\text{diff}} = (1-M_C) \odot C\)。汇集 \([B_{\text{diff}}, C_{\text{diff}}, D]\) 作为抑制性线索，通过门控信号 \((1 - \sigma(g_A([B_{\text{diff}}, C_{\text{diff}}, D])))\) 衰减A区可能残留的干扰，得到 \(A_{\text{out}}\)。最终输出为 \(Z_{\text{sel}} = \text{Conv}_{1 \times 1}(A_{\text{out}} + B_{\text{out}} + C_{\text{out}})\)。

跨模态补偿模块（CCM）：紧随ASM之后。输入为选择后的音频 \(Z_{\text{sel}}\) 和视觉 \(V^{(i)}\)。

• 视觉对齐：以 \(Z_{\text{sel}}\) 为Query、\(V^{(i)}\) 为Key/Value进行多头注意力，获得对齐后的视觉表征 \(V'\)。
• 可靠性门控融合：将 \(Z_{\text{sel}}\) 与 \(r \cdot V'\) 拼接后经1×1卷积融合，得到 \(U = \phi([Z_{\text{sel}}, r \cdot V'])\)。
• GRU时序建模与误差反馈：用单层GRU从 \(U\) 产生初始补偿估计 \(\tilde{A}\)；显式计算预测误差 \(E = (Z_{\text{sel}} - \tilde{A}) + r \cdot (V' - \tilde{A})\)，融合听觉重建误差和视觉对齐误差；用第二个GRU处理 \(E\) 生成反馈修正量 \(F\)，经LayerNorm得到残差补偿项 \(\Delta Z = \text{LN}(F)\)。
• 身份旁路输出：最终 \(Z_{\text{comp}} = Z_{\text{sel}} + r \cdot \Delta Z\)，身份旁路确保已被ASM筛选出的高质量声学信息不被破坏，可靠性加权确保不可靠视觉证据不引入噪声。

视觉预对齐（VPA）：针对音视频微小时间偏移设计。将音频幅值沿频率轴平均后经1×1卷积映射到 \(D\) 维语义空间得到 \(a_{\text{sem}}\)，视频特征做同样映射得 \(v_{\text{sem}}\)。在 \([-K,K]\) 整数滞后范围内计算帧级点积相关曲线 \(c(\delta)\)，通过带温度参数 \(\kappa\) 的softmax得到滞后分布 \(p(\delta) = \text{softmax}(\kappa \cdot c(\delta))\)，软偏移量为 \(\hat{\delta} = \sum_\delta \delta \cdot p(\delta)\)，通过grid_sample完成可微时序移位。同时取峰值 \(r = \max_\delta p(\delta)\) 作为可靠性标量，用于后续CCM的门控。该模块输出 \(\tilde{v}\) 和 \(r\)，计算复杂度为 \(\mathcal{O}(BDT(2K+1))\)。

[图像补充] 从图1可以直观看到ASM和CCM的递进式效果：隐式融合(b)受限于单纯的时域掩蔽，导致干扰成分随目标一同被增强；ASM (c)通过选择性地保留目标一致时频区，有效抑制了无关能量；CCM (d)在ASM基础上通过身份旁路和可靠性加权的视觉残差恢复结构，避免了引入新的干扰。

💡 核心创新点

1. 显式选择-补偿双阶段范式：突破了现有AVSS中隐式融合的范式，将认知过程中“先滤除干扰，再填补缺失”的层次化策略显式解耦为ASM和CCM两个模块，并有明确的信息流向约束（身份旁路、可靠性门控、错误反馈环）。消融实验证明逆序（补偿先于选择）或合并两者均导致性能显著下降，验证了序贯设计的必要性。

2. 基于显著性-对齐象限分区的听觉选择机制（ASM）：设计了四象限（A/B/C/D）划分，将对齐性和显著性解耦。特别引入“反对齐流”（anti-aligned stream）作为相对不一致性线索来抑制目标区内的干扰残留，这种通过负交叉注意力捕捉不一致性并进行门控的设计，比单纯的视觉-音频交叉注意力更精细。在4Mix实验中，移除ASM导致SI-SNRi下降1.2dB，移除四象限分区本身下降1.8dB。

3. 可靠性感知的跨模态补偿（CCM）：提出用视觉-听觉的双重误差 \(E = (Z_{\text{sel}} - \tilde{A}) + r \cdot (V' - \tilde{A})\) 驱动第二个GRU产生补偿修正，并通过VPA导出的全局置信度 \(r\) 同时控制视觉融合和残差添加的强度。在时间偏移±200ms测试中，含可靠性门控的默认配置显著优于仅偏移校正和无偏移的基线，体现了对不完美对齐的鲁棒性。

4. 轻量可微的视觉预对齐（VPA）：通过带温度softmax的软偏移估计和可微grid_sample执行时序偏移校正，跳过了离散分类和强对齐先验的需求。与CCM的 \(r\) 无缝衔接，为后续门控提供了同步置信度。在视觉降质和时间偏移场景下该模块被证明有效。

📊 实验结果

论文在LRS2、LRS3、VoxCeleb2三个标准AVSS数据集上进行了系统评估，使用SI-SNRi, SDRi, PESQ作为核心指标。

与SOTA的全面对比（Table 1）：Neuro-SCNet在三个数据集的三项指标上均达到或超越最强基线AV-CrossNet。在LRS3上的提升最为明显，SI-SNRi超出AV-CrossNet 0.6dB，PESQ高出0.04。在VoxCeleb2上优势较小（SI-SNRi领先0.2dB）。Neuro-SCNet仅用6.3M参数，而AV-CrossNet使用11.1M参数。

多说话人泛化（Table 2）：在LRS2上扩展到3Mix和4Mix场景。Neuro-SCNet在2Mix下领先IIANet 1.2dB SI-SNRi，在4Mix下领先1.6dB，表明选择-补偿机制在极端重叠场景下优势更为突出。

噪声鲁棒性（Table 8）：在NTCD-TIMIT和LRS3+WHAM!噪声数据集上，Neuro-SCNet的SI-SDRi分别达15.94dB和13.90dB，相比AV-CrossNet分别提升0.34dB和0.06dB。PESQ和eSTOI也达到或保持最优，证明在加性噪声场景下的鲁棒性。

视觉降质鲁棒性（Table 7）：在模拟遮挡（随机矩形mask）和噪声模糊（高斯噪声+高斯模糊）场景下，Neuro-SCNet相对RAVSS等鲁棒基线始终保持显著优势。遮挡导致所有模型性能下降最大，但Neuro-SCNet仍保持对第二名的明显差距。

时间偏移鲁棒性（Table 6）：在±200ms偏移下，Offset+Reliability默认配置在所有偏移条件下均优于无偏移基线（No-offset）和仅偏移校正（Offset-only），\(\Delta=0\) 时SI-SNRi为17.2dB，\(\Delta=\pm200\)ms时仍保持16.2dB。

模块消融（Table 4, Table 5）：双编码器及相位解码器的消融表明，移除音频编码器、替换为纯时域建模或复数域建模均在4Mix上造成显著下降（1.1-1.3dB），验证了双编码器分离语义和声学细节、幅相联合解码的必要性。

目标说话人提取（Table 9）：在AVTSE跨语料库任务中（LRS3、TCD-TIMIT、VoxCeleb2），Neuro-SCNet实现了最佳或可比的SI-SDR和PESQ，LRS3上SI-SDR达18.04dB。

COG-MHEAR评估（Table 10）：在包含加性噪声和重叠语音的真实干扰场景下，Neuro-SCNet在语音+噪声和语音+语音条件下均匹配或超越AV-CrossNet和AV-GridNet。

ASR下游评估（Table 13）：以分离语音的WER为指标，Neuro-SCNet在LRS2-2Mix干净、遮挡、噪声+模糊三种视觉条件下均获得最低平均WER（8.5%/10.4%/10.3%），证明分离质量提升有利于下游识别。

[图像补充] 图6的t-SNE可视化展示了不同消融变体的说话人嵌入质量：完整模型的聚类最为紧凑且分离度最高，移除ASM或CCM分别导致部分重叠或类内离散，验证了双模块对区分性表征的共同贡献。

🔬 细节详述

• 训练数据：
  • LRS2：约11h训练/3h验证/1.5h测试，源于BBC广播，含自然噪声和混响。
  • LRS3：约28h训练/3h验证/1.5h测试，源于TED演讲，相对洁净。
  • VoxCeleb2：从Dev集随机抽取5%构建训练集，约56h训练/3h验证；Test集约1.5h测试。
  • 3Mix/4Mix：由LRS2按官方说话人划分构造，各含20000/5000/300样本用于训练/验证/测试。
  • 所有混合均在 \([-5,5]\) dB SIR范围内随机采样，保持说话人无跨集泄露。
• 音频预处理：STFT窗长512、跳长256、FFT点数512。幅值做power-law压缩（指数 \(c\) 未明确给出具体值，通常取0.3~0.6）。
• 视觉前端：CTCNet-Lip（Li et al., 2024a），权重冻结并预提取特征以加速训练。嘴部ROI调整为88×88灰度图，帧率25FPS。
• 损失函数：多层级损失加权和：\(\mathcal{L}_{\text{Total}} = 0.025\mathcal{L}_{\text{sisnr}} + 0.9\mathcal{L}_M + 0.1\mathcal{L}_C + 0.3\mathcal{L}_P\)。其中 \(\mathcal{L}_{\text{sisnr}}\) 为时域SI-SNR损失，\(\mathcal{L}_M\) 为频域幅值损失，\(\mathcal{L}_C\) 为复数损失，\(\mathcal{L}_P\) 为含抗缠绕处理的相位损失。权重设置遵循Lu et al. (2025)，SI-SNR项被缩放到与其他项数值范围匹配。
• 训练策略：
  • 优化器：Adam，学习率 \(5 \times 10^{-5}\)，\(\beta_1=0.9\)，\(\beta_2=0.999\)，权重衰减 \(1 \times 10^{-4}\)。
  • Batch size: 64，每epoch随机抽样64K对。总计训练250 epochs，使用验证性能平台期的线性衰减调度。
  • VPA的偏移窗口 \(K=5\)（对应 \(\pm200\)ms@25FPS），温度参数 \(\kappa\) 在验证集上从[6,10]范围内选择（默认8.0）。
  • 随机种子固定以保证可复现性。
• 模型复杂度：6.3M参数，17.8G MACs（1秒16kHz音频+25FPS视频），在RTX 3090 GPU上推理128.87ms，在Intel Xeon Platinum 8269CY CPU上推理1.39s。
• 关键技术细节：ASM内使用1×1卷积+PReLU激活实现门控。CCM内使用单层GRU进行时序建模。FRI-Conformer瓶颈采用特征重用机制（feature reuse）。VPA的语义投影维度 \(D=64\)。

⚖️ 评分理由

• 创新性 (1.4/2)：将认知神经科学的选择-补偿双阶段架构显式建模到AVSS管道中的想法值得肯定，四象限分区和反对齐流的设计体现了对音视交互本质的深入思考，不同于简单的即插即用模块。然而，Sec 3.1的信息论包装（Eq 1-6）与后续模块设计之间缺乏实质性的数学桥梁——Eq 2的 \(\beta\) 从未在损失函数中出现，信息增量不等式仅作为定性指引而非可检验的约束。这使得论文更像是先有工程直觉再找数学背书，降低了方法论突破感的纯度。在AVSS的历史脉络中，这属于一次有洞察力的架构重构，但尚不构成范式级创新。

• 技术严谨性 (1.1/1.5)：工程架构设计扎实，ASM/CCM的消融实验透彻到象限级别，对组件顺序、融合方式、误差反馈均有测试。信息论部分存在过度声称——Eq 2声称信息瓶颈目标但从未被优化，Sec 3.1明确写“趋向中性加权”但未提供任何梯度层面的验证。ASM反对齐流的有效性依赖于交叉注意力负分数的稳定性，对视觉噪声的敏感性缺乏理论或实验分析。VPA的 \(r\) 作为全局标量无法处理局部视觉降质，作者自己也承认了这点。总体是工程严谨、理论包装松散的组合。

• 实验充分性 (1.2/1.5)：实验覆盖全面且扎实：从干净分离到多说话人重叠，从加性噪声到视觉降质，从目标说话人提取到COG-MHEAR真实场景评估，甚至包含下游ASR评估。消融实验细化到ASM象限分区、CCM对齐方式和融合方式的各个维度，附录中更有应力测试（时序偏移、遮挡比例消融）和边界检查（补偿逆序、gate-off）。不足在于：对SOTA的提升在VoxCeleb2上幅度较小（SI-SNRi仅0.2dB），且全文未提供统计显著性检验或多次运行的标准差，无法排除小幅度优势来自随机性的可能。

• 清晰度 (0.6/1)：整体结构合理，但关键部分可读性较差。Section 3.1的“理论”与3.2-3.3的工程架构之间过渡生硬，诸多符号（如 \(Z_{\text{sel}}\)）在理论部分没有明确定义，需要读者自行跨节追溯。图1-5的信息密度极高，多条数据流线和维度变化在一张图中同时呈现，对非作者群体不够友好。附录A的VPA伪代码对复现有帮助，但正文的方法描述多处过于简略。

• 影响力 (0.8/1.5)：选定-补偿分离的设计思路作为可解释范式，对后续多模态增强/分离工作有一定启发价值。AVSS虽是相对窄众的子领域，但论文在COG-MHEAR和AVTSE等较实际的场景中验证了方法的潜力。最大的负面因素是完全闭源——这在2024年后的ML顶会中极度罕见，将严重削弱该方法被广泛验证和改进的可能性。即使思想有价值，缺乏可获取的实现将极大限制其实际影响力。

• 开源 (0.0/1.5)：论文正文及附录未提供任何代码仓库、模型权重下载或在线Demo。引用的数据均为公开数据集，但这不构成论文成果的开源。附录A和Algorithm 2给出VPA和T-F map的伪代码，属于可复现性支持材料，不能替代实际代码和模型发布。因此开源得分为0。

• 可复现性 (0.3/0.5)：附录提供了VPA的实现级伪代码和统一实验协议（种子固定、STFT参数、损失权重、训练策略等），对核心模块的复现较有帮助。但关键超参数缺失（如power-law压缩指数 \(c\)、FRI-Conformer的具体层数配置、GRU的隐藏层维度），使“不看代码精确复现”仍存在困难。综合看，可复现性被评为部分可复现。

• 工程/实践价值 (0.8/1.5)：6.3M参数和17.8G MACs的轻量设计，CPU上1.39s的离线推理时间体现了一定的部署考量。但缺少完整的工程化描述（如量化部署、ONNX导出、边缘端适配），距离实际落地尚有距离。属于有工程意识的学术工作。

🚨 局限与问题

论文明确承认的局限：

1. 可靠性信号 \(r\) 为全局同步置信度，无法处理局部遮挡、空间化视觉降质或快速变化的不确定性（如部分嘴部被遮挡）。
2. 门控机制可减弱不可靠视觉信息的影响，但无法重建已被物理移除的关键发音线索（如大面积嘴部遮挡）。
3. 模型为面部条件的AVSS设计，无法直接迁移至纯音频分离或文本驱动分离。
4. 面部数据可能存在隐私和滥用风险，部署需符合同意和监管要求。

审稿人发现的潜在问题：

1. 理论-实践鸿沟：Section 3.1的信息论不等式（Eq 2的 \(\beta\) 项、Eq 4/6的信息增量保证）与后续模块设计间缺乏任何实现层面的关联。没有损失正则项、没有容量约束、没有信息增量的实验验证。这种“理论外衣”式的写作在严谨的ML会议上会被审稿人严厉质疑，可能构成过度声称。
2. 反对齐流的边缘条件：反对齐流 \(Y_{\text{unal}}\) 作为抑制线索的有效性完全依赖于交叉注意力负分数能可靠地捕获音视频不一致性。但在视觉质量极差（如低光照、极端侧脸）或本身音视相关就弱的情况下，负分数可能退化为噪声。论文未评估这种边缘情形下反对齐流是否会误导门控、产生负面影响。
3. 误差级联风险：ASM和CCM紧密耦合成序贯Block，且依赖于大量交叉注意力参数。在极端域迁移（如从LRS2到野外移动视频）中，层叠的选择-补偿是否会引发误差级联放大？论文的跨语料库AVTSE实验部分缓解了这一担忧，但缺乏对级联失效模式的系统性分析。
4. 评价格局偏向人工环境：尽管COG-MHEAR评估增加了真实感，但所有核心SOTA对比均在人工混合（随机SIR、无真实混响叠加）条件下进行。对于宣称解决“鸡尾酒会问题”的论文，缺少真实录制多人对话重叠（如LibriCSS风格）的测试，限制了SOTA声明在日常场景中的说服力。
5. VPA的 \(\kappa\) 敏感性问题：温度参数 \(\kappa\) 控制滞后分布 \(p(\delta)\) 的锐度，直接影响 \(\hat{\delta}\) 和 \(r\) 的行为。论文仅在验证集上从[6,10]选择了 \(\kappa\)，但缺乏对 \(\kappa\) 的敏感性分析——不同 \(\kappa\) 值如何影响偏移估计精度、\(r\) 的分布和最终分离性能？这在超参敏感的下游是不可忽视的问题。

← 返回 ICML 2026 论文速递