英文题目：Towards Array-Invariant Speech Enhancement via Geometry-Aware Dynamic Convolution

会议身份：conference:interspeech:2026:conference-paper-id:liu26d_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#CNN #鲁棒性 #麦克风阵列 #语音增强

评分：6.4/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

  • Zhenglong Liu：机构信息未能从会议 PDF 纯文本可靠映射
  • Wangyou Zhang：机构信息未能从会议 PDF 纯文本可靠映射
  • Chenda Li：机构信息未能从会议 PDF 纯文本可靠映射
  • Yanmin Qian：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

多通道语音增强输入为任意数目与排列的麦克风时频信号，输出为增强后的目标语音，其难点在于固定阵列模型隐式依赖特定几何，几何一变空间建模即失效而需设备级重训。相对麦克风坐标先经傅里叶位置编码展开为高维向量，再送入拓扑感知坐标变换器做全局拓扑建模并输出变换矩阵。该矩阵接着线性组合共享基核生成阵列相关的动态卷积核，其输出经层归一化与PReLU后变为固定16通道特征图，交由SpatialNet或TF-GridNet等固定主干完成后续增强。与通道独立批处理加平均或注意力合并的首层缺跨通道建模不同，该单阶段坐标到权重适配在首层即注入显式几何并保持排列等变，使输入置换与权重同步置换后卷积点积不变。在RealMAN几何无关设置下，SpatialNet-Geo-DConv的SDR为9.72，高于USES2-comp的SDR 8.62。跨拓扑与跨数据集泛化显示训练至多4通道仍可在5通道与CHiME-4六通道上保持优势，但该结论适用边界受限于8kHz实录与上述通道范围，大阵列与高采样率等外推尚未验证。部署上SpatialNet-Geo-DConv的参数量为1.3M且计算量为6.08G/s，而TF-GridNet-Geo-DConv的计算量为73.12G/s，推理开销随主干显著增加。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么换设备就难？

这篇论文的输入是多通道带噪语音的时频特征与麦克风相对坐标，目标是在麦克风数目、排列和几何都可能变化时仍能稳定增强语音。输出是固定维度的增强中间特征，再交给后续增强主干得到干净语音估计。必须保留的信息包括输入通道数可变、通道顺序任意、几何先验可用时应当被显式使用，以及评价要在真实录制数据上完成。

对刚入门的读者，白话解释是：多通道增强不只听每个麦克风的声音内容，还听声音到达不同麦克风的时间差和强度差，这些差异由声源方向和麦克风位置决定。固定阵列方法相当于为某一款手机或会议设备量身定做滤波器，第一层卷积就把多个通道堆叠在一起学空间关系。一旦换一款麦克风数目或间距不同的设备，原来学到的空间偏置就对不上了。单通道方法没有这个问题，因为它只看一个通道的内容，扩充数据就能提升泛化，但上限低于能用空间信息的多通道方法。

因此学习依赖是先理解固定阵列为何在特定几何上强，再理解阵列不变需要同时解决数目可变与排列任意，最后理解几何坐标为何是被忽视但易得的线索。论文指出多数数据集本来就记录了设备规格，所以获取几何配置不需要额外标注努力，这为显式利用几何提供了可行性。

已有阵列不变路线各自解决了什么，还缺什么？

按同输入、同目标、同运行阶段对照，已有工作可分为两类。第一类先对每个通道独立做批处理式的时频特征提取，再用与通道数无关的机制建模跨通道关系，最后取参考通道或平均得到单通道输出。代表是变换平均拼接方法，即 TAC，基于自注意力的方法，以及变换注意力拼接方法，即 TAttC。这类设计的输入是任意数目和排列的多通道信号，目标是输出与通道数无关的表示，优点是不需要固定输入维度，缺点是跨通道建模从较后层才开始，且主要依赖通用时频特征与隐式相关，缺少显式几何。

第二类把任意阵列输入先变换为固定维多通道信号再处理。例如把录音转换为 1 阶 Ambisonics，即 FOA，得到与麦克风数目无关的固定 4 通道表示；近期 UniArray 用虚拟麦克风估计通过插值上采样把任意数目信号映射到固定维度。这类方法保证了后续网络输入维度 1 致，但论文指出前者对少于 4 个麦克风的阵列会产生欠定转换方程而无法使用，后者仍需要输入顺序排列作为必要预处理步骤。

与上述路线相比，本文不是再设计一种完整的增强主干，而是设计一个通用适配器，把已有的固定阵列语音增强模型转换为阵列不变系统。教学例子是：假设你已有为某 4 麦阵列调好的 SpatialNet 或 TF-GridNet，传统做法是换阵列就重训；本文做法是在其第一层之前插入一个由坐标生成权重的动态卷积，使其入口能接受任意阵列。这明确了本文的增量：显式几何先验与对现有固定阵列模型的复用。

任务形式化：可变通道与坐标如何表示？

论文把增强放在时频域操作。记多通道声学特征为 X，属于 C 乘 F 乘 T，其中 C 是可变的麦克风数目，F 和 T 分别是频率与时间维度。这里的特征是短时傅里叶变换复谱的实部与虚部沿频率维拼接而成。每个麦克风关联一个相对坐标向量，属于 3 维，可用直角坐标或球坐标表示，全部麦克风组成坐标矩阵 G，属于 C 乘 3。

需要解决的操作被定义为几何感知动态卷积，记为输出等于 Geo-DyncConv 作用于 G 和 X。白话说，函数有两个输入：声音内容 X 决定要处理什么，几何 G 决定用什么空间滤波参数处理。该层要处理可变通道输入并融入几何信息，输出固定维特征以兼容下游固定阵列算法。

关键约束是排列稳定性。若用排列矩阵 P 打乱麦克风顺序，输入坐标变为 PG，变换矩阵应变为 PM，动态卷积核沿输入通道维相应变为 PW，输入特征变为 PX。论文要求打乱后的卷积点积结果数学不变，即 PX 与 PW 的卷积等于 X 与 W 的卷积，从而保证提取的特征表示不受输入通道随机排序影响。这是后续设计必须满足的性质，也是复述时要核对的要点。

方法全景：一个样本如何从坐标和声音走到输出？

先沿一个样本走完全程。假设输入是一个 4 麦阵列的 4 秒片段及其 4 个相对坐标。左侧几何分支先对坐标矩阵做傅里叶位置编码，得到编码矩阵，再送入拓扑感知坐标变换器，经过输入投影、变换器编码器与输出投影，产生变换矩阵 M。右侧音频分支把多通道时频特征送入几何动态 2 维卷积，该卷积的权重由 M 与基核组合生成，再经过 2 维层归一化与 PReLU 激活，得到固定通道数的输出特征图 Y，随后交给 SpatialNet 或 TF-GridNet 等后续网络。

下段是本文官方结构图的导读，帮你建立左右两路汇合的整体印象。该图左侧为坐标到动态核的生成过程，中间为矩阵相乘，右侧为音频特征处理主路径，箭头方向表示数据流向而非训练梯度。

看图路径： 1. 从左下麦克风坐标矩阵出发，沿傅里叶编码箭头看到 TACT 的输入投影、变换器编码器与输出投影三块；2. 观察中间变换矩阵 M 与基核相乘生成动态核的乘法与等号符号，确认权重来源是坐标而非音频；3. 沿右上输入特征 X 经过动态卷积、归一化与激活到达输出特征图的纵向主路径走一遍；4. 对比左右两路汇合点：左侧几何分支的输出箭头指向右侧动态卷积块，表示几何控制音频处理参数

原论文 Figure 1：Architecture of the proposed Geo-DConv.

论文图 1。原论文 Figure 1：“Architecture of the proposed Geo-DConv.”。

结合像素可见内容解释这张图。左下蓝色表格是麦克风坐标矩阵 G，属于 C 乘 3，向上箭头进入傅里叶位置编码块，向右得到编码后矩阵。灰色大框是拓扑感知坐标变换器，内部从左到右依次为输入投影、变换器编码器与输出投影，向下输出变换矩阵 M，属于 C 乘 b。中间绿色竖条是基核，与 M 相乘后得到生成核，属于 C 乘输出通道乘频率核乘时间核。右侧绿色大框从上到下依次为输入特征 X、动态卷积、2 维层归一化与激活，最终向下输出 Y，属于输出通道乘频率乘时间。左侧几何分支的长箭头横向指向右侧动态卷积块，直观表达了几何控制卷积参数的适配思想。

动态卷积如何用坐标适配任意通道数？

普通卷积核要求输入基维度固定，记为 b 乘输出通道乘频率核乘时间核，其中 b 是固定的输入维度，输出通道固定，频率与时间是核尺寸。这在阵列不变场景中不成立，因为 C 可变。论文提出的几何感知动态卷积保留一组可学习的基核 K，再为特定阵列几何生成动态变换系数矩阵 M，属于 C 乘 b。具体组合是动态权重的每个输入通道与输出通道切片等于 M 的对应行对基核的线性加权求和。白话说，基核是与阵列无关的滤波原型库，M 是根据当前几何查出的组合系数，乘完之后得到与当前通道数对齐的专用核。

固定阵列模型 × 阵列不变模型： 固定阵列模型分工是针对某一种麦克风数目和排布学习从第一层就开始的跨通道融合与空间偏置，优点是空间建模充分但换阵列就失效；阵列不变模型分工是接受可变通道数和任意排列并输出稳定表示，优点是部署灵活但通常丢失几何先验。二者搭配的原因是前者有成熟的增强主干，后者提供入口适配，组合意义是 Geo-DConv 把可变输入映射为固定维度输出，从而复用固定阵列主干而不改其后续结构。

几何感知动态卷积 × 基核： 几何感知动态卷积的分工是根据当前阵列坐标为每个输入通道生成专用卷积权重，解决普通卷积输入通道数必须固定的刚性；基核的分工是提供一组与阵列无关、可学习的固定维度卷积原型，保存通用的时频空域滤波能力。二者搭配的原因是直接为任意通道数学习独立卷积核参数量不可控，组合意义是以坐标决定的变换矩阵对基核做线性组合，用少量系数实现随几何变化的权重适配。

该设计把可变维度的困难转移为如何从相对坐标矩阵 G 稳健地生成 M，要求既能捕捉复杂空间交互，又能适应可变阵列配置。后续的层归一化与激活把可变维输入映射为固定维输出，公式上整体为 Y 等于 PReLU 作用于层归一化后的动态卷积输出。这种安排使下游固定阵列算法无需改结构即可接收固定维度输入。

坐标编码与变换器如何保证细粒度与排列稳定？

坐标处理分两步。第一步是傅里叶位置编码，动机借鉴隐式神经表示在 NeRF 与声场网络中的做法，用多频段正弦余弦展开坐标，以更好刻画坐标中的细粒度变化。编码后矩阵记为 C 乘编码维度，编码维度由频率带数决定。论文实现采用球坐标，频率带数配置为 6，隐藏维度为 64，变换器采用 4 头 2 层。基维度 b 设为 8，输出通道 O 设为 16。

第二步是拓扑感知坐标变换器。编码矩阵先经输入投影到隐藏维度，得到 C 个令牌的序列，再送入多头自注意力编码块，经残差与层归一化得到拓扑感知表示，最后经输出投影得到变换矩阵 M。查询、键、值均由同层表示经各自投影得到，编码层数为多层堆叠。

傅里叶位置编码 × 拓扑感知坐标变换器： 傅里叶位置编码的分工是把 3 维坐标展开为多频段正弦余弦特征，放大细微间距差异，使网络能分辨相近麦克风的位置变化；拓扑感知坐标变换器的分工是对全部麦克风的编码做全局自注意力建模，捕捉阵列整体拓扑关系并输出变换矩阵。二者搭配的原因是逐点编码本身没有通道间交互，组合意义是先提升坐标表达分辨率，再由变换器生成兼顾全局结构和排列等变性的适配系数。

排列等变与稳定性是需要复述的机制。傅里叶编码是逐点操作，变换器的多头自注意力具有排列等变性，因此输入坐标被排列为 PG 时，生成的变换矩阵变为 PM。按线性组合式，动态核沿输入通道维相应变为 PW，与被同样排列的输入特征做卷积时点积结果不变。这从结构上保证了随机通道排序下特征表示稳定一致，而不依赖测试时的人工排序。

训练如何构造随机阵列，监督与目标是什么？

训练数据来自真实录制与标注的麦克风阵列语音噪声数据集 RealMAN，而非仿真阵列数据，目的是缓解仿真到真实的失配。论文用 32 通道高保真阵列在室内、室外、半室外与交通等多种声学环境中录制的大规模真实数据，语音部分分为训练 64.0 小时、验证 8.1 小时、测试 11.6 小时，噪声部分分为训练 106.3 小时、验证 16.0 小时、测试 22.2 小时。通过从 32 通道阵列中抽取子阵列，实现可变阵列配置下的训练与评价。增强目标是直达声信号，即源语音经估计的直达传播滤波器滤波后得到的目标干净语音。

随机阵列训练 × 真实录制数据： 随机阵列训练的分工是通过在训练中随机抽取子阵列和麦克风数目，迫使动态权重生成器见过多种几何而不依赖某一固定排布；真实录制数据的分工是提供含真实混响、噪声和器件响应的多通道语音，避免仿真与真实环境失配。二者搭配的原因是只随机化仿真几何仍可能学到仿真偏差，组合意义是在真实声学分布上学习几何泛化，使模型更可能迁移到未见过的真实阵列。

训练时有两种数据供给策略用于对照：固定几何 4 麦阵列与随机 4 麦阵列，以及进一步随机化麦克风数目的几何不变训练。测试时为保证公平，输入信号切分为 4 秒段，且切分边界在所有模型测试中保持严格一致。论文未报告优化器类型、学习率、损失函数形式、梯度是否截断、参数冻结与重置时机等细节，因此复述时只能说监督来源是直达声目标，具体优化路径缺项待查，不能从模型名称推定实现。基线包括单通道 BSRNN、阵列不变的 FaSNet-TAC 与 USES2-comp，以及固定阵列的 SpatialNet 与 TF-GridNet，分别承担单通道参照、可部署阵列不变对照与几何特定上界的角色。

实验条件：采样、特征、基线与指标方向如何对齐？

为控制计算量，所有录音重采样到 8 千赫，短时傅里叶变换采用 256 点窗、128 点帧移。训练与评价输入均为 4 秒 utterance。所提结构中超参数已在方法节交代：基维度 8、输出通道 16、球坐标、位置编码频带 6、隐藏维度 64、4 头 2 层变换器。评价指标包括 SDR、SI-SDR、PESQ、STOI 与 DNSMOS，其中前四者数值越高表示信号失真越小或可懂度与感知质量越好，DNSMOS 的 P808、SIG、BAK、OVRL 同样越高越好。未处理输入的 SDR 与 SI-SDR 为负值，提供了失真严重的起点参照。

比较条件分 4 组：单通道处理、固定阵列几何特定上界、随机 4 麦阵列、几何不变主要比较。固定几何测试统一用麦克风索引 0、1、5、9 的固定 4 麦阵列。跨拓扑泛化测试包括 1 麦、2 麦、5 麦配置与 CHiME-4 的 6 麦真实录制测试集，且模型训练时最多只见过 4 麦，未经微调直接测试。论文报告计算量与参数量作为部署成本参照，但未报告推理延迟、帧率与统计显著性方法，因此不能把参数少直接等同于延迟低。

主结果：在可变几何下谁真正可运行且更好？

为比较几何不变设置下的整体效率与增强性能差异，下表集中整理单通道基线与几何不变组在参数量、计算量及多项指标上的原文记录，表内数字以表后引文为准，需结合前后论证理解收益与代价。

来源证据量化值一量化值二量化值三量化值四
来源句一1-2.11-9.471.54；0.72；2.39；1.99；1.84；1.49
来源句二216.921.155.31；-1.38；1.94；0.79；2.62；2.61；3.29；2.18
来源句三151.36.089.72；4.22；2.48；0.86；2.77；3.16；3.51；2.68
来源句四168.373.129.05；3.90；2.59；0.87；2.83；3.21；3.62；2.77
来源句五132.79.765.76；-0.81；1.74；0.73；2.48；3.18；2.05
来源句六1422.570.26；8.62；4.17；2.52；0.86；2.76；3.02；3.50；2.56

表后解释主要收益与代价。论文报告显示，所提两种方法优于此前的 FaSNet-TAC 与 USES2-comp，其中 SpatialNet-Geo-DConv 达到与 USES2-comp 相当但参数与计算显著更低的水平，TF-GridNet-Geo-DConv 在 PESQ 与 OVRL 上进一步提升。具体看，几何不变组中 SpatialNet-Geo-DConv 的 SDR 为 9.72，TF-GridNet-Geo-DConv 的 OVRL 为 2.77，均高于 USES2-comp 的 8.62 与 2.56。代价是相比固定阵列上界仍有差距，例如固定几何训练的 SpatialNet 的 SDR 为 10.06，说明几何泛化仍需付出性能损失。未胜出项是 FaSNet-TAC，其 SI-SDR 仍为负，表明该结构在此真实数据与指标下信号级失真改善有限，不能只看参数量小就认为可部署性更好。

固定与随机训练对照说明了几何的什么作用？

要回答的第二个问题是：固定阵列模型与阵列不变模型在固定几何训练与随机阵列训练下行为是否相同。论文报告显示，固定阵列的 SpatialNet 与 TF-GridNet 在特定阵列训练后达到上界，但改用随机阵列训练时信号级指标明显下降，尤其是 SDR 与 SI-SDR，因为它们无法可靠利用阵列结构。相反，FaSNet-TAC 与 USES2-comp 等阵列不变模型对几何变化不敏感，随机阵列训练有时略优，论文将其解释为结构主要关注单通道谱，随机阵列起到数据正则作用。

所提方法则相反，引入 Geo-DConv 后固定阵列算法能处理随机化配置，且用随机麦克风数目训练可进一步提升，表明可变输入通道数帮助模型更好学习动态卷积权重生成。这支持了显式几何的价值：固定几何训练让固定阵列模型隐式记住几何，而显式坐标分支让适配器在随机几何下仍能生成合理权重。限制是该解释属于论文的有限解释，原文未提供拿掉坐标只保留动态结构的消融，因此不能断言提升全部来自几何而非动态卷积本身的容量变化。

跨拓扑与跨数据集：麦克风增减时是否一致变好？

第三个问题是方法能否泛化到训练时未见的通道数与阵列。测试条件包括 1 麦、2 麦、5 麦子阵列与 CHiME-4 的 6 麦真实测试，且训练最多只见 4 麦。指标方向仍是越高越好，未处理的 CHiME-4 的 OVRL 为 1.42，作为跨数据集起点。

来源证据量化值一量化值二量化值三量化值四
来源句二102.302.15；2.57
来源句三102.762.37；2.70
来源句四5013；7；4.91；2.60；2.59
来源句五5013；7；4.65；2.53；2.69
来源句六2508.14623202063946398；19；4

表后解释可见的趋势与反例。当只有单麦时所有方法退化为单通道增强，但所提方法显著优于 USES2-comp，例如 1 麦下 TF-GridNet-Geo-DConv 的 SI-SDR 为 2.76 而 USES2-comp 为 -4.16，说明其单通道 fallback 更稳。随着麦克风数增加，所有方法总体提升，表明多通道信息仍有效。跨数据集上两种所提方法的 OVRL 从 1.42 分别提升到 2.64 与 2.73，且无需微调，支持其学到通用几何感知空间模式而非过拟合特定结构。必须指出的反例是 5 麦 SI-SDR 上 USES2-comp 的 4.91 高于所提方法的 4.65 与 4.54，说明总体趋势不等于每组都成立，在该特定配置信号失真指标上所提方法并未胜出，这也是复现时应重点核对的边界。

哪些结论尚未被验证，不能直接推广？

论文直接报告的是在 RealMAN 与 CHiME-4 真实数据上的指标提升与跨拓扑泛化，有限解释是随机阵列训练起正则作用以及显式几何带来增益，未验证推测是该适配器可称为任意固定阵列模型的通用转换器。缺失证据不是技术错误，但复述时要区分措辞：用报告或显示描述数字，用支持描述机制，用可能或待验证描述推广。

具体缺项包括未报告消融中去掉傅里叶编码或变换器后的变化，未测量误判率、逐步延迟与实际推理帧率，未报告统计显著性与多次随机种子方差，未公开代码、模型或数据的可达状态。本次收到的资源状态显示没有完成 HTTPS 验证的绑定资源，因此不得声称代码、模型或数据已公开，只能说原文未提供可核对的公开链接。此外，FOA 少于 4 麦欠定、UniArray 需排序等相关工作局限是原文转述，复现时若要引用需回到原文献核对，不能把类别差异当同条件胜负。

复现先做什么，需要哪些信息条件？

若要复述方法并尝试复现，先按学习依赖准备三样东西。第一是数据构造：获取 RealMAN 的语音与噪声划分，按原文小时数切分，用 32 通道阵列抽取子阵列构造固定 4 麦、随机 4 麦与随机麦克风数 3 种训练条件，测试统一用索引 0、1、5、9 的固定 4 麦与 1、2、5 麦及 CHiME-4 跨集，所有测试切分边界保持一致的 4 秒段。第二是特征与坐标：8 千赫重采样、256 点窗 128 点移的短时傅里叶变换，实虚部沿频率拼接，坐标采用球坐标并做 6 频带傅里叶编码。第三是模型入口：基维度 8、输出通道 16、隐藏维度 64、4 头 2 层变换器，动态卷积后接 2 维层归一化与 PReLU，再接 SpatialNet 或 TF-GridNet 主干。

先跑通单通道 BSRNN 与固定阵列上界，确认数据管线无误，再插入 Geo-DConv 跑随机阵列与几何不变条件，对比 FaSNet-TAC 与 USES2-comp。由于原文未给出优化器与损失细节，复现时需明确记录自己选用的优化配置，并说明该选择超出原文证据。还需补做的验证是坐标扰动鲁棒性、麦克风位置标注误差影响，以及参数量之外的实际延迟与内存测量，这些在原文中未测量，不能承诺改善。

何时值得尝试这种几何适配，何时不必？

综合全文，当部署涉及多款麦克风数目与排布不同的设备，且设备规格能提供相对坐标时，值得尝试这种几何适配，因为它保留了成熟固定阵列主干的空间建模能力，又通过坐标生成权重解决了入口刚性。尤其在只有真实录制数据、担心仿真失配时，在真实数据上做随机阵列训练的思路更贴合实际。当只有单麦或阵列固定且永不更换时，不必引入该适配器，直接用固定阵列模型即可达到上界。当坐标不可靠或缺失时，该方法的核心输入缺位，原文未验证无坐标 fallback，因此不应假设仍有同样收益。

对初学者的收束是：记住一条主线即可复述全文，即坐标经编码与变换器变为组合系数，系数与基核相乘得到当前阵列的专用卷积核，专用核处理声音后再交给原有增强网络。核对要点是排列不变性的数学保证、随机阵列训练与固定阵列训练的行为差异，以及 5 麦 SI-SDR 反例与跨数据集 OVRL 提升并存的事实。这既说明显式几何是有用的线索，也说明阵列不变仍有未解决的边界。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1
  • 评分模型：muse-spark-1.3-contributor
  • 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总