麦克风不够时，能否用生成的虚拟通道补回空间信息

英文题目：Spatial-Magnifier: Spatial upsampling for multichannel speech enhancement

会议身份：conference:interspeech:2026:conference-paper-id:lee26k_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#波束成形 #麦克风阵列 #空间音频信号 #语音增强

评分：6.8/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Dongheon Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Ashutosh Pandey：机构信息未能从会议 PDF 纯文本可靠映射
• Sanjeel Parekh：机构信息未能从会议 PDF 纯文本可靠映射
• Daniel Wong：机构信息未能从会议 PDF 纯文本可靠映射
• Jacob Donley：机构信息未能从会议 PDF 纯文本可靠映射
• Buye Xu：机构信息未能从会议 PDF 纯文本可靠映射
• Juan Azcarreta：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

多通道语音增强需以有限真实麦克风观测恢复参考通道目标直达声，边缘设备受物理约束难以布置大孔径阵列导致空间自由度不足。空间放大器先以生成对抗网络从真实麦克风复频谱估计缺失虚拟麦克风波形，输出虚拟波形估计进入下一步增广。空间音频表示学习再将虚拟信息以信号级拼接或特征级隐表示注入下游增强模型，增广信号进入掩蔽估计与波束成形。下游经掩蔽估计结合多通道维纳滤波或最小方差无失真响应波束成形输出目标语音，且虚拟估计与波束成形联合优化以提升空间协方差矩阵秩。与直接用高性能增强模型做虚拟波束成形不同，该链路解耦空间表示学习与频谱增强，强调跨通道建模迫使系统学习可迁移空间先验。在2ch真实加4ch虚拟的FoV-SE评测任务下，Spatial-Magnifier SARL-S的SI-SDR为7.10，高于SpatialNet+MCWF 2ch的SI-SDR 2.19。其结论适用边界受限于训练阵列几何，在任意位置生成虚拟信号仍困难且复杂上采样下仍落后物理多通道阵列，属尚未验证的外推范围。训练成本为32张H100上100轮训练，虚拟模块增量引入额外参数与计算量，推理开销维持与原多通道增强模型相同的计算量。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决什么限制

本文的输入是少量真实麦克风采集到的多通道带噪语音，用白话说就是设备上只能放两三个麦克风，录到的是混了混响、干扰说话人和背景噪声的波形。目标是从中恢复选定参考通道的直达声目标语音，要求在测试时不增加硬件。必须保留的信息是训练阶段曾经见过全部通道，推理阶段只有稀疏通道可用，这种不对称就是虚拟麦克风任务的前提。输出有两种形态，一种是估计出的虚拟通道波形，另一种是可直接用于下游增强的虚拟特征。

本文要解决的中心矛盾是多通道增强的空间指向性随麦克风数量增加而变好，但增强现实眼镜、耳机和助听器等边缘设备受体积和功耗限制放不下大阵列。于是作者提出用神经网络做空间上采样，在不加硬件的情况下扩大空间多样性。解读的输出是一套可核对的复述，讲清模型如何从真实通道走到虚拟通道，再如何条件化下游增强，以及实验在什么仿真条件下成立、在哪里还不成立。

已有路线做了什么，本文与它们是什么关系

在同输入、同目标、同运行阶段的意义上，已有路线主要有 3 条。第一条是基于神经网络的虚拟麦克风估计，此前工作把估计出的虚拟信号与真实信号拼接后控制基于掩蔽的波束形成器，用于声源分离，本文延续了这条用虚拟通道提高协方差矩阵秩的思路。第二条是把标准语音增强网络直接拿来做虚拟通道估计，原文指出这类复用结构没有针对空间上采样的通道间关系做专门设计，因此提出专门利用通道维卷积的生成器。

第 3 条是图像超分辨率中的深反投影网络与高阶声场上采样，本文借用了其上采样块与下采样块交替细化的思想，但把它改造为处理复数频谱的通道维操作。需要区分的是类别差异不能当成同条件胜负，例如只用更大增强模型与用虚拟通道扩展阵列是两种不同的资源投入方式，论文后文用小模型加虚拟信息对比大模型不用虚拟信息，正是为了说明在麦克风受限时补空间信息可能比单纯增大模型更有效。

与同输入同目标的工作如何公平对照

公平对照要求同输入通道数、同目标参考通道、同监督来源与同运行阶段。已有虚拟麦克风估计工作多用线性阵列与掩蔽波束形成，本文扩展到圆阵加垂直通道、智能眼镜实测传递函数与多种波束形成后端，对照时应固定真实通道数与虚拟通道数再比增强指标与计算量。把增强主干直接当虚拟估计器的做法在原文中被验证为次优，教学意义是空间上采样需要通道维的专门操作，而不是更大的通用增强容量。

图像超分辨率的反投影思想被借用时，输入从图像像素变为复数频谱的通道堆叠，上下采样块的操作对象与门控方式都已改变，不能把图像上的超分结论直接搬运为音频结论。端到端增强与神经波束形成的比较也要分开，前者看无波束形成后端的虚拟增强，后者看拼接虚拟通道后的自适应滤波，两者的监督与评价点不同，混在一起会误判收益来源。

任务如何定义，一次前向要算出什么

多通道语音增强被定义为给定多通道带噪语音矩阵，估计参考通道直达声波形。原文把观测写成直达声、混响与加性噪声之和，参考通道就是从中选定的目标通道。一个样本的旅程可以这样跟踪，输入是真实通道的时域波形，先做短时傅里叶变换得到复数频谱，真实通道数记为 Mr，虚拟通道数记为 Mv，总通道数为 2 者之和。神经虚拟麦克风估计的计算目标是从真实通道频谱或波形映射出虚拟通道的估计值，记为对缺失通道的近似。

下游有两条使用路径，一条是把真实与估计虚拟通道拼接成增广观测，直接送入多通道增强网络再做自适应波束形成，另一条是把虚拟特征与真实通道的编码器输出相加，再送入分离与解码部分。最终输出是参考通道的增强频谱或波形，评价看它与直达声目标的接近程度。理解这个定义后才能明白为什么训练时需要全部通道做监督，而推理时只能用稀疏通道。

整体框架如何把上采样器与增强器连起来

整体框架包含一个上采样器与一个下游增强器的配合，上采样器是 Spatial-Magnifier，下游可以是端到端多通道增强模型加波束形成器。学习依赖是先有一个在全通道上预训练过的增强模型，然后在微调该模型的同时从零训练上采样器，推理时计算量保持与约定的增强流程一致。两种条件化方式共享同一个上采样思想但汇合点不同，信号级方式在波形层面拼接，特征级方式在编码后的隐空间相加。下面的图把这两条支路画在了一起，上支路对应信号级，下支路对应特征级，读图时重点看真实信号分叉后在哪里与虚拟信息重新汇合。

本段为图前导读，说明该图展示了空间音频表示学习框架的两种范式，上面一路把估计虚拟波形与真实波形拼接后依次经过增强与波束形成，下面一路把虚拟特征与真实编码相加后再走分离解码与波束形成，观察时应先区分蓝色上采样框与黄色增强框的分工。

看图路径： 1. 先沿最左侧真实麦克风波形向右追踪，看上方蓝色框如何分出虚拟信号；2. 对比上支路直接拼接波形与下支路经过编码器再相加的位置差异；3. 确认两条支路最终都经过多通道增强与自适应波束形成器得到输出；4. 注意下支路中虚拟特征与真实编码相加的汇合点

论文图 1。原论文 Figure 2：“1”。

该图上半部分显示真实麦克风信号进入蓝色 Spatial-Magnifier 框后得到虚拟麦克风信号，两者在拼接点汇合成增广观测，再经过多通道增强得到初步估计，最后由自适应波束形成器输出参考通道结果；下半部分的不同在于真实信号先经过编码器得到编码，虚拟分支同时输出虚拟特征，两者在加法点融合后再进入增强的分离解码部分，同样保留了后续波束形成器。这种画法直接对应了原文所说的信号级拼接与特征级相加两种条件化，解释了为什么同一上采样器既能提供波形又能提供表示。

生成器内部如何利用通道间关系

生成器采用生成对抗网络形式，判别器沿用基于 Conformer 的度量生成对抗网络的设计，生成器主体借鉴深反投影网络。输入处理是把真实通道的复数频谱按通道维堆叠，把实部虚部分开，先用 2 维卷积把通道数扩展到第一级维度，然后交替经过上采样块、下采样块与动态通道分配模块。动态通道分配模块用动态卷积算通道注意力，再用点卷积把高维压缩到低维，目的是高效压缩空间信息。上采样块与下采样块原本在所有通道上做相同的加减，灵活性不足，为此加入选择模块，用点卷积加 Mish 激活做门控后再相加，实现逐通道自适应的特征抽取。为控制计算量，下采样块还用了分组卷积。

虚拟麦克风 × 真实麦克风： 真实麦克风是推理时真正存在的少量采集通道，负责提供可观测的带噪多通道输入；虚拟麦克风是训练时可见、推理时缺失的通道，负责作为空间上采样的学习目标。两者搭配的原因是只用稀疏真实通道时空间协方差矩阵秩受限，补上估计出的虚拟通道可以扩大阵列孔径与通道数，组合意义是让下游增强或波束形成器用到更丰富的空间表示而不增加硬件。

神经虚拟麦克风估计 × 虚拟麦克风波束形成： 神经虚拟麦克风估计负责从真实通道波形或频谱估计出缺失通道的信号，分工是学习空间插值；虚拟麦克风波束形成负责把真实通道与估计虚拟通道拼接后计算空间协方差矩阵并求解自适应滤波器，分工是做线性空间滤波。搭配原因是估计出的虚拟通道可以直接提高协方差矩阵的数值秩，组合意义是把生成模型的空间先验转化为波束形成器可用的滤波自由度。

信号级增强 × 特征级增强： 信号级增强负责输出虚拟通道的显式波形并与真实波形拼接后送入下游多通道增强模型，分工是提供原始波形层面的阵列扩展；特征级增强负责输出与下游编码器同维的虚拟嵌入并与真实通道编码相加，分工是在隐空间提供空间正则。搭配原因是当波形重建困难时隐特征仍可能携带可用的空间多样性，组合意义是让同一上采样器能按波形或按表示两种方式条件化下游模型。

选择模块 × 动态通道分配模块： 选择模块负责在反投影的上采样与下采样块的加减操作前做逐通道门控，分工是让每个卷积通道自适应地取用空间信息；动态通道分配模块负责用动态卷积算通道注意力并把高维特征压缩到低维，分工是高效压缩信息。搭配原因是反投影结构本身通道操作单一且计算偏重，组合意义是以很小的参数增量同时提高空间特征的灵活性与压缩效率。

沿一个样本走一遍可以帮助记忆，先取 2 通道真实带噪频谱，扩展到高维后经过 5 级上下采样与压缩，得到对缺失 4 通道或 8 通道的估计，信号级路径把估计波形拼回去扩大阵列，特征级路径把估计嵌入加到真实编码上增强表示，最终都服务于参考通道的增强目标。原文强调这种专门利用通道维的设计是与直接复用增强模型做估计的关键区别，后文消融也围绕选择模块与动态分配模块展开。

训练分几步走，哪些参数更新，监督从哪里来

训练按多任务方式组织，损失包含神经虚拟麦克风估计的时域信噪比损失、虚拟麦克风波束形成的时域信噪比损失，以及生成器与判别器的对抗损失，原文给出的权重配比覆盖了这四项。监督来源是训练阶段可见的全部通道，其中虚拟通道的真实波形提供显式重建监督，波束形成后的增强输出提供下游任务监督，判别器提供生成质量的对抗监督。

参数安排是利用一个在全通道信号上预训练过的多通道增强模型，然后微调该模型的同时从零训练上采样器，推理时不引入超出约定流程的额外增强计算。优化器用 Adam，学习率与轮数、批量大小与所用计算卡数量在原文实验设置中有明确交代。需要指出的缺项是原文没有逐层说明梯度是否截断，也没有说明编码器与分离解码部分在特征级融合时各自的冻结细节超出已写明的微调描述的部分，复述时不应从模型名称推定这些未报告的实现。

判别器与生成器的交替更新节奏、窗口平均保证波束形成器稳定的具体实现只写到用分块时变滤波加窗均值处理，细节以原文为准。

推理时算什么，训练资源与部署开销如何区分

推理时只用稀疏真实通道，先由上采样器估计虚拟波形或虚拟特征，再按信号级拼接或特征级相加条件化下游增强，最后可接自适应波束形成器输出参考通道结果，计算量按原文约定与所选增强流程保持一致。训练资源与推理开销要分开讨论，训练用了 32 张 H100 量级的批量训练，这不代表推理需要同等资源。

推理开销用每秒乘加数衡量，原文强调所提生成器比已有虚拟估计基线更低，单模块增量很小，而小模型加虚拟信息的总开销明显低于大模型不用虚拟信息的配置。输出帧率与实际延迟是另一回事，原文只给了分块窗口与特征跳距，没有报告端到端延迟与实时因子，因此不能从计算量小直接推出延迟一定低。部署前还需补的验证包括目标设备上的实测延迟、内存占用与不同混响干扰下的稳定性，这些在原文仿真为主的评价中尚未充分覆盖。

数据如何仿真，评价看哪些指标

数据用 Interspeech 2020 深度噪声抑制挑战的语音与噪声语料仿真得到，训练、验证与测试分别仿真了数万、数千条 10 s 片段。空间数据用 Pyroomacoustics 以 6 阶镜像源法仿真，基础 6 通道阵列包括一个半径 10 cm 的 4 通道圆阵加上下各 10 cm 的两个垂直麦克风。房间长宽高在数米范围内均匀采样，吸收系数与混响时间分别在原文给定区间内采样，信噪比与信号干扰比在负 10 dB 到 5 dB 内采样，声源距阵列中心 0.5 m 到 2.5 m。

任务分全向增强与视场增强两种，视场增强要求目标在前方正负 20 度方位角与俯仰角内，干扰说话人放在视场外，噪声与混杂说话人数量按任务类型分别设置上限。特征用 16 ms 平方根汉宁窗、8 ms 跳距的短时傅里叶变换，波束形成权重按 25 帧窗口分块计算。评价用尺度不变信噪比、信噪比、窄带语音质量感知评价与短时客观可懂度，数值越大表示越好，其中可懂度以百分比形式报告。

下表把仿真与特征配置中可逐字核对的关键条件整理在一起，读表时先确认每行是不同的仿真维度，指标方向是覆盖范围与窗口参数，比较的公平性在于同一套仿真流程同时用于基线与所提方法。

表后需要说明主要代价与边界，该表只交代仿真条件是否一致，不直接证明方法优劣。它的价值是让复现者先对齐房间、阵列、信噪比与特征窗口，再谈性能数字。未评测的边界包括真实录音阵列与训练几何不一致时的表现，原文用智能眼镜实测传递函数做了部分验证，但仍指出虚拟位置与训练几何绑定，任意位置生成仍困难。

主结果在什么配置下比过谁，好在哪里

主结果围绕两种虚拟通道规模展开，一种是 2 通道真实加 1 通道虚拟，另一种是 2 通道真实加 4 通道虚拟，对比对象包括只用真实通道的增强加波束形成、多通道 Conv-TasNet 的单任务与多任务虚拟估计、用增强模型结构做虚拟估计的对照，以及不同通道数的物理阵列与 oracle 波束形成。原文报告的趋势是所提生成器在虚拟波束形成上优于已有神经虚拟估计基线，且计算量更低。

加上表示学习框架后进一步提升，在 2 通道真实加 4 通道虚拟时接近 6 通道全阵列的 oracle 表现，但在复杂上采样下仍落后于 6 通道 oracle，说明还有提升空间。一个值得注意的对照是 2 通道真实加 1 通道虚拟的信号级表示学习曾超过 3 通道真实的增强加波束形成，原文将其解释为多任务损失学到了有效的空间表示，虚拟通道起到了优化的空间正则作用。

跨策略验证还包括 2 通道真实加 8 通道虚拟接近 10 通道物理系统、从多通道维纳滤波换到 MVDR 仍保持竞争力、把主干换成多通道循环网络仍有提升、在智能眼镜实测传递函数上接近 7 通道真实模型。

下表整理训练与代价侧可逐字核对的数字，读表问题是同等任务下补虚拟信息是否比单纯增大模型更划算，公平条件是都约束在麦克风受限的输入下比较，指标方向是参数量与每秒乘加数越小越好。

表后解释主要收益与具体代价，收益是小模型加虚拟信息在语音质量上超过只增大模型的 2 通道大模型，且单模块增量很小；代价是仍需训练生成器与微调下游模型，且虚拟通道数越多重建越难。未胜出项是 2 通道加 4 通道仍落后于 6 通道 oracle 波束形成，负结果是去掉虚拟损失或去掉虚拟信号参与波束形成时性能下降，说明虚拟空间信息与显式监督都是必要的。

拿掉哪部分会变差，反证了什么机制

消融分训练方式与结构模块两组。训练方式上，冻结虚拟估计只训波束形成不如联合微调，而联合微调仍不如两种表示学习方法，支持直接条件化下游增强比只微调更有效。去掉虚拟通道损失后两种表示学习方法都下降，支持显式虚拟监督是必要的；去掉虚拟信号参与自适应波束形成后性能明显回落，但仍略好于只用 2 通道真实的系统，支持表示学习本身带来了独立于波束形成拼接的增益。

结构上，去掉生成对抗训练时虚拟估计指标变化不大而波束形成略有波动，说明对抗项对最终增强的贡献不如两个空间模块直接；去掉选择模块或动态通道分配后波束形成下降更明显，支持逐通道门控与注意力压缩确实帮助了空间信息的利用与压缩。原文还报告每个模块只增加约 0.1M 参数与 0.1 GMAC/s，说明增益不是靠大量参数堆出来的。教学上要区分直接报告与有限解释，下降现象是报告，归因于门控灵活性与压缩有效性是支持性解释，推广到任意阵列仍待验证。

哪些结论不能下，边界在哪里

首先是资源声明的边界，当前可获得的证据中没有完成 HTTPS 状态验证的开源资源，因此不能声称代码、模型或数据已公开，只能按论文文字复现仿真与训练流程。其次是几何绑定的边界，神经虚拟估计本质上与训练阵列几何关联，原文明确指出在任意位置生成信号仍困难，因此在新设备上直接套用已有虚拟位置的结论需要重新训练与验证。

再次是指标边界，原文用客观的信噪比类指标、语音质量与可懂度评价，没有报告误判率、实际延迟与人听评价，不能把客观指标提升直接等同于下游识别或主观听感必然改善，也不能承诺延迟得到优化。最后是趋势适用范围，总体接近全阵列不等于每条样本、每种混响与每种干扰配置都成立，特别是在 2 通道加 4 通道对比 6 通道 oracle 时仍有差距，复杂上采样仍是未解决部分。

相关性不等于因果，例如虚拟估计精度与最终增强提升相关，但不能反推只要波形误差小就一定增强好，特征级路径的存在恰恰说明隐空间正则可能独立起作用。

要复现先做什么，需要哪些超参数与信息条件

复现先做数据对齐，按原文用相同语音噪声语料仿真训练验证测试集，用相同房间尺寸、吸收系数、混响时间、信噪比区间与声源距离仿真空间数据，并区分全向与视场两种目标定义，视场目标限定在前方正负 20 度内。阵列先复现 6 通道基础几何，再按 2 通道真实加 1 通道、4 通道或 8 通道虚拟划分输入与监督，参考通道取第 1 通道。特征按 16 ms 窗、8 ms 跳距实现，波束形成按 25 帧分块加窗均值实现时变滤波。

模型按 5 级与 128 到 32 的通道维度搭建生成器，加入选择门控与动态分配压缩，下采样用分组卷积，判别器按原文所引结构实现。训练用 Adam、学习率 0.001、100 轮、批量 64，损失按 0.3 比 0.7 比 0.01 比 0.01 组合估计损失、波束形成损失与两项对抗损失，先在全通道上预训练增强模型，再微调增强的同时从零训练上采样器。验证先跑 2 通道基线、全通道 oracle 与已有虚拟估计基线，再跑信号级与特征级两种条件化，分别记录虚拟估计与虚拟增强两类指标。

由于没有可确认可达的开源链接，复现完全依赖文字描述，遇到未报告的梯度截断与编码器冻结细节应记录为缺项而不猜实现。

何时值得尝试，还需补哪项验证

当设备只能放两三个麦克风但训练时能录到更多通道，且下游已有多通道增强或波束形成流程时，值得尝试这种空间上采样思路，特别是希望不改硬件而扩大阵列孔径的场景。选择信号级还是特征级可以按重建难度判断，如果虚拟波形本身难估但下游有编码器结构，特征级相加可能更稳健；如果下游就是波束形成器，信号级拼接更直接。

复现建议从 2 通道加 1 通道的最小配置开始，先验证虚拟监督与多任务损失是否带来提升，再加深到多虚拟通道与八虚拟通道的困难配置。还需补的验证包括新阵列几何上的重训练效果、真实录音与仿真之间的差距、人听与下游识别任务的收益，以及在目标硬件上的延迟与功耗。常见误解是把虚拟通道当成凭空创造信息，实际上它是从训练阶段见过的几何与声场先验中学到的空间插值，离开训练几何与数据分布后其增益需要重新评估。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总