缺测房间脉冲响应还能做波束形成吗：扩散修复补齐阵列的可用性检验

英文题目：ON THE USEFULNESS OF DIFFUSION-BASED ROOM IMPULSE RESPONSE INTERPOLATION TO MICROPHONE ARRAY PROCESSING

会议身份：conference:eusipco:2026:conference-paper-id:0001222

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#波束成形 #扩散模型 #麦克风阵列 #房间脉冲响应估计 #语音增强

评分：5.3/10 | 创新 1.0/2 | 技术严谨 1.2/1.5 | 实验充分 0.7/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.7/1.5

排名：后50% | 文档类型：方法研究

👥 作者与机构

• Della Torre, Sagi：机构信息未能从会议 PDF 纯文本可靠映射
• Pezzoli, Mirco：机构信息未能从会议 PDF 纯文本可靠映射
• Antonacci, Fabio：机构信息未能从会议 PDF 纯文本可靠映射
• Gannot, Sharon：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文输入为16元线阵中仅部分测得的房间脉冲响应与全部麦克风采集的含噪语音，输出为补全后的完整脉冲响应矩阵及增强后的目标语音，难点在于密集实测成本过高而仅靠到达方向或相对传递函数难以同时实现空域滤波与解混响。方法先将截断至2048点的脉冲响应矩阵重排为灰度图像并以按列二值掩膜锁定已知通道，仅在缺失列上估计。再以去噪扩散概率模型经重绘策略对64×64重叠归一化图像块迭代去噪并拼回时域矩阵，保持时空一致性。最后由补全响应经傅里叶变换构造导向矢量，结合噪声协方差求解最小方差无失真响应权重并作用于实测多通道信号实现增强，与仅保留混响或合成虚拟麦克风的做法不同，该路线直接恢复完整声学传递函数因而可同时抑制干扰并做解混响。在定向噪声场景下，Inpainted的SI-SDR为8.8，高于Missing的SI-SDR 6.0。在MeshRIR真实三维网格数据上重建仍优于样条三次插值基线，但高缺失率与测点集中于阵列一侧时对齐误差显著增大，其适用边界受限于缺失几何与混响失配，跨房间与大规模阵列外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://github.com/openai/guided-diffusion — 链接可访问（HTTP 200）
• 第三方资源：https://pyroomacoustics.readthedocs.io/en/pypi-release/ — 链接可访问（HTTP 200）
• 第三方资源：https://www.audiolabs-erlangen.de/fau/professor/habets/software/ — 链接不可用（HTTP 404） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先保留哪些关键信息？

本文的输入是两类不对齐的信息。一类是全部阵元上都可用的麦克风信号，另一类是只在部分麦克风位置上测到的房间脉冲响应。目标是把缺失位置的脉冲响应补出来，再把补全后的响应用到经典阵列处理中。读者需要先保留 3 个关键信息。第一，房间脉冲响应是声源到每个麦克风的时域脉冲响应，截断到固定长度后按列排成矩阵，缺失麦克风对应整列缺失。

第二，仿真实验用 16 元均匀线阵，实测验证用 MeshRIR 稠密网格中抽出的行与边框阵列。第三，下游任务不是只看重建误差，而是看补全响应能否支撑波束形成与零陷。

房间脉冲响应这个术语初学者可以先理解为房间的声学指纹。它记录直达声到达的时间与强度，以及墙面反射形成的后续拖尾。英文是 Room Impulse Response，缩写为 RIR。后文统一简称 RIR。声传递函数是它在每个频点上的频域表示，英文是 Acoustic Transfer Function，缩写为 ATF。

后文统一简称 ATF。两者是同一物理过程的时频两种写法。

房间脉冲响应 × 声传递函数： 房间脉冲响应是时域上从声源到每个麦克风的脉冲响应，刻画直达声与混响结构，声传递函数是它在频域的对应表示，用于构造波束形成器的导向向量，二者搭配的原因是时域修复完成后必须经傅里叶变换得到频域导向才能做空域滤波与去混响，组合意义在于把缺失通道的时域补齐转化为可用的频域空间信息。

本解读的输出是一条可复述的方法链。从一个样本出发，先把部分 RIR 排成灰度图并用掩膜标出缺列，再切块归一化后做扩散修复，再拼回完整矩阵并变换到频域构造导向，最后结合噪声协方差算波束形成器权重并作用于全部麦克风信号。后续各节按学习依赖展开，先讲任务与路线，再讲方法全景与组件计算，然后讲构造与推理流程，接着讲实验条件，最后讲结果、反例与复现。

已有路线如何处理稀疏测量，本文为何选生成式补齐？

稀疏测量下的空间分辨率提升已有两条路线。一条是基于几何的建模方法，利用阵列几何与反射模型外推声场。另一条是数据驱动的学习方法，从观测中学习声场结构后重建缺失响应。原文还提到虚拟麦克风框架，通过几何假设与短时傅里叶变换域插值增加通道数，从而用少量物理麦克风实现更有效的空域滤波。初学者可以把虚拟麦克风理解为没有硬件但有信号或响应的假想通道，英文是 Virtual Microphone，缩写为 VM。后文统一简称虚拟麦克风。

虚拟麦克风 × 扩散修复： 虚拟麦克风负责在物理麦克风很少时合成出更多通道以提升空间滤波能力，扩散修复负责从已测通道生成缺失通道的房间脉冲响应，二者搭配的原因是前者需要后者提供可信的声学传递作为构造依据，组合后新增的作用是不增加硬件而扩展可用于波束形成的有效孔径。

本文的前作 DiffusionRIR 属于第二条路线。它把 RIR 集合看作灰度图，把重建看作图像修复任务，并在仿真集上超过标准插值基线。但前作只在合成数据上验证，没有回答能否泛化到实测 RIR。本文的增量正在于此。一是把修复后的 RIR 接到实用的多麦克风阵列处理中，检验是否真的提升波束形成。

二是把验证从仿真搬到实测，检验在真实混响与测量误差下是否仍然可靠。需要明确的是，本文不是提出新的扩散训练目标，而是沿用前作框架并做可用性与泛化验证。

问题如何形式化，缺测矩阵与掩膜怎样定义？

设阵列有 N 个麦克风，声源位置固定，其中只有 M 个位置测到 RIR，剩余 L 等于 N 减 M 个位置未测。完整时域 RIR 矩阵记为 H，大小为 K 乘 N，每列是一个麦克风位置截断到 K 个样点的脉冲响应。已测部分构成子矩阵，缺失部分构成另一子矩阵。重建任务写成估计矩阵等于重建算子作用于已测矩阵与掩膜，掩膜是按列指示可用与缺失的二值矩阵。

举例说明有助于理解，但例子中的数值仅为教学演示。假设一个 8 元线阵测到第 1、2、7、8 列，中间 4 列缺失，则掩膜的前两列与后两列标为 1，中间标为 0，重建算子只能改动标 0 的列，不能改动标 1 的列。这个例子对应原文按列掩膜的思想，不代表原文实验的具体掩膜。

相对传递函数 × 声传递函数波束形成： 相对传递函数只描述各通道相对参考麦克风的比值，天然保留参考点的混响，声传递函数波束形成则把包含混响的完整传递写入导向向量，分工是前者做干扰抑制而后者兼顾去混响，搭配理由是论文要说明为何必须补全完整脉冲响应而非只估计相对量，组合意义在于用修复的完整响应实现直接恢复发射信号的目标。

问题形式化之后要回答为何需要完整 ATF。原文指出，基于到达方向或相对传递函数的波束形成能抑制干扰，但会保留参考麦克风处的混响成分，去混响能力受限。相对传递函数英文是 Relative Transfer Function，缩写为 RTF。后文统一简称 RTF。而基于完整 ATF 的导向把完整声学传递写入约束，因此既做空域滤波又抑制混响。但从麦克风信号盲估计完整 ATF 更困难，稠密测量又难以实现，这就引出用少量测量重建缺失 RIR 的动机。

从部分测量到增强语音，主路径经过哪些步骤？

主路径分为 4 步。第一步采集部分 RIR 测量。第二步用扩散方法重建缺失 RIR。第三步用重建 RIR 构造导向向量，并用全部麦克风信号中的噪声段估计噪声协方差，共同计算波束形成器权重。第 4 步把波束形成器作用于全部可用麦克风信号做语音增强。原文明确说明，麦克风信号在全部阵列位置可用，而 RIR 只在子集可用，重建后的 RIR 用于补齐导向，使波束形成器能利用全部通道信号。

去噪扩散概率模型初学者可以理解为先加噪再学去噪的生成模型，英文是 Denoising Diffusion Probabilistic Models，缩写为 DDPM。后文统一简称扩散模型。重绘策略可以理解为修复时每步都把已知区域贴回观测的约束方法，英文是 RePaint。后文统一简称重绘约束。

去噪扩散概率模型 × 重绘修复策略： 去噪扩散概率模型负责从高斯噪声经学习到的逆扩散逐步精化出符合数据分布的图像，重绘修复策略负责在每一步强制已测区域与观测一致而只估计缺失区域，分工是前者提供生成先验而后者提供测量约束，搭配原因是房间脉冲响应矩阵被看作灰度图后缺通道对应整列缺失，组合后实现只补缺失列而不改动已测列。

沿一个样本走完流程有助于建立因果链。输入是一个 K 乘 N 的灰度图，其中缺失列被掩膜标出。表示阶段把该图切成互相重叠的 64 乘 64 小块并归一化到负 1 到 1 区间。组件阶段对每块从高斯噪声出发，经学习到的逆扩散算子逐步去噪，并在每步强制已测区域与观测一致。目标是得到干净小块后再反归一化并拼回完整图像。

输出是 K 乘 N 的估计矩阵，包含实测列与插值列。后续小节再展开切块、归一化与逆扩散的计算细节。

灰度图、掩膜与分块归一化各自解决什么计算问题？

灰度图表示解决的是把非规则声学测量变成规则图像问题。每个麦克风响应截断到 K 个样点后作为一列，时间沿行方向延伸，空间沿列方向延伸，缺失麦克风对应整列空缺。这种表示让卷积型扩散网络可以直接处理时空联合结构。掩膜解决的是保真问题。二值掩膜中 1 表示实测，0 表示缺失，重建过程中实测数据保持不变，只有未测位置被估计，避免生成过程篡改已知声学信息。

分块与归一化解决的是低能量尾部精度与显存适配问题。原文把图像切成重叠的 64 乘 64 小块，每块归一化到负 1 到 1 区间，修复完成后再反归一化并拼回。这样做保留跨阵列的时空一致性，同时让混响尾部的小幅值结构在归一化后仍能被网络精细刻画。重叠切分还有助于减少拼接边界的不连续。

最小方差无失真响应波束形成 × 零陷导向： 最小方差无失真响应波束形成负责在保持目标方向无失真的同时最小化输出噪声功率，需要噪声协方差与目标导向，零陷导向负责把导向投影到干扰传递的零空间以获得噪声主导参考，分工是前者做增强输出而后者做干扰对消参考，搭配原因是两者都依赖修复后的传递向量是否与真值对齐，组合意义是用同一批修复响应同时检验增强与对消两类下游任务。

最小方差无失真响应波束形成英文是 Minimum Variance Distortionless Response，缩写为 MVDR。后文统一简称 MVDR。其权重由噪声协方差逆矩阵与目标导向计算得到，目标是在目标无失真约束下最小化输出噪声功率。零陷导向则是把响应投影到估计传递的零空间，用于产生噪声主导参考。两者都需要修复后的频域向量与真值对齐，否则增强会失真，对消会变浅。

本研究训练了什么，没有训练什么，推理时如何调用？

需要明确区分前作训练与本研究的调用。本研究没有报告新的扩散模型训练过程，没有给出新的训练集划分、优化器、学习率、训练步数或损失曲线。它沿用前作已有的扩散模型与逆扩散算子，本文的计算集中在构造、推理与评测。因此本节不能把无训练等同于确定性求解，也不能从模型名称推定具体网络层数或梯度路径。缺失的训练细节应记为未报告，而不是默认与公开实现完全一致。

实际调用过程按原文算法步骤是确定的。首先把已测 RIR 转成灰度图像矩阵，然后切成重叠小块并归一化。每块从标准高斯噪声初始化，再按时间步从 T 到 1 循环。循环内用扩散模型预测噪声，经逆扩散估计上一步的干净块，并强制与掩膜指示的实测数据一致。循环结束后保存重建块，反归一化并拼成完整图像，最后转回 RIR 矩阵。原文说明采用 OpenAI 的 DDPM 架构并针对 RIR 矩阵图像做了修改，资源状态显示该第三方代码链接当前可用，但这只说明代码可达，不代表本文权重公开或系统可一键运行。

仿真与实测的阵列、房间与掩膜条件是什么？

仿真实验用 Pyroomacoustics 生成数据，第三方文档链接当前可用。阵列为 16 元均匀线阵，阵元间距与孔径、房间尺寸与混响、采样与截断等条件需要整体核对。声源在阵列正前方 2 米处，语音为 7 秒 utterance。噪声分两种空间场景。一是放在房间另 1 位置、距阵列 2 米的方向性噪声源。

二是用扩散噪声仿真器生成的扩散噪声。所有噪声为粉红噪声，信噪比从负 10 到 10 分贝，并额外加入 10 分贝信噪比的空间白噪声。

下表把仿真主配置放在同一处核对，比较问题是重建与波束形成是否在相同房间与阵列下进行，公平条件是同一批信号与同一截断长度，指标方向在后文结果节交代。此表后文还将用于解释掩膜实验的对照基础。

上表把阵列规模、房间混响与信号截断集中呈现，支撑后文对掩膜对比的公平性判断。需要指出，表中信噪比范围与附加白噪声是原文明确给出的压力条件，方向性噪声与扩散噪声分别平均，避免把两种空间相关性不同的噪声混为同一指标。RIR 只在子集可用而信号在全阵可用，是理解缺测与插值对照的关键信息条件。

实测验证用 MeshRIR 数据集的大规模稠密测量，网格为 21 乘 21 乘 9 共 3969 个位置，覆盖 1 乘 1 乘 0.4 米立方体。房间约 7.0 乘 6.4 乘 2.7 米，混响约 300 毫秒，扬声器距阵列平面约 2 米。录音采样 48 千赫后降采样到 8 千赫，每条 RIR 截断到 2048 样点。评价抽取水平面 441 个麦克风中的两种阵形。一是前三平行行共 63 个麦克风。

二是沿平面顶部与左侧边缘的 L 形边界共 41 个麦克风。再按随机掩膜比移除子集，用剩余通道重建缺失通道。

实测 MeshRIR 如何抽阵列并度量重建误差？

实测部分要解决的问题是，仿真上学到的先验能否搬到真实房间。数据来自 MeshRIR 的 S1-M3969 子集，网格与房间条件已在前文交代。评价用两种互补指标。一是归一化均方误差，单位为分贝，比较重建与真值的能量归一化误差，越小越好。二是余弦距离，比较真值与估计响应的夹角失配，接近 0 表示强对齐，接近 1 表示大偏差。基线仍是直接作用于缺失通道的经典样条插值。

下表把实测配置与示例点的混响保持情况集中核对，比较问题是重建是否在严重稀疏下仍保留直达声与早期反射，公平条件是同一掩膜比下与样条插值对比，指标方向是误差与距离越小越好，混响时间越接近真值越好。此表后文用于解释为何说方法从仿真迁移到实测。

上表说明，两种阵形下本文方法在不同掩膜比下都明显优于样条插值，即使在高掩膜比下仍有实质增益。虽然性能随可用麦克风减少而下降，但始终超过标准插值。以 Three Rows 在 70% 掩膜比下为例，7 号麦克风位于邻居测量较稀疏的区域，重建仍保留直接路径与早期反射，能量衰减曲线的衰减斜率相近，重建混响时间 0.31 秒，真值 0.34 秒，表明房间混响特性得到较好保持。该结论是报告层面的相似性，不是每条 RIR 的逐点相等。

补齐的 RIR 能否让波束形成接近全阵列？

要回答的核心问题是，在相同麦克风信号下，只用实测子集构造 ATF 基 MVDR，与用实测加修复构造全阵 MVDR，差距有多大。公平条件是噪声协方差都用可用麦克风信号的纯噪声段估计，导向都来自对应通道的 RIR 经频域变换得到，区别只在是否加入修复通道。指标方向是信号干扰比、尺度不变信号失真比与短时客观可懂度都是越大越好。信号干扰比在语音段与噪声段分别计算，尺度不变信号失真比比较干净目标与波束输出，可懂度分数在 0 到 1 之间。

下表把 4 种掩膜配置与主要代价放在同一处，比较问题是缺测越严重时修复收益是否仍然存在，公平条件是每种掩膜下缺测对照与修复对照使用同一批信号与同一噪声场景，指标方向如上所述。此表用原文连续句子中实际出现的缺测数与降级量组织，不把表格中无法逐字核对的全部小数抄入，完整小数矩阵的缺项在局限节说明。

上表的主要收益是，在全部掩膜下使用修复 RIR 都明显优于只用实测麦克风，掩膜 0 和 1 下修复后的信号干扰比与可懂度接近全 RIR 情形，尺度不变信号失真比也与全阵列相当。具体代价是掩膜 2 和 3 分别出现约 1 分贝和约 4 分贝的下降，说明缺测从一半增加到四分之三时性能开始脱离全阵列。未胜出项必须指出，掩膜 3 是 challenging 几何，实测麦克风集中在阵列一侧，缺失位置空间距离远，此时重建与真值的对齐变差。原文还报告插值后信号干扰比与可懂度接近全 RIR，但这不等于每种信噪比下都成立，因为结果是对所有信噪比平均后的趋势。

换成样条插值会怎样，零陷深度说明了什么？

第二个要检验的问题是，生成式修复是否真的优于经典非生成基线。原文用样条 3 次插值作为基线，直接对缺失通道做插值。评价零陷任务时，把真值与重建的频域响应向量做零空间投影，构造误差向量并用其范数与真值范数之比衡量对齐，值越小表示越一致。该分析不需要估计噪声协方差，但仍把得到的零陷作用于麦克风信号。

报告显示，在掩膜 0 到 2 下重建 RIR 与真值非常接近，距离值很低。掩膜 3 偏差增大，但仍明显优于样条插值基线。这支持修复方法捕捉了超出简单平滑的声学结构。需要区分的是，该距离是对频率分箱求和后的对齐度量，不是波束输出的信噪比，不能直接换算成可懂度提升。

反证同样重要。掩膜 3 下即使是本文方法，对齐距离也明显上升，说明当实测集中在一侧而缺失在远端时，仅靠数据先验难以完全恢复空间相位关系。样条插值在所有掩膜下都差于本文方法，但这不意味着样条在任何阵列与房间下都必然更差，因为本文只在给定房间、给定线阵与给定掩膜下比较。未评测的边界包括移动声源、不同混响时间与非线阵几何，这些在原文中没有对照。

哪些条件没有测，哪些推论不能做？

首先是证据边界。原文表格给出的全部小数矩阵在本次可核对文本中只有表格图像，没有逐字连续句子覆盖每个小数，因此本解读没有把那些小数逐格复述为可运行数字表，而是用原文连续句子中实际出现的缺测数与约 1 分贝、约 4 分贝等降级量组织结论。这意味着读者不能把本解读的表格当作原文表 1 的完整复刻，复现时应回到原文表格核对每种噪声下的信号干扰比、可懂度与尺度不变信号失真比。

其次是方法边界。训练细节未报告，不能推定优化器、学习率或冻结策略。推理开销、输出帧率与实际延迟未测量，不能承诺实时性改善。总体趋势不等于每组信噪比与每步扩散都成立，掩膜 3 的例子已显示几何偏置会放大误差。相关性也不是因果，重建误差小与波束形成好同时出现，但不能据此断言只要降低归一化均方误差就一定提升可懂度，因为两者还受噪声协方差估计与声源位置的影响。

最后是泛化边界。实测只用了同一房间同一子集的两种阵形与随机掩膜，没有覆盖不同房间、不同混响时间、移动声源或球形阵列。样条插值作为唯一经典基线，不能代表全部几何与压缩感知方法。扩散噪声仿真器的第三方链接在本次核对中不可达，状态为 404，因此扩散噪声的具体生成细节本次未能确认，复现扩散噪声场景时需要另找可用实现或说明替代方案。

要复现这条链路，先做什么，需要哪些超参数？

复现应先固定信息条件，再跑通推理链。第一步按原文仿真条件生成数据。16 元均匀线阵，间距 4 厘米，孔径 0.64 米，房间 6 乘 5.5 乘 2.8 米，混响 300 毫秒，采样 8 千赫，每条 RIR 截断 2048 样点，声源在正前方 2 米，语音 7 秒。噪声用粉红噪声，信噪比负 10 到 10 分贝，另加 10 分贝空间白噪声。掩膜按 4 种配置设置，分别是 12 测 4 缺、8 测 8 缺、两种 4 测 12 缺。先验证掩膜定义与信号全阵可用、RIR 部分可用的条件一致，否则波束对照不公平。

第二步实现表示与推理。把 RIR 矩阵按列排成灰度图，用二值掩膜标出缺列，切成 64 乘 64 重叠块并归一化到负 1 到 1。调用前作扩散模型从高斯噪声出发逆扩散，每步保持实测区一致，最后反归一化拼回。关键超参数是块大小 64、归一化区间、截断长度 2048 与采样率，缺失的是训练超参数与扩散步数，复现时应记录实际使用的步数与重叠步长。

第三步构造下游评价。把补全矩阵变换到频域得到每频点的麦克风响应向量，用作 MVDR 导向，用噪声段估计噪声协方差。分别计算信号干扰比、尺度不变信号失真比与可懂度，并在方向性与扩散噪声下分别平均。实测部分下载 MeshRIR 后抽取 63 元三行阵与 41 元边框阵，做随机掩膜并用归一化均方误差与余弦距离对比样条插值，另画能量衰减曲线核对混响时间。代码层面，扩散主干的第三方链接当前可用，房间仿真文档当前可用，扩散噪声生成器链接当前不可用，需要替换或注明缺项。

何时值得尝试这种补齐，还有哪项验证最值得补？

当硬件只能布少量麦克风但信号通道可以全采，而波束形成又需要完整传递做去混响时，这种补齐值得尝试。轻度与中度缺测下，它能把有效导向扩展到全阵，接近全阵列的干扰抑制与可懂度。重度缺测下仍优于只用实测子集，但要接受约 1 分贝量级的失真下降。若实测集中在一侧而缺失在远端，应预期更大代价，原文掩膜 3 约 4 分贝的下降就是提醒。

不值得盲目尝试的情形是，只需要相对传递函数做干扰抑制而不需要去混响，或者噪声协方差估计本身很差，此时补齐传递带来的增益可能被协方差误差淹没。同样，当房间与阵列与原文差异很大时，不能直接套用迁移结论，因为实测验证只覆盖同一房间的两种阵形。

最值得补的一项验证是把完整小数矩阵与统计口径公开，并补充按信噪比拆分的曲线与多次随机掩膜的波动范围。这样才能判断平均增益是否来自特定高信噪比区间，以及重建方差是否稳定。其次值得补的是推理成本与延迟测量，说明补一块 64 乘 64 需要多少步与多少时间，否则无法判断能否用于实际系统。最后值得补的是更多房间与阵形的对照，以确认生成先验学到的是声学结构而非特定房间的过拟合。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

区域 4 · 查看论文原页

另有 10 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eusipco-2026 论文汇总