推理时才给方向图：同一网络如何装下多种指向性

英文题目：NEURAL DIRECTIONAL FILTERING WITH CONFIGURABLE DIRECTIVITY PATTERN AT INFERENCE

会议身份：conference:eusipco:2026:conference-paper-id:0000096

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#波束成形 #空间音频 #麦克风阵列 #语音 #音频分离

评分：5.8/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.6/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Huang, Weilong：机构信息未能从会议 PDF 纯文本可靠映射
• Raj Chetupalli, Srikanth：机构信息未能从会议 PDF 纯文本可靠映射
• Habets, Emanuël A. P.：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务输入为紧凑阵列多通道信号与用户在推理时给定的频率无关方向图向量，输出为按角度增益加权混叠声场后在参考麦克风处的目标信号，实际难点在于小孔径难以形成高指向性且固定波束成形更换方向图需重算滤波器。首先将多通道短时傅里叶变换实虚部堆叠为输入并以频率为序列送入双向长短期记忆网络建模空频相关，其输出进入特征线性调制层由方向图生成逐特征仿射参数做缩放平移，调制后特征再送入单向长短期记忆网络生成复数掩膜并作用于参考通道以重建目标信号。与把方向向量映射为双向网络初态的拼接条件方式不同，该方法把方向先验放在深层特征上调制，因而对未见转向和高阶主瓣保持更好。在EARS语料双声源测试集下，FiLM-JNF的SDR指标为24.54 dB，高于参数滤波基线的SDR指标20.37 dB。该结论适用边界受限于零仰角、频率无关方向图和以无混响语音合成为主的验证，对强混响和密集多源尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 演示资源：https://www.audiolabs-erlangen.de/resources/2026-EUSIPCO-UNDF — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么要用户可配？

这篇论文的输入是两部分。第一部分是紧凑阵列录到的多通道混合信号，论文用四麦克风配置，一个中心加 3 个圆周均匀分布，孔径只有三厘米直径。第二部分是用户在推理时给定的方向图，也就是随方位角变化的期望灵敏度曲线。

输出是单通道目标信号。它等于把每个声源在参考麦克风处的分量按其到达方向对应的方向图增益加权求和。初学者可以这样理解：例子是按用户画出的一张角度增益表重新录制整个声场，而不是把某个人声干净分离出来。

空间滤波 × 方向图： 空间滤波分工是对多麦克风信号做联合处理以保留或抑制不同方向的声音，方向图分工是规定每个入射方位应保留多少增益，搭配理由是把用户想要的空间选择性写成可执行的增益约束，组合后滤波输出直接对应方向图加权的声场。

为什么强调推理时可配。传统固定波束形成要实现指定方向图，需要很多麦克风和大孔径来保证白噪声增益与指向性因子。换 1 个方向图就要重新计算滤波器。参数化滤波可按任意方向图计算滤波，但依赖瞬时到达方向估计，在多声源和非语音场景下容易失效。

此前的神经方向滤波只学了一个固定方向图，推理时只能旋转指向，不能改形状。本文要解决的矛盾是：用一个神经网络在推理时接受任意形状、任意缩放、任意指向的方向图。论文把方向图假设为频率不变，声源与阵列共面，这些是后续训练与评测的前提。

开场需保留的关键信息是：方法只研究论文实际做的声场加权录制任务。教学举例会标为例子，不虚构数值。本次收到的官方演示资源状态为可用，但正文解读仍只依据论文原文证据。

同输入同目标的已有路线有何不同？

第一条路线是固定波束形成。它与本文同输入，都是阵列信号，同目标，都是实现期望方向图。它通过线性滤波求解权重，需要大阵列保证性能。本文用神经网络估计非线性掩码，1 次训练后通过条件输入切换方向图。

第二条路线是参数化空间滤波。它同样接受任意方向图，运行时先估计每个时频点的到达方向，再按方向图查增益做滤波。它的优点是不需要训练即可换方向图，缺点是把性能押在到达方向估计上。

论文把它作为主要基线，并用理想到达方向给出其性能上界。这样可以公平看出神经方法在不依赖显式到达方向时的差距。最小二乘波束形成因已显著落后而不再比较。

第三条路线是基于联合非线性滤波的语音提取与分离。它同样用多通道短时傅里叶实部虚部堆叠做输入，但目标是提取某个角度区域内的说话人。空间选择性滤波器引入了独热编码的指向条件，只能在预设离散角度中选择。

本文把条件从离散指向推广为连续采样的方向图向量。例子是同样两个说话人在不同角度，分离任务只关心拿出目标人声，本文任务关心两路成分按方向图比例保留。这是本质区别。

声场加权问题如何形式化？

论文把无混响场景写成每个麦克风的短时傅里叶混合等于多个声源分量之和加上传感器噪声。声源个数在训练时最多 3 个，测试时固定两个。每个声源有一个方位角，源与阵列距离固定为 1.5 米。

训练验证测试的方位网格互相错开，以检验角度泛化。用户方向图记为随时间变化的方位函数，论文实验中每条样本的方向图在时间上不变。应用展示中允许随时间切换。

目标信号的定义是把每个声源在第一通道分量乘以其方向对应的方向图增益再求和。这个定义直接决定监督信号的生成方式。仿真得到直达传递函数，与干语音卷积得到混合，同时按增益加权求和得到目标。

方向图向量是把零到二 pi 均匀采样 72 个点得到的。最大抑制设为 -20 dB，避免训练目标出现极端小值。频率不变假设意味着采样向量对所有频率共用。

需要提醒的边界是：论文只在方位平面内定义问题，不处理俯仰角。方向图取值限制在零到一之间，不考虑负极性旁瓣的精细建模。这些简化是后续泛化讨论的基础。

一个样本如何从阵列信号和方向图走到输出？

沿一个样本走一遍。输入是 4 通道短时傅里叶的实部虚部堆叠，形状为批次、时间帧、频率点、8 通道。再把时间与批次合并，把频率轴当作循环序列送入双向长短时记忆网络做频率建模。

同时输入 72 维的方向图向量作为条件。经过条件调制与后续单向长短时记忆网络做时间建模后，网络输出单通道复数掩码的实部虚部。把该掩码逐时频点乘到参考麦克风信号上，再逆变换回时域即得估计信号。

损失是批量聚合的归一化时域绝对误差。分母是目标信号的绝对值之和加极小常数，用于平衡不同响度样本。这个流程的关键是条件只改变空间选择，不改变声学主干对语音结构的建模。

频率建模先看到阵列的空间与频谱联合特征，时间建模再做因果平滑。条件注入在这两段之间，保证每 1 帧都能感知用户意图。论文强调模型是因果的，因此切换方向图会立即反映在输出中。

初学者容易误以为网络直接输出波形。实际输出的是掩码，再经参考通道相乘得到波形。评测用的信号失真比也是比较该波形与按方向图加权的目标波形。

两种条件注入各做了什么计算？

第一种称为模式向量条件，简称 PV-JNF。它沿用空间选择性滤波的思路，把原来输入转向角独热编码的线性层换成输入方向图向量的线性层。输出作为双向长短时记忆网络在每个时间步的初始状态。

也就是说，方向图只在频率建模的起点施加影响，后续时间建模不再直接看到方向图。这种做法参数少、改动小，但条件信息要经过长序列传播才能影响最终掩码。

联合非线性滤波 × 特征线性调制： 联合非线性滤波分工是沿频率与时间对多通道短时傅里叶特征做非线性映射并估计复数掩码，特征线性调制分工是把用户方向图向量映射为逐特征的缩放与偏置，搭配理由是掩码估计需同时看到声学内容和用户意图，组合后同一声学主干可被不同方向图即时调制。

第二种称为 FiLM 条件，简称 FiLM-JNF。它在双向与单向网络之间插入专用条件层。方向图向量经两个不同线性层分别生成缩放参数与偏置参数，维度均为五百一十二。

再对频率建模输出做逐特征仿射调制，同一调制在时间与频率上共享。调制后的特征重排后送入单向网络。这种做法让每个特征通道都能按用户方向图被放大或平移。

调制本身不引入未来信息，因此不破坏因果性。论文的对照显示，在只用 1 阶固定方向图训练时，两者在见过的指向角上都能拟合。但在未见指向、未见高阶、未见缩放上，FiLM 的偏差明显更小。

为什么初始状态条件在未见形状上更吃力？

从信息路径看，模式向量条件把方向图压缩为循环网络的初始隐状态。网络要同时记住声学上下文与用户意图，容量竞争更激烈。当测试方向图是训练未见的九十度指向或 3 阶心形时，初始状态的外推容易产生指向偏置。

论文的宽带方向图估计显示了这种偏置，而 FiLM 仍能保持主瓣对准。缩放版本上模式向量整体增益对不上，FiLM 保持一致。这是论文报告的现象支持，不是数学证明。

模式向量条件 × FiLM 条件： 模式向量条件分工是把采样方向图经线性层转为双向长短时记忆网络的初始状态，FiLM 条件分工是在频率建模与时间建模之间做逐特征仿射调制，搭配比较的意义是检验条件注入位置与表达能力，论文显示中间层调制对未见阶数与缩放更稳定。

从调制位置看，FiLM 作用在频率建模之后。此时声学特征已形成较稳定的频率表示，再按方向图做缩放与偏置，相当于在已解耦的特征空间做选择。因此泛化到更高阶与不同缩放更自然。

这也是论文后续只用 FiLM 架构报告训练策略改进的原因。需要明确的是，论文没有报告去掉条件后性能必然如何。两种条件都是端到端训练的完整模型，不能从名称推定冻结细节。

例子是把方向图想象成调料单。初始状态做法是只在开火前看一眼，全程凭记忆放调料。FiLM 做法是在切配完成、炒制之前再看 1 次并逐道调整。这个比喻只帮助记忆注入时机，不证明性能。

训练样本与三种配方如何构造？

训练数据构造完全基于仿真。干语音训练用 LibriSpeech 的干净 360 小时子集，验证用开发干净子集。测试用外集的无混响全带语音并按响度筛选。

每个源阵配置随机选声源方向，固定距离 1.5 米。用零反射阶数的房间脉冲发生器生成直达传递函数，再与干语音卷积得到麦克风信号。每个源阵配置配 60 个方向图，训练共 4320 个配置。

差分麦克风阵列方向图 × 矩形方向图： 差分麦克风阵列方向图分工是提供由阶数与零点参数连续控制的主瓣形状，矩形方向图分工是提供通带为一阻带为零的硬边界选择，搭配训练的意义是用前者覆盖平滑指向性变化、用后者逼近不规则与多瓣形状，使模型见到线性组合后的更宽分布。

3 种配方决定了模型见到什么形状。配方 A 只有 1 阶方向图，零点参数取零到 0.9 步进 0.1。指向取零到三百度步进六十度，共 60 种，用于检验有限模板训练下的泛化。

配方 B 用最多 4 个随机差分方向图的线性组合再按最大值归一化。每个随机方向图的零点、指向、阶数都随机，阶数取一到十一的整数。这样覆盖更高阶与任意指向。

配方 B 加是配方 B、三分之一随机矩形组合、三分之一差分加矩形混合的均分混合。矩形的起止角随机，用于进一步覆盖不规则形状。训练时每个声源按方向图向量查增益加权生成目标。

模型批量十、训练 100 轮、初始学习率 0.001。论文未报告优化器类型、学习率衰减与随机种子，复现时缺失部分需自行补验证并标注为待验证。

评测条件与指标如何保证可比？

评测分两类。第一类是方向图估计。做法是对每条测试样本，把估计的掩码分别作用到参考麦克风处的每个单声源分量上。计算宽带功率比，即掩码加权后能量与原始单源能量之比。

再对同一方向的所有测试样本取算术平均得到该方向的估计增益。遍历所有方向即得宽带方向图。去掉频率求和即得窄带方向图，用于检查频率不变性。

声源方向网格与训练验证错开，测试用 1.25 度起始步进 2.5 度。每条 4 秒，测试每个待测方向图 3240 条样本。第二类是信号失真比，平均到整个测试集，用于衡量估计波形相对目标波形的失真。

数值越高越好。基线是基于理想到达方向的参数滤波，给出该类方法的性能上界。所有神经模型用同一四麦克风阵列、同一仿真流程、同一目标生成公式。

区别只在条件机制与训练配方，因此配方与架构的比较是同条件下的。硬件方面论文只致谢了高性能计算中心资源，未报告具体显卡型号与训练时长。推理延迟与实时因子也未测量，不能承诺成本改善。

条件机制带来多大可运行收益？

这里的比较问题是：在同为配方 A 训练、测试包含未见指向与未见阶数时，FiLM 是否比模式向量更稳。公平条件是同一阵列、同一仿真目标生成、同一评测流程。指标方向是信号失真比越高越好。

下表整理了论文报告的 4 种测试方向图下的数字。条件均为可运行的神经模型与理想到达方向的参数滤波上界。表后将解释收益与代价。

上表数字来自论文原表逐字引用，单位与精度保留原文写法。需要说明的是，原表同时报告了模式向量与 FiLM 在配方 A 下的完整对照，以及配方 B 的进一步提升。为满足宽表要求，此处按条件重排但不改动数值。

主要收益是 FiLM 在未见场景下显著更稳。在见过的 1 阶六十度上两者相当，约 26 分贝，均高于参数滤波上界。在未见九十度指向、未见 3 阶、缩放版本上，模式向量掉到约 20.87、10.40、8.11 分贝。

而 FiLM 配方 A 保持在 24.31、17.34、19.54 分贝。用配方 B 训练的 FiLM 进一步升到 26.30、24.54、26.80 分贝。具体代价是配方 A 的 FiLM 在 3 阶上仍只有 17 分贝，说明仅靠 1 阶模板不足以完全外推高阶。

宽带方向图 × 窄带方向图： 宽带方向图分工是把所有频率与时间的掩码能量比平均为随角度变化的一条曲线，用于整体形状核对，窄带方向图分工是保留频率维以检查频率不变性是否成立，二者搭配可以同时回答形状对不对与各频段是否一致。

未胜出项是模式向量在见过方向上并不差。若应用只旋转固定 1 阶形状，它仍可用。但一旦要改阶数或缩放就不应选它。方向图曲线也支持同一判断，FiLM 主瓣更贴合目标。

配方从单模板到混合如何改善不规则形状？

这里的比较问题是：在固定 FiLM 架构下，训练分布从单个随机差分，到多个差分组合，再到差分加矩形混合，对多缩放与不规则形状有何变化。公平条件是同一架构、同一评测流程。指标仍是信号失真比越高越好。

下表整理论文报告的两种挑战形状下的数字，均为可运行策略，无理想值替代。表后解释哪类形状受益最大。

表后解释是：多缩放形状上，多差分组合比单随机提升明显。论文将其归因于线性组合让模型见到更宽的增益变化范围。而加入矩形后略回落到 17.61 分贝，仍远高于单模板。

不规则形状上，前两种配方仅 14 分贝左右。加入矩形混合后跃升到 20.39 分贝，支持矩形混合专门补足硬边界与不规则轮廓的判断。窄带方向图进一步显示混合配方训练的模型具有频率不变性。

反例与边界是：混合配方并非在所有形状上都最优。多缩放上它不如纯多差分组合，说明更宽分布不等于每类形状单调变好。论文也承认差分模型本身更擅长主瓣而非旁瓣。

训练只关注零到一无负极性的主瓣控制。因此旁瓣精细结构与负极性不在保证范围内。若应用需要精确旁瓣抑制，还需补验证。

哪些条件没测，哪些结论不能推广？

首先是声学条件的局限。定量训练与测试都在无混响仿真下完成。混响只出现在 20 秒的定性演示中，且混响时间仅 0.15 秒。房间固定，声源固定在六十度语音与二百三十度音乐。

论文报告该演示中切换方向图能按预期改变语音与音乐的保留比例。但这只是定性谱图观察，没有给出该混响条件下的信号失真比。因此不能把无混响下的二十多分贝推广到混响房间。

其次是阵列与几何的局限。所有实验用同一四麦克风三厘米孔径，源距 1.5 米，共面无俯仰。换阵列、换孔径、近场、有俯仰时的表现未评测。方向图限制为频率不变、取值零到一、无负极性。

最大抑制截断在 -20 dB，这些都简化了问题。若真实需求是随频率变化的方向图或需要控制负极性，本文方法与评测均未覆盖。最后是成本与统计的缺失。

论文未报告参数量、训练时间、推理实时因子与统计显著性。比较时参数滤波用的是理想到达方向上界，实际可部署的参数滤波会更低。相关性不等于因果，配方混合的提升支持分布宽度的作用，但不能排除随机种子影响。

要复现先做什么，需要哪些超参数？

复现应先锁定可运行链路。第一步按论文配置生成数据。用 LibriSpeech 干净子集做干声，用零反射房间脉冲发生器生成 4 通道直达响应。源距 1.5 米，方位网格训练取零起步进五度，验证取 2.5 度起步进五度。

测试取 1.25 度起步进五度，每条 4 秒，训练每配置 60 个方向图。第二步搭建 FT-JNF 主干，输入为实部虚部堆叠的 8 通道。频率维双向建模，时间维单向因果建模，输出单通道复数掩码乘参考通道。

第三步实现 FiLM 条件层。方向图 72 维经两个线性层生成 512 维缩放与偏置，做逐特征仿射调制。损失用批量聚合归一化绝对误差，极小常数十的负 7 次方。

批量十，训练 100 轮，初始学习率 0.001。先跑通配方 A 的 1 阶六十度与九十度，再跑 3 阶与缩放版本。核对信号失真比是否复现模式向量掉点而 FiLM 保持的趋势。

然后再实现配方 B 的最多 4 路随机组合归一化与配方 B 加的矩形混合。评测时严格按论文的掩码分别作用单源再平均的功率比流程实现宽带与窄带方向图。信息条件方面，论文未开源代码与权重，仅给出演示页链接，本次确认该链接当前可用。

何时值得尝试，还需补哪项验证？

当应用满足以下条件时值得尝试。阵列小而固定，方向图需要在推理时由用户连续调整。包括改指向、改阶数、改整体增益乃至切换不规则通带，且方向图可接受频率不变、零到一、无负极性的简化。

此时 FiLM 加混合配方的一套模型可替代为每种方向图重算权重的传统流程。且在论文的无混响条件下显著高于理想到达方向的参数滤波上界。若应用只需要旋转固定 1 阶心形，模式向量条件也够用。

但一旦要支持缩放与高阶，应直接选 FiLM。不值得盲目照搬的情况是：需要精确旁瓣与负极性、需要随频率变化的方向图、阵列会更换、大混响或强噪声占主导。这些都超出本文证据。

还需补的验证至少三项。一是在目标混响与噪声下补信号失真比与方向图误差，而非仅谱图演示。二是对换阵列与换源距做泛化测试。三是补推理延迟、实时因子与多种子统计。

记住总体趋势不等于每组每步都成立。混合配方在多缩放上略低于纯多差分组合就是提醒。把上述边界写进实验报告，才能把可调方向滤波真正用对地方。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

区域 4 · 查看论文原页

区域 5 · 查看论文原页

区域 6 · 查看论文原页

另有 18 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eusipco-2026 论文汇总