英文题目：Directivity-Conditioned Low-Latency Neural Filtering for Speech Enhancement in Hearing Aids
标签：#语音增强 | #波束成形 | #助听器 | #麦克风阵列
评分：6.3/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
👥 作者与机构
- Lennart Uphaus：机构信息未在 arXiv HTML 中可靠披露
- André Merboldt：机构信息未在 arXiv HTML 中可靠披露
- Markus Hofbauer：机构信息未在 arXiv HTML 中可靠披露
- Timo Gerkmann：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
该工作处理双耳助听器场景下的多说话人语音增强，输入为4通道耳后式 Behind-The-Ear混合信号，输出为遵循可调指向性衰减约束的双耳目标语音，难点在于10 ms低延迟、高混响动态场景与头影效应下的指向可控性。方法链条分为四步：短窗复数谱输入先经跨频带跨频带模块建模频谱与空间关联；可调指向向量经特征线性调制 Feature-wise Linear Modulation条件注入窄带处理；窄带状态空间模型 State-Space Model与时间卷积跟踪时变依赖并输出双耳谱估计；归一化时域损失叠加耳间相位差 Interaural Phase Difference惩罚以维持跨通道谱关系。与固定波束和长窗神经定向滤波相比，关键差异在于用Mamba替代长谱序列建模并显式约束相位而非仅逼近波形。在包含多头型与中等混响的仿真集上，所提系统在感知语音质量评估 Perceptual Evaluation of Speech Quality上达到约2.06，明显高于同延迟基线并接近长窗基线。该结论仅适用于指向中心对准某一说话人的仿真多说话人场景，未验证真实佩戴、噪声型干扰与指向连续切换下的稳定性。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 演示资源：https://sp-uhh.github.io/film-osn/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，要输出什么，为什么助听器不能照搬普通增强？
这篇论文的输入是戴在双耳后的助听器采集到的 4 通道混合声，每侧耳后设备各有两个麦克风，周围有 5 个说话人同时发声并带有混响。目标不是把所有干扰彻底消掉，而是按一个可转向的指向性图对不同方向施加不同衰减，再输出左右耳两个通道的双耳信号，保留使用者对空间方位的感知。普通单通道去噪只关心把目标语音变干净，而这里必须同时满足三件事：第一，推理时能改变注视方向和主瓣形状。
第二，头径、佩戴位置和头影效应会改变麦克风间的相对关系；第三，总延迟要控制在 10 ms 以内，否则佩戴者会感到声画错位和不适。论文把总延迟拆成算法延迟和处理延迟，前者由短时傅里叶变换合成窗长决定，后者是处理一段信号的实际耗时，实时要求处理耗时不大于跳长。已有神经方向性滤波多用 40 ms 到 50 ms 的长窗，虽然频率分辨率高、指标好看，但直接搬到助听器上不可用。
缩短窗长会降低频率分辨率，也会让原来依赖长谱序列的循环结构失效，这就是本文要解决的中心矛盾。
已有路线在转向能力和延迟上各卡在哪里？
经典路线是最小方差无失真响应波束形成器，它依赖 steering vector 即导向矢量的估计，而到达方向估计在低信噪比和非语音干扰下不稳定，因此在动态多声源助听场景中处于劣势。
神经方向性滤波路线试图用网络直接学习方向到增强映射，其中频率时间联合非线性滤波以目标方向为条件，区域查询方法则允许按角度宽度、距离或形状抽取指定区域，FiLM 联合非线性滤波进一步用条件层让同一个网络在训练时见过多种指向性图、测试时切换指向性图，并且都输出单通道增强语音。这些工作多采用圆形阵列，阵列几何固定，混响和头影变化考虑较少。
低延迟语音增强路线则研究短窗短跳、因果卷积和 U-Net 编解码等结构，但主要优化单通道质量，不回答指向性是否还保得住。本文的对照策略是保留 FiLM 条件机制这一可转向思路，把基线定为 FiLM-JNF，再把承载网络从联合非线性滤波换成更适合短窗的 OnlineSpatialNet，并补上相位保持损失。同输入指的都是多通道混合声，同目标指的是按指向性衰减重建目标声，同运行阶段指的是推理时切换指向性，只有在这种对齐下比较延迟缩短带来的损失才有意义。
声场、目标信号和指向性图是如何定义的？
论文把第 q 个麦克风的时域信号写成所有说话人直达声与混响之和，每个说话人到每个麦克风的脉冲响应被拆成直达路径和混响路径，卷积后分别得到直达分量和混响分量。目标不是混响全去的干净语音，而是把每个说话人的直达分量按其到达角对应的指向性增益加权求和，只在左右耳参考通道即第 0 和第 2 通道上重建。这种定义保留了双耳线索，因为左右耳直达声之间的时间差和强度差仍然来自各自头相关传输函数。
指向性图用余弦型主瓣加衰减下限构成，主瓣宽度 W 可配，旁瓣最大衰减为 M，朝向为相对头朝向的角度。举例来说，若把主瓣对准 0 度、宽度设为 90 度，则正前方附近按余弦形状平滑过渡，超出正负 45 度范围一律衰减到下限，这样既突出目标方向又不把环境声压到无声。训练时指向性图被限制在样本中说话人所在位置上，确保至少有一个声源不被衰减，每个房间样本由此派生出 5 种可能的指向性目标。
FiLM-OSN 让一个样本走完从混合谱到双耳波形的哪条路？
拿一个 3 秒的 4 通道混合片段为例，系统先做短时傅里叶变换得到复谱，把 4 个通道的实部和虚部拼成 8 通道的输入特征。接着特征进入由交叉频带块、FiLM 条件层和窄带块交替堆叠的主干，每层输出维度为频率乘时间乘通道数，其中通道数取 96。交叉频带块内有两个频率卷积模块和一个全频带线性模块，负责在同一时间帧内跨频率交换谱与空间信息。FiLM 层把 72 维指向性向量线性映射到同样通道数，生成对窄带块的调制参数，相当于告诉网络当前要增强哪个方向。
窄带块内用状态空间模型处理每个频点的时序，再用时间卷积模块做局部平滑，其内部通道数扩到 196。最后经线性层输出左右耳 2 通道的预测谱，再经逆短时傅里叶变换回到时域波形。整个过程是因果的，只用当前及过去帧，满足流式处理要求。基线 FiLM-JNF 的区别在于用谱长短期记忆网络做宽带建模，短窗下谱序列变短后建模能力下降，而 OnlineSpatialNet 用状态空间模型替代时间长短期记忆，更擅长长时依赖，这也是论文更换主干的直接理由。
网络组件、指向性表示与评价用功率比各起什么作用？
输入表示把复谱拆成实虚部拼接，是为了让实数网络同时看到幅度和相位线索。交叉频带与窄带的交替结构分工明确，前者看频率间关系，后者看时间演化，FiLM 插在二者之间可以逐层注入方向意图。指向性向量每 5 度采样一点共 72 维，既覆盖全周又保持紧凑，线性映射到 96 通道后与主干对齐。评价指向性时论文不用单频点增益，而是用宽带功率比，即把预测输出在所有时频点和双通道上的能量除以对应直达目标能量，再按 50 条测试语音在无混响 KEMAR 头相关函数下每 3 度空间化后平均，这样得到的曲线直接反映模型在各方向上的保持或抑制程度。
神经方向性滤波 × 特征线性调制： 神经方向性滤波负责把多通道混合声映射到满足给定指向性衰减的目标双耳信号，特征线性调制负责把 72 维指向性向量映射为通道级缩放与偏置去条件化窄带处理，二者搭配的理由是同一套滤波权重要在推理时切换朝向与形状，组合意义是无需为每个朝向重训模型即可实现可转向增强。
目标双耳信号的数学形式如下，符号含义是求和遍历全部说话人，直达分量按到达角查指向性增益后叠加，只保留左右耳参考通道。
\[z_{q}(t)=\sum_{p=1}^{P}\Lambda_{t}(\theta_{p})x_{q,p}(t)\quad q=\{0,2\}.\]余弦型指向性图的数学形式如下，符号含义是主瓣内按余弦绝对值衰减，主瓣外钳制到下限，朝向与宽度共同决定形状。
\[\Lambda(\theta)=\begin{cases}|\cos(\frac{\pi}{W}\angle e^{j(\theta-\theta_{d})})|,\quad{\text{if }|\angle e^{j(\theta-\theta_{d})}|\leq\frac{W}{2}}\\ M,\qquad\qquad\quad\quad\text{ else}\end{cases}\]交叉频带块 × 窄带块： 交叉频带块负责跨频率联合处理频谱与空间信息，窄带块负责在每个频点独立建模时间依赖，二者交替堆叠的理由是低延迟下频率分辨率下降后仍需同时保留谱结构与长时上下文，组合意义是让 FiLM 条件作用于窄带入口后能逐频点执行指向性约束。
状态空间模型 × 时间卷积模块： 状态空间模型即文中的 Mamba 负责建模长时依赖，时间卷积模块负责增强局部时序平滑，二者在窄带块内配合的理由是替代 FT-JNF 中对短谱序列敏感的宽带 LSTM，组合意义是在 8 ms 窗导致谱序列变短时仍保持时序建模能力。
需要提醒初学者，指向性图是网络的输入条件，不是网络输出的波束权，网络输出的是已经按该条件加权后的双耳波形，评价时再反推等效指向性。
损失函数如何同时约束波形误差与通道间相位？
训练的主损失是按批次聚合的归一化 L1 损失，分子是批次内左右耳目标与预测波形差的 L1 范数之和，分母是目标波形 L1 范数之和加小常数，作用是避免静音段分母为零并让不同响度样本的权重可比。仅用该损失时，网络倾向于保住耳间时间差，因为时域波形对齐主要靠时间差，但会忽略交叉通道的谱相干，导致指向性坍塌。
为此论文增加耳间相位差惩罚项，分子是对每个时频点用输入首通道能量加权的一减余弦相位差，余弦用于避免相位缠绕，低能量区权重小，分母是总加权能量。两项按权重相加得到最终损失，权重取 0.03。训练用 3 秒语音，最多 100 轮，若验证损失连续 8 轮不降则早停，批量大小为 6。FiLM-JNF 用验证停滞 3 轮则学习率减半的调度，FiLM-OSN 用指数衰减调度，衰减系数为 0.99。低延迟 FiLM-JNF 需用更小的学习率以避免不稳定。
论文未报告梯度是否在相位差分支截断、FiLM 映射层与主干是否分开更新等细节，这部分属于缺项，复现时应先按全部参数联合更新实现并记录。
耳间相位差 × 交叉通道谱相干： 耳间相位差负责刻画左右耳对应时频点的相位差，交叉通道谱相干负责刻画双通道谱关系的稳定程度，二者关联的理由是仅用时域 L1 会保住耳间时间差却丢掉谱间相对关系，组合意义是用 IPD 惩罚项显式约束预测与目标的通道间相位一致从而恢复指向性。
归一化 L1 损失的计算目标是最小化双耳波形整体误差，其符号与归一化方式如下。
\[\mathcal{L}_{1}=\frac{\sum_{b=1}^{B}\left\lVert z_{l,r}^{b}-\hat{z}_{l,r}^{\,b}\right\rVert_{1}}{\sum_{b=1}^{B}\left\lVert z_{l,r}^{b}\right\rVert_{1}+\epsilon},\]耳间相位差损失的计算目标是惩罚预测与目标在通道间相位差上的偏离，其加权与余弦处理如下。
\[\mathcal{L}_{\mathrm{IPD}}=\frac{\sum_{f,t}\left|Y_{0}(f,t)\right|^{2}\left[1-\cos\!\left(\hat{\Phi}(f,t)-\Phi(f,t)\right)\right]}{\sum_{f,t}\left|Y_{0}(f,t)\right|^{2}+\epsilon},\]最终加权总损失的形式如下。
\[\mathcal{L}_{1,\text{IPD}}=\mathcal{L}_{1}+\alpha\mathcal{L}_{\text{IPD}}.\]教学例子：若某时频点首通道能量很高而预测相位差偏了 90 度，该点对 IPD 项贡献接近满权重；若该点能量很低，即使偏得多也被压低，这正是能量加权的意图，此例仅说明机制不代表论文实测数值。
训练配置与超参数如何取舍，成本交代了什么？
本节聚焦可重复的训练细节。直接报告的配置是批量 6、初始学习率千分之一、低延迟 FiLM-JNF 降到万分之一以避免不稳定、最多 100 轮、验证 8 轮不降早停。调度上 FiLM-JNF 用验证停滞 3 轮则学习率乘 0.5，FiLM-OSN 用指数衰减系数 0.99。指向性宽度与下限固定为 90 度与负 20 dB，条件向量 72 维，语音长 3 秒，每样本派生 5 种指向性，训练、验证、测试样本数相应为 6000 乘 5、1200 乘 5、600 乘 5。模型规模上 FiLM-JNF 为 950k 参数，FiLM-OSN 为 700k 参数，层数取 4 以降低复杂度与训练时间。下表把优化与指向性超参数集中呈现，便于对照复现。
| 类别 | 参数 | 取值 | 调度 | 说明 |
|---|---|---|---|---|
| 优化 | 批量与轮数 | 6 与 100 | 早停 8 轮 | 验证不降则停 |
| 学习率 | 初始值 | 10−3 | FiLM-OSN 衰减 0.99 | 低延迟 JNF 用 10−4 |
| 调度 | JNF 策略 | 系数 0.5 | 停滞 3 轮 | 验证停滞触发 |
| 指向性 | 宽度与下限 | 90° 与 -20 dB | 固定 | 至少一源不衰减 |
| 表示 | 条件向量 | 72 维 | 每 5° 采样 | 输入 FiLM 层 |
表后说明，该表的代价是固定宽度与下限，好处是训练目标明确且每个样本至少有一个不被衰减的声源，避免全抑制的退化解。论文未报告硬件型号、单轮时长与推理帧率，训练资源与推理开销需分开讨论，不能用参数量小直接推定延迟达标，实际延迟还取决于卷积实现与平台。梯度路径、FiLM 层是否冻结等未明确，复现时应显式记录并视为缺项。
数据、房间、头模型与延迟配置是否对齐了助听场景？
语音来自 WSJ0，头相关脉冲响应来自包含 19 个助听器相关传输函数的数据集，其中 4 个 KEMAR 人头模型加 15 个真人，训练、验证、测试分别用 13、5、2 个，且每部分都同时包含真人与至少一个 KEMAR，以检验对不同头径的泛化。原始每侧设备有 3 个麦克风，为匹配双麦克风配置去掉中间麦克风，最终为 4 通道。
每个房间放 5 个说话人，房间被分成每块 72 度的扇区，每区随机放 1 人，距阵列 1.20m 上下浮动 0.20m，说话人之间最小角距 10 度，听者头位置随机但距墙至少 1.2m，嘴高 1.60m 上下浮动 0.08，阵列高 1.5m，每声源响度在负 25 到负 20 LUFS 间随机，共仿真 6000、1200、600 个双耳房间脉冲响应分别用于训练、验证、测试。混响时间取 0.2 到 0.5 秒，属于中等混响，比无混响更接近真实房间。延迟配置分两档对比，上限档用 32 ms 窗长加 8 ms 跳长，低延迟档用 8 ms 窗长加 2 ms 跳长，FiLM-OSN 在低延迟档下总延迟为 10 ms。评估指标用 SI-SDR 反映失真、ESTOI 反映可懂度、PESQ 反映感知质量，数值越大越好。
算法延迟 × 处理延迟： 算法延迟由 STFT 合成窗长决定，处理延迟是处理一段信号所需的实际耗时，二者必须分别满足窗长不大于 10 ms 且处理耗时不大于跳长才能实时运行，组合意义是论文把 8 ms 窗加 2 ms 跳长折算为 10 ms 总延迟作为助听器可部署的硬约束。
下表把两档短时傅里叶配置与实时约束放在一起比较，公平条件是同一 FiLM 条件机制与同一双耳输出目标，比较问题是短窗是否必然带来质量与指向性双重下滑。
| 条件 | 窗长 | 跳长 | 总延迟 | 实时要求 |
|---|---|---|---|---|
| 上限配置 | 32 ms | 8 ms | 高于 10 ms | 处理耗时不大于跳长 |
| 低延迟配置 | 8 ms | 2 ms | 10 ms | 处理耗时不大于跳长 |
| 本方法运行点 | 8 ms | 2 ms | 10 ms | 处理耗时不大于跳长 |
表后需要说明，32 ms 档频率分辨率高但算法延迟超标不可用于助听器，8 ms 档满足 10 ms 约束但频率分辨率与谱序列长度都下降，这正是 FiLM-JNF 在低延迟档掉点而 FiLM-OSN 需要用状态空间模型补救的前提，代价是网络必须在更粗的频格上完成指向性约束。论文官网当前可用演示页提供了音频样例，链接状态为可用，本次写作仅据此说明样例存在而不转述听感结论。
房间、划分与指标聚合口径能否支撑跨头泛化判断？
数据划分按头模型切分而非按房间切分，训练、验证、测试的头集合不重叠，且每部分都包含真人与 KEMAR，这种设计支持对不同头径的泛化判断，但仍局限于仿真体系。采样上说话人位置、头朝向、房间尺寸与混响都随机，房间宽 3 到 9m、长 2.5 到 5m、高 2.2 到 3.5m，混响 0.2 到 0.5 秒，声源响度随机，聚合时质量指标在测试集上取均值加标准差，指向性在 50 条语音上平均。指标分工是 SI-SDR 看波形失真、ESTOI 看可懂度、PESQ 看感知质量，三者方向一致但不可互换，数值相同也不是同一指标的证据。
百分点与相对百分比不同，本文均为指标点的绝对变化，不做相对百分比换算。自动指标不能当成人评，论文未做主观听音实验，因此不能把 PESQ 提升等同于佩戴舒适度提升。硬件预算方面论文仅说明用了汉堡大学 Hummel-2 集群，未给出 GPU 时长，复现时需自行记录。总体趋势不等于每组都成立，标准差较大提示房间与朝向间差异明显，引用均值时应同时保留标准差。
短窗下质量掉了多少，换主干与加相位损失各补回多少？
要回答的主问题是把窗从 32 ms 压到 8 ms 后质量损失能否被新主干挽回，公平条件是同一指向性宽度 90 度与衰减下限负 20 dB、同一 72 维条件向量与双耳输出，指标方向均为越大越好。表前先明确，未处理混合声作为下界，FiLM-JNF32 ms 作为高延迟上限，FiLM-JNF8 ms 作为低延迟直接缩窗基线，两个 FiLM-OSN8 ms 变体作为实际可运行策略，其中带 IPD 的版本是论文主张的最终形态。
| 条件 | 参数量 | PESQ | ESTOI | SI-SDR |
|---|---|---|---|---|
| 未处理 | 无 | 1.17±0.10 | 0.44±0.08 | −4.88±3.13 |
| FiLM-JNF32 ms | 950 k | 2.10±0.46 | 0.74±0.08 | 4.70±2.91 |
| FiLM-JNF8 ms | 950 k | 1.72±0.36 | 0.66±0.10 | 2.98±2.98 |
| FiLM-OSN8 ms L1 | 700 k | 2.04±0.46 | 0.77±0.08 | 5.66±2.77 |
| FiLM-OSN8 ms L1 加 IPD | 700 k | 2.06±0.46 | 0.77±0.08 | 5.72±2.73 |
表后解释，缩窗让 FiLM-JNF 的 PESQ 从 2.10 掉到 1.72，ESTOI 从 0.74 掉到 0.66，SI-SDR 从 4.70 掉到 2.98，论文将其归因于宽带长短期记忆的序列变短。换成 FiLM-OSN 后即使只用 L1 也回升到 2.04、0.77、5.66，参数量反而从 950k 降到 700k，报告显示低延迟下新主干全面超过低延迟基线且在可懂度和失真上达到或超过高延迟基线。加上 IPD 后再小幅升到 2.06 与 5.72，可懂度持平，说明相位项对质量是边际增益而非主要增益。未胜出项是 FiLM-JNF8 ms，它在三项指标上均为最低，构成反例，证明直接缩窗不换主干不可行。限制是这些数字是测试集均值加标准差的聚合，标准差可达 2.7 dB 以上，总体趋势不等于每个房间或每种朝向都成立，且论文未给出显著性检验。
以下极坐标图是理解指向性是否保住的关键，导读是先看图例再看主瓣与衰减区，解释段结合像素说明谁偏离了目标。
看图路径： 1. 先确认图例中目标曲线与三条模型曲线的对应关系再看主瓣与旁瓣；2. 沿 0 度主瓣方向比较各曲线的峰值宽度与峰值高度是否对齐目标；3. 在 90 度与 180 度等衰减区比较绿色虚线与红色系曲线的下陷深度；4. 对比左右两个极坐标面板在相同角度上的形状是否一致
论文图 2。原论文 Fig. 3:：“Estimated directivity patterns computed as the output-to-target power ratio averaged over 50 test speech signals spatialized using the KEMAR HARTF.”。
从实际收到的像素看，左、右两幅极坐标都以目标蓝色实线为基准，主瓣朝向 0 度附近，衰减区在 90 度与 180 度附近。FiLM-JNF32 ms 的橙色曲线在主瓣附近贴合目标较好但旁瓣有起伏，仅用 L1 的 FiLM-OSN 绿色虚线在衰减区明显上浮、主瓣形状偏宽，显示它忽略了期望的衰减约束。加上 IPD 的红色曲线在主瓣宽度与峰值上更贴近蓝色目标，在侧方与后方下陷更深，与目标的相对关系更接近。两面板形状基本一致，说明结论在重复测量下稳定。需要强调，像素无法精确读出某角度的分贝值，正文不硬写具体分贝，指向性好坏以与目标曲线的贴合程度判断，并以后文相干分析佐证。
拿掉 IPD 项后指向性与相干发生了什么？
消融要回答的是质量指标好看是否等于指向性正确，比较对象是同一 FiLM-OSN 主干下仅 L1 与 L1 加 IPD 两个实际可运行版本，条件是固定输入指向性、KEMAR 头模型、无混响空间化、50 条语音平均。主结果表已显示两者质量接近，但指向性图显示仅 L1 版本完全偏离目标，而加 IPD 版本贴近目标。论文进一步用相干与耳间时间差曲线做反证，仅 L1 版本的相干行为与目标相干明显不同，加 IPD 版本的相干更接近目标，而两者在耳间时间差上都大致保住。
这支持一个有限解释，即时域 L1 主要教会网络保住时间差，谱间相对关系需要显式相位约束才能保留。代价是 IPD 权重固定为 0.03，论文未扫描该权重的敏感性，也未报告只用 IPD 不用 L1 会怎样，因此不能说 0.03 最优，只能说在该取值下指向性恢复与质量小幅提升同时出现。未评测边界包括混响下指向性是否同样贴合，因为指向性曲线是在无混响下测的，而训练混响为 0.2 到 0.5 秒，跨条件泛化仍待验证。
哪些结论有边界，哪些验证还没有做？
论文直接报告的是在仿真房间、固定 5 说话人、固定宽度 90 度与下限负 20 dB 下的均值指标与无混响指向性曲线，这部分用报告或显示来表述。有限解释是把 FiLM-JNF 低延迟掉点归因于宽带长短期记忆序列变短，把指向性恢复归因于谱关系保持，这部分用支持来表述，因为虽有相干曲线佐证但未做因果干预。未验证推测包括换成真人佩戴实录、头部转动、说话人走动或主瓣宽度连续变化时是否依然成立，这部分用可能或待验证来表述。
缺失证据不是技术错误，例如论文未测量误判率、逐帧处理耗时与功耗，未报告不同衰减下限或不同主瓣宽度下的扫描，也未评估单侧掉线或麦克风失配，因此不能承诺延迟、功耗或鲁棒性得到改善。训练与测试用不同头模型虽能检验头径泛化，但仍属于同一仿真 HARTF 体系，与真实耳模声学存在差距。相关性不等于因果，相干接近目标与指向性正确同时出现，不能反推提高相干必然改善所有方向的抑制。
要复现这套低延迟可转向系统先做什么？
复现应先按学习依赖搭流水线，而不是先调参。第一步按问题定义生成数据，用 WSJ0 切 3 秒片段，按每扇区 1 人、间距 1.20m 上下 0.20m、最小角距 10 度、响度负 25 到负 20 LUFS、混响 0.2 到 0.5 秒仿真房间脉冲响应，并保留 13、5、2 的头模型划分且每部分混入 KEMAR。第二步实现双耳目标，按余弦主瓣宽度 90 度与下限负 20 dB、对准样本中说话人位置生成 5 种指向性之一，条件向量按 5 度间隔采样为 72 维。
第三步实现网络，输入为 4 通道复谱拼实虚部，主干用 4 层交叉频带加窄带交替、通道数 96、时间卷积扩到 196、状态空间模型做窄带时序，FiLM 从 72 维映射到 96 通道，输出 2 通道谱后逆变换。第四步按损失训练，主损失为批次归一化 L1，附加能量加权余弦型 IPD 项权重 0.03，批量 6，初始学习率千分之一，低延迟 FiLM-JNF 改用万分之一，最大 100 轮、验证 8 轮不降早停。第五步按协议评估，用 SI-SDR、ESTOI、PESQ 看质量，用无混响 KEMAR 每 3 度空间化加宽带功率比看指向性。下表整理仿真与数据规模，帮你核对是否与原文同条件。
| 项目 | 取值 1 | 取值 2 | 取值 3 | 备注 |
|---|---|---|---|---|
| 说话人数与布局 | 5 人 | 每 72 度一区 | 最小角距 10° | 均匀环绕 |
| 响度与混响 | -25 LUFS | -20 LUFS | 0.2-0.5 s | 中等混响 |
| 数据量 | 6000 训练 | 1200 验证 | 600 测试 | 双耳房间响应 |
| 头模型 | 13 训练 | 5 验证 | 2 测试 | 均含 KEMAR |
表后说明，该表只解决数据可比性，不替代质量结果表。若复现中仅 L1 版本质量高但指向性偏离，应先检查 IPD 项是否真正参与梯度、能量加权是否误用预测能量替代目标首通道能量，以及指向性向量是否与到达角对齐，而不是直接增大权重。论文声明演示页当前可用，可用于核对处理后空间感的大致走向，但听感不能替代指标。若需补验证，建议先补混响下指向性、不同宽度与下限扫描、以及逐帧耗时测量，再谈可部署收益。
何时值得尝试这条路线，还需补哪项验证？
当你的任务同时需要多通道输入、推理时切换增强方向、双耳输出保留空间感、且总延迟不大于 10 ms，这条路线值得尝试。做法是保留 FiLM 条件加窄带调制的总体安排，把主干换成对短谱序列更鲁棒的状态空间结构，并用能量加权 IPD 约束补上通道间相位。复现时先对齐 8 ms 窗、2 ms 跳、72 维条件、宽度 90 度与下限负 20 dB，再看质量与指向性是否同时达标，不要只看 PESQ。还需补的验证包括混响下指向性、连续变宽度与变朝向、头部转动与声源移动、真实佩戴实录，以及逐帧耗时与功耗测量。
常见误解是把参数量小等同于延迟低，把无混响下测得的漂亮指向性等同于混响下同样漂亮，把可懂度提升等同于佩戴者一定听得舒服，这些在原文中都没有直接证据，需要用对应实验分别验证。区分代码、权重与系统可运行也很重要，本文提供了演示页但未在证据中给出训练代码与权重下载，复现应按仿真流程重建，不把演示存在当成系统可直接部署。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses