双耳定位先选对时频特征：两特征够用域内，多样内容才需通道谱加双耳线索

英文题目：SYSTEMATIC EVALUATION OF TIME-FREQUENCY FEATURES FOR BINAURAL SOUND SOURCE LOCALIZATION

会议身份：conference:eusipco:2026:conference-paper-id:0000266

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#CNN #时频分析 #空间音频信号 #声源定位

评分：6.3/10 | 创新 1.0/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Shariat Panah, Davoud：机构信息未能从会议 PDF 纯文本可靠映射
• Ragano, Alessandro：机构信息未能从会议 PDF 纯文本可靠映射
• Barry, Dan：机构信息未能从会议 PDF 纯文本可靠映射
• Skoglund, Jan：机构信息未能从会议 PDF 纯文本可靠映射
• Hines, Andrew：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

双耳声源定位需从左右耳信号估计连续方位角，难点在于头相关传输函数个体差异与训练未见音色导致跨域泛化崩塌。该方法先以25ms窗10ms跳的短时傅里叶变换提取幅度谱与相位谱并导出耳间强度差与相位差，再将选定组合堆叠为多通道输入送入三层轻量卷积网络分层提取空间模式，最后用圆周角损失回归方位角并以平均角度误差评估。其中特征构造负责显式注入高低频互补线索，卷积网络负责保持轻量以凸显特征质量，损失负责消除角度周期不连续。相对直接学习谱间关系的FAViT与BAST-MAMBA等模型，其关键机制差异在于保留原始谱上下文的同时显式提供耳间差，避免从零隐式发现双耳关系，因而更重特征设计而非堆叠复杂度。在SynBAD-Var零度仰角测试集下，CNN模型的MAE为8.4°±1.0°，低于BAST-MAMBA基线的MAE 11.0°±0.9°。该结论适用边界受限于合成全球面单声源方位角任务，纯音等窄带信号仍误差较高且多源场景尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/dspanah/Binaural — 链接不可用（HTTP 404）
• 数据相关资源：https://zenodo.org/records/20355674 — 暂时无法访问 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，为什么值得做特征对照？

本研究的输入是双耳录音或合成的左右 2 通道波形，目标是估计声源在水平面上的方位角。输出不是语义标签，而是一个连续角度，论文把全方位角映射到正负 90 度的前方平面后评价平均角度误差，误差越小越好。初学者可以这样走完一个样本：一段 16 千赫采样的双耳语音先被短时傅里叶变换切成 25 毫秒窗、10 毫秒跳帧的时频格，每个格子有幅度和相位；再从左右格子算出耳间级差和耳间相位差；这些多通道时频图一起送入卷积网络，最后输出一个方位角预测。

论文要回答的不是换更大模型能否涨点，而是固定一个 3 层卷积的轻量模型，只改变输入特征组合，观察域内与域外性能如何变化。必须保留的信息是 4 类核心特征的定义、训练与测试在说话人内容和头相关传输函数上错开的设计、以及平均角度误差作为唯一主指标的方向。本文的输出是 1 篇可复述方法的中文解读，所有数字与条件均回到原文核对，不引入外部评价。 为什么特征选择如此关键，可以从双工理论理解。

白话说，高频声音会被头部遮挡，左右耳响度差明显；低频声音波长长，绕射强，响度差很小，但相位差稳定可靠。论文明确写出耳间级差在 1.5 千赫以上有效，耳间相位差在 1.5 千赫以下可靠，高频会出现相位模糊。因此只给幅度谱或只给相位谱，模型都要自己从原始谱中间接推断空间关系；而直接给出级差与相位差，等于把人类听觉已验证的线索显式摆到输入里。

教学例子：想象只听左耳响度猜方向，与同时看到左右响度差曲线猜方向，后者显然更直接，但这只是帮助理解的例子，不代表论文测过单耳定位。

同输入同目标的前人走了哪些路线？

论文梳理的路线都处理双耳波形、都输出方位，但输入特征与运行阶段不同。卷积网络与卷积循环网络是该领域最常用的基线做法，前人有用双耳与助听器阵列做语音定位，也有用卷积做声源定位训练改进。近期 3 条 Transformer 路线被选为直接对照：第一条是频率版音频视觉 Transformer，用耳间级差与耳间相位差做噪声下定位；第二条是带谱注意力调制的听觉皮层启发模型，用幅度谱加级差与相位差处理训练与测试头模型不一致。

第 3 条是基于 Mamba 视觉主干的双耳谱 Transformer，只用幅度谱同时处理消声与混响。 这些工作的差异正是本研究的动机。已有工作证明注意力与状态空间模型能学空间关系，但特征选型各不相同，缺少在同一数据与同一卷积骨干下的公平对照。唯一做过特征对照的前人用的是四面体麦克风阵列而非双耳，且只比较到两特征组合，没有探索三特征与四特征。

分类定位 × 回归定位： 分类定位分工是把方位角离散成 5 度一档的类别，用注意力模型选最可能的档位；回归定位分工是直接输出连续角度，用圆周角差损失优化。二者搭配比较的理由是离散档天然限制分辨率到档宽，而连续回归在信号允许时可追求更细精度，组合意义是本研究用回归的轻量卷积对照分类的视觉 Transformer，分离特征设计与输出精度的贡献。

本研究的定位因此是补齐双耳条件下的系统对照：固定卷积骨干，把幅度谱、相位谱、耳间级差、耳间相位差做单个、两两、三三、四特征全组合，在域内语音与域外多内容上分别报告误差，再与上述 3 条 Transformer 基线比较。这种同输入同目标、不同监督形式与不同特征丰富度的对照，能把特征设计的贡献与模型复杂度的贡献分开。

问题如何形式化，难在哪里？

形式化上，每个样本是一段固定时长的双耳波形，对应一个真值方位角。模型输出一个预测方位角，训练用圆周角差的均方误差，评价用平均绝对角差。难点有 3 层。第一层是圆周性，359 度与 0 度只差 1 度，不能用直线差直接相减，论文用正弦余弦的反正切求最短弧差。第二层是头模型错配，训练用 D1 与 H3 到 H6 等受试者的头相关脉冲响应，测试用 H7 到 H10 与 D2，头部形状与耳廓滤波不同，谱线索会偏移。

第 3 层是内容错配，训练只有结构化语音，测试出现白噪声、粉红噪声、纯音、脚镲与钟琴等瞬态与 tonal 声音，谐波与起振特性完全不同。 论文把第二与第 3 层拆成两个测试分支：域内语音分支只错开头模型与说话人，内容仍是语音；域外分支同时错开内容、头模型与角度采样。这样的拆分让失败可以归因：如果域内好而域外差，说明特征过拟合了语音结构；如果连域内都差，说明特征本身缺空间信息。

后续所有表格都按这个归因逻辑组织。

方法全景：一个样本走完输入到输出

沿一个样本走完全流程最清楚。假设有一段双耳语音，真值在前方 30 度。第一步做短时傅里叶变换，窗长 400 点对应 25 毫秒，跳帧 160 点对应 10 毫秒，得到左右 2 通道的复谱。第二步从复谱派生 4 类特征：左右幅度谱取模，相位谱取辐角，耳间级差取左右模比的 20 倍对数，耳间相位差取左右辐角之差并折叠到负派到派。第三步按待测组合堆成多通道输入，例如 2 通道的级差加相位差，或 4 通道的幅度加相位加级差加相位差。

第四步送入 3 层卷积，每层 3 乘 3 卷积加线性整流加 2 乘 2 最大池化，通道数依次为 32、64、128，最后全局平均池化压成 128 维向量，再经 128 单元全连接与 0.3 丢弃率输出连续角度。第五步训练时把预测角与真值角转成弧度求最短弧差，再做均方；测试时求平均绝对角差。 这个全景说明模型的复杂度被刻意压低，作者明说简单设计是为了让结果反映特征质量而非模型复杂度。因此后文看到两特征与四特征打平时，不能解释为模型容量不够大，恰恰相反，是在小容量下特征已决定上限。

未报告的缺项是多声源、移动声源与实时延迟，论文只做单静态声源的离线整段定位。

四类特征各自算什么，如何堆成输入？

幅度谱是对复谱取模，保留每个时频点的能量，英文是 magnitude spectrogram。白话说，它告诉模型每个频率在每个时刻有多响，能看到元音共振峰与辅音 burst 的能量形状，但不直接告诉左右差异。相位谱是对复谱取辐角，英文是 phase spectrogram。它保留振荡的瞬时位置，对时间对齐敏感，但单看一耳很难直接读出方向。 耳间级差英文是 interaural level difference，缩写 ILD，计算是左右幅度比取 20 倍常用对数。

它把双耳能量差显式压缩成一张时频图，高频头部阴影越大数值越大。耳间相位差英文是 interaural phase difference，缩写 IPD，计算是左右相位相减后折叠。它把双耳时间差显式编码成相位差图，低频稳定可靠。

幅度谱 × 耳间级差： 幅度谱分工是给出左右耳各自随时间频率变化的能量分布，保留音色和谐波结构；耳间级差分工是直接做左右幅度比的对数差，显式抽出高频头部遮挡线索。二者搭配的理由是前者提供内容上下文、后者提供空间差分，组合意义是让卷积核同时看到绝对能量和相对差值，避免只从单耳能量间接猜方向。

相位谱 × 耳间相位差： 相位谱分工是保留每个时频点的瞬时相位角，携带精细时间结构；耳间相位差分工是做左右相位相减并折叠到负派到派，显式抽出低频时间差线索。二者搭配的理由是前者提供原始相位上下文、后者提供已对齐的双耳差分，组合意义是在低频可靠、高频模糊的条件下互补，使模型既能学内容无关的差分又能回看原始相位。

ILD 加 IPD × 通道谱： ILD 加 IPD 分工是只给显式双耳线索，分别覆盖高频级差和低频相位差；通道谱分工是额外给出左或右耳的幅度谱或相位谱，保留信号本身的结构。二者搭配的理由是纯双耳线索在域内语音已够用，但在域外非语音上需要原始谱做参照，组合意义是用 richer 输入把内容表征与空间差分解耦，提升对脚镲和钟琴等瞬态音的泛化。

实现上所有特征共享同一组短时傅里叶参数，采样率统一重采样到 16 千赫。组合时按通道堆叠，例如幅度左右耳可作为通道，级差与相位差各占一个通道，最多 4 类一起堆成多通道张量。卷积核在通道维同时看原始谱与差分图，学到内容无关的空间模板。这种堆叠不改变卷积结构，只改变输入通道数，因此不同特征集的参数量差异很小，对比公平。

训练如何监督，参数如何更新与早停？

训练阶段明确存在，优化的是圆周角差均方损失。设真值角与预测角都先转成弧度，单样本弧差用反正切的双参数形式求最短有符号差，范围在负派到派，再对全批量求平方均值。原文给出符号、输入与计算目标，但没有展开梯度穿过三角函数的细节，本文不猜梯度路径，只说明监督来源是真值方位角，损失对弧差可微，优化器为亚当，学习率 0.001，最多 1000 轮。 参数更新范围是整个轻量卷积加全连接，论文未说冻结任何层，因此理解为全部可训练。

丢弃层在训练时以 0.3 概率置零以改善泛化，推理时按常规关闭丢弃，但原文未单独说明推理开关，属常规实现，未报告处记为缺项。验证集用 H3 与 H4 受试者合成的 5328 段录音做早停，如果验证损失连续 20 轮不改善则终止训练。实现库为 PyTorch 2.8，代码链接在原文脚注给出，但本次资源核验显示代码链接当前不可用，数据集链接本次未能确认可达，因此复现时需先解决获取问题。

需要纠正的误解是早停看的是验证损失而非测试误差，测试集的 3 个分支只在训练结束后评价 1 次，不参与模型选择。另一个误解是回归输出不受 5 度档限制，与分类基线的 5 度档宽不可直接比分辨率，论文在对照时已说明这一点。

数据如何合成，划分与评价条件是什么？

数据全部用 Binamix 库合成，头模型来自 SADIE 第二版数据库的 20 个受试者，缺失角度用改进 Delaunay 三角插值补齐，覆盖全方位球面，方位与仰角均以 5 度为步进。训练集随机抽 TSP 语音数据集的样本，与 D1、H3 到 H6、H11 到 H13 的头脉冲响应卷积，共 21312 段。验证集同法用 H3 与 H4 合成 5328 段。测试分三支：域内 TSP-SSL 分支用 H7 到 H10 合成 10656 段，且说话人与训练验证不重叠；域外 SynBAD-Var 分支用 D2 合成 11500 段，内容含脚镲、粉红噪声、纯音、带混响语音等，角度分辨率向周边变疏以模拟人类前方最灵敏。

域外 SynBAD-Fix 分支用同批内容按均匀 5 度重渲染，共 16560 段，便于与 5 度分类基线公平比较。所有音频原始 48 千赫，重采样到 16 千赫处理，方位映射到前方平面评价。 评价指标是平均角度误差，英文 mean angular error，缩写 MAE，单位为度，方向是越小越好。论文同时报告全仰角与 0 度仰角，以及全源与自然源子集，因为仰角变化与合成纯音会显著拉高误差。基线为 3 条已发表双耳定位 Transformer，参数量从 0.6 百万到 26 百万不等，本研究卷积仅约 0.1 百万，参数量差异本身就是要检验的维度：特征设计能否以小模型胜大模型。

域内测试 × 域外测试： 域内测试分工是检验与训练同为语音、同为 5 度均匀采样但说话人与头相关传输函数 subjects 不同的情况；域外测试分工是检验内容变为合成噪声与自然乐器、角度采样变为变分辨率或固定 5 度、头模型也不同的情况。二者搭配的理由是只看域内会高估最小特征集的效果，组合意义是用受控的内容与头模型错配揭示何时必须增加特征通道。

统计报告上主对照表给出 95 置信区间，但原文未说明区间是按样本还是按种子聚合，也未报告多种子方差与显著性检验，因此本文把区间仅当作离散度提示，不做显著性断言。硬件预算与训练时长未报告，推理开销只用参数量间接提示，未测延迟与帧率。

主结果：域内两特征够用，域外需更丰富输入

比较问题是固定小卷积时，哪组特征在域内语音与域外多内容上误差最小，条件是同一训练集、同一优化与早停、同一评价指标方向向下为好。术语分工是级差对应高频头影幅度差，相位差对应低频相位差并包裹到正负派区间，通道幅度谱与通道相位谱提供原始信号上下文，组合原因是显式双耳差分提供稳健空间线索而通道谱补充内容结构。

表前需要强调公平条件是头模型与说话人均错开，域外还错开内容与角度采样，因此域外数字天然高于域内，不能跨条件直接比绝对值大小，只能比同条件下的相对排序。

表后解释主要收益与代价。

域内语音上，两特征的级差加相位差在零度仰角取得 4.5°误差，与三特征和四特征相当，说明高低频互补已覆盖语音定位所需信息，继续加通道收益递减。域外多内容上，两特征仍把误差压到 10.7°，但加入通道相位谱的三特征进一步压到 8.4°，成为全源全仰角、全源零度仰角与自然源零度仰角三场景同时最低。代价是输入通道从 2 增至 3 到 4，计算与存储小幅上升，且丰富组合在域内并未带来同等增益，说明其价值是条件性的。

未胜出项是单特征的幅度谱与相位谱，它们在 2 分支误差最高，域外单相位谱在白噪声上尤其崩溃。跨模型对照是 0.1 M 的卷积用丰富特征在域外优于 1.3 M 与 26.0 M 的 Transformer，支持特征设计比单纯堆参数更有效的判断，但这仅限已测的单静态声源离线条件，待验证是否推广到多源与移动源。

失败条件：哪些声音让单通道谱崩溃？

本节按问题组织：测的是内容泛化的边界，与谁比是单通道幅度或相位谱对显式双耳线索，条件一致为同一训练好的语音模型、同一零度仰角、同一域外分支，指标仍是平均角度误差向下为好。表 2 聚焦论文点名的压力测试信号：消声宽带白噪声缺乏谐波与时序结构，突发粉红带混响则因早期反射引入额外结构。表前比较问题是结构化语音上学到的空间模板能否搬到非结构化噪声，公平条件是都不重训，直接测同一模型在不同源上的误差。

表后解释收益与反例。主要收益是显式双耳线索在白噪声上把误差从 125 度以上拉到 10 度以下，证明只靠原始谱学空间关系在域外不可靠，而级差与相位差是内容无关的稳健表征。

具体代价与反例是纯音几乎让所有特征组合都高误差，这符合心理声学对单正弦波定位模糊的预期，论文明确指出单正弦造成模糊线索，不能靠加通道解决。另一反例是带混响的突发粉红比其消声对应更好，说明早期反射反而增加了时谱结构，帮助模型定位，这与直觉中混响总是有害不同，但论文只报告现象，未分离直达与反射的贡献，记为有限解释。未评测边界是多声源重叠与强噪声下的检测加定位，原文未测误判率，本文不承诺这些量得到改善。

哪些结论有边界，缺了什么验证？

论文直接报告的是单静态声源、离线整段、已知头模型库内的对照结果，支持的是特征丰富度与域外泛化的关联，有限解释的是混响为何有时有帮助与纯音为何最难，未验证推测是把最优特征搬到更大架构是否继续涨点。必须区分的 3 类表述在本解读中分别用报告显示、支持、可能待验证表达。 缺失证据不是技术错误，但影响复用。第一，统计方法缺口：置信区间聚合对象不明，无多种子与显著性检验，不能断言 8.4 度与 10.7 度的差在所有种子下成立。

第二，成本缺口：只给参数量，未给训练资源、推理延迟、输出帧率，0.1M 参数量不等于实际延迟最低，因为输入通道增多会增加访存。第三，任务缺口：未测多声源、移动源、强噪声检测，未测仰角估计，只做方位角。第四，可达性缺口：代码链接本次核验为不可用，数据集链接本次未能确认可达，开源声明中的 bench 资源当前不能直接下载，复现前需联系作者或等待修复。

相关性不等于因果：丰富特征与低误差同时出现，但不能排除是通道相位谱恰好适配了 SynBAD 的内容分布，换另一批乐器或语言仍需重测。总体趋势不等于每组每步成立：丰富组合平均最优，但在个别合成源上两特征可能反超，选型时应按目标内容做验证。

复现先做什么，需要哪些超参数与信息条件？

复现的第一步是解决资源可达。按本次核验，代码链接当前不可用，数据集链接本次未能确认可达，因此不要假设开箱即用。先尝试用 Binamix 库与公开的 SADIE 第二版头模型、TSP 语音库按原文受试者划分自合成：训练用 D1 等 7 组受试者全球面 5 度步进，验证用 H3 与 H4，测试用 H7 到 H10 并保证说话人不重叠，全部重采样到 16 千赫。若需域外分支，按原文用 D2 渲染变分辨率与固定 5 度两版，注意变分辨率是前方密、周边疏。 第二步锁定短时傅里叶与训练超参数：窗长 25 毫秒 400 点，跳帧 10 毫秒 160 点。

卷积为 3 乘 3 步 1 垫 1，通道 32、64、128，各接线性整流与 2 乘 2 最大池化，末端全局平均池化到 128 维，全连接 128 单元，丢弃率 0.3；优化器亚当学习率 0.001，最多 1000 轮，验证损失 20 轮不改善早停。损失按圆周最短弧差的均方实现，评价按平均绝对角差以度报告，分别报告全仰角与零度仰角、全源与自然源。

第三步先跑最小可运行对照：单特征的级差、相位差、幅度谱、相位谱各训一个，再跑两特征的级差加相位差，确认域内零度仰角复现 4.5 度量级，再跑三特征的通道相位谱加级差加相位差，确认域外全源零度仰角向 10.7 度到 8.4 度方向移动。若域内已持平而域外未分开，优先检查头模型划分与内容采样是否与原文一致，而非先调大模型。还需补的验证是多种子重复与延迟实测，论文未给，复现时应自行记录。

何时值得尝试这套特征，记住什么？

何时值得尝试很明确：如果只做域内语音定位，且训练与部署头模型差异不大，两特征的级差加相位差是性价比最高的起点，增加通道大概率收益递减。如果要做通用定位，内容含乐器、噪声与混响，或头模型必然错配，应直接尝试通道相位谱加级差加相位差的三特征组合，它在原文三场景同时最低，且让 0.1M 参数的小卷积在域外超过更大 Transformer。

教学例子：把两特征想象成只给差分考卷，把三特征想象成同时给原文与差分，域外考试更需要原文做参照，这只是比喻，真正依据是原文的误差对照。 需要记住的特有误解有三。其一，大模型不能替代好特征，只用幅度谱的 26M 参数模型在域内与域外均未胜出，说明从原始谱间接学双耳关系更难。其二，分类的 5 度档宽限制了输出分辨率，回归才能追求更细精度，跨范式比较时不能只看数字大小。

其三，混响并非总是有害，带混响突发粉红反而更好，但纯音的模糊是原理性困难，加特征也难解。 收束时回到可核对事实：域内最优量级为 4.5 度，域外最优为 8.4 度，压力测试中单相位谱在白噪声上超 125 度而双耳线索保持 10 度以下。所有判断限于单静态声源离线条件，未来工作需验证更大架构与多源场景。本文未使用营销式判断，数字均可在原文表格与正文中回查。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

区域 4 · 查看论文原页

区域 5 · 查看论文原页

区域 6 · 查看论文原页

另有 13 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eusipco-2026 论文汇总