用听者自己的耳朵形状做线索：在保住方位感的同时抽出目标说话人

英文题目：HRTF-guided Binaural Target Speaker Extraction with Real-World Validation

会议身份：conference:interspeech:2026:conference-paper-id:ellinson26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#Conformer #多通道 #空间音频信号 #语音 #目标说话人提取

评分：6.4/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Yoav Ellinson：机构信息未能从会议 PDF 纯文本可靠映射
• Sharon Gannot：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文处理已知目标方位和俯仰时的双耳目标说话人提取与去混响，输入为左右耳混合短时傅里叶变换复数谱与目标方向直达HRTF，输出为保留双耳间时间差与强度差的双耳直达声，难点在于干扰说话人音色相近时仅靠频谱难以区分且易破坏空间线索。先将左右耳混合复数谱与目标方向HRTF经实虚拼接后分别送入独立卷积编码器映射到共享隐空间，职责是对齐声学与空间线索并输出对齐特征。再将上一步输出的HRTF特征沿时间复制后与混合对齐特征逐元素相乘，职责是以目标空间签名做调制筛选并输出保留目标成分的调制特征。最后将调制特征送入8层窄带Conformer变体NBC2建模窄带时频依赖并经线性解码器恢复左右耳复数谱，输出即为去混响的双耳直达声。相比同骨干DOA嵌入基线，该机制把方向标签换成含耳间滤波细节的个性化声学指纹，使分离更像匹配滤波并约束重建的空间一致性。在包含480次提取的真实录音测试集下，Proposed方法的NISQA分数为3.22，高于DOA-BDE基线的NISQA分数3.14。结论的适用边界限于2说话人全重叠混响英语、已知方位且最近邻HRTF可用的情形，方位量化误差与跨阵列部署等外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，哪些信息不能丢？

这篇论文研究的输入是双耳混合信号，也就是戴在听者左右耳处的两个麦克风同时录到的声音。场景里有两个同时说话的人，还带有房间混响。目标是只抽出其中一个事先指定方位的目标说话人，并且要做去混响，只保留直达路径对应的双耳信号。输出仍然是双耳的，也就是左右 2 通道都要估计出来，而不是合并成单通道。

必须保留的信息有两类。第一类是语音内容本身，要清晰可懂；第二类是空间信息，也就是目标在听感上的方位不能跑偏。原文强调，如果处理后的双耳线索与眼睛看到的说话人位置不一致，会造成视听冲突、定位困难和听感不自然，对直接向双耳送信号的穿戴设备尤其关键。

目标说话人提取 × 盲源分离： 盲源分离指没有任何先验时把所有活动声源都分开，目标说话人提取则多了一个关于想要谁的辅助线索，只定向抽出一个目标。两者的分工是：前者解决可分性，后者解决指向性；搭配理由是鸡尾酒会场景中用户只关心一个说话人，不需要也不希望把所有干扰都重建；组合意义是把分离能力约束到由线索指定的目标上，本文就是把这种线索固定为空间方向对应的头相关传输函数。

初学者容易误以为分离得越干净就越好。本文的判断标准是双重的：既要干扰抑制，也要双耳一致。后续所有建模选择，包括用直达路径头相关传输函数做线索、用左右通道平均的损失、用耳间时间差和耳间强度差做空间一致性评估，都是围绕同时保住这两类信息展开的。

已有路线用了哪些线索，各自缺了什么？

目标说话人提取的线索可以是视觉的、频谱的或空间的。视觉线索需要摄像头，在纯音频穿戴场景不可用。频谱线索通常是一段目标说话人的注册语音，当干扰说话人与目标音色接近时区分度下降，原文指出会出现泄漏或目标失真。空间线索是本文所在分支，天然适合双耳两麦克风的设置。

在双耳目标提取内部，原文梳理了 3 条相近路线。第一条用目标的到达方向引导模型朝特定方向抽取；第二条用双耳注册信号同时蒸馏空间属性和说话人频谱属性；第 3 条也是与本文最接近的一条，直接用特定听者的头相关传输函数作为条件，把提取结果锚定到预期位置。

头相关传输函数 × 到达方向： 到达方向只给出目标从哪个角度来的一个数值，头相关传输函数则给出该角度上双耳各自的频率响应，天然包含耳间时间差和耳间强度差。分工是：前者做粗指向，后者做细致的双耳滤波刻画；搭配理由是只用角度引导容易抽出语音却重建不出正确的双耳关系；组合意义是本文用头相关传输函数代替纯角度作为条件，让模型按目标的完整双耳特征去匹配混合，而不是只按方向去选。

本文与第 3 条路线共享用头相关传输函数做线索的想法，区别在于不为某个特定听者调参。模型在来自多个人群的实测头相关传输函数上训练，推理时再代入目标方位对应的头相关传输函数。教学上可以这样理解：到达方向告诉模型往哪看，头相关传输函数告诉模型在那个方向上左右耳各自应该听到什么样的频率染色，后者与最终要保留的双耳信号在物理上更直接对应。

双耳混响混合与直达路径目标是如何定义的？

记双耳混合为左右耳组成的双通道向量，短时傅里叶表示按频率点和时间帧索引。每个说话人的语音先经过各自的双耳房间脉冲响应再相加，这是公式 1 表达的混合结构。房间脉冲响应本身按镜像源方法的思想写成多个延迟衰减后的头相关脉冲响应的和，其中第 0 项是直达路径，其余是反射，这是公式 2 的含义。反射的增益与房间吸收有关，延迟与传播距离有关，左右耳的差异由头相关传输函数本身携带。

耳间时间差 × 耳间强度差： 耳间时间差指声音到达左右耳的时间先后，耳间强度差指左右耳的能量高低，两者都是大脑判断方位的主要线索。分工是：低频更依赖时间差，高频更依赖强度差；搭配理由是只保住其中一个仍可能听感偏位；组合意义是本文把保持这两个线索作为与提升可懂度并列的目标，并用直达路径的头相关传输函数作为与之对齐的提取线索。

任务目标不是把混响全部保留下来，而是做去混响的抽取。目标输出定义为目标说话人干声与直达路径双耳房间脉冲响应卷积的结果，对应公式 4。原文还说明，直达路径头相关传输函数的增益可以省略，因为输出归一化时可以补偿，而且这样做让同一方位不同距离的声源可以共用方位和仰角决定的线索。在远场假设下，径向距离被吸收到传播增益里，不再放进空间线索。例子：假设目标在正前方，干扰在侧面，模型被告知的是正前方对应的左右耳频率响应，期望输出就是听起来仍在正前方的干净目标语音。

从混合与头相关函数到双耳估计的主路径是什么？

整体流程可以沿着一个样本走一遍。输入是双耳混合的短时傅里叶谱和目标方位对应的直达路径头相关传输函数，两者都是复数双通道按频率变化的量。它们先各自把实部虚部拼接，再做归一化和形状重排，然后进入各自的卷积编码器，映射到共享的潜空间。头相关传输函数编码后的特征沿时间维复制，与混合特征做潜空间逐元素相乘，完成条件调制。调制后的特征进入 8 个 NBC2 自注意力块堆叠，按频带内相关性强调与目标空间构型一致的成分，最后经线性解码器映射回复数谱估计，再做尺度还原回到短时傅里叶域。

下面这张结构图把上述两路编码、相乘汇合与重复堆叠画在了一起，阅读时重点看数据形状的变化和汇合点的位置。

看图路径： 1. 先从左上蓝色双耳混合框沿归一化重排到一维卷积编码器走一遍主路；2. 再从中上紫色直达路径头相关传输函数框沿二维卷积编码器走一遍线索路；3. 观察两路在底部圆圈叉号处做逐元素相乘汇合的位置；4. 最后沿重复 8 次的红色 NBC2 块到线性解码器看复谱估计输出

论文图 1。原论文 Figure 1：“Overview of the proposed binaural target speaker extraction model (B denotes batch size).”。

从像素上看，图左侧蓝色框是双耳混合，中间紫色框是直达路径头相关传输函数，下方两个黄色框分别是各自的归一化重排，箭头向下进入两个梯形编码器后在底部圆圈叉号处相乘。相乘结果向右进入红色 NBC2 块并标有重复 8 次的回路，再向右经浅蓝色线性解码器得到粉色估计目标框。原文强调这一机制可以看作学到的高阶匹配滤波器：模型被空间条件化，只保留与目标空间签名一致的成分，从而在抑制干扰的同时保留目标的双耳线索。

编码器、调制与 NBC2 堆叠各自做什么？

编码器的分工是把物理意义不同的两种复数输入变成可比的潜特征。混合用 1 维卷积编码器，头相关传输函数用 2 维卷积编码器，两者都把通道维从 2 倍复数通道映射到潜维度。原文没有给出该潜维度的具体数值之外的更多结构细节，解读时只讲到映射到共享潜空间为止，不猜卷积核尺寸。

窄带深度语音分离 × NBC2 块： 窄带深度语音分离指在短时傅里叶域按频率分别建模的分离框架，NBC2 块是其中负责捕捉频带内相关性的自注意力模块。分工是：前者定下分频处理的总流程，后者提供具体的频带内建模能力；搭配理由是双耳空间特征随频率变化明显，需要逐频比较混合与线索；组合意义是线索调制后的特征再经过 8 个 NBC2 块的堆叠，强调与目标空间构型一致的频谱成分。

调制的分工是用空间信息去门控混合表示。把编码后的头相关传输函数特征沿时间复制，保证每个时间帧都拿到同一空间条件，再做逐元素相乘。这种做法的理由是目标方位在一段话内不变，时间复制避免了按帧估计方位。新增作用是后续 NBC2 块看到的已经是被目标空间加权过的特征，更容易聚焦到目标成分。

NBC2 堆叠与解码器的分工是细化与回写。NBC2 块按窄带方式处理，捕捉频带内相关性；线性解码器把潜特征映射回 2 通道复谱。原文实现采用 8 个 NBC2-small 块，具体块内细节引用已有文献，不在本文展开。初学者记住 3 步即可：先编码对齐，再相乘注入空间，最后堆叠提纯并解码。

损失如何同时管波形保真与频谱偏差？

训练用了两个损失。主损失是左右通道平均的尺度不变信失真比，分别在左右耳计算再取平均。辅助损失是短时傅里叶域的平均绝对误差，按频率和时间求平均的复谱逐点偏差。大部分训练轮次同时使用两者，最后微调阶段关闭平均绝对误差，只用尺度不变信失真比以最大化该指标。

尺度不变信失真比 × 平均绝对误差： 尺度不变信失真比在时域衡量估计波形与目标波形的整体失真并对增益不敏感，平均绝对误差在短时傅里叶域衡量复谱估计的逐点偏差。分工是：前者管整体波形保真，后者管频谱细节稳定；搭配理由是只用其一容易偏向时域或频域；组合意义是本文大部分训练轮次同时用两者，最后若干轮只用尺度不变信失真比做微调以最大化该指标。

优化器用 AdamW，先以较大学习率训练 260 轮，再以较小学习率微调 30 轮。原文报告的采样率为 16000 赫兹，每段截断或补 0 到 5 秒，短时傅里叶用 512 点窗、75% 重叠，对应 257 个频率点。训练与验证时每个双人混合随机选一个作为目标，因此一个混合在不同轮次可贡献两个训练样本；测试时对混合中两个说话人分别提取。原文未报告梯度是否在头相关传输函数编码器等分支上冻结或截断，也未给出批量大小与权重衰减等完整超参数，这些是复现时需要对照代码补齐的缺项，不能从模型名称推定。

仿真与实录分别在什么条件下测，基线是否可比？

仿真数据用 WSJ0 语音，经 SofaMyRoom 框架生成混响双耳房间脉冲响应。混响时间在 0.2 秒到 0.8 秒之间均匀抽取，两个说话人完全重叠，信干比在负 5 分贝到 5 分贝之间均匀抽取。头相关传输函数全部用实测数据，来自 7 个库共 789 个不同受试者用于训练验证，另留 7 个未见受试者每个库一个用于测试。有效样本量为训练 16000 条、验证 4000 条、测试 2000 条，测试的 1000 个混合各提两侧得到 2000 条。

竞争方法是用相同窄带小模型骨干但换成到达方向引导的 DOA-BDE，采用原文领先配置，用完全相同的训练集按作者配置训练，因此骨干与数据条件一致，差异集中在提取线索不同。实录在混响时间为 0.37 秒的房间用头颈模拟器完成，模拟器装在 1 度分辨率转台上，周围是半径约 1.5 米的 1/4 圆扬声器阵，高度相对耳平面负 30 厘米到正 30 厘米，共录制 8 种方位角间隔从 20 度到 90 度每档 30 个混合总计 240 个样本。所提方法用该模拟器所属数据库中的头相关传输函数做条件，竞争方法给真实到达方向。

评估指标分 3 类。仿真用输出与输入之差定义的信失真比改善、感知语音质量 PESQ，以及耳间时间差与耳间强度差的峰值偏差。实录因无干净目标，改用非侵入式 NISQA 网络预测平均意见分，取左右通道平均。空间偏差按已有文献方法算耳间线索直方图并比较主峰偏移，直达路径占优是其前提假设。

仿真主结果是否同时改善质量与空间一致性？

要回答的核心比较问题是：在相同骨干与相同训练数据下，把线索从到达方向换成直达路径头相关传输函数，能否同时提升语音质量与双耳一致性。公平条件是两者都做双人混响混合的目标提取与去混响，指标方向为信失真比改善与 PESQ 越高越好，耳间时间差与耳间强度差偏差越低越好。

表后解释需要同时看收益与代价。报告显示所提方法在信失真比改善上高于竞争方法，在 PESQ 上也更高，同时耳间时间差偏差明显更小，耳间强度差偏差也更低。原文的解释是竞争方法能抽出目标语音但不能忠实重建双耳线索，而相位与时间错位会直接拉低基于相关的信失真比与 PESQ。未胜出项是 DOA-BDE 的耳间强度差偏差甚至略高于未处理混合，这是一个反例，说明只给方向的引导可能在强度关系上引入额外失真。限制是这些是均值结果，不代表每个混合都成立，且仿真条件已知方位，尚未计入方位估计误差。

实录中方位间隔变化时质量如何变化？

第二个要回答的问题是：在真实房间与真实录音链路下，两个说话人分得越开是否越好分，不同线索的差距是否还存在。公平条件是同一批头颈模拟器录音，同一组方位间隔，每档 30 个录音、每录音提两侧共 480 个样本，指标为左右平均的 NISQA 分越高越好。

表后解释要看到趋势与边界。报告显示所提方法在 8 个间隔上都高于竞争方法，平均高出约 0.08 分，且两类方法都随间隔增大总体上升，符合空间越可分越好分的预期。代价与边界是 20 度小间隔时差距最小，说明仅靠空间信息在小间隔下区分能力下降。原文还报告实录存在库采样密度的失配，头相关传输函数库在方位角 6 度、仰角 3 度采样，最近邻条件最大带来正负 3 度与正负 1.5 度的离散化误差，但所提方法仍保持优势，支持其对角度失配有一定鲁棒性。未评测边界是更小的间隔、更多说话人与移动声源，原文没有给出这些条件下的数字。

哪些对照支持空间线索的作用，缺了哪项对照？

原文没有做逐模块消融，例如拿掉头相关传输函数编码器或把相乘换成拼接的对照，因此不能从本文直接说出每个组件的独立贡献。已有的对照是把线索整体替换：相同骨干下到达方向引导与头相关传输函数引导的比较。这个对照支持的判断是，在骨干相同、数据相同时，更丰富的双耳频率响应条件带来了质量与空间一致性的双重提升。

另一组隐含对照是训练与测试的人群划分。训练用 789 个受试者，测试用 7 个未见受试者，支持跨听者泛化而非单人调参。但原文没有报告按库或按人拆分的细化结果，也没有报告只用单库训练会掉多少，因此跨库泛化的边界仍待验证。

训练策略本身有一个阶段对照：大部分轮次用双损失，最后只用尺度不变信失真比微调。原文说明这是为了最大化该指标，但没有给出关闭微调或全程单损失的数字，所以微调到底带来多少增益无法从本文量化。复述时应说报告显示联合训练后微调是作者的选择，而不是说已证明微调必然更好。

在什么假设下结论成立，有哪些明确代价？

第一个假设是目标方位已知。仿真与实录都把目标位置作为给定条件，本文不解决声源定位或说话人跟踪，实际部署时需要外部定位模块提供方位，定位误差的影响只通过库离散化做了部分检验，没有系统扫描连续定位误差曲线。

第二个假设是远场与双人完全重叠。径向距离被吸收到增益里，同一方位不同距离共用线索；混合是 2 人全重叠，信干比范围有限。更多说话人、部分重叠、移动说话人与更长混响下的表现未在本文报告，不能把当前数字外推到这些场景。

明确代价包括对头相关传输函数库的依赖。空间分辨率受库采样密度限制，实录中只能用最近可用测量做条件。原文认为最近邻已足够，但这仍是近似，精细方位或个性化耳形差异可能需要更高密度或个性化测量。此外资源状态为本次未能确认可达，没有发现来源绑定且完成验证的开源代码与模型，因此不能声称代码模型已公开，复现成本与推理延迟也未报告，不能承诺实时性。

要复现需要先固定哪些数据、配置与检查点？

先固定数据链路。语音用 WSJ0，按训练验证测试划分生成双人全重叠混合，混响时间与信干比按原文均匀区间抽取。头相关传输函数只用实测 SOFA 数据，训练验证用 7 个库共 789 个受试者，测试留 7 个未见受试者。信号处理固定为 16000 赫兹、5 秒定长、512 点窗、75% 重叠。

再固定模型与训练。骨干用窄带小模型配 8 个 NBC2-small 块，输入为双耳混合谱与目标直达路径头相关传输函数，输出为双耳复谱估计。损失先联合使用左右平均尺度不变信失真比与短时傅里叶域平均绝对误差，最后 30 轮只用前者微调。基线复现 DOA-BDE 的领先配置并用同一训练集训练，保证比较的是线索而非数据或骨干。

检查点分 3 步。第一步在仿真测试集上复算信失真比改善、PESQ 与耳间线索峰值偏差，确认是否同时改善；第二步在头颈模拟器房间复录多间隔混合，用 NISQA 看间隔趋势与方法差距；第 3 步做最近邻头相关传输函数替换，检验方位离散化下的稳定性。缺失项是批量大小、学习率调度细节之外的优化器参数、归一化实现与随机种子，遇到对不齐时应优先核对这些实现细节，而不是改动线索定义。

何时值得尝试这种线索，还需补哪项验证？

当系统已经是双耳输入、目标方位可由视觉或其他定位模块给出、且最终要把双耳信号直接送给听者时，值得尝试把直达路径头相关传输函数作为提取线索。它把方位信息换成了与输出物理一致的双耳滤波器，本文证据支持它在保住耳间时间差与强度差的同时提升质量，尤其在仿真大间隔与实录多间隔上都报告了优势。

当只有单通道、没有方位信息，或目标与干扰音色高度相似但方位几乎重合时，不应期待单靠该线索解决问题。小间隔下本文的 NISQA 差距已经收窄，说明空间可分性是前提。

还需补的验证包括连续定位误差扫描、更多说话人与部分重叠、不同房间与不同头颈设备的跨设备测试，以及延迟与算力的实测。只有补齐这些，才能判断它从实验室录音走向可穿戴实时系统的真实代价。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总