📄 不用报方位也能挑出目标说话人：相对位置提示的目标语音提取

英文题目：Spatially-Guided Speaker Extraction Based on Relative Position Cues

评分：6.7/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Aviad Eisenberg：机构信息未能在本次解析中与作者逐人可靠绑定
  • Shlomo E. Chazan：机构信息未能在本次解析中与作者逐人可靠绑定
  • Sharon Gannot：机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

多人同时说话时只需要取出其中一人，难点在于用一段可靠又好获得的提示告诉系统取哪一个。注册语音可能没有或与环境不匹配，精确到达方向在混响、噪声和移动下难以估计，固定房间分区在两人同处一区时无法区分。论文引入相对位置提示（Relative Position Cue，RPC），把目标描述为与干扰说话人之间的离散关系，例如更远、更近、偏左、偏右及其组合，两人时8种，三人时按远近与左右组合成9种。处理上多通道混合先经短时傅里叶变换得到时频表示，该表示作为声学特征送入分离网络。整数提示索引查可学习嵌入表得到条件向量，该向量再注入分离网络调制其逐层处理，使网络只重构指令指定的说话人在参考话筒处的混响成分。与已有做法的关键差异在于分界面不固定，完全由混合中各声源位置决定，不需要绝对方向或距离数值。在四话筒双人仿真集的大角度大距离测试集（i）上，基于SpatialNet的RPC模型SI-SDR为14.2 dB，超过同架构分离模型SpatialNet的13.2 dB。结论适用于说话人相对关系在句内保持、且角度差超过10度或距离差超过0.5 m的重叠段，不覆盖两者都过近的情形，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

这篇论文要解决的提取任务是什么？

想象助听器或会议麦克风同时收到两个人说话再加上背景噪声，任务是只把其中一个人干净地拿出来。输入是多个麦克风收到的混合波形，输出是目标说话人在参考麦克风处的混响信号，评价时要求既选对人又压住干扰和噪声。

已有做法通常需要两类额外信息。一类是目标的干净注册语音，用声纹嵌入告诉网络谁是目标；另一类是目标的波达方向，也就是相对阵列的具体角度，用来做空间指向。在混响大、噪声强或说话人移动时，注册语音可能对不上环境，角度估计也容易不准。

目标说话人提取 × 盲分离： 目标说话人提取每次只输出一个被指令指定的说话人，需要同时解决选谁和提干净两个问题；盲分离把混合声中所有说话人都分开输出，但不回答用户想要哪一路。后文把盲分离模型作为对照，正是为了说明相对位置提示补上了选择目标这一环。

已有线索为什么不够实用？

按提示类型看，声纹类方法依赖事先见过目标人，不适合陌生人或临时指定；波达方向类方法需要逐帧或逐句的精确角度，有的还要指定波束宽度，角度一旦偏了就容易漏提或提错人；用目标位置录音或相对传递函数做参考的方法，同样需要能采到位置相关的干净信息。

另一条线是先把所有人都分开，再人工挑一路。代表性的多通道分离网络能利用空间信息恢复全部说话人，但没有指令就不知道用户要哪一路。固定区域类方法把房间按左右或远近划成预设区域，提取落在某区域内的所有声源，当目标和干扰落在同一区域时就无法二选一。

本文的出发点是保留空间条件的优势，但把绝对坐标换成 2 人之间的相对关系。用户只要能说出目标在干扰的哪一边或哪一层，网络自己从混合声里推断分界面。

混合信号在论文里如何表示？

论文在短时傅里叶变换域建模。每个时频点上的多通道观测向量等于各说话人干净频谱乘以其到阵列的声学传递函数向量之和，再加上加性噪声向量。传递函数包含直达、反射和阵列几何的影响，噪声可以是单个定向点源，也可以是来自四周的弥散混叠声。

记目标在第一个麦克风处的混响像为参考，网络输出是它的估计。全文假设处理的片段内所有说话人同时发声且人数已知，因为指令表的长度与人数有关。单人段或人数变化的段不在本方法直接处理范围内。

\[\mathbf{x}(t,k)=\sum_{q=1}^{Q}\mathbf{h}_{q}(t,k)\cdot s_{q}(t,k)+{\color[rgb]{0,0,0}\mathbf{v}(t,k)},\]

相对位置提示的整体思路是什么？

核心是把目标是谁翻译成一句离散的关系描述，称为相对位置提示。两说话人时只有左右和远近两种维度，组合出 8 种可能；三说话人时按距离分远中近、按方向分左中右，组合出 9 种可能。网络输入是多通道混合声的实部虚部拼接加上一个整数编号对应的可学习嵌入，输出是被指定说话人的波形。

关键区别在于分界面不是固定的。固定区域法事先画好房间里的一条线，例如阵列正横方向或某米距离；本文的左右远近都是相对干扰说话人而言的，同一物理位置在不同混合中可能对应不同指令。网络必须同时利用空间和频谱结构来判断 2 人相对布局，再按指令输出其中一路。

训练时每段混合的每个说话人都轮流当 1 次目标，按各自对应的指令计算损失。两说话人用八指令、三说话人用九指令分别训练，两种麦克风数也分别训练。

两人时的八条提示如何定义？

下表是两说话人时的全部指令写法，比较问题是离散关系能否覆盖距离可分、方向可分和两者都可分 3 种情形。读表时注意前两条只讲远近，中间两条只讲左右，后 4 条是组合。

#RPC for two speakers scenario:
1The target speaker is farther from the array than the interferer
2The target speaker is closer to the array than the interferer
3The target speaker is to the right of the interferer
4The target speaker is to the left of the interferer
5The target speaker is farther than and to the right of the interferer
6The target speaker is closer than and to the left of the interferer
7The target speaker is closer than and to the right of the interferer
8The target speaker is farther than and to the left of the interferer

这 8 条的分配只靠两个间隔量。距离间隔和角度间隔分别取绝对差，阈值取径向 0.5 米、角度 10 度：两项都超过用组合提示，只超过一项就用对应单维度提示，两项都不超过则认为靠相对位置无法可靠区分。阈值只用于分配指令，不输入网络，噪声源也不参与定义。

\[\psi=|R_{1}-R_{2}|,\]\[\phi=|\theta_{1}-\theta_{2}|,\]

相对位置提示 × 波达方向： 波达方向是目标相对阵列的绝对角度，需要估计出具体度数；相对位置提示只说目标相对干扰说话人是更左还是更右、更近还是更远。两者都利用空间信息，但前者给出绝对坐标，后者给出说话人之间的关系，因此不需要精确测角，也能在同一侧区分两人。

间隔量和三人提示与网络接入方式是什么？

实际数据中会出现等距对称或同方向不同距离的例子，前者只用方向提示，后者只用距离提示。均匀线阵无法分辨前后，所以所有声源都放在阵列前方半平面内。三说话人时目标按远中近和左中右分成 9 类，干扰 2 人之间可以很近，只要目标与它们的最小距离和最小角度差中至少一项超过阈值即可。

径向间隔 × 角度间隔： 径向间隔衡量两人到阵列中心距离之差的绝对值，角度间隔衡量两人波达方向角度差的绝对值。两者只在数据生成阶段用来给每段混合声分配一条唯一指令，决定用距离提示、方向提示还是组合提示，推理时并不输入网络。

第一种骨干是带瓶颈自注意力的 U-Net。编码器用多层 2 维卷积加批归一化和参数化修正线性单元，合并通道和频率维后经全连接降维，再做自注意力建模长时依赖；解码器用转置卷积并与编码器跳连。每个指令编号查表得到嵌入，再用 FiLM 条件对混合声嵌入做逐点缩放和平移。

\[\text{FiLM}(\text{emb}_{x},\text{emb}_{c})=\text{emb}_{x}\cdot\gamma(\text{emb}_{c})+\beta(\text{emb}_{c}),\]

第二种骨干是交替做窄带和跨频带处理的分离网络。做法是把指令嵌入拼到每帧表征前面，一起送进窄带块的自注意力，让注意力在计算时频依赖时同时看到指令。两种接入方式都只是示例，说明框架不绑定特定结构。

指令嵌入 × FiLM 条件： 指令嵌入是每条相对位置提示对应的可学习向量，FiLM 条件是用该向量算出的缩放和平移参数去逐点调整混合声表征。嵌入负责记住不同关系的区别，FiLM 负责把这种区别作用到声学特征上，组合后网络才知道朝哪个说话人聚焦。

输入特征、损失和训练配置是什么？

输入输出都用短时傅里叶变换的实部和虚部沿通道拼接，网络直接预测目标复谱，再经逆变换回到时域。优化目标是时域的尺度不变信噪比损失，两说话人时把 2 人轮流当目标的两项相加，三说话人时每段混合只以主说话人为目标。损失还对每段混合的 3 种空间变体取平均，保证网络见过距离可分、方向可分和两者都可分的情况。

数据用图书语音做干净语音、噪声数据集做噪声，采样率降到 8 千赫，帧长 256 点、半重叠、汉明窗，只处理前 129 个频点。训练、验证和测试说话人来自互不重叠的子集，噪声文件按 8 比 1 比一划分。混响用镜像法仿真，混响时间 0.2 到 0.8 秒，房间尺寸、阵列位置和朝向随机，声源高度 1.5 米，方向放在 2 度网格上。四麦克风为 8 厘米间距均匀线阵，双麦克风取中间两支。信噪比 5 到 20 分贝，每段截 4 秒，用 AdamW 优化器、学习率 0.0001 训练。

实验比较了哪些条件和基线？

测试集按空间布局分成 3 组：角度和距离间隔都大、角度间隔小但距离间隔大、距离间隔小但角度间隔大。主说话人放在 1.5 到 2 米随机方向，第二说话人的同一句话在 3 个位置各渲染 1 次，分别对应 3 组；三说话人时再加一个干扰人，主说话人当目标。另有实测房间脉冲响应的验证，只用 360 毫秒混响、1 米和 2 米两种距离、15 度一档的方向。

基线包括盲分离的 FasNet 和分离版空间网络、需要目标角度的空间滤波器方法、把目标绝对角度做成 90 档嵌入的 U-Net 方向版，以及利用干净干扰和噪声协方差算权重的预言波束形成器。分离基线用使信噪比最大的排列来选输出，这对它们是有利的；方向法在同方向组无法唯一指人，该格不报告。

尺度不变信噪比 × 可懂度： 尺度不变信噪比衡量估计波形与参考混响目标在允许整体增益变化下的能量比，数值越大失真和残留越小；可懂度衡量短时包络相关性，反映听感清晰程度。论文同时报告两者，是因为前者对残留干扰敏感，后者更贴近听辨，两者方向都是一越大越好。

两说话人静态混合的主结果说明什么？

下表比较两种麦克风数下 3 组空间布局的尺度不变信噪比与可懂度，比较问题是在输入房间和评价参考一致时相对位置提示能否在不给精确角度时选对并提干净目标，指标都是越大越好。方向法在同方向组缺席正是因为角度相同无法区分远近。

4 Microphones4 Microphones4 Microphones2 Microphones2 Microphones2 Microphones
Model / Test Set(i)(ii)(iii)(i)(ii)(iii)
Unprocessed-0.75/0.598-0.76/0.598-0.75/0.598-0.75/0.599-0.76/0.599-0.75/0.598
Oracle MVDR8.80/0.8398.07/0.8228.80/0.8405.44/0.7374.57/0.7145.47/0.737
FasNet [41]7.47/0.7336.90/0.6787.60/0.7356.80/0.7445.40/0.7116.90/0.745
SpatialNet [16]13.20/0.92212.20/0.91213.20/0.92212.39/0.87511.80/0.86612.43/0.877
SpatialNet RPC14.20/0.91113.40/0.90114.10/0.90910.71/0.8489.00/0.81110.61/0.846
SSF [22]9.10/0.812x9.05/0.8129.09/0.818x9.01/0.817
Unet DOA9.90/0.847x10.29/0.8499.69/0.827x9.85/0.832
Unet RPC11.02/0.8639.75/0.83511.00/0.86310.86/0.8589.39/0.82610.67/0.854

表中四麦克风下相对提示的 U-Net 在 3 组取得高于同结构方向版约 0.7 到 1.1 分贝的结果，双麦克风时差距仍有约 0.8 到 1.2 分贝。相对提示的空间网络在四麦克风下甚至超过其分离对应版本，说明指令没有拖累分离能力。为排除提升只来自降噪，论文算了一笔对照：理想降噪只去噪声而保留两个说话人时只有 0.0 分贝，仅比未处理高 0.75 分贝，而相对提示模型达到 9.0 到 14.2 分贝。同一段同方向混合在给更远和更近两种指令时分别输出不同说话人，也从行为上证明模型在按关系选人。

同一混合换指令时频谱呈现什么变化？

下面这张谱图是理解选人行为最直接的证据，它来自小角度间隔组，两个说话人方向只差 6 度，距离分别为 1.68 米和 0.70 米。读图时把 6 个面板按混合、纯语音混合、两个参考、两种指令输出来分组看，注意低频谐波纹理的对应关系。

看图路径： 1. 先对比左上噪声混合与右上纯语音混合的高频模糊程度；2. 再对比中间两个参考谱图在低频纹理上的差异；3. 最后看同一混合在不同指令下输出分别靠近哪一个参考

原论文 Fig. 4：Spectrograms (reference microphone) of a test mixture from test set (ii), processed by the…

论文图 4。原论文 Fig. 4:：“Spectrograms (reference microphone) of a test mixture from test set (ii), processed by the four-microphone U-Net RPC model.”。

图中左上噪声混合被噪声抹得很模糊，右上理想降噪仍同时保留 2 人，中间两个参考分别对应更远和更近说话人的频谱结构。左下给更远指令的输出在目标上达到 10.1 分贝而在另 1 人上为负 26.5 分贝，右下给更近指令的输出则反过来，在目标上 10.2 分贝而在另 1 人上负 21.8 分贝。同一输入因指令不同输出不同说话人，且残留交叉很低，这是关系条件在起作用。该结论成立要求片段内 2 人同时发声、人数已知、相对关系不变且至少一个维度超过阈值。

三说话人和移动说话人的表现如何？

下表把说话人数加到 3 人，比较问题是阵元减少和声源数超过阵元数时相对提示是否仍稳定，指标与参考与上表一致，方向法在同方向组同样不适用。

4 Microphones4 Microphones4 Microphones2 Microphones2 Microphones2 Microphones
Model / Test Set(i)(ii)(iii)(i)(ii)(iii)
Unprocessed-3.84/0.469-3.87/0.469-3.84/0.468-3.84/0.469-3.87/0.469-3.84/0.468
Oracle MVDR5.70/0.7474.99/0.7255.65/0.7461.55/0.6141.03/0.5951.48/0.612
SpatialNet RPC6.70/0.7685.70/0.7366.07/0.7516.40/0.7725.40/0.7445.70/0.754
Unet DOA5.34/0.740x5.10/0.7333.98/0.689x3.56/0.680
Unet RPC6.31/0.7684.77/0.7195.90/0.7595.87/0.7514.20/0.6995.42/0.740

三说话人四麦克风下相对提示的 U-Net 与空间网络版本仍保持领先，麦克风从四减到二时相对提示的 U-Net 只降约 0.5 分贝，空间网络版本只降 0.3 到 0.4 分贝，而方向版降 1.4 到 1.5 分贝，预言波束形成器降约 4 分贝。在欠定情形下依赖精确空间零陷的方法退化更大。实测脉冲响应上的趋势与仿真一致，同方向不同距离组分数明显低于大间隔组，但相对排序保持。

下表是双麦克风下两个移动说话人的 3 组动态测试，模型只在静态混合上训练，运动轨迹包括直线、弧线和圆周，且要求整段内相对关系不变。比较问题是角度和距离差随时间变化但关系标签不变时静态学到的关系条件是否仍能跟住目标。

model / test set(i)(ii)(iii)
Unprocessed-1.78/0.605-1.77/0.622-1.86/0.625
FasNet [41]4.30/0.7272.71/0.7075.70/0.765
SpatialNet [16]6.06/0.7643.86/0.7358.94/0.831
SpatialNet RPC6.83/0.7713.60/0.7128.91/0.825
SpatialNet RPC oracle window7.90/0.7766.10/0.6869.98/0.816
Unet RPC10.72/0.8468.34/0.80211.90/0.867
Unet RPC oracle window11.63/0.85910.01/0.82212.96/0.885

未加处理时 3 组都在负 1.8 分贝附近，U-Net 相对提示明显高于分离版空间网络和相对提示的空间网络。论文认为全局自注意力会把不同时刻的位置错误关联，因此把每帧的注意力限制在以该帧为中心的局部窗内。按每条轨迹选最优窗的预言窗版本在小角度组提升最大，但它是事后挑的最优窗，不能当作部署增益，动态测试也要求关系整段不变。

空间间隔和混响如何影响逐段分数？

下图按角度间隔、径向间隔、混响时间、目标清晰度和干噪比统计逐段平均分数，比较问题是相对提示在哪种退化下更敏感。观察时先看角度间隔子图的上升斜率，再看径向间隔子图是否近似水平，最后对比混响与清晰度两组趋势。

看图路径： 1. 先看角度间隔增大时四条曲线的上升幅度；2. 再看径向间隔变化时曲线是否近似水平；3. 对比混响时间和目标清晰度两组子图的单调趋势

原论文 Fig. 6：SI-SDR of the RPC-based models (two-speaker test sets) as a function of the DOA gap \\phi (test sets…

论文图 6。原论文 Fig. 6:：“SI-SDR of the RPC-based models (two-speaker test sets) as a function of the DOA gap \phi (test sets (i) and (ii)), the radial gap \psi (test sets (i) and (iii)), the…”。

可见性能随角度间隔单调上升，即使在几乎同方向时径向关系仍足以提取；性能几乎不随径向间隔变化，包括几乎等距的情况。随混响加重分数下降约 2.9 到 4.4 分贝，随目标清晰度上升而上升。干噪比从很低到很高分数上升约 6 分贝，但即使目标比干扰弱 5 分贝以上，选对率仍在 97.5 到 100%，说明相对功率在测试范围内没有混淆选择。

模型学到的是关系还是固定区域？

一个自然的质疑是网络可能把右侧理解成阵列正横的右侧、把更近理解成比某米更近。若如此，当 2 人都落在同一侧或同一距离段时就该选错。论文按输出更接近哪位说话人统计选对率：4 个相对提示模型在全部两说话人测试上选对 98.4 到 100%，2 人在正横同侧时仍有 98.9 到 99.8%，以 1.75 米为界同侧与异侧时距离选对率都在 98.9 到 99.9% 且信噪比差至多 0.2 分贝。同侧分数低 0.6 到 1.4 分贝主要因为这些混合的角度间隔本身更小，而非选错人。

弥散混叠噪声的验证把定向噪声换成 20 个说话人围成圆圈叠加的混叠声，房间、阵列和目标干扰都不变，模型不做重训。读下图时注意定向噪声在全频带保持高相干，而混叠噪声贴近球形各向同性理论曲线，说明它不能靠空间置零消除。

看图路径： 1. 看横轴频率从 0 到 4000 赫兹范围内四条曲线的走向；2. 对比定向噪声曲线与混叠语音噪声曲线的相干高低；3. 观察混叠噪声曲线与球形各向同性理论曲线的贴合程度

原论文 Fig. 5：Magnitude-squared coherence between two adjacent microphones (d=8 cm), averaged over the test set,…

论文图 5。原论文 Fig. 5:：“Magnitude-squared coherence between two adjacent microphones (d=8 cm), averaged over the test set, for the directional (DNS) noise and the 20-talker babble noise, compared with…”。

结果是 U-Net 相对提示至多降 0.25 分贝，双麦克风空间网络版至多降 0.3 分贝，四麦克风空间网络版降约 0.9 分贝但仍是最好。背景里虽全是语音，模型没有把弱的混叠说话人当成指令对象，3 组排序也不变。支持的解释是提示指向空间相干的主干扰人，而每个混叠说话人弱且没有鲜明空间特征。该结论只在 10 到 20 分贝信噪比和 20 人混叠的构造下成立。

哪些情况本文方法处理不了？

首先是重叠假设。全文要求片段内所有说话人同时发声且人数已知，因为指令表长度依赖人数。真实对话中重叠只占一小部分，单人段里相对指令无定义，人数变化时也需重新指定。论文建议的完整系统是先用说话人日志或计数模块找出重叠段再用本方法，非重叠段走语音增强。

其次是最小间隔。角度差不大于 10 度且距离差不大于 0.5 米的配置不在提示覆盖范围，靠相对位置无法可靠区分。再次是关系变化。若一段内 2 人交换左右或远近，模型是跟关系还是跟身份，论文留作未来问题。最后是规模。九指令只做到三说话人，更多说话人的关系描述会更复杂，附近有很强第三说话人时的行为也未充分验证。

要复现和核对结论第一步做什么？

先按论文的数据构造把 3 组空间变体做对：同一句话在 3 种布局各渲染 1 次，主说话人 1.5 到 2 米随机方向，第二说话人在大间隔、同方向大距离、小距离大角度 3 种位置各放 1 次，方向取 2 度网格，径向阈值 0.5 米、角度阈值 10 度只用于分配指令，不输入网络。噪声先用定向点源，信噪比 5 到 20 分贝，再单独构造 20 人圆周混叠噪声做不重训的泛化检查。

模型侧先复现 U-Net 加 FiLM 的版本：指令查表嵌入、混合声实虚部拼接、逆变换回时域、尺度不变信噪比损失、每混合轮流当目标。评价同时看信噪比和可懂度，并统计选对率，即输出更接近被指令指定的说话人的比例。作者在论文中给出了音频示例页面，当前可达，但这只证明论文提到该链接，不证明代码权重已公开，复现仍需自己实现训练和仿真。

什么时候值得尝试这种方法？

当你有多通道录音、能大致判断目标在干扰的哪边或哪层，但拿不到目标的干净注册语音，也不想依赖精确测角时，这种相对指令值得尝试。它在麦克风减少、说话人数增加到 3 人、噪声变弥散、说话人移动但关系不变的条件下退化都小于同结构的方向版和预言波束形成器，且行为上确实按指令切换输出。

使用时要守住 3 个前提：只用于已检出的重叠段并已知人数；确保至少一个维度超过阈值；动态场景先解决局部注意力窗和关系不变的假设。若你的场景是单通道、单人段为主、人数频繁变化或 2 人几乎完全重合，就需要先补计数、日记和增强模块，或换用其他线索，不能直接期待本文数字。

📎 论文与评分元数据

排名：前50% | 文档类型：方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1

  • 评分模型：muse-spark-1.3-contributor

  • 评分请求协议：openai_responses

← 返回 2026-11-03 语音/音乐/音频论文速递