用稳定的到来方向代替说话人注册：在长会议中直接抽出目标语音

英文题目：Position-Aware Target Speaker Extraction for Long-Form Multi-Party Conversations: A Diarization-Free Framework for ASR

会议身份：conference:interspeech:2026:conference-paper-id:wang26m_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#信号处理 #长音频处理 #麦克风阵列 #语音识别 #目标说话人提取

评分：7.4/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Yichi Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Junzhe Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Wangjin Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Tatsuya Kawahara：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

长形式多人对话的输入是麦克风阵列采集的远场混合语音，输出要求同时给出每个目标说话人的干净波形与可用于语音识别的 utterance 切分，难点在于说话人活动高度不均衡、重叠频繁且跨窗身份难以保持一致。本文提出位置感知目标说话人提取（Position-Aware Target Speaker Extraction，PATSE），以目标到达方向角（Direction of Arrival，DOA）为先验，先由多通道特征融合得到统一音频表征，再由空间编码器从耳间相位差与理论相位相似性中提炼目标空间特征，最后经特征调制注入分离主干并重建单目标波形，直接用语音活动检测（Voice Activity Detection，VAD）得到说话人活动而跳过显式分离标注（Diarization）。与连续语音分离（Continuous Speech Separation，CSS）的多输出加跨窗对齐机制不同，PATSE 每个目标独立单流输出从而天然避免串扰与排列歧义。在 LibriReplay-DOA 上 PATSE 预训练加微调后总体词错误率（Word Error Rate，WER）为 14.0%，相对最强 CSS 基线 32.8%大幅下降，在真实 TEIDAN 三人对话上也以 20.50%优于次优基线的 26.82%。该结论依赖说话人基本静止且到达方向角先验准确，对角度估计误差、说话人移动和 15°小夹角高重叠等困难条件的泛化尚未充分验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 数据相关资源：https://huggingface.co/datasets/real-recordings/LibriReplay-DOA — 链接可访问（HTTP 200）
• 演示资源：https://exp-demos.github.io/PATSE-audio-demo → https://exp-demos.github.io/PATSE-audio-demo/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

长会议转写到底难在哪里？

输入是多通道长录音，里面有 2 到 3 人自然交谈，包含大量静音、短促插话和重叠。目标是回答谁何时说了什么，并最终给出按说话人归属的文字。必须保留的信息包括各说话人的活动时间、重叠段的内容以及用于下游识别的干净波形，输出是每个目标说话人的归属音频流再经切分识别后的文字。

对刚入门的同学，白话先说清楚：说话人日志就是给录音打时间标签，标出每 1 秒是谁在说话；连续语音分离就是把长录音切成几秒的滑动窗，在每个窗内分出几个声音；目标说话人抽取就是只抽出事先指定的那个人，好比按方向点名。长会议的难点在于很多人长时间不说话，监督信号稀疏，滑动窗切开后同一个人在不同窗可能被分到不同输出编号，出现跨窗不一致。单人段还可能残留别人的串话，导致识别多出插入错误。

因此论文把前端定位为直接产生说话人归属流的抽取器，而不是先分离再靠日志纠正。做法是对每个已知目标方向跑 1 次模型，各得一条波形，再用简单的语音活动检测推断活动。这样长时身份由方向先验维持，不需要在窗之间做相似度链接。后续各节按学习依赖展开：先看相关路线为何不可靠，再走一遍方法全景与组件计算，然后讲数据构造与训练推理，最后核对实验条件与结果边界。

先分离再日志的路线为什么不可靠？

同输入同目标的路线主要有 3 类。第一类是连续语音分离加日志：用滑动窗分离出固定数量输出，再用均方误差对齐跨窗排列，最后靠日志或 oracle 身份赋值。原文指出相似度链接是局部的，分离本身不强制长程身份一致，所以可靠赋值通常仍需日志。第二类是先日志后分离：例如用 Sortformer 做日志再做引导源分离，但重叠下说话人边界估计本身就难，日志错会级联到分离。第 3 类是基于说话人嵌入的目标抽取：需要注册音频，且固定参考嵌入与时变特性不匹配，用日志切出的单人段估计嵌入还可能被噪声污染。

同运行阶段的对照还包括波束形成加门限与盲分离。延迟求和波束形成加能量门限利用了方向但不能处理重叠，快速多通道非负矩阵分解不需要训练但依赖盲估计。在长时多方识别里，这些方法要么缺身份，要么缺重叠鲁棒性。论文的判断是：既然会议中人基本不动，方向比嵌入更稳定且更显式，就把方向作为条件直接抽取。相关例子帮助理解：比如 3 人围坐，嵌入可能因某人感冒或远近变化而漂移，但座位方向基本不变，这时按方向点名比按音色点名更稳。这只是教学例子，不代表论文给出该数值对比。

论文把什么定义为待解问题？

论文研究的是多通道长时多方对话的前端：输入为麦克风阵列录到的多通道波形与每个目标说话人的方位角，输出为每个目标的单通道估计波形，再经切分送给短句优化的识别器。评价落在下游词错率，日志质量用日志错误率辅助衡量。关键约束是说话人活动高度不均衡且重叠频繁，录音长达约 1 分钟到 10 分钟，识别器本身只擅长短单人句。

形式上，记多通道信号为各通道波形集合，目标方向记为方位角。模型对每个目标方向独立运行 1 次，得到一条估计波形。训练时按参考波形把静音与非静音区分开，分别监督；推理时对所有目标方向各跑 1 次，再拼成归属流。这种 1 次一个目标的设计是为了避免一个模型同时输出多路时的路间串话与排列模糊。

连续语音分离 × 说话人日志： 连续语音分离负责用滑动窗把长录音切成局部可分的短段，缓解长时稀疏监督；说话人日志负责把各窗的输出按身份链接成谁何时说话；两者搭配是因为分离本身不保证跨窗身份一致，论文指出相似度链接是局部的，所以传统路线仍需日志做可靠归属，而这正是 PATSE 想绕开的环节。

理解了这组分工，就能明白论文为何强调免日志：不是说活动信息消失了，而是活动信息被编码在每条归属流的能量与内容里，后处理即可读出。

PATSE 如何沿着一个样本走完全程？

拿一个 4 通道会议片段为例，假设已知目标在零度方向。输入是 4 路波形与该角度。第一步，共享音频编码器对每通道做短时傅里叶变换再做子带切分，得到多通道音频特征；同时空间编码器用多通道相位与该角度的理论相位差算出目标相关的空间特征。第二步，多通道特征融合成单流，空间条件器把空间特征转成调制参数去调制该单流。

第三步，分离器在被调制后的特征上建模，最后音频解码器经子带恢复与逆变换重建目标波形。对第二个目标，只需把方向换成其角度再跑 1 次。

白话对应：音频分支回答说了什么，空间分支回答哪个方向更像目标，条件器是把方向证据翻译成对音频特征的增强与抑制。组合机制的意义在于分离器看到的已是按方向加权过的表示，因此只需输出一路，不用再解决输出与说话人的对应问题。

目标说话人抽取 × 到来方向： 目标说话人抽取负责每次只输出一个指定说话人的波形，解决多输出之间的串话与跨窗身份不一致；到来方向负责告诉模型目标在哪个角度，是一种在会议中相对稳定的空间先验；两者搭配的理由是方向不随说话内容变化且不需要注册音频，组合后模型可以按方向直接抽取对应流，保持长期身份一致而不需要显式说话人日志。

下面先看整体结构图，再拆每个模块的计算。

阅读该架构图时，先建立从左到右的主路径，再看放大的子模块如何嵌入主路径。图中左侧是分离主干的纵向堆叠，右侧是完整数据流，虚线框标出融合、编码与条件 3 个新增部分。

看图路径： 1. 先从左侧多通道波形输入沿粗箭头找到音频编码器与空间编码器两条分支；2. 再看中间融合音频特征与目标空间特征在空间条件器处汇合为带条件的特征；3. 最后沿分离器与音频解码器找到目标说话人波形输出；4. 对照右上角放大的空间条件器与左下放大的空间编码器确认细节位置

论文图 1。原论文 Figure 1：“Overall Architecture of the PATSE Framework.”。

该图显示多通道输入同时进入音频编码器与空间编码器，前者输出多通道音频特征并经多通道特征融合得到融合音频特征，后者结合目标方向输出目标空间特征，两者在空间条件器汇合为带条件的特征，再经分离器与音频解码器得到目标波形。下方的空间编码器放大图表明其内部先计算通道对的相位差与相位相似特征，再拼接并经自注意力细化；右上角的条件器放大图表明其用线性层生成调制参数做特征调制。左侧主干放大显示编码器分离器解码器的残差与乘法连接，说明 PATSE 复用了原有分离结构而只在中间插入空间路径。

空间线索与融合模块各自算什么？

空间编码器的输入是多通道频谱与目标方位角。实现上先对每个麦克风对计算耳间相位差，即 2 通道相位角之差，并用余弦正弦编码避免相位卷绕歧义；再在远场假设下按采样率、频率、麦克风间距与声速计算该方向的理论相位差；然后用两者差值的正弦余弦构成相位相似特征，衡量每个时频点有多受目标主导；最后把相位编码与相似特征拼接，按子带做自注意力细化并聚合为目标空间特征。直观理解是：若某时频点观测相位差接近该方向的理论值，则更可能属于目标。

多通道特征融合的任务是把多通道音频特征变成单流。做法是对每通道做可学习变换后平均得到全局描述，再把该描述拼回每通道并映射加残差，最后跨通道平均。这样单流既保留多通道信息，又能直接送入原本为单通道设计的分离器。空间条件器采用特征线性调制，由线性生成器从空间特征产生缩放与偏置，再逐元素调制融合音频特征。

空间编码器 × 空间条件器： 空间编码器负责把多通道相位与目标方向的理论相位差转成目标相关的空间特征，回答每一时频点有多像目标方向；空间条件器负责把该空间特征转成调制参数去缩放和平移音频特征；搭配的原因是前者提供方向证据，后者提供注入机制，组合后分离主干的每一特征都能按方向被增强或抑制。

多通道特征融合 × 分离主干： 多通道特征融合负责把各通道子带特征变换平均再拼回，得到单流但保留多通道信息的表示；分离主干负责在该单流上做频率帧交织建模与波形重建；搭配的原因是主干原本为单通道设计，融合让它能复用多通道而不改主体结构，组合后新增作用是以统一接口同时利用声学与空间线索。

需要提醒的是，原文只给出变换用两层卷积加激活、映射用卷积加激活等结构说明，没有报告这些模块的梯度是否截断或冻结，复述时不应自行假设全部端到端更新的细节，只能说它们参与训练损失的优化。

分离主干与解码如何保持与原文一致？

分离主干采用 TIGER 结构，包含音频编码器、多通道融合、分离器与音频解码器。音频编码器对每通道独立做短时傅里叶变换与子带切分，得到子带数与特征维确定的 3 维特征。分离器堆叠频率帧交织块并带残差连接，负责在调制后的单流上建模。解码器经子带恢复与逆短时傅里叶变换重建时域波形。原文明确主干配置跟随 TIGER 大模型，包括频率 bins、帧数、特征维与子带数等设置，损失中的缩放因子与学习率也有明确数值，复现时应沿用而不自行改小。

关键是数据流向不乱：多通道特征只在融合处变单流，空间特征只在条件器处注入，分离器之后不再引入新的说话人排列。这样每个目标方向对应一条独立输出，从结构上避免了连续分离中多输出之间的排列与串话。教学例子：若 3 人会议有 3 个方向，模型跑 3 次得到 3 条波形，每条只对自己的方向负责，重叠段由各自的调制分别保留，这只是流程示意，不附加效果数值。

训练按静音与非静音分别监督什么？

训练目标是活动感知的损失。做法是按参考波形把静音与非静音切开，并把同样切分 applied 到估计波形，得到对齐的 2 对。静音段用残差对数能量损失，惩罚估计波形在应静音处的残留能量加小常数保证数值稳定；非静音段用信噪比损失，衡量估计与参考之间的误差能量占比。总体损失是两者加权，原文给出权重为 0.005 量级，学习率为万分之五。

训练数据并非真实录音，而是按对话仿真流程生成的 50 小时训练与 6 小时验证，用图形处理器房间脉冲响应工具仿真房间，房间尺寸与混响时间按范围随机采样，固定 4 通道圆形阵列随机摆位与朝向，说话人围绕虚拟桌子布置并保持最小间距，相对信噪比与混合信噪比按区间采样，并加入噪声库点源。这种仿真只用于训练，评价用真实回放与真实对话。

语音活动检测 × 说话人归属流： 说话人归属流指 PATSE 按目标方向逐个抽出的单人波形，本身已带有身份；语音活动检测负责在该波形上做简单的有声无声判决，得到何时说话；搭配的理由是理想分离自然包含活动信息，组合后不需要显式日志模型，仅用后处理即可从归属流推断活动。

原文未报告哪些参数冻结或从预训练初始化之外的细节，复述时只说存在从零训练与预训练加微调两种策略，不推定梯度路径与重置时机。推理时对每个目标方向独立抽取，长输出经拼接与语音活动检测得到话语边界，再送识别。

数据、基线与切分 stitching 如何保证可比？

评价数据有两块。第一块是自建并公开的 LibriReplay-DOA 真实房间回放集，用朗读书语句拼接加静音仿真多方对话，再经扬声器在真实房间回放，用 4 通道圆形阵列录音并以扬声器物理方向作为方向标签。原文报告共 114 个回放会话，每段约 1 分钟，涉及 2 到 3 人，重叠率分四档，原文给出各档数量，并按目标干扰夹角与干扰间夹角设计 4 种空间布局，每个会话在 4 种布局下各录 1 次，共 456 条约 7 小时。资源状态方面，数据集链接当前可用，演示页链接当前可用，复现时可直接获取。

第二块是真实 3 人对话 TEIDAN 英文子集，约 2.5 小时，每段约 10 分钟，3 人围坐约一百二十度，中央为 4 通道圆形阵列，重叠占比平均约 31.98%。训练仿真与上述房间仿真对应，但评价不重叠。

基线覆盖可运行策略与不可部署上界。延迟求和波束形成加门限与快速多通道非负矩阵分解不需要训练；Sortformer 加引导源分离需要日志；连续分离用两种主干并给 oracle 身份赋值，属于消除日志误差的上界；PATSE 用方向先验并直接拼接，不需要额外身份赋值。

切分上，长输出用 4 秒窗 2 秒重叠的均匀切分或整体处理，连续分离用均方误差做跨块对齐，PATSE 用免排列直接拼接。识别统一用大模型转写，长输出用语音活动检测切句，连续分离用 oracle 边界，这意味着对连续分离已是偏有利的条件。

理解空间布局对难度的影响是关键，下面看 4 种角度配置的示意图。导读时先看清谁是目标谁是干扰，再看目标如何逐步靠近干扰。

看图路径： 1. 先确认四个子图共用中心麦克风阵列与正负横纵坐标系；2. 再比较绿色目标与橙色干扰在四个子图中的角度间隔变化；3. 注意干扰之间保持约 120 度而目标逐步靠近干扰的过程

论文图 2。原论文 Figure 2：“Four Spatial Configurations for LibriReplay-DOA.”。

该图 4 个子图显示目标与两个干扰的方位变化：干扰固定在约一百二十度与二百四十度且彼此约一百二十度，目标从零度经三十度、七十五度到一百零五度逐步靠近其中一个干扰，对应目标干扰夹角从大到小。像素可见中央为方形麦克风阵列示意，虚线表示声源到阵列的方向线，颜色区分目标与干扰。在两说话人会话中第二个干扰全程静音，这是原文明确说明的协议细节，比较时不能把双人与 3 人混为一谈。

在真实回放与真实对话上谁更准？

要回答的主问题是：在相同识别后端下，前端是否降低词错率，同时日志错误是否也更低。比较的公平条件是识别模型固定，连续分离还给了 oracle 身份这一上界，方向方法用真实方向标签。指标方向是词错率与日志错误率越低越好。

先看真实对话 TEIDAN 的结果，该表同时给出词错率与日志错误率，适合判断归属与内容是否同时变好。

该表显示 PATSE 在词错率与日志错误率上同时最低，且是实际可运行策略。代价与反例是：盲分离在该集上优于波束形成与日志级联路线，说明传统级联在真实自发对话中受 filler 词与边界误差影响大；连续分离即使有 oracle 身份仍明显更差，原文指出若换成真实日志差距会更大。未胜出项是 FastMNMF，它虽不是最好，但在该表上优于其他基线，不能因 PATSE 最好就删除该基线。

再看回放集的总体趋势，该表按角度与重叠率展开，适合看鲁棒性。

该表支持的判断是 PATSE 总体最低，且在几乎所有角度与重叠组合下最低。需要同时说明的代价是：角度越小与重叠越高任务越难，各方法都上升；波束形成同样用方向但明显更差，支持增益不仅来自方向本身，还来自架构；FastMNMF 仅在极高重叠档有竞争力，而该场景在真实会议中少见。原文还报告从零训练的 PATSE 总体为 18.9，已优于各基线，预训练加微调进一步到 14.0，这为复现时的初始化选择提供了依据。

哪些对照说明增益不是偶然？

论文没有单独的模块消融表，但用多组对照承担了反证职责。第一组是同主干对照：连续分离 TIGER 与 PATSE 共享分离主干差异仅在于是否加入空间编码器与条件器，前者在预训练加微调下总体为 32.8，后者为 14.0，差距支持空间路径的作用。第二组是同先验对照：延迟求和波束形成同样用方向，但总体为 31.5 且只能评估低重叠，说明仅有方向不够，还需要抽取架构。第三组是训练策略对照：连续分离 TIGER 从零训练到预训练加微调有提升，PATSE 同样有提升，说明增益不是单一初始化带来的偶然。

另一类特有细节是角度与重叠的双维展开。目标干扰夹角从一百二十度降到十五度时，各方法词错率普遍升高；重叠从零到二十五升到七十五到一百时同样升高。PATSE 在小角度下仍保持相对最好，但绝对值也变差，这界定了适用条件：方向越可分、重叠越低，收益越大。未评测边界是说话人移动导致的时变方向，原文假设会议中基本静止，未验证跟踪时变方向的效果，不能推广到走动场景。

还有哪些条件没测、不能承诺？

直接报告的限制有三点。第一，PATSE 需要事先知道目标方向，论文用回放的扬声器物理方向与真实对话的座位先验，实际部署还需阵列或摄像头估计方向，方向误差的影响未量化。第二，评价用词错率与日志错误率，没有测量延迟、实时因子与计算开销，不能承诺更快或更省。第三，识别后端受 filler 词与口语表达影响，词错率部分受限于识别器，不能把全部误差归因于前端。

有限解释与未验证推测要分开。论文显示免日志的归属流加简单后处理可得较低日志错误，这支持方向维持长时一致，但不等于证明在任意人数与任意移动下都成立，可能待验证。相关性不等于因果：角度大时效果好，可能同时与混响与信噪比有关，不能单归因于角度。缺失证据不是技术错误，例如未报告方向估计噪声下的曲线，只是说明还需补验证。总体趋势不等于每组都成立，阅读时应回到按角度与重叠展开的细表，而不是只记总体数。

要复现应先准备什么、按什么顺序跑？

先按信息条件准备。需要 4 通道圆形阵列录音与每个目标的方向标签，这是 PATSE 的必需先验；若没有方向，需先补方向估计模块，但该模块不在本文评价内。数据方面，可先下载当前可用的 LibriReplay-DOA 回放集核对角度与重叠划分，再用 TEIDAN 英文子集验证真实对话。演示页当前可用，可先听案例建立直觉，但不能代替指标复现。

再按计算顺序跑。第一步用仿真数据训练或直接用预训练加微调策略，保留原文的损失权重与学习率设置，主干配置跟随大模型设置。第二步对每个目标方向独立推理，均匀切分用 4 秒窗 2 秒重叠，直接拼接不做跨块排列搜索。第三步对长输出用语音活动检测切句，再用同一识别模型转写并按原文聚合算词错率；日志错误只在有日志输出的方法上计算，连续分离的 oracle 边界仅作上界参考，不应作为可部署收益报告。

需记录的关键超参数包括房间尺寸与混响范围、阵列半径、说话人最小间距、相对与混合信噪比区间，以及切分窗长与重叠。原文未给出硬件预算与训练时长，复现报告应明确标注该缺项，不自行编造。若方向来自估计而非标签，应单独报告方向误差与最终指标的关系，这正是原文未覆盖的验证。

何时值得尝试 PATSE、还需补哪项验证？

当满足 3 个条件时值得尝试：有多通道阵列、能获得相对稳定的座位方向、长录音中重叠与稀疏活动导致跨窗身份难统一。此时按方向逐个抽取可同时减少路间串话与排列搜索，且后处理简单。反之，若只有单通道、方向完全未知或说话人频繁走动，则不应直接套用本文数字，需先补方向估计或跟踪。

复述方法的要点是：音频分支做子带表示，空间分支用相位差与理论相位差构造相似特征并细化，条件器将其转为调制参数注入单流，分离器只输出一路目标波形，静音与非静音分别监督。对初学者，建议先用一句话复述：已知谁在哪个方向，就把那个方向的时频点留下来重建波形，其他方向抑制掉，再对每人重复 1 次。

还需补的验证包括方向误差敏感性、更多人数与移动说话人、以及延迟与算力开销。论文的直接贡献是提出该前端并公开带方向标签的真实回放集，在回放与真实对话上显示一致的识别增益；有限解释是方向先验带来长时一致；未验证的是全自动方向获取下的端到端收益。区分这 3 层，才能把该工作用在正确的位置。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总