线索可缺可组：WeSep 把目标说话人提取改写为异构线索条件学习

英文题目：WeSep: A Modular and Cue-Composable Framework for Target Speaker Extraction

会议身份：conference:interspeech:2026:conference-paper-id:zhang26k_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#多模态学习 #麦克风阵列 #音视频 #语音 #目标说话人提取

评分：7.2/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Ke Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Xiaoyang Yu：机构信息未能从会议 PDF 纯文本可靠映射
• Haoyu Li：机构信息未能从会议 PDF 纯文本可靠映射
• Shuai Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Shuhan Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Haizhou Li：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

目标说话人提取需以辅助线索为条件从混合语音中恢复目标说话人波形，难点在于线索模态结构差异大且样本级可用性动态变化。WeSep先将任务重写为线索集合上的条件学习问题，每种线索经独立前端编码为特征表示zi以保留模态内特性。接着可配置顶层模型按特征粒度与时间对齐选择注入位置，将zi组合注入与线索解耦的分离主干实现条件融合。最后分离主干估计目标波形，并对批内缺失线索采用零值占位，使异构可用子集可在同一优化框架下统一训练与推理。与ClearerVoice等独立管线式多模态平台相比，WeSep把线索组合视为配置问题而非新架构设计，使模态内多特征并行与跨模态即插即用只需改配置。在Libri2Mix双人干净混合评测设置下，USEF加上下文嵌入组合的指标SI-SDRi为16.56 dB，高于语句级说话人嵌入基线的指标SI-SDRi为13.17 dB。该结论受限于英文干净双人混合、自仿真4通道混响集与VoxCeleb2-mix子集，视觉遮挡、波达方向误差与开放关键词外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/wenet-e2e/WeSep — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：为什么混合语音分离后还要指定目标？

本文的研究对象是目标说话人提取，也就是从包含重叠说话人的混合语音中取出特定说话人的干净语音。输入包含两部分，一是混合波形，二是说明要提谁的辅助线索。线索可以是注册语音、空间信息、视觉信号或文本描述。输出是估计的目标说话人波形。初学者容易把该任务等同于盲分离，区别在于盲分离把混合分解为多个声源但不指定谁是目标，难以在长时、多说话人场景下稳定跟踪同一个人。

目标说话人提取用白话说就是先给模型一个指向，再让模型按指向捞人。指向的英文是 cue，注册语音的英文是 enrollment，分离器的英文是 separator。论文强调的现实困难是线索可用性会变化，注册语音可能与当前说话状态失配，空间线索依赖稳定定位，视觉会因遮挡或姿态退化。因此需要一个能容纳不同线索结构与缺失情况的统一学习框架，而不是为每种线索各写一套架构。本文的代码仓库当前可用，地址为公开的 WeSep 仓库链接，这是复现的起点。

同输入同目标的已有路线卡在哪里？

按同输入、同目标、同运行阶段对照，已有工作可分为单线索专用系统与多模态平台两类。单线索方面，注册语音路线包括基于说话人嵌入的方法、免嵌入的谱级表示方法、多层级表示方法与起始点提示方法，空间路线包括 3 维空间特征与方向引导滤波，视觉路线包括面向唇动的编码器，文本路线包括关键词引导与上下文历史引导。这些工作在各自设定下有效，但架构与训练流程往往与特定线索写法紧耦合，换一种线索或组合多种线索时需要改动较大。

多模态平台方面，论文点名了此前 WeSep 版本与 ClearerVoice，前者主要面向基于注册的提取而缺少异构线索的通用接口，后者把多模态实现为相互独立的模型与流水线，难以在统一架构内系统地组合线索。本文的定位不是提出新的分离网络，而是把线索建模从分离中抽象出来，使单线索变体、多线索组合与线索缺失能在同一优化框架下比较。

教学例子仅为例子：好比同一实验室用同一套量杯比较不同原料，量杯不变才能看出原料差异，本文的量杯就是统一的分离器与训练流程。

问题如何形式化：线索集合与可用子集意味着什么？

论文把 1 次提取写成混合信号加一组线索集合的函数。先沿一个样本走完流程有助于建立依赖关系。输入是混合波形与可用线索子集，每个线索先经过各自的编码函数变为特征表示，再与混合信号一起送入提取模型得到目标估计。关键形式化是样本级可用子集，意思是第 n 个样本实际可用的线索只是全集的子集，不同样本的子集可以不同。这统一了单线索与多线索设定，也把两个实践问题摆到台面上，一是异构可用性，二是跨模态的结构多样性。

白话解释异构可用性就是有的样本有注册无空间，有的样本有空间无注册，有的两者皆无，训练与推理流水线必须在同一框架内容纳这种差异。结构多样性指注册可能是波形、谱图或嵌入，空间可能是时频表示或几何嵌入，视觉与文本各有自己的时间粒度与对齐方式。论文因此提出 3 条设计要求，分别是编码与分离解耦、多线索可组合、支持异构配置，缺一不可。

WeSep 全景：配置如何把前端与主干拼成可运行模型？

WeSep 的全景可以理解为 4 层分工，分别是数据抽象、线索前端、分离器主干与顶层组合。数据抽象负责把混合与目标对和各模态线索仓库按标识关联起来，线索前端负责把原始线索编码为标准表示，分离器主干负责完成语音编码、分离与解码，顶层组合负责按配置文件实例化主干与前端并决定注入位置。沿样本路径复述 1 次，混合波形进入顶层模型的语音编码器，各可用线索进入各自前端得到表示，再按粒度在编码器输出、融合层或分离器中间状态处注入，最终由语音解码器输出目标波形。论文强调组合是配置问题而非架构重写问题，增减模态或更换主干只需改配置。

分离器主干 × 线索前端： 分离器主干的分工是完成混合语音到目标语音的映射与重构，线索前端的分工是把各模态原始线索编码为标准表示，二者搭配的理由是通过标准化注入接口隔离模态细节与分离计算，组合意义是更换主干或增减线索只需改配置而不重写架构，从而支持同优化框架下的对照研究。

下面先看顶层组合的像素结构，重点是配置文件、主干候选与多前端注入路径的对应关系，阅读时注意不同粒度特征进入不同位置的设计意图。

看图路径： 1. 先从顶部 Mixture 与 Cues 箭头进入 Top Model，确认主路径经过语音编码器、融合、分离器与解码器；2. 再看右侧四个前端方框，确认同一前端内可并存多个特征模块；3. 比较空间线索指向 Block state 与视觉线索指向 Feature Fusion 的注入位置差异；4. 核对左上 Top Model Config 示例中各模态的启用与关闭写法

论文图 1。原论文 Figure 2：“Modular Top Model construction in WeSep.”。

该图显示中央为顶层模型主路径，从上到下依次是语音编码器内的谱特征、2 级特征融合、分离器块状态与语音解码器。左侧列出可选分离器与文本前端，右侧列出说话人、视觉与空间 3 个前端及其内部模块。图中高亮示例选择了说话人前端的时频映射与说话人嵌入、视觉嵌入与到达方向，文本为关闭。箭头表明谱级特征进入语音编码器，说话人嵌入进入特征融合，视觉嵌入进入另 1 级融合，空间线索进入分离器中间状态。这种按粒度与对齐方式选择注入位置的做法，使同一主干可同时接纳单模态多特征与跨模态多线索，也为后文比较不同空间表示与缺失训练提供了结构基础。

线索前端与分离器如何分工：每种模态具体算什么？

线索前端的统一写法是每个模态有独立编码函数，把原始线索映射为特征表示。注册语音前端包含 3 类抽象层次，分别是谱级表示、帧级特征与 utterance 级说话人嵌入。谱级与帧级保留更细的时间频率结构，utterance 级嵌入把变长注册压缩为定长向量，便于融合但可能丢失细节。空间前端包含时频域表示与基于嵌入的几何先验，前者保留原始多通道相关与传播差异，后者把方向压缩为隐向量。视觉前端采用面向唇区视频流的实现，产生时间同步的视素嵌入。

文本前端采用关键词引导实现，用基于 Transformer 的音素编码器对部分转写编码。同一模态内可同时启用多种特征并注入，实现模态内互补条件。分离器主干通过配置实例化，支持时域与频域两类架构，暴露中间表示作为标准注入接口，更换主干无需修改线索模块。顶层按特征粒度决定注入位置，低层特征进入语音编码器，视觉嵌入在对齐后融合，空间线索进入中间状态。

注册语音线索 × 说话人嵌入： 注册语音线索的分工是提供目标是谁的声学依据，说话人嵌入的分工是把变长注册语音压缩为定长身份向量，二者搭配的理由是嵌入可直接参与融合而无需对齐注册波形，组合意义是让同一注册前端在不同注入位置提供 utterance 级约束，但原文显示其抽象层次过高时会丢失细粒度谱结构。

空间线索 × 方向估计： 空间线索的分工是刻画目标声源在多通道间的相位与能量差异，方向估计的分工是给出目标大致来向的几何先验，二者搭配的理由是显式时频表示保留逐频传播差异而嵌入向量会压缩该结构，组合意义是使分离器可执行频率相关的空间滤波，但有效性依赖方向估计准确且混响可控。

视觉线索 × 视素嵌入： 视觉线索的分工是提供唇动与发音时序的独立模态依据，视素嵌入的分工是把唇区视频流转换为与语音帧同步的表征，二者搭配的理由是视觉不受声学重叠干扰，组合意义是在声学线索不可靠时维持目标指向，但原文实现依赖可用且对齐的唇区视频，未评测遮挡下的退化量。

文本线索 × 关键词引导： 文本线索的分工是给出目标话语的内容约束，关键词引导的分工是用部分转写中的关键词替代注册音频来指定目标，二者搭配的理由是文本可绕开注册语音状态失配问题，组合意义是让无注册音频时仍有可运行的指定方式，但其有效性依赖关键词与混合语音的对应关系正确。

需要提醒的是，论文未报告各前端内部参数是否冻结或联合更新的具体清单，也未给出梯度是否截断的说明，因此复述时只能说联合优化在统一接口下进行，不能从模型名称推定预训练编码器一定冻结或一定更新，这是原文的缺项。

训练与数据如何容纳缺失：样本、批量与占位怎样配合？

WeSep 的训练接口支持联合优化、预训练初始化与灵活损失配置，论文把异构性与解耦抽象为结构问题，使不同线索配置下训练流程保持一致。数据层面，每个训练实例定义为混合与目标对，辅助线索从按模态组织的仓库中按标识检索。标识方式包括按说话人、按混合或按复合标识。线索分配支持确定性索引与随机选择，确定性索引例如与混合绑定的空间或视觉线索，随机选择例如有多个候选的注册语句或文本关键词，以模拟动态可用性。

批量化时信号统一分段，线索动态对齐或掩蔽，同一小批量内可包含不同线索子集，从而在统一流水线下实现异构训练。推理与训练遇到缺失线索时，用零值占位表示而不修改分离器架构，这是后文缺失实验能稳定运行的结构原因。优化目标是负的尺度不变信噪比，性能用信噪比改善与准确率衡量，准确率定义为改善量大于 1 分贝的样本百分比。

下面看异构数据组织的像素结构，重点是中心样本表与四周线索表的标识关联及实虚线含义，理解后才能复述缺失实验的构造逻辑。

看图路径： 1. 先确认中央 samples.list 以混合与目标对为中心，左右线索表通过标识关联；2. 比较 Speaker.list 用说话人标识与 Spatial.list 用混合加说话人复合标识的索引差异；3. 观察指向 samples.list 的实线与虚线箭头，区分稳定可用与条件可用线索；4. 核对 Textual.list 与 Visual.list 示例中多候选文本与单视频文件的写法差异

论文图 2。原论文 Figure 1：“Heterogeneous data organization in WeSep.”。

该图中央为样本表，每行给出混合标识、说话人标识与对应波形文件。四周为说话人表、空间表、文本表与视觉表，分别用说话人标识或混合加说话人复合标识索引。箭头显示说话人与文本多为稳定关联，空间与视觉为条件关联，虚线表示视觉在部分样本中缺失或条件可用。示例中空间表用位置文件、文本表用多个候选关键词文件、视觉表用视频文件，说明同一目标在不同模态下有不同的文件形态与候选数量。这种以标识为键、以文件为值的组织方式，使训练时可按样本动态取出不同子集并用占位补齐，是实现样本级异构训练的关键。

实验条件如何保证可比：数据、主干与训练配置是什么？

除非另有说明，默认分离器采用带状分割循环网络，即 BSRNN，以便比较聚焦于线索配置。频谱划分为 32 个子带，每子带特征维度为 128，堆叠 6 层 192 维双向长短期记忆网络。所有模型在 3 秒片段上训练 150 轮，使用 Adam 与相同学习率调度，以保证对照公平。注册与文本实验使用干净的 Libri2Mix 数据集，该数据集包含来自 251 个说话人的 13900 个训练混合，以及来自 40 个非重叠说话人的 3000 个验证与测试混合。视觉实验使用从 VoxCeleb2 构建的混合集。

空间实验为自构多通道混响数据，混合 LibriSpeech 语料与非语音噪声，用图形处理器加速的房间脉冲响应仿真混响，混响时间从 0.1 秒均匀采样到 0.5 秒，采用 4 通道均匀线阵，孔径为 10 厘米，信号与干扰加噪声比从负 10 分贝到 10 分贝，重叠率从 0 到 100%。文本编码器在 LibriSpeech 的干净与他者子集上预训练并采用在线动态混合仿真。因果实验把分离器与说话人特征提取转为因果模式，理论延迟为 32 毫秒，对应傅里叶变换窗长，并验证可导出为开放神经网络交换格式与流式流水线。

注册与空间线索各自测出什么：谁在什么条件下占优？

本节回答两个问题，一是注册语音内部不同抽象层次孰优，二是空间表示中显式时频特征与压缩嵌入孰优，比较条件均为同一分离器与同一训练配置，指标均为信噪比改善与准确率，数值越大越好。注册实验显示谱级与帧级表示稳定优于 utterance 级说话人嵌入，而组合互补表示进一步提升。空间实验在两种主干下一致显示手工时频组合优于嵌入方法，论文解释为嵌入压缩丢失了逐频相位与能量差异，而显式表示保留原始空时结构与物理传播差异，有利于频率相关的空间滤波。

下表整理注册语音内部比较，公平条件是同一 BSRNN 主干与同一 Libri2Mix 数据，指标方向为越高越好，表后解释收益与未胜出项。

该表报告的直接结果是组合表示取得最高改善与准确率，支持谱级加帧级互补的判断。代价与反例同样明确， utterance 级说话人嵌入明显落后，说明高度压缩的身份向量不足以支撑细粒度提取。文本对照显示关键词引导在同一主干下达到可比或更优水平，论文报告其改善与准确率与组合音频线索接近，支持文本可作为无注册音频时的替代指定方式，但该结论限于关键词正确对应的条件，未评测关键词错误时的退化。

下表整理空间线索比较，公平条件是同一多通道混响构造与相同优化目标，指标方向同样为越高越好，表后解释主干差异与未胜出项。

该表显示手工时频组合在两种主干下均领先，嵌入方法落后约 2 到 4 分贝，支持保留细粒度空间结构的解释。另一发现是主干本身带来差异，窄带 Conformer 变体在手工特征下取得更高改善，说明线索结论与主干能力有关，不能把空间特征的排序无条件推广到所有主干。未胜出项是两类嵌入方法，尤其初始状态嵌入在 BSRNN 下最低，这与压缩表示丢失逐频差异的分析一致。视觉方面，论文报告 BSRNN 主干在 VoxCeleb2 混合集上优于原始多模态基线，支持模块化组合可让视觉线索受益于更强主干，但原文未给出遮挡等退化条件的量化，这是明确的未评测边界。

组合与缺失是否稳定：互补增益与零占位各付出什么？

本节回答跨模态组合是否带来互补增益，以及训练中部分线索缺失时模型能否稳定利用剩余线索。组合实验在同一 BSRNN 主干与同一多通道数据上同时启用注册与空间前端，通过标准融合接口注入，比较对象包括仅注册、仅空间与联合条件。缺失实验构造注册缺失 30%、空间缺失 30%、两者同时缺失约 9% 的异构数据，缺失用零值占位表示而不改架构，测试时分别按空间加注册、仅空间、仅注册 3 种可用性评估。指标仍为信噪比改善与准确率，越高越好。

下表同时整理组合增益与异构训练结果，公平条件是同一主干与同一特征定义，其中空间指时频手工组合，注册指谱级加上下文组合，表后解释增益来源与缺失代价。

表的前三行报告联合条件持续优于单线索，支持说话人身份与空间定位互补的判断，且无需架构重写即可实现。论文同时指出在本构造中空间单线索强于注册单线索，这与方向准确时空间更具判别力的已有报道一致，但不能推广为空间恒优，因为它依赖准确方向与多通道条件。后三行显示简单零填充可保证缺失训练稳定，推理时任一线索可用均未崩溃，其中双线索可用时最高，仅注册时最低，说明缺失仍有代价。

未胜出项是仅注册在异构训练下的准确率明显低于其他条件，提示当空间缺失且注册为唯一依据时鲁棒性最弱。因果模式作为另一类代价，论文报告因果约束下性能低于非因果，但多特征条件仍有效并可部署为流式系统，理论延迟为 32 毫秒。

哪些结论不能推广：缺项、冲突与边界在哪里？

首先区分 3 类表述，论文直接报告的是各表中的改善与准确率数值，有限解释的是对压缩表示丢失细节与显式表示保留结构的机理分析，未验证推测是把趋势推广到真实房间、遮挡视觉或错误关键词时的表现。缺失证据不是技术错误，但复述时需用可能或待验证表达。

具体的缺项包括各前端参数冻结与更新清单、梯度路径与监督来源细节、损失权重与学习率数值的完整清单，以及统计显著性与误差棒，这些在原文中未给出，因此不能从模型名称推定实现，也不能把单次最优当成稳定优势。其次是适用边界，空间结论依赖 4 通道均匀线阵与仿真混响，视觉结论依赖可用唇区视频，文本结论依赖正确关键词，缺失实验的缺失比例为人工设定的 30% 与约 9%，改变比例或缺失机制后结论可能变化。

再次是成本维度，原文未系统测量训练资源、推理开销与实际延迟的完整对照，仅报告因果模式的理论延迟与可导出性，因此不能承诺延迟或成本得到改善。最后是相关性不等于因果，联合条件优于单条件支持互补，但不能证明两者在所有信噪比与重叠率下都互补，总体趋势不等于每组都成立。

复现先做什么：环境、配置与检查点如何对齐原文？

复现的第一步是获取当前可用的公开代码仓库，并按原文的模块划分确认数据抽象、4 个前端、5 种主干与顶层组合的配置文件入口。由于资源状态是可用且状态码为 200，可以写当前可用，但权重下载与完整可运行状态仍需按仓库实际说明核对，区分代码开源与系统可运行。

第二步是对齐实验条件，注册与文本复现需准备 Libri2Mix 数据并确认说话人不重叠的划分，空间复现需按 4 通道线阵、混响时间 0.1 到 0.5 秒、信噪比负 10 到 10 分贝、重叠率 0 到 100% 的仿真流程重建多通道数据，视觉复现需准备带唇区视频的混合集。第三步是固定主干与训练配置，默认 BSRNN 采用 32 子带、每子带 128 维、6 层 192 维双向长短期记忆网络，在 3 秒片段上训练 150 轮并使用相同调度，优化目标为负的尺度不变信噪比，评估用改善量与大于 1 分贝的准确率。

第四步是按线索逐项验证，先跑通单线索的注册内部变体与空间显式与嵌入对照，再跑通跨模态联合与人工缺失比例的异构训练，缺失时用零值占位而不改架构。常见误解是把表格数字直接当成跨数据集可比，实际上注册表与空间表的数据构造不同，跨表比较改善量没有意义，必须在同一数据与同一主干内比较。

何时值得尝试 WeSep：收获、代价与还需补的验证是什么？

当研究问题涉及多种指定方式或线索可能缺失时，WeSep 值得尝试，因为它把线索建模与分离计算解耦，使同一优化框架可比较不同抽象层次、跨模态组合与缺失鲁棒性，而无需为每种线索重写架构。收获方面，原文显示谱级加帧级组合优于单嵌入，显式时频空间表示优于压缩嵌入，跨模态联合优于单线索，零占位可在缺失下维持稳定训练，这些都是在受控配置下得到的直接报告。

代价方面，组合需要同时准备多模态数据与前端，空间优势依赖准确方向与多通道，文本与视觉分别依赖关键词正确与视频可用，缺失时仅剩注册的条件下性能最低，因果流式会牺牲部分性能。还需补的验证包括真实房间与真实遮挡下的数据、关键词错误与方向误差下的敏感性分析、多次随机种子的统计检验，以及训练与推理开销的完整测量。

教学层面的收束是把 WeSep 理解为实验底座而非新分离网络，它的贡献在于让线索结构、模态交互与可用性变化成为可配置、可比较的变量，从而把目标说话人提取从针对特定线索的解法推向更接近实际选择性聆听的鲁棒系统。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总