先把嘴型变成离散语义令牌，再去混合语音里捞人声

英文题目：TGTSE: Token-Guided Target Speaker Extraction with Visual Cue

会议身份：conference:interspeech:2026:conference-paper-id:ling26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#多模态学习 #向量量化 #音视频 #目标说话人提取

评分：6.7/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Tongtao Ling：机构信息未能从会议 PDF 纯文本可靠映射
• Shulin He：机构信息未能从会议 PDF 纯文本可靠映射
• Zhong-Qiu Wang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

音视频目标说话人提取以单通道混合语音 \(y\) 与同步唇动视频 \(v\) 为输入，估计目标干净语音 \(s\)，难点在于视觉与声学模态异构、帧率不对齐，直接以连续唇嵌入为条件只能提供弱相关而非内容级对齐。该工作提出 TGTSE：先用冻结人脸编码器加混合频谱分支预测与 WavLM 聚类伪标签对齐的离散语义令牌 \(\hat{z}\)，再将令牌经可训练码本映射为连续嵌入 \(e\)，最后以该嵌入为时序对齐条件驱动 TFGridNet 或 MossFormer2 类提取网络重构波形。与连续唇嵌入不同，离散令牌提供模态无关且与发音内容紧耦合的中间表示，将跨模态对齐转化为帧级分类加条件掩码估计问题。在 VoxCeleb2-2Mix 上 TGTSE（MossFormer2）取得 15.2 dB SDR 和 14.8 dB SI-SDR，相对 AV-MossFormer2 基线提升 0.3 dB；在 LRS2-2Mix 上取得 16.2 dB SDR，提升 0.2 dB；跨域在 Grid 上领先超过 2.0 dB。结论限于双人混合、16 kHz 近场合成数据与完整唇部可见条件，未验证强遮挡、多人重叠、噪声混响与实时因果场景。原文未披露训练推理成本与显著性检验。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么只用注册语音不够？

这篇论文研究的输入是单通道混合语音加同步人脸视频，目标是从 2 人混合中还原目标说话人的干净波形。混合可以写成目标语音加干扰，视频与语音时长一致但采样点数不同。传统目标说话人提取常用一段注册语音做全局条件，告诉模型要提谁的声音。这种条件与混合在时间上不对齐，只能提供说话人身份的粗粒度提示。当注册片段很短时，韵律、发音时机和情绪等动态特征难以捕捉，在复杂声学环境下容易失效。

视觉线索的优势是与声学环境无关，唇动与音素内容和时间边界强相关，且逐帧连续同步。于是问题变成如何把视觉信息变成提取网络能用的细粒度时间引导。论文指出直接用原始视觉特征做融合很困难，一是帧率与声学帧率不一致，二是声学处在声学空间而唇嵌入处在视觉空间，网络要学复杂的跨模态对齐。已有做法多用预训练人脸编码器得到紧凑唇嵌入再条件融合，但这类嵌入只是相关特征，不是生成目标语音的必要变量。

唇嵌入 × 语义令牌： 唇嵌入是人脸编码器从每帧唇视频抽出的连续向量，负责携带说话活动与发音相关的视觉相关特征，但仍处在视觉空间；语义令牌是经 WavLM 加 K 均值离散化得到的语音内容类别，负责给出与发音内容强相关的离散语义结构。论文让二者搭配的理由是连续嵌入与声学混合之间存在跨模态鸿沟，直接融合需要学复杂对齐，而令牌是模态无关且时间同步的中间表示，组合意义是把视觉到音频的映射先收敛为可分类的序列建模问题，再用令牌去引导声学重构。

对于刚入门的读者，可以这样沿一个样本走一遍。假设有一段 3 秒 2 人混合，信噪比为 0 分贝，同时有 25 帧每秒的唇视频。第一步是把视频送入冻结的人脸编码器得到视觉帧特征，再上采样到与语义令牌相同的每秒约 50 帧。第二步是把混合波形做短时傅里叶变换得到幅度谱，再降采样对齐到令牌帧率。第三步是两路分别做变换器编码再融合分类，得到每帧的令牌编号。

第四步是把令牌编号查表变为连续嵌入，送入提取网络去掩蔽混合，最终逆变换或重叠相加得到波形。例子仅为流程示意，不代表论文给出该具体样本的数值。论文的资源状态本次为未发现可验证的公开代码模型数据，因此复现只能按文字描述重做，不能直接下载运行。

同输入同目标的已有路线如何对照？

在相同输入与相同目标下，音视目标说话人提取已有时域与时频两条路线。时域代表包括音视卷积时域音频分离网络、音视双路径循环网络、多模态目标说话人提取、音视分离变换器、选择性听觉注意等，做法是直接在波形编码上估计掩蔽，视觉分支多用唇嵌入做连接或注意力。时频代表包括视觉语音分离、统一音视线索网络、音视交叉网络和音视时频网格网络，做法是在复频谱或幅度谱上建模，视觉信息拼接到时频表示中。

论文的对照保持了同运行阶段，即测试时都只给混合与目标唇视频，不给干净目标或额外注册语音。监督方面，基线多用波形重构损失端到端训练，而本文增加一路以自监督语音模型离散化伪标签为监督的令牌分类。需要区分的是类别差异不等于同条件胜负，时域与时频基线的编码器、参数量和感受野不同，论文因此分别用时频网格网络和苔藓变换器第二代两套提取器验证令牌引导的通用性。

另一条相关线是离散令牌在语音生成与目标提取中的使用，例如基于神经编解码或自监督聚类的语言模型方法，本文的不同在于令牌不是最终生成目标，而是中间语义线索，仍由掩蔽提取器输出波形，保留了声学细节重构能力。

要解决的对齐与语义缺失具体指什么？

论文把难点拆成两个可操作的问题。第一是时间分辨率不一致，视频每秒 25 帧，混合经短时傅里叶变换后帧数更多，而语义令牌每 20 毫秒 1 帧约每秒 50 帧，若不显式对齐就无法逐帧条件融合。第二是语义结构缺失，唇嵌入是连续相关特征，包含身份、活动和风格等混杂信息，没有显式的音素级结构，提取网络难以聚焦到内容感知的重构。

作者提出的三点理由是离散令牌与语音有强时间同步，令牌提供原始视觉嵌入缺乏的显式语义结构，令牌预测把复杂视觉到音频映射转为可用语音识别与生成技术稳健训练的序列建模问题。为此任务被形式化为两步，先用混合与视频预测每帧在 K 类中的对数几率，再经最大值加归一化得到预测令牌序列，最后把令牌查表为嵌入去条件提取。伪标签来自冻结的大规模自监督语音模型各层隐状态平均后再做 K 均值聚类，每帧干净语音分配到最近质心。

这种做法的含义是监督来源不是人工标注，而是自监督表示的离散近似，其质量依赖聚类码本与所用语音子集。

两阶段全景如何串起视频、混合、令牌与波形？

全景可分为令牌预测与令牌引导提取两个阶段。第一阶段记为第一个深度网络，输入是混合波形与唇视频，输出是每帧 K 类的对数几率矩阵，帧数为 M。第二阶段记为第二个深度网络，输入是混合波形与令牌嵌入，输出是估计的目标波形。中间桥梁是可训练码本，把离散编号映射为维度为 D 的连续向量。训练上 2 阶段分开优化，预测器用交叉熵，提取器用负尺度不变信噪比损失。

推理时先跑预测器得到令牌，再跑提取器得到波形，不需要注册语音。论文用图 1 示意该流程，图中令牌预测器输出目标语义令牌，语音提取器据此提取干净语音。这种设计的取舍是增加了 1 次前向与令牌误差传播的风险，但换来时间对齐的显式线索。后续小节先讲预测器内部计算，再讲两类提取器如何消费令牌。

令牌预测器 × 说话人提取器： 令牌预测器负责以混合语音频谱与唇视频为输入，按帧输出目标说话人的语义令牌分布，是语义线索的来源；说话人提取器负责以混合波形与令牌嵌入为输入，输出目标干净波形，是声学执行的部件。二者搭配的原因是预测器提供时间对齐的显式内容结构，提取器不再只依赖音视相关性做掩蔽，组合意义是形成先语义后声学的两步流水线，令牌精度直接决定后续可利用的引导质量。

从可复述角度记住符号分工，y 是混合，s 是目标干净语音，n 是干扰，v 是视频，M 是令牌帧数，K 是类别数，l 是未归一化分数，z 是伪标签，帽子 z 是预测令牌，e 是令牌嵌入。这样在读实验表时能唯一回指每个数字对应的阶段。

令牌预测器内部做了哪些对齐操作？

令牌预测器的输入处理是理解重点。视觉支路用冻结的在唇读任务预训练的人脸编码器抽取帧级特征，维度为 H，再沿时间上采样到 M 帧，记为 S。声学支路把 16 千赫混合经 40 毫秒窗 10 毫秒跳的短时傅里叶变换变为 321 维幅度谱，帧数为混合帧数。由于每个令牌约对应 20 毫秒语音，恰好跨 2 帧频谱帧，因此总帧数满足混合帧数等于 2 倍 M。再用核为 2 步长为 2 的 1 维卷积把频谱降到 M 帧，记为 R。

两路分别加正弦位置编码后各过一叠变换器编码器，得到声学编码与视觉编码，再拼接后经 1 维卷积与另一叠变换器编码器融合为 X，最后线性分类头输出每帧 K 类的对数几率。预测时对每帧做归一化再取最大值类别。损失是帧级交叉熵，对 M 帧平均负对数似然。冻结与更新的划分是人脸编码器冻结，变换器与分类头可训练，码本在第二阶段可训练。原文未报告预测器与提取器之间是否有梯度直通，按描述是分阶段训练，不猜联合微调。

下面先看预测器结构图，重点看双分支在哪里汇合以及冻结模块的位置。

看图路径： 1. 从底部混合语音波形经短时傅里叶变换到频谱再到左侧变换器编码器的路径；2. 从底部唇图像序列经冻结人脸编码器到右侧变换器编码器的路径；3. 中间 R 与 S 拼接后再经上层变换器与线性分类头输出顶部离散令牌序列；4. 两侧位置编码加入点与冻结标记的含义

论文图 1。原论文 Figure 2：“Illustration of token predictor. Best viewed in color.”。

该图下部左右两路分别以混合波形经短时傅里叶变换和唇图像序列经冻结人脸编码器为起点，各自加位置编码后进入 6 层变换器编码器，中部拼接为 R 与 S 后再经上层 6 层变换器编码器与线性加归一化层，顶部输出离散语音令牌示例。可见的教学要点是声学与视觉先独立建模时序再融合，而不是在像素层直接拼接；冻结标记提醒视觉前端不更新，上采样与降采样是显式对齐手段。图中颜色仅用于区分分支，不代表数值大小。

两类提取器如何消费同一套令牌嵌入？

时频域提取器先把混合变为复频谱，实部虚部分开经 2 维卷积映射为时频潜表示。为了融入令牌嵌入，先用两个线性层把嵌入维度 D 变为频率维 F 并把单通道扩展为与潜表示相同的通道数，再从 M 帧上采样到时频帧数 T，然后与混合表示拼接后线性投影，送入时频建模块堆叠精炼，最后反卷积回复频谱再逆短时傅里叶变换得波形。

时域提取器先用 1 维卷积加激活把波形编码为 M 帧的潜序列，再由基于掩蔽的估计器结合令牌嵌入产生乘性掩蔽，逐元素相乘后经线性层与重叠相加解码为波形。两路的共同点是令牌嵌入都作为附加条件参与掩蔽估计，不同点是融合位置的维度与上采样目标不同。

时频域提取 × 时域提取： 时频域提取指先把混合波形经短时傅里叶变换变为复频谱再做掩蔽或映射后逆变换，负责在频率维度上精细利用谐波结构；时域提取指直接在编码后的波形帧表示上估计乘性掩蔽再重叠相加，负责避免显式相位重构。论文同时验证二者的理由是检验令牌引导是否与域无关，组合意义是说明同一套离散语义嵌入既可以拼接到时频特征上，也可以拼接到时域编码特征上。

初学者易误解令牌直接决定波形，实际令牌只提供内容与边界线索，细粒度幅度相位仍由混合特征与掩蔽网络恢复。这也解释了为何令牌准确率不必 100% 就有增益，后文消融会量化这一点。

伪标签、损失与优化设置如何执行？

伪标签构造使用冻结的大规模自监督语音模型，收集各层隐状态平均为最终特征，在语音子集上做 K 均值得到 K 个质心，再把每帧干净目标语音分配到最近质心。论文按先前研究用语音公开子集重实现该流程，采样率 16 千赫时约每秒 50 帧。令牌预测按帧分类训练，损失为交叉熵。提取阶段把每个预测令牌经可训练码本查表为嵌入，与混合一起训练，损失为负尺度不变信噪比。

优化上预测器用权重解耦的自适应优化器，初始学习率万分之一，前 10% 训练轮数线性热身后按余弦衰减。提取器中时频网格网络用自适应矩估计学习率万分之五，若验证损失两轮不降则减半，最多 50 轮；苔藓变换器第二代沿用与预测器相同的训练策略。原文明确给出预测器变换器为 6 层、隐维度 256、前馈 1024、8 头、共 25,400,000 参数，时频网格网络与苔藓变换器第二代的超参数分别按原论文符号设置。

未报告的是数据增强、梯度裁剪与早停 patience 的完整细节，这些缺项在复现时需自行记录，不从模型名推定。

交叉熵损失 × 负尺度不变信噪比损失： 交叉熵损失负责监督令牌预测器每 1 帧的分类正确性，对照伪标签计算；负尺度不变信噪比损失负责监督提取器波形重构的能量归一化误差，对照干净目标语音计算。二者分属两个阶段搭配的原因是语义分类与波形重构目标量纲不同不宜混训，组合意义是先保证令牌序列可学，再保证声学重建保真。

数据、划分、采样与指标如何保证可比？

验证使用两个基准，分别源自名人语音第二版与唇读句子第二版，按同一预处理管线构造 2 人混合。训练验证测试分别模拟 2 万、5 千与 31,000 条，且说话人在划分间无重叠。目标与干扰按负 10 到正 10 分贝信噪比随机混合。音频 16 千赫，视频 25 帧每秒，每帧转为单通道 112 乘 112 灰度图。训练验证用 3 秒片段，测试用完整长度。

此外在唇读演讲第三版、网格与多视角连续语音库上做跨域泛化，随机生成 31,000 条混合，信噪比范围相同。指标为信号失真比、尺度不变信噪比、语音质量感知评估与短时客观可懂度，前两者越高失真越小，后两者分别反映感知质量与可懂度。令牌阶段另报分类准确率。基线包括视觉语音、音视卷积时域、音视双路径、选择性听觉注意等，跨域对比用公开仓库的检查点以保证公平。

下表整理数据构造与采样条件，阅读时注意混合条数对应阶段划分，信噪比对应混合过程，采样率与图像尺寸对应预处理。

上表把构造协议放在同一行，便于核对主结果与跨域结果是否在同一混合规则下比较。需要提醒的是条数相同不代表内容相同，跨域的 31,000 条来自不同语料，聚合对象不同不能直接与域内数字比大小。百分点与相对百分比含义不同，后文增益均按分贝差值表述，不换算为百分比。

主结果测了什么，与谁比，增益与代价是什么？

主问题是在域内 2 基准上，令牌引导是否一致超过常规音视系统。比较对象是同输入同目标的实际可运行基线，包括时域与时频多套网络，指标方向均为越高越好。论文报告在名人混合与唇读混合上，苔藓变换器版取得最高信号失真比 15.2 与 16.2 分贝，尺度不变信噪比 14.8 与 15.7 分贝；时频网格版取得 14.8 与 15.9 分贝信号失真比，14.5 与 15.3 分贝尺度不变信噪比。相对音视时频网格网络，时频网格版提升 0.7 分贝信号失真比与 0.9 分贝尺度不变信噪比。

感知质量与可懂度也同步提升，时频网格版在 2 基准上分别达 2.83 与 2.77 感知分，0.92 与 0.95 可懂度。代价是参数量与 2 阶段计算，时频网格版为 1130 万加 25,400,000，苔藓版为 5570 万加 25,400,000，均大于单阶段基线。未胜出项也需看到，在名人混合上音视交叉网络曾报 14.7 分贝尺度不变信噪比，与本文时频版 14.5 分贝接近，说明在单一指标上并非全面拉开差距。

下表聚焦核心可运行策略的数字对比，条件为域内 2 基准完整测试，单位保留原文分贝写法。

上表支持的判断是令牌引导在两套提取器上均带来一致增益，且苔藓版绝对值最高。限制是这只是平均指标的比较，未报告显著性检验与按信噪比的分档曲线，不能推广到每条混合或每一步都成立。推理开销与延迟未测量，不承诺实时性改善。

码本大小与令牌精度如何影响提取上限？

消融围绕两个特有细节展开。第一是码本尺寸从 32 到 1024 的上限测试，条件是用真实伪标签做理想引导，观察提取器在时频网格下的性能。结果是 128 类最优，继续增大不再提升，且所有码本的理想性能均优于连续唇嵌入加时频网格的基线，支持离散语义条件的可行性。第二是把伪标签随机替换以构造 20% 到 100% 准确率，再训练提取模型，观察 60% 准确率已具合理性能，准确率越高提取越好，100% 对应上限。第三是令牌预测器自身在 32 到 256 码本下的准确率（%）与交叉熵，码本越大准确率下降、损失难降，说明分类难度上升。基于上述折中，后续提取训练选用 128 类预测器版本。

下面先看三面板消融图，横轴分别为码本尺寸与令牌准确率，纵轴为尺度不变信噪比、感知分、令牌准确率与交叉熵损失。

看图路径： 1. 对比左图码本尺寸横轴上尺度不变信噪比与语音质量曲线的峰值位置；2. 观察中图令牌准确率从 20% 到 100% 时两条曲线的单调上升趋势；3. 核对右图码本增大时令牌准确率下降而交叉熵损失上升的交叉趋势

论文图 2。原论文 Figure 3：“Ablation study on VoxCeleb2-2Mix when using TFGridNet for TGTSE: (a) oracle performance of speaker extractor using codebook size from 32 to 1024; (b) performance of speaker…”。

左图显示理想令牌下两条曲线先升后降并在中间码本处达峰，且全程高于虚线基线；中图显示随令牌准确率提升提取指标单调上升；右图显示码本增大时蓝色准确率下降而红色损失上升。读图时先确认图例区分分布曲线与基线虚线，再核对纵轴是原始指标而非改善量，不能把右侧损失上升误读为提取变差的全程推广。像素不能精确辨别的峰值小数不硬写，以正文 128 最优与 60% 可用的定性结论为准。

码本尺寸 × 令牌准确率： 码本尺寸指 K 均值聚类的类别数 K，负责决定语义粒度和分类难度；令牌准确率指预测令牌与伪标签一致的帧比例，负责度量第一阶段输出质量。二者搭配分析的原因是码本越大语义越细但越难预测，组合意义是解释为何折中取 128 类，以及 60% 准确率已能带来可用增益而 100% 对应上限。

该消融的反证意义是若预测精度过低，令牌引导退化为噪声条件，增益会缩小；若码本过大，预测难度的代价会抵消语义细粒度的好处。这为复现先调预测器再调提取器提供了顺序依据。

哪些边界尚未评测，哪些推测不能当结论？

论文直接报告的是 2 基准域内与三跨域的平均指标提升，以及码本与精度的消融趋势，这些属于已验证部分。有限解释是离散令牌带来模态无关与时间同步优势，这有理想令牌优于连续嵌入的对照支持，但不等于证明因果唯一性，也可能来自变换器容量或训练流程差异。未验证推测包括噪声混响更重、多于两说话人、唇遮挡或侧脸等退化条件下的表现，原文未给出分条件评测，不能承诺同样增益。

成本方面，训练硬件预算、推理帧率与实际延迟未报告，参数量增加是明确代价，但不能从参数量直接推定延迟翻倍。监督来源是自监督聚类伪标签，其本身误差未量化，若伪标签有偏，100% 准确率也只是相对伪标签的上限而非相对真实音素的上限。跨域虽用公开检查点保证基线公平，但跨域混合仍是人工随机混合，与真实会议或助听场景有差距。区分用词上，平均提升用报告显示，机制解释用支持，跨场景泛化用可能待验证。

复现先做什么，需要哪些超参数与信息条件？

复现的第一步是重做伪标签与数据管线。音频重采样到 16 千赫，短时傅里叶变换用 40 毫秒窗 10 毫秒跳得到 321 维幅度，视频 25 帧每秒转单通道 112 乘 112 灰度，训练验证截 3 秒，测试用全长，混合信噪比负 10 到正 10 分贝随机，划分间说话人不重叠。第二步是训练预测器，视觉前端用唇读预训练的人脸编码器并冻结，上采样到每秒约 50 帧，声学支路用核 2 步长 21 维卷积对齐到同一帧率，两路各 6 层变换器加融合变换器，隐维度 256 前馈 1024 共 8 头，优化器用权重解耦自适应方法初始万分之一加余弦热身。

第三步是用预测令牌训练提取器，码本先取 128 类，时频网格网络按原文符号取对应维度与层数共 11,300,000 参数，苔藓版按原文符号取对应配置，学习率与衰减按上文设置，最多 50 轮。评估按信号失真比、尺度不变信噪比、感知质量与可懂度四项，方向均为越高越好。

下表汇总可直接照抄的配置，数字与单位与原文一致，便于逐项核对。

上表用于复现前核对，任一缺项都应记录为自行补齐而非原文给出。特别注意原文符号在不同论文中重名，复现时以各自原论文符号为准，不要与本文的 M、K、D 混淆。当前无可验证的公开资源链接，因此不写代码已公开，只能按文字重实现并自建评测脚本。

何时值得尝试这种令牌引导，还需补哪项验证？

当系统已有同步唇视频且注册语音不可靠或缺失时，值得尝试先预测离散语义令牌再引导提取的路线，尤其在 2 人混合且信噪比跨度大的基准上已有可运行增益证据。当只有音频或唇经常遮挡时，不建议直接照搬，因为第一阶段依赖视觉质量，令牌误差会传导到第二阶段。实践上先把码本固定为 128 类把预测器调到可用准确率，再训提取器，比一开始就搜大码本更省时间。

若要在真实设备落地，还需补测推理延迟、内存占用与长时流式处理，以及在遮挡、侧脸和混响下的分条件表现，并报告多次种子的方差与显著性。常见误解是把理想令牌的上限当成可部署收益，实际部署只能用预测令牌，其精度受码本与视觉质量制约；另一个误解是把平均分贝提升当成每条都变好，实际需看分信噪比分 speaker 的分布。

回到中心矛盾，连续唇嵌入提供的是相关性，离散令牌提供的是可分类的内容结构，本文的价值是用可复述的 2 阶段把后者变成时间对齐的引导，并在两套提取器与多数据集上给出一致证据，代价是更多参数与流水线复杂度。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总