先抓语义再补声音：GenTSE 用两段生成缓解自回归提取的错位

英文题目：GenTSE: Enhancing Target Speaker Extraction via a Coarse-to-Fine Generative Language Model

会议身份：conference:interspeech:2026:conference-paper-id:li26m_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#自回归模型 #偏好优化 #向量量化 #语音 #目标说话人提取

评分：7.3/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Haoyang Li：机构信息未能从会议 PDF 纯文本可靠映射
• Xuyi Zhuang：机构信息未能从会议 PDF 纯文本可靠映射
• Azmat Adnan：机构信息未能从会议 PDF 纯文本可靠映射
• Ye Ni：机构信息未能从会议 PDF 纯文本可靠映射
• Wei Rao：机构信息未能从会议 PDF 纯文本可靠映射
• Shreyas Gopal：机构信息未能从会议 PDF 纯文本可靠映射
• Eng Siong Chng：机构信息未能从会议 PDF 纯文本可靠映射
• Boon Siew Han：机构信息未能从会议 PDF 纯文本可靠映射
• Yuanjin Zheng：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

目标说话人提取需依据参考语音从双人混合语音中恢复目标说话人波形，难点在于内容、音色与细粒度声学结构在高熵离散空间中耦合建模困难，且自回归推理易偏离训练分布。GenTSE第一步由语义提取语言模型以WavLM连续嵌入为条件生成目标语义令牌，保留说话人相关连续上下文并输出粗粒度语义序列。第二步声学生成语言模型以该语义序列加DAC连续嵌入为条件生成单码本SimCodec声学令牌，再由SimCodec解码器重建波形，实现由粗到细的生成。第三步用冻结语言模型条件将冻结检查点产生的预测历史作为训练条件以缓解暴露偏置，再用直接偏好优化向高UTMOS样本对齐感知质量。与离散提示和单阶段编解码建模不同，全程保持可生成解码并保留连续上下文，但其验证仍受限于干净混合条件。在 Libri2Mix 干净测试集上相对最强生成基线 Metis 将 UTMOS 从 3.882 提升至 4.296，SECS 达 0.928，dWER 为 0.177，SpeechBERT 为 0.920。结论目前仅限干净双人混合英文朗读场景，未验证噪声、混响、目标缺席与跨库泛化，未披露参数量、延迟与人类主观听测。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出要保留什么？

目标说话人提取的输入是两段语音，一段是多人混在一起的混合语音，另一段是指定要听谁的参考语音。输出是只属于目标说话人的干净语音，必须保留语言内容、音色一致性和可懂度。

初学者容易把它理解成降噪或普通分离，但它的关键约束是不能认错人。判别式方法直接学习从混合到目标波形的映射，论文指出这类方法在分布变化下泛化较差。生成式思路则学习给定上下文条件下目标信号的分布，再采样重建。

目标说话人提取 × 语义令牌： 目标说话人提取的分工是从混合语音中只恢复被参考语音指定的那个人声，需要同时解决找对人和恢复清晰语音；语义令牌的分工是把目标语音的内容与说话人粗粒度身份抽象成离散序列，先保证找对人和内容不断裂，再把细粒度波形细节留给后一段，从而降低一段模型同时学内容、音色和信号细节的难度。

论文把上下文定义为参考语音与混合语音的连续特征，把目标定义为先语义后声学的两层离散序列。这个选择决定了后文全部组件的输入输出接口，也决定了训练与评估的依赖关系。

同输入同目标的已有路线差在哪里？

在相同输入与相同目标下，已有语言模型方法可以按是否端到端生成来对照。单阶段直接预测编解码器令牌的方法需要同时学习内容、说话人特征和信号结构。论文认为这是在高熵令牌空间中的困难联合建模。

带 2 阶段思想但引入非生成部件的方法包括连续嵌入回归、预融合交叉注意力块和确定性细节恢复器。论文把它们归为破坏端到端生成性的设计，另一些离散化参考提示的方法则丢失细粒度说话人信息。

在优化层面，已有方法多用信号级目标或令牌似然降低预测误差。这类目标不直接对应人感知的自然度与清晰度，有工作引入人工反馈但依赖低层代理。论文因此把直接偏好优化适配到目标说话人提取，作为训练后期的分布微调。

例子：一个样本要经过哪几道关？

下面用一个教学例子走完依赖关系，例子中的效果描述只讲流程不添加数值。假设混合中有说话人甲和乙，参考语音是甲在另一句话中的录音。系统先抽取参考与混合的帧级连续嵌入，再写出甲的粗粒度语义序列。

接着声学模型在看到语义序列与两路声学嵌入后，逐个写出甲的细粒度声学令牌。最后由神经声码器解码为波形，得到只属于甲的语音。

若语义段把甲乙搞混，后续声学段再清晰也没有意义。因此论文把找对人与保内容放在第一段，把补细节放在第二段。这种分段把高熵声学建模拆成两步，让每一步的条件更充分。

两段生成如何分工又如何衔接？

方法全景是语义抽取在左、声学生成在右的两段流水线，两段各自是一个自回归解码器语言模型。语义段输入参考与混合的连续嵌入，输出目标语音的粗粒度语义令牌。声学段输入语义令牌加两路声学嵌入，输出细粒度声学令牌。

训练时声学段看到真实语义令牌，推理时看到语义段实际预测的序列。这种条件差异正是后文冻结条件训练要处理的问题，也是理解曝光偏差的起点。

下面这张总体结构图把冻结与可训练参数、连续嵌入与离散令牌的流向画在一起，是理解两段衔接的最直接依据，值得按输入到输出的主路径阅读。

看图路径： 1. 先从底部两路波形向上追踪参考语音与混合语音分别经过哪个冻结编码器；2. 再看语义语言模型输出的橙色圆点序列以什么身份进入声学语言模型；3. 最后确认声学语言模型顶部的红色菱形序列经过哪个解码器得到目标语音

论文图 1。原论文 Figure 1：“The overall architecture of GenTSE consisting of a semantic extraction stage (left) and an acoustic generation stage (right)”。

从像素可见，底部有参考语音与混合语音两路波形，左侧分别经过标有雪花标记的冻结编码器得到连续嵌入。再进入标有火焰标记的可训练语义语言模型，顶部输出橙色圆点表示的目标语义令牌。

右侧声学语言模型同样可训练，其底部输入包括左侧传来的橙色圆点序列、浅绿色参考声学嵌入和深绿色混合声学嵌入。顶部输出红色菱形表示的目标声学令牌，再向上经过标有雪花标记的红色解码器得到目标语音波形。这种布局支持论文的说法，即两段都使用连续嵌入作为条件。

语义段算什么，历史从哪里来？

语义抽取段的计算起点是第 6 层自监督嵌入，论文用大型自监督模型对参考与混合语音抽取帧级连续矩阵。目标侧真实语义令牌由目标干净语音先抽取同层嵌入再经聚类离散化得到。语言模型以交叉熵为基线目标，学习给定历史与两路嵌入时下一个令牌的分布。

训练时历史是真实令牌序列，推理时历史是模型自己已生成的序列。这个来源切换对理解曝光偏差很关键，因为训练与推理的自回归历史分布不同。

WavLM 嵌入 × DAC 嵌入： WavLM 嵌入的分工是提供偏语义和说话人区分的高层连续特征，DAC 嵌入的分工是提供保留声学细节的连续特征；搭配理由是离散化参考提示会丢失细粒度说话人信息，组合后语义段用连续 WavLM 嵌入同时看参考与混合语音以锁定目标内容，声学段用连续 DAC 嵌入同时看参考与混合语音以补足音色与环境细节，两段各取所需形成粗到细的条件层次。

聚类数与码本尺寸在实现细节中给出，聚类在朗读语料上训练。语义段最终配置使用连续自监督嵌入同时观察参考与混合，这个安排在消融中有对照。

声学段算什么，为何用单码本？

声学生成段的计算起点是音频编解码编码器的连续嵌入，论文从参考与混合语音抽取声学特征。再把目标语义序列与这两路声学嵌入拼接作为条件，由第二个自回归解码器生成声学令牌。

声学分词器选用单码本的神经音频编解码器，解码器负责从预测令牌重建波形。单码本把多路令牌流简化为一路，避免同时对齐多层码本。

声学令牌 × SimCodec： 声学令牌的分工是携带可重建波形的细粒度声学细节，SimCodec 的分工是提供单码本的神经音频编解码器，把这种细节压缩为单一令牌流；二者搭配的理由是单码本避免了多层码本需要联合建模多路令牌流的复杂性，组合后声学语言模型只需在语义序列已定的条件下逐个预测单路声学令牌，再由解码器恢复波形。

基线训练目标同样是教师强制下的交叉熵，条件包括历史真实声学令牌与语义序列。训练声学段时语义部分用真实令牌，推理时切换为预测序列。

冻结条件训练如何改变训练输入？

冻结语言模型条件训练的动机是暴露偏差，论文先用教师强制得到基线参数。再复制出一套可训练参数，同时保留原参数冻结，避免联合更新条件模型的不稳定。

冻结模型在教师强制下生成带错的预测序列，这些序列被用作训练可训练模型时的条件输入。优化目标仍是交叉熵，但条件历史变为模型生成的历史。

教师强制 × 曝光偏差： 教师强制的分工是在训练时每一步都喂入真实历史令牌以稳定优化，曝光偏差是指推理时模型只能依赖自己过去的预测，二者输入分布不一致导致误差累积；GenTSE 用冻结语言模型条件训练把早期冻结检查点的预测作为训练条件，搭配理由是让训练也见到带错的历史，同时不更新提供条件的冻结模型以避免不稳定，从而缩小训练与自回归推理之间的差距。

论文报告语义与声学段分别用较小恒定学习率微调若干 1000 步，且初始化自基线配置。这种设计让目标模型在训练中就见到不完美历史，从而缩小训练与自回归推理的差距。

偏好对如何构造，优化改变什么？

直接偏好优化针对声学模型，上下文由语义序列与两路声学嵌入组成。冻结参考模型先输出声学令牌的对数分布，再用每步独立的核采样产生多个候选序列。每个候选经声码器解码并用平均意见分预测器打分。

得分最高者作为被偏好样本，得分最低者作为不被偏好样本。优化目标提高前者似然并降低后者似然，同时用冻结参考模型稳定训练。

直接偏好优化 × UTMOS： 直接偏好优化的分工是不改推理结构而调整输出分布，使模型更偏向被偏好样本而远离不被偏好样本，UTMOS 的分工是作为与人评强相关的神经网络平均意见分预测器来判定哪个候选更好；搭配理由是令牌似然本身不直接对应自然度与清晰度，组合后可以用 UTMOS 在同一上下文采出的多个候选中选出最优与最差构成偏好对，再用偏好目标把声学模型推向感知质量更高的方向。

论文把目标模型与参考模型都初始化为冻结条件训练后的声学参数，并用较大批量做很短步数训练。复述时不应把偏好优化说成提升似然拟合，它改变的是感知排序意义下哪个序列更可能。

数据、基线与指标在什么条件下可比？

所有语言模型用干净双人混合数据集的训练子集训练，并在对应测试集评估。推理时为目标说话人随机选一条参考语音，并在全部评估中保持一致。自监督模型与编解码器均用公开预训练检查点。

模型结构是 12 层、8 头、隐层 1024 的解码器变换器，优化器用自适应权重衰减优化器。基线训练按验证交叉熵收敛终止，最终配置对应数万步训练，微调步数与学习率另行给出。

基线包括生成式与判别式两类，部分在本文训练集上重训，部分用官方检查点。论文明确指出其中两个生成式基线在远更大数据集上训练。评估分质量、可懂度与说话人保持 3 组，论文明确不报告经典信噪比类指标。

不报告的理由是生成模型可能引入时间或韵律错位，使这些指标不可靠。这个取舍在解读结果时必须保留，也解释了为何用神经网络预测指标。

主结果测了什么，谁在什么指标上更好？

主结果要回答在相同测试集上，本文方法相对可运行基线在感知质量、可懂度与说话人一致性上是否更好。比较的公平条件是同一干净双人混合测试集与同一条参考语音。指标方向是质量分与相似度越高越好，词错率越低越好。

下表整理了混合未处理信号、一个重训判别式基线、一个大规模生成式基线与本文方法的关键数字，数字与单位保留原文写法，列数满足宽表要求。

上表显示本文方法在感知质量、说话人相似度与语义相似度上高于所列对照，但在差分词错率上并未全面胜出。重训的判别式对照在该列更低，呈现质量占优而逐词准确率略逊的权衡。

结合原文表格，本文方法在多项质量子分上领先同类语言模型基线。大规模基线的数据优势意味着领先不能直接解读为同等数据下的必然胜利。若下游更看重逐词准确率，判别式对照仍是更稳的选择。

去掉语义段或改连续条件会发生什么？

消融第一个问题是语义段与连续条件是否必要，比较条件是同一流程只改变输入形态。形态用连续嵌入与离散令牌区分，指标方向同样是质量与相似度越高越好。下表汇总去掉语义段与改变条件形态的变体关键数字。

上表支持两个判断，去掉语义段后词错率明显升高，说明语义抽取对可懂度必要。把连续嵌入换成离散令牌后质量与可懂度大幅恶化，支持离散化丢失信息的解释。

用声学令牌而非声学嵌入做条件时，可懂度与相似度不如最终配置。原文还报告用自监督嵌入替代声学嵌入时性能相近，说明连续条件总体优于离散条件。

冻结训练与偏好优化各带来什么代价？

第二个问题是冻结条件训练是否比延长教师强制更有效，需要同时看验证准确率趋势与下游指标。下图是理解该问题的直接证据，阅读时应先确认曲线含义再判断差距变化。

看图路径： 1. 先确认横轴是训练步数、纵轴是验证集首位预测准确率及两条曲线的图例含义；2. 再比较上方教师强制曲线与下方自回归曲线的绝对位置与间距变化趋势

论文图 2。原论文 Figure 2：“Semantic LM validation top-1 accuracy during FLC.”。

从像素可见，横轴为训练步数，纵轴为准确率，图题为验证集首位准确率。蓝色曲线标为教师强制，绿色曲线标为自回归，另有浅色抖动线表示原始采样波动。上方教师强制曲线位于约 0.69 至 0.70 附近，下方自回归曲线从约 0.62 附近爬升至约 0.64 至 0.65 附近。

两条曲线的垂直间距随训练进行而缩小，论文用这种缩小支持冻结条件训练缓解了曝光偏差。但需注意纵轴不是最终语音质量，而是语义模型的验证首位准确率。像素不能精确读出每一步数值，因此只能报告趋势而不能硬写单步增量。

下表把相同步数与延长训练的教师强制对照、冻结条件训练与偏好优化放在一起，列数同样满足宽表要求，公平条件是相同数据与相同初始化链条。

上表显示相同步数下冻结条件训练在质量、词错率与相似度上优于教师强制，即使教师强制延长至收敛仍不及冻结条件训练。偏好优化在很少步数内明显提升感知质量，但词错率与相似度轻微回退。

只用交叉熵再微调的变体与基线差异很小，说明增益来自偏好目标而非额外步数本身。这种质量与保真度的权衡必须与收益一起报告，不能只讲感知分提升。

哪些边界没有测，哪些代价必须说明？

论文直接报告的限制包括偏好优化的取舍与未来验证方向，偏好优化用单一平均意见分代理选偏好对。质量提升伴随相似度与可懂度轻微下降，原文明确这是单指标选择的权衡。

另一个未评测边界是噪声与目标缺席条件的鲁棒性，原文在结尾列为未来研究。复述时应写为待验证而不能假设同样成立，数据规模也是重要混杂条件。

缺失证据不是技术错误，但需要指出具体缺项。原文未测量误判率、延迟、实时因子与推理开销，没有给出总时长与显存占用。因此不能承诺延迟或成本得到改善，总体趋势也不等于每组每步成立。

复现先做什么，需要哪些信息条件？

复现第一步是重建数据与特征管线，用干净双人混合训练子集训练并在对应测试集评估。推理时为每个目标说话人固定一条参考语音，采样率统一为 16 千赫。特征侧需要自监督模型第 6 层嵌入与编解码器嵌入。

目标语义真实令牌由目标语音同层嵌入经聚类离散化得到，聚类在朗读语料上训练。模型侧是两个 12 层解码器变换器，聚类与码本尺寸、批量与学习率在实现细节中给出。

第二步是核对训练与构造的重置时机，冻结条件训练要复制基线参数并保持原参数冻结。条件历史用冻结模型预测替换，偏好优化要从冻结条件训练后初始化。采样核大小与候选数、偏好强度与批量应原样保留，评估必须同时记录质量与可懂度。

常见误解是把偏好优化当成通用提升而忽略代价，另一个误解是把冻结条件训练当成普通延长训练。对照时必须保留相同步数与延长至收敛的教师强制基线，否则无法证明增益来自条件改变。

何时值得尝试这套粗到细路线？

当任务同时要求找对人、保内容与高自然度，且已有连续自监督与声学嵌入可用时。这套先语义后声学的全生成路线值得尝试，适用条件是能接受两段自回归成本。

若下游是严格转写或关键词任务，判别式对照在差分词错率上的优势可能更重要。此时不应只看平均意见分就切换路线，若参考质量差或目标缺席需补测边界。

用一句话收束，粗段负责在连续条件下锁定目标语义，细段负责补足可重建的声学细节。冻结条件训练让训练见到带错历史，偏好优化让分布偏向代理认可的样本。所有判断都应放在数据规模与权衡代价下理解。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总