训练只听语音、推理只看脸：双空间约束如何稳住看脸合成的音色

英文题目：Dual-Space Constrained Face-Based Zero-Shot Text-to-Speech Synthesis

会议身份：conference:interspeech:2026:conference-paper-id:wang26f_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#对比学习 #多模态学习 #零样本 #音视频 #文本到语音

评分：7.2/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Jianrong Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Shengjie Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Ju Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Dengcheng Hu：机构信息未能从会议 PDF 纯文本可靠映射
• Qi Li：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

面向单张人脸图像为未见说话人生成语音的零样本任务，输入为人脸图像与文本，输出为保留身份的语音，难点在于无注册音频可锚定音色，且模块化系统训练用语音派生嵌入而推理用人脸派生表征。方法链分三步：先训练语音编码器得到弱语料依赖的说话人嵌入，再训练人脸语音对齐模块得到共享身份空间，最后在多说话人声学模型微调中同时约束合成语音在两空间与真值一致。相对已有模块化方法推理期才引入人脸条件的单向做法，该工作把人脸兼容性提前到声学模型训练目标中。在VoxCeleb2未见说话人集上相对最强模块化基线Face-StyleSpeech将说话人嵌入余弦相似度从0.635提升至0.677，话语间一致性从0.744提升至0.842，词错误率从0.087降至0.072；在LRS2跨语料样本级评测上优势扩大至0.653对0.583。该结论仅在英语朗读与访谈类语料及YourTTS骨干下验证，跨语言、大姿态遮挡与强情感韵律的外推尚未验证。原文仅给出单块NVIDIA RTX 4090，未披露训练时长、推理延迟与部署成本。

🔗 开源与复现资源

• 演示资源：https://zsj23.github.io/dsc-tts → https://zsj23.github.io/dsc-tts/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入只有一张脸时，合成要解决什么问题？

输入是一张或几帧人脸图像加一段待朗读的文本，目标是在没有任何该说话人注册语音的情况下，合成出可懂且听起来像同一个人的语音。必须保留的关键信息是零样本的含义：测试说话人与训练说话人不重叠，推理时不能用目标语音做音色锚点，只能从脸推断身份条件。

对于刚入门的读者，白话理解是脸只提供长相线索，声音的音色、年龄感和性别感需要跨模态猜测。猜对了是相似度高，猜得稳定是多次合成都像同一个人，读得清楚是可懂度。论文要解决的核心矛盾是模块化系统训练时声学模型只见过语音推出的说话人嵌入，推理时却突然换成脸推出的表示，这种表示切换容易让合成偏离目标身份。

输出是一段与输入文本内容一致、身份尽量稳定且自然的语音，评价同时看可懂度、说话人相似度和同一说话人多次合成之间的一致性。本文的演示页当前可用，地址见原文项目页声明。初学者可以先听同一张脸多次合成是否像同一个人，再对照文本是否读对，以此建立对任务难度的直观感受。

端到端与模块化两条路线各管什么？

现有看脸合成大体分为两条路线。端到端路线把脸表示直接放进声学模型训练，好处是训练和推理都见脸条件，身份一致性建模更直接。代价是受限于音视频配对数据的规模和质量，合成自然度和说话人保真度往往不如在大规模纯语音上训练的模型。

模块化路线先学脸声映射，再把脸推出的表示作为条件送给预训练的多说话人合成模型。好处是能复用语音合成底座保证质量，代价是脸条件通常只在推理时引入，训练推理错位更容易导致身份不稳定。原文还把模块化的不稳定归纳为 3 个来源：不同语料学出的说话人表示带有语料相关偏移，脸声对齐往往是弱对齐或单向的，声学模型训练只用语音嵌入。

举例来说，这好比声学模型平时只听固定老师的示范，考试时突然换成看照片猜声音，自然容易跑调。教学例子仅用于理解错位，不代表论文测量了该比喻中的具体分数。

模块化路线 × 端到端路线： 模块化路线负责把跨模态表示学习与声学模型解耦，可以复用大规模纯语音训练的高质量合成底座；端到端路线负责把脸表示直接参与声学模型训练，身份一致性建模更直接。二者搭配比较的意义在于本文选择模块化以保住合成质量，再通过双空间约束补上模块化最弱的一环，即训练只用语音嵌入而推理切到脸嵌入时的身份稳定性。

为什么脸像不等于声音像？

论文强调的一个易误解点是脸嵌入之间很像，不等于合成出的语音在听感上是同一个人。因为评价身份用的是合成语音抽出的说话人嵌入，而脸到声的映射本身是不适定的：同一张脸可以对应多种合理的音色。侧脸、模糊、表情和光照又会干扰脸嵌入。

另一个关键是语料失配：说话人编码器若在多个语音库上训练，不同库的通道和说话人构成会留下痕迹。跨到新的音视频库时，脸推出的条件与语音编码器期待的分布对不上。因此只优化脸声检索式的接近程度是不够的，还需要在合成训练阶段就让声学模型学会在脸条件下保持稳定。

本文把问题形式化为三件事：先学去语料痕迹但保留判别性的语音身份表示，再学双向对称的脸声共享空间，最后在合成训练中同时约束两个空间的一致性。这样推理时只给脸也能稳定，这是全文后续方法与实验的组织逻辑。

三阶段框架如何走完一个样本？

先沿一个样本走完全程。输入是同一视频的若干人脸帧和对应语音。脸侧用预训练人脸模型抽帧级嵌入，再经注意力池化聚成一个脸嵌入；语音侧把对数梅尔谱送入语音编码器得到说话人嵌入。接着脸嵌入与语音嵌入经各自的两层残差投影进入共享隐空间得到 1 对隐表示，并可经解码器映射回原嵌入空间。

最后在合成阶段，文本与说话人条件进入合成模型生成语音。训练时把合成语音与真语音同时送入冻结的语音编码器及其语音侧投影，计算两个空间的一致性损失并与合成主损失相加。框架分 3 个阶段：第 1 阶段训练语音编码器，第二阶段训练脸声对齐模块，第 3 阶段在冻结部分身份网络的条件下微调声学模型。

这样的顺序保证了后 1 阶段使用的身份度量是固定且可复用的，避免边合成边改度量尺子。下图是整体框架的像素级依据，阅读时先看主路径再看损失作用点。导读段已经说明左右分块：左侧是脸声隐对齐过程，右侧是双空间约束的合成训练过程，建议先分清左右两大块，再追踪脸嵌入、说话人嵌入、共享隐变量与合成语音之间的箭头，重点看哪些模块在第 3 阶段被冻结，该导读为理解后续约束位置做了铺垫。

看图路径： 1. 先沿左侧脸分支与语音分支找到投影与解码的位置关系；2. 再看中间对比损失与重构损失作用在哪一对隐表示之间；3. 最后看右侧合成语音与真语音如何同时进入冻结的编码器求一致性

论文图 1。原论文 Figure 1：“Overview of the proposed DSC-TTS framework.”。

从可见像素看，左块包含脸嵌入、投影与解码以及说话人嵌入分支，中间标注了对比损失与重构损失的作用位置；右块包含输入文本、真语音、合成模型与合成语音，下方虚线框内是冻结的语音编码器与语音侧投影，并引出两个一致性损失分支。这与正文 3 阶段描述一致：前 2 阶段学好表示与对齐，第 3 阶段用固定的身份度量去约束合成，使训练时就能预演推理切到脸条件的情况，该解释把图中冻结符号与损失分支对应到了文字中的训练安排。

语音编码器与脸声对齐各算什么？

语音编码器以说话人分类为主要目标，采用角度间隔损失增强类间可分性。为了去掉语料痕迹，加入经梯度反转层的域对抗训练，让编码器学到让域判别器分不出语料的表示。又因为域不变可能损伤判别结构，再加入有监督对比学习促进同说话人紧致、不同说话人分离。

总目标是分类损失加两项辅助损失的加权和，权重在实现中均取为 1。训练完成后该编码器被固定，供后续阶段复用。脸声对齐部分对每个视频均匀采样多帧并用注意力池化得到脸嵌入，对应音频用上述语音编码器得到语音嵌入，再经模态特定的投影进入共享空间并可经解码器返回原空间。

训练目标包括双向的对比损失、重构损失和隐一致损失，分别负责配对拉近、保住模态细节和防止解码走捷径。投影与解码均为两层残差多层感知机，解码器中用了层归一化。上述分工是理解双空间约束的前提，下一段用概念桥固定各术语的搭配关系。

说话人嵌入 × 语料域对抗： 说话人嵌入负责把一段语音压缩成固定维度的身份向量，用于区分谁在说话；语料域对抗负责判断该向量来自哪个数据集并通过梯度反转迫使编码器去掉数据集痕迹。二者搭配的原因是不同语料的通道和说话人构成会污染身份表示，组合后编码器既要让分类器分对说话人，又要让域判别器分不出语料，从而得到更适合跨库迁移的身份起点。

监督对比学习 × 语料域对抗： 监督对比学习负责把同一说话人的嵌入拉近、不同说话人推开，保持身份判别结构；语料域对抗负责抹除语料相关的可分性。单独做域不变容易把身份细节也抹平，搭配监督对比就是一边做不变性、一边守住类内紧致和类间可分，使学到的嵌入在跨语料时仍能分清不同人。

脸声共享身份空间 × 对比与重构约束： 脸声共享身份空间负责把脸嵌入和语音嵌入经各自投影映射到同一隐空间，使跨模态身份可以直接比较；对比与重构约束负责定义该空间的学习目标，其中对比损失把配对脸声拉近、非配对推开，重构与隐一致损失要求从共享表示还能解码回原模态。组合的意义是只靠对比容易丢失模态细节，加上重构约束后对齐更稳定，推理时由脸推出的表示才更接近真实语音身份。

三阶段如何训练、冻结与约束合成？

第 1 阶段在包含多语料的语音数据上训练语音编码器，输入是对数梅尔谱，输出是归一化的固定维度说话人嵌入。监督来自说话人标签、语料域标签和有监督对比的同说话人关系，训练后参数冻结。第二阶段在音视频数据上训练脸声对齐，输入是配对的脸嵌入均值目标与语音嵌入，监督来自跨模态配对关系与重构目标，投影与解码在此阶段更新。

第 3 阶段先在单说话人数据上预训练合成模型，再在多说话人数据上微调并加入双空间约束：把真语音与合成语音分别送入冻结的语音编码器得到嵌入一致性损失，再经冻结的语音侧投影得到共享空间一致性损失。两项分别以余弦相似度的负值度量并与合成主损失加权相加。原文明确在微调时固定语音编码器与语音侧投影以定义共享身份空间，梯度主要更新合成模型。

需要指出的缺项是原文未给出合成主损失内部各项的完整展开，也未报告是否重置优化器状态或分层学习率。复现时应按所用合成底座的默认配置补齐并记录，这是避免把底座默认行为误当成论文创新的关键。

嵌入空间一致性 × 共享身份空间一致性： 嵌入空间一致性负责让合成语音与真语音在语音编码器输出的说话人嵌入上余弦接近，直接守住听感层面的音色；共享身份空间一致性负责让二者在经过语音侧投影后的共享身份表示上也接近，守住与脸条件兼容的跨模态身份。二者搭配的原因是训练时只有语音监督、推理时却用脸条件，只约束其一仍会留下训练推理错位，同时约束相当于在两个互补视角下都要求合成不偏离目标身份。

数据、协议与指标如何保证可比？

语音编码器与脸声对齐在大规模无约束网络视频的音视频数据上训练，多说话人合成训练用干净朗读语音子集，单说话人预训练用单人朗读语音，所有语音下采样到 16 千赫。评估用与训练不重叠的未见说话人，男女各半，每位配人脸图像与从测试集采样的文本。另用不同录制条件的 3 模态数据集做跨语料样本级评估，检验泛化。

实现上说话人骨干用强调通道注意力的时延神经网络，人脸用预训练模型，每个视频采样多帧并注意力池化，共享空间维度固定。对齐训练用自适应优化器，合成底座先在单说话人数据上预训练较长步数再在多说话人数据上微调。指标分 3 类：可懂度用语音识别转写的词错率与字错率，越低越好；说话人相关用合成与参考语音的嵌入余弦相似度、同一说话人多次合成的平均一致性、不同说话人之间的可分性；主观用多人打分的相似度平均意见分。

比较问题是不同方法是否在同一声学底座与同一说话人编码器下比较，公平条件是模块化基线只更换对齐设计与嵌入学习策略，指标方向是错率越低越好、相似性与一致性越高越好。下表整理训练与评估的关键配置，数字均来自原文连续表述，便于复现时逐项核对，该表前导读已交代比较目标与公平条件。

该配置表的意义是把容易抄错的采样帧数、共享维度、优化器批量与两段训练步数固定下来，复现时先对齐这些再调权重。代价是 3 阶段流水线较长，需要分别准备音视频对齐数据与纯语音合成数据。未报告的细节是单卡显存占用下的实际耗时与推理延迟，论文只报告在单张 24 吉显存显卡上完成实验，未给出每步时长与合成实时率，部署前需自行补测，该解释同时给出了收益与具体成本。

主结果在可懂度与身份上各赢了什么？

要回答的主问题是新框架是否在不牺牲可懂度的前提下提升身份稳定性。对照包括一个端到端基线与 3 个模块化方法，模块化基线在统一框架下复现了各自的对齐结构，其余部件保持相同设置，因此差异可归因于对齐设计与嵌入学习策略。指标方向是词错率与字错率越低越好，相似度、一致性与主观相似分越高越好。

原文报告模块化方法的可懂度普遍优于端到端基线，端到端在主评估集上的词错率较高，而所有模块化系统的词错率都进入更低区间。新方法进一步在说话人相似度与一致性上取得优势，并在跨语料集上保持一致提升，主观相似分也更高。下面第一张结果图是脸声嵌入差异的累积分布，横轴是差异值、纵轴是累积概率，曲线越靠左表示低差异样本占比越高，建议先看图例区分 3 条基线与本方法的两条曲线，该导读为观察左移趋势提供了明确的读图顺序。

看图路径： 1. 先确认横轴是脸声嵌入差异、纵轴是累积概率；2. 再比较红色实线与虚线相对其他基线是否整体左移；3. 最后观察虚线在低差异区间的累积比例是否最高

论文图 3。原论文 Figure 3：“Distribution of face–voice embedding discrepancy on LRS2, measured as 1 −cos( vf, v), where vf denotes the face- derived speaker representation used for TTS conditioning.”。

从像素可见，代表本方法的红色实线与红色虚线整体位于蓝色、橙色和绿色基线左侧，虚线在低差异区间上升最快，说明加入域对抗与监督对比后低失配样本比例更高。这与正文对跨语料失配缓解的解释一致，但需注意该图只度量嵌入差异分布，不直接等于听感相似度，听感结论仍需结合相似度与主观分一起看，该解释把分布左移与听感证据做了区分。

比较问题是端到端与模块化在同一测试下谁更稳，公平条件是同一声学底座与同一说话人编码器架构，指标方向是错率越低越好、相似性越高越好。下表聚焦原文用完整句子报告的关键数字，避免转抄宽表时引入对不齐的行列，该段作为表前导读已提出比较问题与公平条件。

该表支持的判断是模块化路线先保住可懂度，新方法再补上身份相似性与一致性，且在跨语料上仍有提升，说明双空间约束带来了可迁移的稳定性。代价与反例是原文同时指出模块化基线的一致性分数偏低，而新方法的多样性只是保持相当而非拉开差距，意味着身份更稳但不同人之间的拉开程度没有同步大增，完整对比需回到原文大表逐行核对数据集与聚合口径，该解释同时给出了主要收益与未胜出边界。

第二张结果图是用降维可视化的合成语音说话人嵌入，左右两幅分别为基线与本方法，圆点与叉号区分性别，椭圆与人脸小图辅助指示说话人归属，建议先看整体离散程度再看同色点是否聚拢，该导读为比较左右两幅的聚类结构提供了观察动作。

看图路径： 1. 先确认左右两幅图中圆点与叉号分别代表男性与女性；2. 再比较左侧散点是否存在跨类混杂与离群点；3. 最后看右侧同色椭圆内样本是否更紧凑且类间更分开

论文图 4。原论文 Figure 4：“Qualitative visualization of speaker embeddings ex- tracted from synthesized speech using t-SNE.”。

从像素可见，左侧基线存在不同颜色点混杂与离群，同性别内也较分散；右侧同色点更紧凑且椭圆之间分离更清晰，女性与男性簇的边界更易分辨。这在定性上呼应了一致性提升而可分性未塌缩的定量趋势，但降维可视化受随机种子与参数影响，只能作为辅助证据，不能替代相似度与一致性指标，该解释明确了定性图的支持限度。

去掉哪一项会损失什么？

消融要回答两组约束是否互补。基线是只用标准合成目标训练，不加辅助嵌入目标与双空间约束；然后逐步加入域对抗、有监督对比、嵌入空间一致性与共享空间一致性。原文报告加入域对抗与监督对比后说话人相关指标改善，在跨语料上更明显，说明去语料痕迹带来了泛化收益。

在多说话人微调中加入双空间约束后，跨合成话语的一致性进一步提升，其中共享空间约束对一致性指标帮助更直接，两项同时使用在跨语料下还有额外增益，而可分性基本不变，说明稳定性的提升没有以压扁不同人为代价。需要提醒的是原文未给出每次消融的显著性检验与方差，数值提升应理解为在该协议下的报告结果。

下面的注意力图展示同一说话人 5 个帧的权重分配，上下两行对应两种视觉条件，纵轴是注意力权重、横轴是帧编号，建议先读每根条形上的数值再对照上方人脸的姿态与清晰度，该导读为核对权重与视觉可靠性的对应关系提供了分步动作。

看图路径： 1. 先对比上下两行五个条形的高度与标注数值大小；2. 再观察侧脸与模糊帧对应条形是否明显更矮；3. 最后看表情变化行各条形是否趋于均匀分布

论文图 2。原论文 Figure 2：“Identity-aware attention pooling over multiple face frames.”。

从像素可见，上行侧脸与模糊帧对应 0.07 与 0.08 的低权重，正脸清晰帧对应 0.30、0.24 与 0.30 的高权重；下行表情变化但身份清晰的 5 帧权重为 0.20、0.19、0.18、0.21 与 0.22，分布更均匀。这支持注意力池化压制不可靠帧、保留身份信息帧的说法，但该图只是单个样本的可视化，不能推广为所有光照与遮挡下都成立，该解释把单样本证据与一般性结论做了区分。

哪些边界尚未被验证？

首先是数据边界：训练与主评估集中在英语的音视频与朗读语音，评估的未见说话人仅 24 位，跨语料仅用另 1 数据集做样本级检验。对口音、年龄、儿童语音和强噪声的稳健性未报告，不能默认推广。

其次是指标边界：主观只评相似度，未报告自然度、误判率与延迟，嵌入多样性只是维持相当。说明方法解决的是稳定而非拉开不同人，在需要高区分度的场景仍需额外验证。再次是成本边界：3 阶段训练与多个损失权重增加了调参与存储负担，原文只说明在单张显卡上完成，未报告训练时长、推理开销与输出帧率。

最后是因果边界：消融显示了各模块与指标的共变，但未做统计显著性与多次种子平均。相关性不等于每组都必然提升，复现时应固定随机种子并报告多次运行的波动，这是把报告与待验证推测分开的关键。

复现应先固定什么再调什么？

先固定信息条件：保证测试说话人与训练不重叠，人脸与文本配对方式与原文一致，语音统一到 16 千赫，避免用目标语音做任何音色提示。再固定底座：说话人骨干、人脸模型、共享维度、每视频采样帧数注意力池化、对齐批量与合成两段步数按原文设置，损失权重从域与对比取 1、重构 0.5、隐一致 0.1、双空间两项分别取 9 与 3 起步。

接着按 3 阶段顺序执行：先训好并冻结语音编码器，再训对齐并检查脸声差异分布是否左移，最后冻结身份度量微调合成并同时监控可懂度与一致性，防止为保身份而牺牲发音。验证时至少复现两类特有细节：一是跨语料差异分布的左移程度，二是注意力对侧脸模糊帧的压制行为，两者都是论文特有的可检查信号。

代码与权重方面，原文只声明演示页当前可用，未在所给证据中声明训练代码与权重是否公开，因此应按未公开处理。复现需自行实现并记录与原文的差异。若显存不足，应优先保证批量与帧数不变，改用梯度累积而非直接缩小批量，以免改变对比学习的负样本分布。

何时值得尝试这种双约束？

当任务是只有脸、没有注册语音，且已有高质量多说话人合成底座时，这种先学去语料痕迹的语音身份表示、再学双向脸声共享空间、最后在合成训练中双空间同时约束的思路值得尝试。因为它把训练推理错位从推理时的补救提前到训练时的预演，这是本文区别于只在推理时换条件的模块化方法的关键。

复现的第一优先级是保证零样本划分与跨语料检验，其次是逐项加入域对抗、监督对比与双空间约束并观察一致性与可分性的变化，而不是一次性全加。还需补的验证包括更大规模未见说话人、自然度主观、推理延迟与多次种子稳定性，以及在非英语与嘈杂条件下的表现。

常见误解是把脸声差异变小直接等同于听感更像，实际上差异分布只是中间表示的接近程度，最终仍需相似度、一致性与主观试听共同确认。另一个误解是把可分性不变理解为区分度提升，原文支持的只是稳定而不塌缩。总体上，该工作报告了在保持可懂度的同时提升相似性与一致性的结果，支持双空间约束缓解身份漂移，但其边界与成本仍需按上述清单补测后才能做部署判断。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总