没有成对导演指令时，如何让 TTS 学会相对改法并保住音色

英文题目：Scalable Direction-Following TTS via Voice Impression-Guided Pseudo Triplet Construction

会议身份：conference:interspeech:2026:conference-paper-id:fujita26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据增强 #大语言模型 #语音 #文本到语音

评分：6.6/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Kenichi Fujita：机构信息未能从会议 PDF 纯文本可靠映射
• Yusuke Ijima：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

方向跟随语音合成（Direction-Following TTS）以文本、参考语音和自然语言表演方向为输入，要求保持说话人身份与语言内容的同时按相对修改重读同一脚本，难点是缺乏配对三元组训练数据。本文先用印象可控零样本语音合成（Zero-Shot TTS）对同一说话人同一参考合成无调制基线与有调制语音构成伪语音对，经说话人一致性与语速过滤并用印象估计器得到 13 维印象差，再以大语言模型（Large Language Model）生成导演式方向文本，形成伪三元组用于训练方向条件风格精炼器。与绝对风格提示的文本到语音（Text-to-Speech）不同，该精炼器冻结骨干合成模型，在语音嵌入空间学习从参考嵌入指向目标偏移的方向条件随机向量场。主观评测中全量组合（Full）在未见说话人上说话人相似度平均意见分（SMOS）为 3.22，方向对齐平均意见分（AlignMOS）为 3.32，而纯录音条件 SMOS 仅为 2.63、AlignMOS 为 3.48，表明伪数据提升鲁棒性而真人数据增强表现力。在未见说话人主观评测条件下，Full的SMOS分数为3.22±0.07，高于Recorded的SMOS分数2.63±0.08。该结论适用边界受限于日语语料、固定骨干模型与有限导演方向集合，在开放方向与跨语言外推上尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 演示资源：https://ntt-hilab-gensp.github.io/IS2026pseudo/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，哪些信息必须保留？

这篇解读的输入是论文正文与 3 张官方原图像素，目标是让刚进入语音合成的研究生能复述方向跟随文本转语音的完整做法。需要保留的关键信息包括任务定义、伪三元组构造 3 步、风格精炼器的输入输出与训练目标、真人数据与伪数据的规模与划分、客观与主观评估的协议与关键数字。

任务的输入有三样。第一是文本脚本，也就是要说的内容。第二是参考语音，也就是修改前语音，论文称为修改前话语。第三是自然语言方向，也就是导演指令，例如更温柔一些、带一点魅力。系统的输出是新的语音，要求内容与脚本一致，说话人听起来还是同一个人，但表演风格要按方向相对参考语音发生变化。

这个相对二字是理解全文的钥匙。传统做法是给定绝对风格描述直接合成，例如合成一个快乐的女声。而这里的系统必须先听参考语音，再理解方向描述的是相对上 1 次表演的变化。举例来说，同样一句你再说得更克制一点，对本来就很激动的表演和本来就很平淡的表演，目标结果是不同的。教学例子仅为帮助理解相对变换，不代表论文报告了该句的效果数值。

为什么这个任务难。第一是缺数据。大规模零样本合成语料通常一个文本只有一种读法，没有同一文本、同一说话人、不同表演的成对录音，更没有描述 2 次差异的方向文本。第二是既要变又要不变。风格要按方向变，说话人身份与语言内容要保持。

对未见过的新说话人，这种平衡更难。第三是评价难。方向是否跟随到位，需要比较修改前后两段语音与文本方向三者之间的一致性，不能只看单段语音像不像某种风格。

同类路线做了什么，为什么还缺相对修改数据？

论文把相关路线放在同一输入、同一目标、同一监督下来对照。第一类是零样本合成与大规模语料路线。它们用大量说话人与文本训练通用合成能力，能复制未见说话人的音色，但训练语料通常一个脚本只有 1 次朗读，没有相对修改的监督，因此不直接解决方向跟随。第二类是带多版本同一脚本的小语料与情感转换语料。它们有同一文本的不同风格录音，但规模小，且缺少描述从上 1 次到这 1 次如何改的方向文本。

第 3 类是文本提示合成与语音编辑路线。它们可以用自然语言控制风格或按指令编辑语音，但多数做的是绝对风格条件或基于提示的控制，而不是以参考语音为起点、以方向为条件的变换。论文明确说自己的学习对象是从修改前到修改后的变换，这与绝对条件有本质区别。第四类是指令引导的风格编辑数据集与方法，例如同期出现的语音风格编辑基准。论文在结论讨论中提到，其他基于合成或转换的伪数据框架也可能出现类似的表达幅度偏小现象，这说明用合成补数据的思路是共性挑战，而非本文独有。

这样对照后，缺口就清楚了。不是缺合成器，也不是缺风格标签，而是缺可扩展的三元组。论文因此没有去重新训练一个更大主干，而是设计了一条可扩展的伪三元组流水线，再训练一个轻量的方向条件修正模块。真实录音数据只作为小规模补充，用于捕捉合成难以复现的人类表演响应。

方向跟随任务的形式化与成功标准是什么？

把任务写成可复述的形式。记脚本为文本，参考语音为修改前话语，方向为自然语言文本，目标为修改后话语。系统函数接收三者，输出修改后话语的波形。约束有 3 条。内容约束要求输出的语言内容与脚本一致。

说话人约束要求输出与参考语音被判断为同一说话人。方向约束要求从修改前到修改后的风格变化与方向语义一致。

成功标准因此也是 3 维。自然度要求合成语音听起来正常，不因修改引入明显瑕疵。说话人相似度要求修改前后嵌入余弦相似度落在真人多次表演的正常波动范围内。方向对齐要求第三方听众或模型能判断变化符合方向。论文同时报告这 3 维，而不是只报告音质，这对初学者很重要。

方向跟随 TTS × 风格条件 TTS： 方向跟随 TTS 的分工是以参考语音为起点，按自然语言方向做相对变换，要求保持说话人和文本内容；风格条件 TTS 的分工是以绝对风格标签或提示为条件从零生成目标风格。二者搭配的理由是绝对条件无法表达相对上 1 次表演的改动量，组合意义在于把学习目标从绝对风格分类转为方向条件下的嵌入偏移建模。

一个常见误解是把方向文本当成风格标签。风格标签回答这段语音是什么风格，方向文本回答相对上一版应该怎么改。论文的方向生成明确以两段语音的印象差为条件，而不是对单段语音打绝对标签。只有理解这一点，才能理解后文为什么要先合成语音对、再估计印象差、最后才写方向。

全景：伪数据从哪里来，精炼器放在哪里？

全景可以沿一个样本走一遍。假设有一段参考录音与一个脚本。系统先用印象可控合成模型生成两个语音，一个是不加印象控制的基线，作为修改前，另一个是随机调整印象向量后生成的变体，作为修改后。接着估计两个语音的印象向量并求差，再把差值交给大语言模型写成导演指令。这样就得到一个伪三元组。大量这样的三元组与少量真人录音三元组一起进入训练数据池，用于训练方向条件风格精炼器。

推理时流程不同。用户给出真实参考语音、脚本与方向。参考语音先经过语音编码器得到参考嵌入，方向文本经过文本编码器得到方向表示。风格精炼器根据二者预测一个改变量，加到参考嵌入上，再与脚本一起送入固定的主干合成模型，生成修改后语音。主干本身在该阶段不更新，只负责把修正后的嵌入变成波形。

下面这张总览图把数据来源与模型位置放在了一起，阅读时先分清左右与颜色框的含义，再看箭头方向。

看图路径： 1. 先从右侧训练数据池找到实际三元组与伪三元组两个来源，再看它们如何汇入下方训练数据；2. 再看中间红色风格精炼器如何接收方向文本与参考语音嵌入并输出改变量；3. 最后看左侧主干 TTS 如何把文本与修正后嵌入合成为修改后语音

论文图 1。原论文 Figure 1：“Overview of refinement with direction and actual and pseudo training data.”。

这张图左侧是主干合成路径，中间红色框是风格精炼器，右侧蓝色框区分了实际三元组与伪三元组的来源。实际三元组的上方标注演员与导演，强调真人重读同一脚本；伪三元组的下方标注合成器与大语言模型，强调语音对来自合成、方向来自模型转写。下方训练数据池的箭头说明两类三元组共同监督精炼器。

中间精炼器内部可见方向文本经过现代 BERT、日语版本、层归一化、长短期记忆网络与注意力得到方向向量，语音侧与时间步共同进入线性层与特征调制层以预测向量场。左侧加法符号表示预测的改变量加到参考嵌入上，再进入风格令牌层得到最终语音嵌入。理解这个加法位置，就理解了为何称为精炼而非重合成。

印象向量、编码器与向量场各负责什么？

印象向量是全文的中间语言。白话说，它是用一组反义词轴描述声音听感的数值表。英文可记为印象向量。论文使用 13 个连续维度，每个维度是在 7 点量表上的强度。前 11 个沿用已有验证过的印象轴，包括高低音、男女声、清哑、平静不安、强弱、年轻年老、厚薄、紧张放松、暗亮、冷暖、慢快。

后两个是新增的流畅犹豫与情感中性，用于更好覆盖表演指令。控制时在原始 7 点量表上取负 2 到正 2 的偏移量。

语音侧有 3 个固定或预训练好的部件。语音印象估计器把语音映射到上述 13 维表示，在人类主观评分上训练，并在 held-out 数据上报告均方根误差为 0.40。印象可控合成模型以快速语音合成 2 为骨干，结合冻结的自监督语音编码器与对抗训练，用于生成语音对。方向编码器使用日语现代 BERT 的 310M 版本，把方向文本变成方向表示。

语音嵌入 × 风格精炼器： 语音嵌入的分工是承载说话人相关与风格相关的连续表示并作为主干 TTS 的输入条件，风格精炼器的分工是根据方向文本预测应加到原嵌入上的改变量。二者搭配的理由是固定主干可以保留合成质量与音色建模能力，组合意义在于把方向跟随变成嵌入空间中的加性局部修正而非重训整个合成器。

精炼器的计算目标需要仔细讲。记修改前嵌入为参考嵌入，修改后嵌入为目标嵌入，目标改变量为二者之差。论文把风格精炼看作嵌入空间中的局部加性近似，不假设全局线性。也就是说，只在参考点附近学习一个与方向有关的偏移，而不是假设整个空间都满足线性运算。训练时从高斯分布采样噪声向量，构造中间状态为噪声与目标改变量的线性插值，时间变量在 0 到 1 之间。精炼器预测一个恒定速度场，以参考嵌入、方向表示与时间为条件，目标是匹配从噪声指向目标改变量的速度，并辅以方向一致性与幅度对齐的辅助损失。

整流流匹配 × 方向条件向量场： 整流流匹配的分工是学习从噪声到目标偏移量的连续传输路径以保留多解性，方向条件向量场的分工是以参考嵌入、方向表示和时间为条件输出每一步的速度。二者搭配的理由是同一方向对不同说话人可能对应不同合理改动，确定性回归会坍缩为均值，组合意义在于用随机采样实现多样但方向一致的嵌入修正。

为什么不用确定性回归直接预测改变量。论文给出的理由是同一方向对不同说话人可能对应多个合理的嵌入偏移，确定性回归会坍缩为条件均值，导致更新偏保守。因此采用整流流匹配来建模方向条件下的随机向量场，推理时可以采样得到多样但方向一致的修正。这种选择直接对应后文伪数据偏保守的讨论，说明建模与数据两方面都在处理多样性与稳定性的矛盾。

伪三元组的三步构造如何具体执行？

伪数据生成分 3 步，每步都有可复述的过滤与参数。第一步是伪语音对生成。对 1600 个说话人的内部日语数据，每个说话人随机选 10 段录音，对每段再生成 10 个不同文本的成对语音，分别是不加印象控制与加印象控制的版本。印象控制每次随机选 3 个印象维度，要求它们之间的相关系数低于 0.7，控制值在负 2 到正 2 之间采样。这样初始得到 160000 个语音对。

第二步是过滤与印象估计。过滤用说话人一致性与语速差。说话人一致性用 ECAPA-TDNN 嵌入余弦相似度，要求落在 0.80 到 0.95 之间。太低说明音色漂移太大，太高说明几乎没有变化、对学习方向修改没有帮助。语速比要求在 0.85 到 1.15 之间，排除异常快慢。

过滤后剩下 74619 个语音对。对保留的语音对，用印象估计器分别估计修改前与修改后的 13 维向量，并求差值。

第 3 步是大语言模型方向生成。输入是修改前向量、修改后向量与差值，提示模型扮演声音导演，推断一个能解释该变换的合理方向。关键是方向生成以相对差为条件，而不是对单段语音打绝对标签。生成的方向不限于逐轴描述，可以是组合式或情境化的表演指示，例如保持克制并带轻微犹豫。每个语音对最多生成 5 条方向以增加多样性，再用简单文本过滤去掉过长或含异常符号的样本。

最终得到 350617 个伪三元组，对应 127.6 小时不重复语音，其中 346488 用于训练，4129 用于验证，验证使用 30 个 held-out 说话人。另按说话人多样性抽取 200、400、800 说话人的子集，分别包含 43131、86643、175091 个三元组，用于研究规模效应。

印象向量 × 伪方向文本： 印象向量的分工是以 13 维反义印象轴提供可计算的中间风格差值，伪方向文本的分工是把该差值转写为导演口吻的自然语言指令。二者搭配的理由是直接让人标注海量相对改动不可扩展，组合意义在于用可控合成保证语音对可得，再用大语言模型把数值差转成多样化语言监督。

下图是伪数据生成的可视化，右侧提示框给出了印象差表格与生成的伪方向示例，适合对照 3 步来读。

看图路径： 1. 先看左侧如何用同一文本生成无调制与有调制两个语音作为修改前后对；2. 再看中间如何用说话人一致性与语速比过滤并估计 13 维印象差值；3. 最后看右侧大语言模型提示框中印象差表格如何转写为伪方向文本

论文图 2。原论文 Figure 2：“Overview of pseudo data generation.”。

这张放大的右侧面板显示了提示结构。顶部说明输入是带调制与不带调制语音的 13 维印象向量，任务是生成解释风格变换的合理方向。表格列出了修改前、修改后与差值，例如高低轴从 3.2 到 3.9 差正 0.7，男女声轴从 4.9 到 5.5 差正 0.6，慢快轴从 4.0 到 2.8 差负 1.2。大语言模型据此生成的伪方向示例是英文的给一点魅力、像在温柔地对某人说话。下方箭头指向伪三元组存储，说明语音对加方向即形成训练样本。注意印象向量只是中间线索，不是最终风格表示，方向文本可以超出轴面描述，这正是该方法能产生自然导演口吻的原因。

真实录音数据作为补充单独收集。与 2 名专业演员合作得到 8.9 小时、6899 个语音对。方向事先用大语言模型按已有协议准备，录音时演员按方向重读同一脚本。为增加语言多样性，还用简单、中等、困难 3 种改写模板对方向文本做增强，不含问答风格。精炼器训练时主干固定，只优化精炼器，使用 Adam 优化器，学习率 0.01，批量 32，最多 1,000,000 步，对伪数据、真实数据、混合与不同规模分别训练并按验证损失选模型。

用什么数据、什么说话人、什么指标来测三维目标？

评估要回答 3 个问题，自然度是否受损，说话人是否保持，方向是否对齐，且条件是否公平。说话人选择上，客观评估用 4 名说话人，2 名见过、2 名未见过，均选自高保真会话语料测试集，未见说话人未参与精炼器、印象估计器与印象可控合成的训练。每组 1 男 1 女。修改前语音用固定主干合成，以隔离方向的影响。每个说话人选 100 段录音作为源，每段配 3 个固定池中的句子得到 300 个修改前语音，再用另一大语言模型生成 50 条固定方向，对所有说话人相同，每个修改前语音与所有方向组合，每说话人生成 15000 条方向条件语音。为避免与伪数据构造的偏差，评估用方向生成模型与伪数据构造所用模型不同。

指标分 3 类。说话人相似度用 ECAPA-TDNN 嵌入余弦相似度，比较修改前后。真实录音对的第 5 与第 95 百分位为 0.57 与 0.89，作为正常波动参考。每个说话人先对 300 个参考语音按方向平均，再用 50 个方向级均值画箱线图，以减少话语级波动。自然度用 UTMOSv2 自动预测，源录音在见过与未见说话人上分别为 2.67 与 2.97 附近。

方向对齐用大语言模型打 1 到 5 分，输入为估计的印象变化与方向文本，5 为完全对齐。论文做了合理性检查，真实方向语音对得 3.12 左右，换成反义或无关方向则降到 1.87 与 1.91 附近，说明该代理指标对错配敏感，但因与伪数据构造共用同一印象估计器，只能视为诊断性代理。

主观评估比较 3 种可运行条件，即混合、仅真实、仅伪全量，小规模伪子集因客观趋势一致而不再重复以控制负担。每个说话人选 3 个修改前语音与 20 条代表性方向，共 60 个三元组。众包分别有 258 与 208 名参与者，每样本至少 10 人评分。说话人相似度用 5 点量表，方向对齐用 5 点量表，且明确要求若音色明显变化则对齐打 1 分，以保证对齐判断在身份稳定前提下进行。支持模型部分，印象可控合成训练于 27000 小时多说话人内部日语语音，波形器为 HiFi-GAN 第一版。演示页地址当前可用，论文脚注给出演示页链接，资源状态显示可用，因此可写当前已公开，但复现仍需内部数据与模型权重，不能仅靠演示页完成。

伪数据保音色、真人数据提对齐的证据是什么？

先看说话人相似度的分布。总体趋势是伪条件更稳，真实条件方差大，混合居中。下图左右分别对应见过与未见说话人，横轴为相似度，纵轴为不同训练条件，虚线为真实录音对的参考区间。

看图路径： 1. 先确认横轴为说话人相似度，纵轴为不同训练数据条件，蓝色与红色虚线为真实录音对的下分位与上分位；2. 再对比左侧见过说话人与右侧未见过说话人下方框位置与离群点的数量差异

论文图 3。原论文 Figure 3：“Speaker similarity to pre-mod utterances using ECAPA-TDNN embeddings. P5/P95 show reference stats from recorded pairs.”。

这张图左侧见过说话人的箱体普遍位于参考区间内，低于下分位的离群点较少。右侧未见说话人的差异更明显，仅真实条件的箱体更宽且下延更长，多次落到 0.57 以下，说明身份保持不稳定。相比之下，伪全量与不同规模伪子集的箱体更集中，且随说话人多样性增加，极端漂移减少。混合条件比仅真实更稳定，保留了一定的变化幅度。阅读时不要把单侧箱体位置直接当成胜负，要结合离群点数量与区间覆盖来判断稳定性。

伪三元组 × 真实录音三元组： 伪三元组的分工是以合成方式提供大规模、可扩展的相对变化示例，真实录音三元组的分工是提供演员真实响应导演指令的 prosody 与表演变化。二者搭配的理由是伪数据变化幅度偏保守而真人数据量小且音色漂移风险大，组合意义在于用伪数据稳定说话人保持能力，再用少量真人数据补充表达幅度与对齐能力。

自然度与方向对齐的数字需要放在同一条件下看。以下整理客观评估表，条件、见过与未见说话人的自然度与大语言模型对齐分必须同时核对，不能只看一列。表前问题是，在固定主干与固定方向集下，不同训练数据是否在不损伤自然度的前提下改善对齐与稳定性。公平条件是同一主干、同一 50 条方向、同一 300 个修改前语音。指标方向是自然度越高越好，对齐分越高越好。

表中自然度各条件与修改前基本持平，说明方向精炼没有明显损伤音质。方向对齐上混合与仅真实高于仅伪，混合在见过说话人上达到与仅真实相当，在未见说话人上介于两者之间。仅伪的对齐偏保守，但已能实现稳定的身份保持修改。论文因此判断伪数据与真实数据互补，混合在保持鲁棒性的同时达到可比的对齐。

主观评估进一步验证了上述权衡。以下为主观相似度与对齐平均意见分，量表均为 1 到 5，分数越高越好。表前问题是，人听到的音色保持与变化可感知性是否与客观趋势一致。公平条件是同一 60 三元组抽样与同一评分量表。

表后解释需要同时讲收益与代价。仅真实的对齐最高，但相似度最低，说明变化幅度大、更易被感知，但音色不稳。仅伪的相似度最高，但对齐最低，说明修改偏保守。混合位于中间，论文认为这是稳定性与表达性之间最有利的折中。未胜出项在这里很清楚，仅伪在对齐上未胜出，仅真实在相似度上未胜出，混合也没有在单项上同时第一，但综合最平衡。主观对齐与客观大语言模型对齐的排序一致，这为代理指标提供了一定的支持，但不等同于证明该指标可替代人评。

规模与保守性：多大规模才稳，为什么伪数据偏保守？

论文用伪数据规模做了消融，比较 200、400、800 说话人子集与全量。客观趋势是随说话人多样性增加，说话人相似度的极端漂移减少，而对齐没有大幅下降。也就是说，加数据主要买的是稳定性，而不是更高的对齐峰值。这对初学者是一个重要区分，加数据不一定让变化更大，而是让不同方向下的音色更少崩。

为解释仅伪偏保守，论文测量了训练数据本身的基频变化。专业录音的修改前后平均对数基频绝对变化为 0.14 左右，标准差为 0.15 左右，伪数据仅为 0.05 左右、标准差 0.08 左右。基频标准差的变化也呈现同样趋势，真实为 0.057 左右、标准差 0.063 左右，伪为 0.024 左右、标准差 0.041 左右。这些数字报告的是数据特性，不是模型效果，但支持了一个有限解释，即伪数据的韵律变化幅度小于专业表演，因此学到的修改也更保守。论文明确说这反映了专业表演的更宽表达范围，而非伪三元组思路本身的失败，类似趋势可能出现在其他基于合成或转换的伪数据框架中。

另一个反证是评估用方向与构造用方向的模型隔离。客观评估特意换了不同的大语言模型生成方向，以避免伪方向的语言风格偏好被同一模型记住。如果仅伪的稳定性完全来自语言模板的过拟合，那么换模型后优势应消失，但结果仍显示伪条件更稳，这支持了稳定性来自语音对构造与过滤，而非单纯的文本记忆。当然，这仍是支持性证据，不是因果证明，因为说话人、文本与方向三者仍可能存在未控制的交互。

哪些边界没有测，哪些推测还不能当结论？

先讲未评测边界。实验语言为日语，支持模型训练于内部大规模日语数据，真实录音也只有 1 男 1 女 2 名演员。论文没有报告跨语言、跨风格或儿童、老年等特殊音色的表现，因此不能把结论直接推广到其他语言。评估文本来自固定池，方向也是固定 50 条，虽然对所有说话人相同以保证公平，但未覆盖开放域任意导演指令的长尾情况。

再讲指标限制。大语言模型对齐分依赖同一印象估计器，既用于构造伪数据，又用于评估印象变化，因此存在循环依赖风险。论文用反义与无关方向的低分做了敏感性检查，并用主观排序一致做了间接验证，但仍应表述为诊断性代理，而非等同人评。说话人相似度用单一说话人嵌入模型衡量，未报告误判率、等错误率或人工混淆实验的细节，不能从余弦值直接推定实际应用中的认错概率。

最后讲成本与延迟缺项。论文报告了精炼器优化步数、批量与学习率，但未报告训练耗时、显存占用、推理实时率与首包延迟。总体趋势不等于每组都成立，例如混合在平均上平衡，不代表对每条方向都同时保住音色与对齐。缺失这些证据不是技术错误，但在选型时不能承诺延迟或成本得到改善，需要补测才能上线。

要复现这条流水线，先做什么，需要哪些超参数？

复现应按学习依赖倒排，先准备可运行的主干，再做数据，最后训精炼器。第一步准备三件套。印象估计器需输出 13 维印象向量并固定用于构造、训练与评估。印象可控合成需支持按 3 维随机偏移生成语音对，主干合成固定，方向编码用日语现代 BERT。论文的印象可控模型基于快速语音合成 2 骨干与冻结自监督编码器，波形器为 HiFi-GAN，若没有同款权重，需要先用自有数据复刻一个可控合成器，否则无法生成可比的语音对。

第二步复刻伪三元组构造。按 1600 说话人、每人 10 句、每句 10 对的比例生成初始对，印象控制选相关低于 0.7 的 3 维、取值负 2 到正 2。过滤阈值必须保留，说话人余弦 0.80 到 0.95，语速比 0.85 到 1.15。每个保留对最多生成 5 条方向，并做长度与异常符号过滤。划分上留 30 个说话人做验证，最终量级约为 35 万三元组与 127.6 小时不重复语音。若数据量不足，可先复刻 200 说话人子集的 4 万量级，验证稳定性趋势是否出现。

第 3 步训练精炼器。固定主干，只训练精炼器，优化器为 Adam，学习率 0.01，批量 32，最多 1,000,000 步，按验证损失选模型。评估时固定主干合成修改前语音，用固定方向集测试，并同时报告自然度、说话人相似度与对齐 3 维。代码与权重方面，论文只给出演示页链接，当前可用，但不等于代码开源或权重可下载。复现前应先确认自有语料授权、合成主干与大语言模型版本，因为方向文本风格会随模型版本变化，直接影响可比性。

何时值得尝试这条路线，还需补哪项验证？

当任务是相对修改而非绝对风格，且缺乏成对方向数据时，这条路线值得尝试。具体信号有 3 条。已有可用的零样本主干，但没有同一文本多版本表演。需要对未见说话人保持音色稳定，而少量真人数据容易导致漂移。方向文本多样且开放，不希望把方向写成固定的分类标签。此时用印象可控合成补大规模伪对，再用少量真人录音补表达幅度，是论文验证过的折中。

何时应谨慎。如果目标是极具戏剧性的大跨度表演，或要求精确复刻某位导演的特定美学，仅伪数据可能偏保守，需要先评估基频与时长变化幅度是否满足需求。如果应用对延迟与成本敏感，论文未给出推理开销，不能默认精炼器无负担，需要实测嵌入修正与采样步数带来的延迟。

还需补的验证有三项。第一是开放指令泛化，用与训练完全不同的导演、文本域与语言测试，避免模板记忆。第二是人评与代理指标的更大规模对齐分析，明确在哪些方向类型上模型判断与人判断分歧最大。第三是训练与推理预算的完整报告，包括显存、耗时与实时率，以便判断规模效应是否值得。记住核心判断，伪数据换来的是稳定性，真人数据换来的是变化幅度，二者结合不是简单取最高分，而是在可感知的变化与可接受的音色漂移之间找到可部署的平衡点。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总