以参考语音为基准、用文字改一项：FineCombo-TTS 的相对属性控制

英文题目：FineCombo-TTS: Collaborative and Precise Controllable Speech Synthesis Using Text Descriptions and Reference Speech

会议身份：conference:interspeech:2026:conference-paper-id:zhou26h_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #流匹配 #语音 #文本到语音

评分：6.3/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Shuoyi Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Yixuan Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Peiji Yang：机构信息未能从会议 PDF 纯文本可靠映射
• Yifan Hu：机构信息未能从会议 PDF 纯文本可靠映射
• Yicheng Zhong：机构信息未能从会议 PDF 纯文本可靠映射
• Zhisheng Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Zhiyong Wu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

参考语音擅长零样本克隆但依赖参考质量，文本描述灵活但难以刻画细粒度声学，以往联合方法只是参考定音色加文本粗写全局风格，协作松散。先由语音属性抽取器将提示语音作为输入，编码为拼接音色与残差风格的统一属性嵌入Ea，作为后续变换起点。再以源嵌入Ea与T5编码的描述语义S为条件输入语音方差预测器，用条件流匹配学习源到目标嵌入的细粒度残差映射，输出目标属性嵌入。最后由自回归编解码语言模型以文本与预测目标属性为共同约束，生成Descript Audio Codec声学Token并重建波形，从而衔接参考接地与文本引导。为支持相对控制，作者构造FineEdit三元组〈源语音、控制描述、目标语音〉，每次只变韵律、情感、音色中一类。在FineEdit未见划分的韵律控制评测任务下，FineCombo-TTS的速度控制准确率为98.00，高于VoxInstruct-Joint的速度控制准确率91.35。结论限于英文朗读与情感库，跨语言、噪声参考与强风格冲突外推未验证，训练与推理成本未披露。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，哪些信息必须保留？

这篇论文研究的输入有三样。第一是待合成的文本，也就是要说什么字。第二是参考语音，也就是学谁的底子，论文里也叫源语音或提示语音。第三是控制描述，也就是用自然语言写只改哪一项，例如加快语速、提高音高、换成开心情绪、换成年轻女声。输出是波形语音，它要同时满足三点：字要读对，参考语音里不该改的部分要留住，描述里点名要改的那项要改到位。

必须保留的信息包括说话人身份在不改音色时不能漂移，韵律和情感在不改时不能被顺手带偏，以及文本内容不能漏字多字。初学者容易把可控语音合成理解成风格迁移加克隆的简单叠加，但论文强调的难点是相对控制：不是生成一个绝对开心或绝对快的声音，而是从给定参考出发，只沿描述方向走一步。举例来说，同样一句加快语速，对本来就快的人和本来很慢的人，目标快慢的绝对值并不一样，模型必须看参考才能定量。

为此论文同时做模型和数据：模型上用统一表示加变换预测器，数据上构造源到目标只差一项的三元组。下面按学习依赖展开，先分清 3 条已有路线，再走一遍样本的完整链路。

三条已有路线各解决了什么，还缺什么？

第一条路线是基于参考语音的方法，代表是零样例语音克隆。它的做法是把参考语音编码成说话人或风格条件，再驱动语言模型或声码器生成同样音色的话。优点是音色像，缺点是完全依赖参考质量，参考里有什么就复刻什么，想把悲伤改开心或把慢改快没有直接把手。 第二条路线是基于文字描述的方法，例如提示控制合成。它把音高、语速、情绪等写成文字提示，模型学文字到声音的映射。

优点是自由，想怎么写就怎么写，缺点是文字本身粗，难以表达细腻的音色和韵律差别，且训练用的多是孤立的语音加文字对，学到的是训练分布里的绝对对应，而不是相对变化。 第 3 条路线是联合控制，例如文中对比的控制语音和指令到语音方法。论文指出已有联合多是松耦合：参考只管音色，文字粗暴覆盖全局风格，两路没有真正协作。

理解这一点很关键，后文所有设计都是为了让两路在同一个属性空间里相遇：参考给定起点，文字给定方向和步态，变换模块负责走完这一步。

相对控制难在哪里？先看一张任务示意

论文把任务定义为参考感知且偏好驱动的合成。参考感知指不该改的属性要贴住参考，偏好驱动指该改的属性要听文字的。数据层面的难是缺少显式编码相对变化的成对样本，模型层面的难是音色、韵律、情感在自然语音中纠缠，硬做显式解耦容易漏信息或结构冗余。 下面这张图把 3 类控制并排画出，左边是同一个源，中间是三句不同的改法，右边是 3 个只变一项的目标。它不是结构图，而是任务契约的可视化：每次只动一类属性。

看图路径： 1. 先看底部蓝色源语音条带，确认音色、语速音高、情感三个基线图标；2. 再看中间三张文字卡片，辨认改音色、改情感、改韵律的不同颜色箭头；3. 最后看顶部三路目标语音，核对每路只变一项、其余图标变淡的表示

论文图 1。原论文 Figure 1：“The proposed FineCombo-TTS enables precise con- trol over the timbre, prosody, and emotion of the source (refer- ence) speech.”。

从像素看，底部蓝色条带是源语音，上面并排 3 组图标分别标出音色人像、语速音高波形和情感脸，右侧还有把慢乌龟变成快兔子的图例，说明相对变化的含义。中间 3 张虚线卡片是英文控制句，分别对应改音色为女性年轻清亮、改风格为开心、改韵律为加快并升高，箭头颜色与顶部目标一一对应。顶部 3 个目标用不同底色区分，每格左侧是波形，右侧原属性图标变淡、新属性图标变实，表示只改一项。

初学者应这样读图：不要把它当成模型内部有 3 条独立通道，而是 3 次独立的单项任务，每次输入都是源加一句话，输出都是只差一项的目标。 术语分工上，参考语音提供声学基线与需要保持的属性锚点，文字描述只指定待变的相对属性方向；二者必须组合的原因是单靠参考语音无法表达偏好方向，单靠文字描述无法锁定说话人基线与细粒度声学细节，故以参考语音接地、以文字描述定向才能实现协同而精确的控制。

参考语音 × 文字描述： 参考语音负责提供声学基线，即保留谁在说、原来多快多高、原来什么情绪；文字描述负责指定只改哪一项以及改向哪里；二者搭配的原因是单靠参考只能复刻、单靠文字只能凭空想象，组合后模型才能做有锚点的相对修改。

整体链路：一个样本如何从输入走到波形？

沿一个样本走完全程有助于定位每个模块。假设源是一段中年男声中性语速，控制句是加快语速并提高音高，待合成文本是另一句话。第一步，语音属性提取器把源语音变成统一属性嵌入，其中音色分支抓说话人身份，残余风格分支抓语速音高等细节，两段向量拼在一起。第二步，文字编码器把控制句变成句子级语义表示。

第三步，语音方差预测器以源嵌入为起点、以文字语义为方向，预测出目标属性嵌入，这个目标嵌入应仍是同一个人的音色，但语速音高已向快高移动。第 4 步，语音合成骨干以待合成文本为内容条件、以目标属性嵌入为风格条件，自回归生成多层声学令牌，再经描述音频编解码器还原波形。 下图是训练 2 阶段与推理 3 分支的总装图，左侧上下是 2 阶段训练，右侧是推理，图中火焰表示训练更新、雪花表示冻结，箭头表示数据流向。

看图路径： 1. 先沿左上第一阶段看文本分词与语音属性提取如何汇入语音合成骨干；2. 再看左下方第二阶段语音方差预测器左右两侧的源嵌入与目标嵌入监督；3. 最后看右侧推理分支三路输入如何分别进入合成骨干与方差预测器

论文图 2。原论文 Figure 2：“The overall architecture of FineCombo-TTS.”。

对照像素解释：左上第一阶段文本经分词器得到文本嵌入，语音提示经残余风格编码器和音色提取器得到统一嵌入，两路经交叉注意力进入合成骨干输出目标语音。第二阶段左侧源提示得到源嵌入，文字描述经编码器得到语义，两者拼成条件进入中间的方差预测器，右侧目标语音经同一提取器得到目标嵌入作为监督。右侧推理时底部 3 路输入分别是文本、语音提示和描述，中间属性提取器和文字编码器输出汇入方差预测器得到目标嵌入，再与文本嵌入一起进入顶部合成骨干生成波形。记住这个顺序，后文公式和训练策略都是在这个骨架上加约束。

属性提取器做了什么，为什么不硬拆属性？

白话说，属性提取器就是把参考语音压缩成模型听得懂的一小段向量。英文叫语音属性提取器，输出记作统一属性嵌入。它由两部分组成：音色提取器和残余风格编码器。音色提取器直接用预训练的分解编解码器中的音色分支，借助大规模预训练得到稳健的说话人表示，训练时冻结。残余风格编码器参考梅尔风格编码器，用卷积加自注意力同时看局部和全局梅尔谱，输出残余风格嵌入，捕捉语速音高情绪等细节。

最终把两者拼接起来，不做显式解耦。 不硬拆的理由在原文写得很直白：保留自然耦合，避免信息泄漏和结构冗余。初学者常见误解是以为可控必须先把音色韵律情感切开再分别控制，论文反其道而行：切不开就不切，让变换模块在耦合空间里学只改一项的映射，用配对数据约束它。

统一声学表示 × 显式解耦： 统一声学表示负责把音色嵌入和残余风格嵌入拼在一起保留自然耦合，显式解耦则试图把音色、韵律、情感切成独立变量；论文不做后者的原因是自然语音中三者纠缠、硬切易漏信息，统一表示加条件变换反而能稳定地只改目标属性。

方差预测器如何算出从源到目标的那一步？

白话说，方差预测器就是按文字要求把源向量搬到目标位置的小网络。英文叫基于条件流匹配的语音方差预测器，条件是源嵌入加文字语义。条件流匹配是一种生成式建模思路，类似扩散和流匹配在图像编辑中的用法，好处是能学 1 对多的细粒度映射。 计算过程按原文分 4 步。先用预训练文本模型编码描述，经交叉注意力得到句子级表示。

把该表示与源嵌入拼成条件。训练时从配对数据取源嵌入为起点、目标嵌入为终点，两者只差指定属性；对无参考纯描述任务则把源嵌入换成随机噪声。做线性插值生成中间状态，目标速度是终点减起点，主干用 1 维神经网络估计速度场，损失是估计速度与目标速度的均方误差。推理时从源出发沿估计速度场积分即得目标嵌入。

引导机制分两处。方差预测器上的无分类器引导在训练时以固定概率丢掉文本条件得到空条件嵌入，推理时用引导尺度加权混合有条件和无条件分支，放大文字的影响。合成骨干上的文本引导类似，训练随机丢文本，推理加强对内容的服从。原文实现细节只给到丢弃概率为 0.1、推理尺度为 2，预测器消融中还用到描述引导 1.5 加文本引导 2.0 的组合，未报告积分步数和噪声表，需复现时补看代码。

语音方差预测器 × 条件流匹配： 语音方差预测器负责把源属性嵌入变成目标属性嵌入，条件流匹配负责给出从源到目标的连续插值路径和速度场学习目标；搭配后预测器以源嵌入和文字语义为条件，沿着学到的速度场走一步即完成 1 次文字引导的属性偏移。

无分类器引导 × 文本条件： 文本条件负责告诉模型要往哪个语义方向改，无分类器引导负责在推理时把有文本条件和无文本条件的输出按权重混合放大；二者组合的意义是用训练时随机丢文本学到的两个分支，在推理时加强指令服从而不重训模型。

合成骨干如何把文字和目标属性变成声音？

白话说，合成骨干就是看字发声、看属性定腔调的解码器。英文是基于解码器的变换器编解码语言模型。输入文本经分词得到文本嵌入放在前面做条件，目标属性嵌入经每层的交叉注意力注入，以文本特征为查询、属性为键值做调制。声学令牌按延迟模式联合预测多层，保证层间和时间上的韵律连贯，概率记为给定文本和属性时生成声学序列的分布。最后用描述音频编解码器把令牌还原波形。

为减少漏字重复，训练时随机丢文本做无条件分支，推理时用对数域加权增强对文本的服从。初学者不要把这里的文本引导和前面的描述引导混淆：前者保内容读对，后者保属性改对，两者尺度在原文都设为 2，消融中还试了不同组合。

两阶段训练和三类配对数据是如何构造的？

训练分 2 个阶段。第一阶段冻结分解编解码器的音色提取器，联合训练残余风格编码器和合成骨干，先在大规模文本语音数据上预训练建立稳定生成和统一嵌入，再在小规模情感数据上微调提升表现力，支撑零样例场景。第二阶段单独训练语音方差预测器，用文字语音对做纯描述控制，用配对子集做有参考的精确联合控制。 配对数据集叫精细编辑，是三元组源语音加控制描述加目标语音，每对只差一类属性。

韵律对保证同说话人同文本，只变语速音高，基于有声书数据用音频工具调速调调生成多版本再两两配对，描述写明相对调整。情感对固定说话人、变换情绪，用情感语音库中同一人不同情绪配对，文本内容不要求相同，描述写目标风格。音色对跨说话人配对、尽量保持韵律风格一致，目标说话人描述前加转换音色前缀，并分情感中性和情感丰富两子集，前者用有声书按韵律分组跨人配对，后者用情感库按韵律加情绪分组并配人工说话人描述。

源语音 × 目标语音： 源语音负责提供变换起点，目标语音负责提供只差一项属性的监督终点；FineEdit 把二者配成三元组的原因是让模型看到的不是绝对的好听或悲伤，而是从这个具体源出发、按这句话该怎么变的相对差值。

论文正文脚注给出演示与数据集链接，但本次收到的资源状态为未发现可验证的可用资源，因此此处不写已公开或可下载，只按正文转述构造方法，复现需自行按上述语料和工具重建。

实验条件：数据、模型、基线和指标方向是什么？

第一阶段在多语种有声书约 45000 小时和修复版有声书 585 小时上预训练，再在情感语音库 45 小时和文字风格控制语料 330 小时上微调。第二阶段用该风格语料中 23.6 万描述语音对做纯描述控制，加每类约 600,000 对配对数据做联合控制。合成骨干是 12 层变换器解码器，方差预测器是 1 维神经网络。训练在 8 卡图形处理器上进行，第一阶段 250,000 步批量 32 学习率 0.0001，情感微调 70,000 步学习率 0.0005，第二阶段 140,000 步学习率 0.0001，随机掩蔽概率 0.1，推理引导强度为 2。 基线是为公平对比而改的联合版指令到语音模型。

原文指出此前没有同时吃参考和描述的模型，因此在原全语言模型结构上把参考声学令牌拼到输入序列前，使其支持联合控制，并在相同数据和相同训练策略下训练。测试从配对数据中采样且训练未见。 指标分主观和客观。主观有说话人相似度、指令跟随度和韵律一致性，分数越高越好。客观有词错率越低越好，说话人编码余弦相似度越高越好，基频相关越高越好，情绪准确率和情绪嵌入相似度越高越好。

联合分析还报告受控准确率越高越好、非受控变化越低越好，前者看该改的是否改对，后者看不该改的偏离参考多少。客观工具在脚注指明用大词汇识别模型测可懂度、说话人验证模型测相似度、情绪模型测情绪。

韵律控制：该改的改对了吗，不该改的动了吗？

要回答的问题是给定参考和改韵律的描述，语速音高是否按指令变，而音色是否留住。公平条件是同一基线、同一数据和训练策略，指标方向是受控准确率越高越好、非受控变化越低越好，主观相似度和跟随度越高越好。

上表比较联合基线与本方法在韵律控制上的表现，列覆盖主观相似度、跟随度、词错率、说话人相似度以及速度音高的非受控变化和受控准确率。读数显示本方法在跟随度和受控准确率上报告更高，速度准确率接近 98，音高准确率超过 93，而速度和音高的非受控变化更低，说明只改目标韵律时对其他属性的扰动更小。代价是词错率略高于基线，论文仍报告主观相似度和说话人相似度保持高位，支持音色得到保留的判断。

但需注意该表未给出统计显著性和置信区间以外的分布，末步数值不代表所有语速音高组合都同等好。 未胜出项是可懂度：本方法词错率高于基线，提示更强的韵律变换可能轻微影响发音稳定，这是后文多重引导消融要继续权衡的点。

情感与音色控制：改情绪留音色，换音色留韵律能做到吗？

要回答的第二个问题分两半：改情绪时音色是否留住，换音色时韵律情绪是否留住。比较对象仍是同一联合基线，指标方向是情绪准确率越高越好，音色控制的跟随度、韵律一致性、基频相关和情绪相似度越高越好。

上表左侧为情感控制，右侧为音色控制，列覆盖主观相似度、跟随度、词错率、说话人相似度、情绪准确率以及音色侧的韵律一致性、基频相关和情绪相似度。报告显示情感准确率（%）从基线的 47 提高到 85，同时主观相似度和说话人相似度仍高于基线，支持情绪变换下音色保留的判断。音色控制侧本方法在跟随度、韵律一致性、基频相关和情绪相似度上均高于基线，支持换音色而留韵律情绪的判断。

限制是情感更强时说话人相似度可能下降，消融中提高描述引导后也观察到类似权衡，因此总体趋势不等于每种情绪强度下都同时最优。 未评测边界包括跨语种、强口音和极端音高下的稳定性，原文未报告这些切分，复现时不应把平均增益推广到全程。

拿掉引导和残余风格编码器会发生什么？

消融要验证两处设计的增量。第一是多重无分类器引导，比较无引导、仅文本引导和双引导在情绪任务上的词错率、说话人相似度和情绪准确率。第二是残余风格编码器，比较有无它时零样例场景的失真和说话人相似度。

上表整理原文两组消融的数字，左半为引导策略，右半为残余风格。引导侧报告显示加强描述引导把情绪准确率（%）从 81 提高到 86，加入文本引导把词错率从 14.17 降到 9.06 附近，双引导在保持自然度的同时指令服从最好，但说话人相似度略降，说明更浓的情绪表达会稀释音色相似度。残余风格侧报告显示加入后失真从 11.08 降到 10.83、相似度从 90.00 升到 90.20，支持其对说话人风格建模有正向贡献。原文未报告去掉音色提取器或只用噪声起点的失败条件，也未给出延迟和计算开销，相关性不等于因果，复现时应固定随机种子和评测集再看差值是否稳定。

哪些结论有边界，哪些量根本没测？

直接报告的是在配对测试集上的相对控制精度和主观跟随度，有限解释是统一表示加流匹配避免了显式解耦的泄漏，待验证的是该思路是否同样适用于噪声参考、远场录音或多说话人混叠。原文训练资源只给卡数和步数批量学习率，未报告总时长、显存峰值和推理实时率，输出帧率与实际延迟需分开讨论，不承诺延迟改善。 误判率和成本未测量：情绪准确率用情绪模型自动判定，主观量表人数和一致性未在所给证据中交代，不能把自动指标当人评。

不同指标差值不能混放一列比较，百分点和相对百分比也不同，读表时要按原表头单位理解。此外演示链接在正文出现，但本次未能确认可达，不作为可用性证据。

要复现，先准备什么，先跑哪一步？

先按原文交代准备数据：大规模有声书做预训练、情感库做微调、风格语料做描述控制，再按 3 类规则自建配对，韵律用音频工具调速调调并两两配对，情感按同人不同情绪配对，音色按同韵律跨人配对并保留情感中性和丰富两个划分。划分采样聚合口径以原文为准，未写明的随机种子和验证集切分需自己固定并记录。 再按 2 阶段跑模型：第一阶段冻结音色分支，训练残余风格编码器和 12 层合成骨干。

第二阶段冻结前后两端，单独训练 1 维方差预测器，源为起点目标为终点，纯描述任务把源换噪声，损失为速度均方误差，掩蔽概率 0.1。推理时描述引导和文本引导分别设置，原文主实验用 2，消融用到描述 1.5 加文本 2.0，需在验证集上先调再报测试。基线复现要把参考声学令牌拼到输入前并用同数据同策略训练，否则不算公平对比。硬件按 8 卡配置估算预算，缺失的总时长和推理开销需自己补测后才能谈部署。

何时值得尝试这种相对控制思路？

当任务是有参考只改一项时值得尝试，例如保留用户音色只加快语速，或保留语速只换情绪，此时成对相对数据比绝对描述更对症。当没有参考、只有文字想象时，可退化为噪声起点加描述条件，但精度预期应下调。 复述方法的关键句是：用拼接的统一嵌入保留耦合，用配对数据学从源到目标的速度场，用双重引导在推理时放大文字方向。还需补的验证是统计显著性、更多基线、噪声参考下的鲁棒性以及推理成本，只有补齐这些，才能把论文报告的精确协作从测试集结论推广为实用收益。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总