E3-System：用检索到的风格语音让任意音色说出指定情感

📄 E3-System：用检索到的风格语音让任意音色说出指定情感

英文题目：E3-System: Expressive EmoData, Explicitly Controllable, Easy-to-Use TTS

标签：#文本到语音 | #韵律与风格控制 | #检索增强 | #数据集 | #数据集构建

评分：6.2/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.1/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Yiqiao Huang：机构信息未在 arXiv HTML 中可靠披露
• Xiaolong Lin：机构信息未在 arXiv HTML 中可靠披露
• Zhenpeng Zhan：机构信息未在 arXiv HTML 中可靠披露
• Zhizheng Wu：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

零样本文本到语音需要由输入文本为未见说话人生成语音，难点是自然语言描述的风格意图缺少可直接合成的声学细节，而直接提供语音风格参考又容易混入参考说话人的音色。E3-System用千小时级多语言表情数据EmoData建立风格空间，为后续映射与迁移提供可用声学候选。风格检索增强把文字意图映射为库中高质量声学风格参考，检索得到的风格提示与目标说话人提示共同进入合成器。双提示合成器接受说话人提示控制音色、风格提示控制表达，先生成语义token再经掩码扩散生成声学token，并用语音转换构造的伪平行数据训练解耦以避免音色、内容与风格泄露。在LibriTTS测试集随机抽取300组说话人提示与风格提示的双提示解耦合成评测中，不用检索的Ours w/o RAG在说话人相似度70.15与风格相似度89.22上同时高于Vevo-TTS、IndexTTS2和DisCo，词错率为2.51%。该结论适用于有高质量风格库与双提示输入的表情迁移场景，强情感迁移时说话人保持可能下降，带检索的文本控制接近但未超过直接语音提示的风格准确度，对库外语言、情感与细粒度强度节奏尚未充分验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

零样本语音合成要解决什么输入输出问题

零样本语音合成的输入是一段要朗读的文本加上一小段参考语音，目标是在没有见过目标说话人训练数据的情况下，生成保留该说话人音色、内容可懂、听感自然的语音。这里音色指听起来是谁在说话，由基频均值、共振峰分布等长期声学特征决定；风格指怎么说，包括情绪类别、情绪强度、语速快慢、重音和停顿等韵律变化。输出必须同时满足三点：文字内容读对、音色像目标说话人、表达符合要求的风格。

论文指出，已有系统能克隆未见说话人，但在可控的表达力上仍然有限。用文字描述控制很方便，却缺乏声学依据，同一句话多次生成韵律不一致，难以传达情绪强度和节奏细节。直接给一段风格语音做提示能给出具体韵律，却常把提示说话人的音色也带进来，还要求普通用户自己去挑选合适的参考语音。原文引用已有研究说明，不合适的参考会明显降低合成质量，这对非专业用户成本高且容易出错。

已有路线为什么难以兼顾方便与解耦

按原文的对比，已有路线可以分成 3 类。第一类是大规模有声书或播客语料训练的零样本系统，数据干净量大但风格偏中性，难以提供强烈的情绪变化。第二类是录音室情感数据集，表达强烈但规模小，且存在文本语义与情感韵律不匹配，例如悲伤文本配愤怒韵律，规模和多语覆盖都受限。第 3 类是可控合成，文字指令型例如 PromptTTS、InstructTTS 易用但没有声学参考，难以做零样本音色克隆和细粒度强度节奏控制，生成方差大；语音指令型能保留细节但依赖人工挑选参考语音。

在解耦方面，Vevo-TTS、DisCo 等尝试把音色与风格分开，但常出现音色泄漏、风格泄漏或内容泄漏，也就是生成语音混入了风格提示说话人的音色，或说话人提示自带的风格，或训练目标的文本内容。原文强调，理想系统应像耦合的最优基线一样保真，同时能任意组合不同音色与风格，这正是 E3-System 的定位。它不是只做更大的数据，也不是只做更好的检索，而是把风格空间、意图映射和解耦合成连成完整链路。

E3-System 把任务拆成哪三个子问题

E3-System 把从意图到语音的完整链路拆成 3 段。第一段是表达性风格空间的构建，需要大规模、多语种、高表达力且语义与韵律一致的数据，否则检索和合成都没有原料。第二段是意图到声学的映射，把很高兴很夸张这类抽象文字变成一段可直接用的高质量风格语音，解决文字控制方差大和人工挑选成本高的问题。第 3 段是音色与风格解耦的合成，在给定说话人提示决定音色、风格提示决定表达的前提下，生成内容正确的语音，且不让两种提示互相污染。

3 个子问题分别对应 EmoData、Style-RAG 和 Dual-TTS。缺少任何一段，链路都会断开：没有数据则风格单一，没有映射则文字不可用，没有解耦则换风格就串音色。论文把三者统一为意图到语音框架，给定目标说话人和文字风格描述或语音风格提示，生成保留目标音色的表达性语音。

三部分如何串成一条从意图到语音的链路

实际使用时链路是这样的：用户给出要合成的文本、一段目标说话人的语音，再给出文字风格描述或直接给出风格语音。如果给的是文字，Style-RAG 先在 EmoData 建成的图文语音库中检索最匹配的一段风格语音；如果直接给语音，就跳过检索。接着 Dual-TTS 同时读入说话人提示和风格提示，先由文本到语义阶段生成融合风格的语义 token，再由语义到声学阶段结合说话人提示的声学细节生成声学 token，最后由解码器变成波形。训练时中间还用声音转换造出的伪真值做监督，让模型学会在没有真实配对数据时也能解耦。

说话人提示 × 风格提示： 说话人提示只决定听起来是谁在说话，即目标音色；风格提示只决定怎么说，即语速、重音、情绪起伏等韵律。单提示系统把二者绑在同一段参考语音里，无法任意组合，分开输入后 Dual-TTS 能把风格提示的韵律搬运到说话人提示的音色上，组合后得到音色乘以风格的显式控制能力。

下面这张系统总览图把检索、双自回归语言模型和掩码扩散的连接画得很清楚，建议对照文字看数据流向，重点是左侧检索输出如何进入中间的自回归输入。

看图路径： 1. 先看左侧 Style RAG 框内风格描述如何选出一段匹配风格提示；2. 再看中间文本到语义框内风格特征与说话人特征如何分开进入；3. 最后看右侧语义到声学如何用掩码扩散生成目标音色乘以风格的波形

论文图 1。原论文 Figure 1:：“An illustration of the proposed Dual-TTS.”。

从图中可见，左侧 Style RAG 框内风格描述经过对比匹配得到匹配风格提示，它与输入文本一起进入中间文本到语义框，再经过序列自回归上下文模型和快速自回归细节模型得到说话人乘以风格的语义。训练时该语义与来自声音转换的伪真值语义计算损失，推理时则与说话人语义和声学一起进入右侧掩码扩散模型，输出保留目标音色又带有检索风格的波形。中间框内还画出风格特征、说话人特征、文本 token 与语义 token 之间的解耦与内容关联，说明音色、风格、内容 3 路信息的分工。

Dual-TTS 怎样用两个提示分别控制音色和风格

Dual-TTS 的输入处理分 2 个阶段。文本到语义阶段把输入文本、风格提示、说话人提示一起编码：说话人提示被编码为全局嵌入，控制音色；风格提示被编码为风格向量，注入到参考语义 token 中引导说话风格。模型采用双自回归结构，上下文自回归负责捕捉长距离依赖以保持语义连贯，快速自回归做轻量细化以加速推理并保留局部细节。

原文给出 12 层上下文自回归、12 层快速自回归并带 2 倍下采样，隐层 4096 维、16 个注意力头，2 倍下采样在消融中带来约 1.8 倍加速且质量略升，更大下采样则会降低质量。语义到声学阶段采用跟随 SoundStorm 的基于掩码的扩散框架，输入包括从说话人提示提取的语义与声学 token，以及第一阶段预测的说话人风格语义 token。训练时随机掩盖部分声学 token 层并基于语义和未掩盖部分预测被掩盖部分，从而学会从语义到声学的映射和细节恢复，推理时按从粗到细先预测粗声学轮廓再补局部细节。

所有模型先在合规的企业授权语音数据上预训练，再在 EmoData 上微调。

语义 token × 声学 token： 语义 token 承载说什么内容和大致的说话方式，是文本到语义阶段的输出；声学 token 承载具体的声音细节，是语义到声学阶段要预测的对象。二者分工让第一阶段专注内容与风格结合，第二阶段专注保真还原音色细节，串起来形成从文本加双提示到波形的两步链路。

这种 2 阶段划分的代价是链路变长，文本到语义的误差会传到声学阶段；好处是内容与风格的结合和音色细节的还原分开优化，更容易在保持可懂度的同时换风格。

EmoData 如何从野外语音中筛出可用的情感数据

EmoData 的目标是兼得野外数据的规模多样性和录音室数据的质量表达力，覆盖高兴、愤怒、悲伤、惊讶、厌恶和中性 6 类情绪。管线采用从粗到细的级联过滤：先对原始音频做响度归一与重采样，再用工业级源分离模型在复杂背景噪声中分离干净人声，接着用稳健的说话人日志系统聚类并按时长过滤说话人。情绪标注用置信度感知的集成机制，融合多个已有情感识别模型与内部校验器，并在多语言上微调以提升跨语言鲁棒性。

为保证高表达力，采用双重检查：只有声学情绪置信度超过高阈值、且语言情感与声学韵律一致的样本才保留，用人工抽查反馈调阈值，从而在无人工标注下扩展到 1000 小时规模并消除语义韵律错配。原文还说明所有语音来自公开来源并经过自动去标识以保护隐私。

EmoData × Style-RAG： EmoData 是约千小时、5681 个说话人的野外多语种情感语音集合，构成可检索的风格空间；Style-RAG 是把用户文字风格描述映射到该空间中某段具体语音的检索模块。文字本身没有声学细节，直接调模型方差大，而 EmoData 提供了经过筛选的高表达力候选，组合后文字意图就有了可直接用于合成的声学锚点。

下面这张数据管线图展示了风格空间的原料如何从野外语音一步步提纯，理解它有助于明白检索库为何敢直接用于推理，读图时沿箭头看每一步的输入输出变化。

看图路径： 1. 沿顶部箭头看野外语音经过标准化与语音活动检测；2. 看说话人分离后如何得到干净单人语音；3. 看情绪标注与置信度融合如何筛出最终情感语音

论文图 3。原论文 Figure 3:：“An illustration of the proposed dataset pipeline to create the EmoData dataset.”。

图中从左上野外语音数据出发，依次经过标准化、语音活动检测与源分离、说话人分离得到干净单人语音，再经过情绪标注与置信度融合得到最终情感语音。每个方框的图标都对应一段实际计算：响度归一与重采样、工业级源分离去噪、说话人聚类按时长过滤、多模型情绪投票加语义一致性检查。底部从右向左的箭头强调这是一条单向提纯链路，前一步的噪声和混杂说话人必须先去掉，后一步的情绪筛选才有意义。

下面这张表回答了 EmoData 在大规模风格空间上的位置，比较问题是不同情感数据集在语言、规模、采样率和录制条件上的差异，公平条件是按原文给出的公开数据集口径对比。

该表显示 EmoData 为多语种、5681 个说话人、1012 小时、44.1 千赫兹野外数据，而表中其余 5 个公开情感集均为录音室且时长从几小时到几十小时不等。收益是规模、多样性和多语覆盖明显提升，代价与限制是野外数据依赖后续严格过滤，且表中部分时长为按平均值估算，采样率和录制条件的差异意味着不能直接把时长等同于可用训练量。

Style-RAG 怎样把一句话描述变成可用的风格语音

EmoData 给出风格空间后，普通用户仍不会挑选风格提示，Style-RAG 负责把自然语言风格意图映射为声学参考。它事先建好高质量描述与语音配对库，所有风格语音都经过预处理和表达力验证，可直接用于推理无需用户再处理。运行时用对比分数计算跨模态相似度，对用户给的风格描述自动检索最合适的风格语音，提供准确多样的风格提示，减少人工选择。

举例来说，用户写用非常惊讶的语气读，模块不是把这句话直接作为生成条件，而是去库中找到一段被标注为高强度惊讶且置信度高的真实语音，把这段语音的韵律作为后续合成的风格依据。这样做的好处是文字意图获得了细粒度声学细节，代价是最终风格上限受限于库中是否存在足够匹配的候选。若描述过于冷僻，检索只能给出最接近而非完全一致的风格。

原文把直接语音提示看作风格更准的上限，把检索文字控制看作实际可运行的易用策略，二者并列正是为了标出易用性的代价。

声音转换构造的伪真值如何防止三种泄漏

要实现任意音色乘以风格的合成，天然缺少配对真值，Dual-TTS 用声音转换模型构造伪真值并采用数据驱动解耦，而不用基于梯度反转的解耦方法。构造时有三处防泄漏设计：为防音色泄漏，风格提示选用与说话人提示不同的说话人，避免复用同一说话人导致模型分不清音色来源；为防内容泄漏，由于转换模型保留语言内容，若用同一句话既做风格提示又做转换目标会泄漏文本，因此选同一说话人另一句风格高度相似的话做转换目标。

为防风格泄漏，也就是模型从说话人提示偷学风格，取同一说话人但不同风格的语音做转换的音色参考。构造出的伪真值还会按词错误率和说话人相似度过滤。

声音转换 × 伪真值： 声音转换指保持一句话的内容和风格、只替换音色的模型；伪真值指用它人工构造出的训练目标语音。现实中很难找到同一内容同一风格但不同音色的配对数据，用转换模型造出目标音色说出参考风格的语音，就能给 Dual-TTS 提供监督，让它学会把音色和风格分开。

读下面这张训练范式图时注意输入与输出的箭头是训练对关系，不是推理时的数据流，推理时不需要转换模型，重点看中部两个分支如何汇入转换模型。

看图路径： 1. 看底部绿框内风格提示与说话人提示作为训练输入；2. 看中部同风格不同内容与同说话人目标风格如何送入 VC 模型；3. 看顶部输出的说话人风格语音如何作为伪真值参与监督

论文图 2。原论文 Figure 2:：“An illustration of the training paradigm.”。

图中底部绿框内风格提示与说话人提示是输入，中部浅蓝分支标注同风格不同内容、浅红分支标注同说话人目标风格，它们向上汇入转换模型后生成顶部黄底的说话人风格语音作为输出。该输出在总览图中对应伪真值语义，用于监督文本到语义阶段的预测。左侧输出到输入的双向箭头标明训练对关系，强调伪真值不是真实录音，而是为解耦专门构造的监督信号。

下面这张表比较了同说话人真实目标与构造伪真值的取舍，比较问题是伪真值是否在可接受的音色损失下换来更强的风格对齐，指标方向为相似度越高越好。

表中真实说话人真值的说话人相似度更高而风格相似度较低，构造伪真值的说话人相似度略降但风格相似度明显更高。解释是伪真值牺牲了少量音色相似度，换来风格相似度的大幅提升，从而支持任意音色风格组合。限制是它仍需过滤，且风格相似度按风格嵌入余弦计算，与主观听感不完全等同，不能只看风格分就断定听感一定更好。

实验用什么数据和指标衡量可懂度音色与风格

评测分客观与主观两套。客观指标包括词错误率衡量可懂度，越低越好；说话人相似度衡量与目标提示的音色一致性，越高越好；风格相似度计算合成音频与参考风格之间风格嵌入的余弦相似度，越高越好。主观指标包括语音自然度平均意见分，评价自然度与风格语义对齐。

说话人相似度平均意见分用于单提示下评价音色像不像；风格匹配平均意见分用于双提示下评价与音色无关的风格符合程度。数据集评测用 180 段、每情绪 30 段、15 位母语者的偏好测试，以及在强基线 CosyVoice 上用原始野外数据与 EmoData 微调的消融。合成评测在 LibriTTS 测试集随机抽 300 个说话人提示与风格提示，分单提示零样本和双提示解耦两种场景，单提示下音色风格同源，双提示下二者来自不同说话人。

原文还说明检索模块按设计不在单提示下评测，纯文字提示系统因不支持零样本克隆而无说话人相似度，不能与零样本系统直接比音色。

SIM-Spk × SIM-Style： SIM-Spk 是合成语音与说话人提示之间说话人嵌入的相似度，衡量音色保真；SIM-Style 是合成语音与风格提示之间风格嵌入的余弦相似度，衡量风格还原。强烈情感迁移常损害音色保持，只看其一会掩盖泄漏问题，必须同时看才能判断是否真正解耦。

理解这组指标方向后，才能正确读出后面表格中低词错误率与高相似度的含义，避免把风格分高误读为音色也好，也避免把不同条件下的相似度直接比较。

EmoData 听感与单提示基础合成能力如何

主观质量上，原文报告在 180 段上的偏好测试显示 EmoData 与录音室数据听感相当，风格匹配率在中性、高兴、愤怒、悲伤上都在 90% 左右，惊讶和厌恶相对偏低，厌恶类明显低于其他类，提示该情绪更难挖掘或标注。客观效用上，用原始野外数据微调会因噪声与错位损害可懂度，而用 EmoData 微调在保持可懂度和音色一致的同时提升风格相似度，该结论成立的条件是在同一强基线上对比且经过完整过滤管线。读偏好条形图时不要把接近五五开误读为没有差异，它恰恰说明野外挖掘达到了可比水平，但这不证明所有情绪都一样好。

下面这张偏好条形图用最直观的方式回答野外数据能否听起来像录音室，比较问题是在相同听音条件下两类数据的偏好比例，条件是 15 人、180 段。

看图路径： 1. 看左右两段分别代表录音室数据与 EmoData 的偏好比例；2. 注意中间短横线表示多人判断的波动范围

论文图 4。原论文 Figure 4:：“AB Test Between Studio and EmoData”。

图中左侧青色代表录音室数据集占比 0.53，右侧粉色代表 EmoData 占比 0.47，中间黑色短横线表示判断波动范围。在给定样本量和听音人组下两者偏好接近，没有出现野外数据被一边倒嫌弃的情况，但这不证明所有情绪都一样好，需结合前述厌恶类匹配率偏低来理解适用边界，也不能推广到其他语言和录制环境。

下面这张单提示零样本合成表呈现了基础合成能力，比较问题是在音色风格同源时各系统谁更保真自然，公平条件是同一 LibriTTS 抽样与同一指标定义，指标方向为词错误率越低越好、相似度与主观分越高越好。

该表显示预训练基线与最强基线相当，而本系统不用检索时在可懂度、相似度和自然度上与强基线接近，说明基础合成没有为可控性牺牲太多保真。限制是检索模块按设计不在单提示下评测，纯文字提示系统因不支持零样本克隆而无说话人相似度，不能与零样本系统直接比音色。此外下采样 2 倍的加速结论只针对文本到语义阶段，更大下采样会降低质量，不能推广为整体推理更快。

双提示解耦与检索各付出什么代价

双提示场景回答的核心问题是：当说话人提示与风格提示来自不同人时，能否既像目标音色又像参考风格，公平条件是同一 300 对抽样与同一相似度定义，指标方向仍是词错误率越低越好、其余越高越好。原文指出强烈情感迁移常损害说话人身份，竞争基线虽风格匹配强但有源音色泄漏，而本系统用解耦编解码与数据驱动策略取得更好平衡。消融上，把数据驱动策略换成标准对抗方法会导致风格相似度大跌，证明严格防泄漏构造的必要性；比较不用检索与用检索可知，直接语音提示风格更准，但检索的文字控制达到可比的风格相似度与语音质量，说明易用性没有带来巨大损失。

下面这张双提示表是全文的核心结果表，比较问题是在音色风格异源时各系统的可懂度、音色保持与风格还原，包含可比双提示基线、梯度反转消融、直接语音提示和检索文字控制。

具体数字上，不用检索的本系统在词错误率、说话人相似度、风格相似度、风格匹配主观分和自然度上优于表中 3 个可比双提示基线；用检索后可懂度和音色保持小幅下滑，风格客观分下降但主观分仍接近，代价是可懂度和音色保持的小幅损失。而梯度反转版本在说话人和风格相似度上明显落后，构成未胜出项，证明简单对抗解耦在本任务上不足。限制是该结论只在 LibriTTS 抽样、给定嵌入模型和听音人组下成立，换嵌入或换语言时数值会变，且检索的上限依赖库覆盖，不能推广到所有情绪和部署环境。

哪些范围尚未评测与容易误读的地方

首先，风格相似度是风格嵌入余弦，不是人工逐句打分，自动指标高不等于每句听感都对，厌恶类匹配率偏低即提示类别不均衡。其次，单提示与双提示是两种条件，不能把单提示下的相似度与双提示下的相似度直接比出优劣，因为参考语音构成不同。第三，检索的文字控制是实际可运行策略，而直接语音提示可视为风格更准的上限，但不是作弊的上帝值，原文把二者并列正是为了标出易用性的代价。

第四，论文未报告推理延迟、显存占用和训练算力的完整预算，也未测量误判率或跨语言泛化的系统误差，因此不能承诺更快更便宜。最后，本解读未发现作者公开代码、模型或数据的可用链接，不得声称已开源，复现需按论文描述自建管线。训练资源、推理开销、输出帧率和实际延迟是四件不同的事，总体趋势推不到每一组结果或每一个步骤。

复现第一步做什么与需要哪些关键条件

若要复现，起点应是数据管线而非直接训练合成模型：先收集公开野外语音，完成响度归一与重采样，再跑语音活动检测、源分离与说话人日志得到干净单人片段，这是后续一切风格控制的基础。接着用多语言微调过的情感识别集成做情绪标注，并坚持双重检查，也就是声学置信度过阈且文本情感与声学韵律一致，用小规模人工抽查定阈值，否则原始野外数据微调反而会损害可懂度。

合成部分需准备双提示数据：说话人提示与风格提示用不同说话人，转换目标选同说话人另一句高风格相似语音，转换音色参考选同说话人不同风格语音，再按词错误率与说话人相似度过滤伪真值。模型上先在合规的大规模语音上预训练，再在 EmoData 上微调，文本到语义用 12 层加 12 层、2 倍下采样的双自回归配置，隐层 4096 维、16 个注意力头，语义到声学用掩码扩散按从粗到细生成。评测时固定 LibriTTS 抽样方式、嵌入模型版本和主观量表，否则数字不可比。

关键超参数和信息条件要保留，参数冻结或更新、梯度路径等原文未说明处不要猜测。

什么时候值得尝试与还需要补哪项验证

当任务同时需要保留任意目标音色，又要用一句话文字指定情绪风格，且用户不会挑选参考语音时，这套先检索再解耦合成的思路值得尝试，因为它把易用性与保真分开处理，实验显示检索只比直接给语音损失少量风格相似度。复现第一步是把 EmoData 式过滤跑通并建成可检索的描述语音库，否则后续解耦无从谈起。

还需要补的验证包括：换一套说话人与风格嵌入重算相似度以排除嵌入偏好，在中文、日语等非英语上重复双提示评测以确认多语结论，以及补充推理耗时与显存的实测，才能判断能否落地为实时系统。总体看，论文直接报告的是在给定数据、嵌入与听音条件下的可懂度、音色保持与风格一致的平衡，证据支持数据驱动解耦优于简单对抗、检索文字控制接近直接语音控制，但不支持推广到所有情绪、所有语言和所有部署环境。

代码开源、权重可下载、系统可运行是三件事，要分开说，本篇均未证实可用。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-15 语音/音乐/音频论文速递