先调语言模型还是先调声学解码器：法语德语适配的部件级取舍

英文题目：EUROPEANIZING MODULAR ZERO-SHOT TTS: A COMPONENT-LEVEL ADAPTATION FRAMEWORK FOR FRENCH AND GERMAN

会议身份：conference:eusipco:2026:conference-paper-id:0000471

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#SFT #多语言 #零样本 #文本到语音

评分：7.8/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：系统技术报告

👥 作者与机构

• Horstmann, Tim Luka：机构信息未能从会议 PDF 纯文本可靠映射
• Ould Ouali, Nassima：机构信息未能从会议 PDF 纯文本可靠映射
• Arous, Mohamed Amine：机构信息未能从会议 PDF 纯文本可靠映射
• Sani, Awais Hussain：机构信息未能从会议 PDF 纯文本可靠映射
• Moulines, Eric：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作处理法语和德语零样本段落级文本到语音（Text-to-Speech，TTS）适配，输入为任意文本与数秒未见参考语音，输出为保留说话人音色的连续波形，难点在于仅覆盖英语与中文的预训练表示向新语言韵律和发音迁移不稳定。方法链为冻结语义分词器与说话人编码器先将文本与参考音频转为语义令牌与说话人嵌入，接着微调文本语音语言模型（Text-Speech Language Model，LM）将文本映射为语言结构正确的令牌序列，再微调流模型（Flow Decoder）把令牌转为梅尔频谱图并由冻结声码器合成波形。与以往整体微调或超低资源外部因素研究不同，该框架固定分词器并系统分离语言模型、流解码器和声码器（HiFi-GAN）的因果贡献。在域外M-AILABS 2小时测试集上，以Whisper large-v3测得的归一化词错率（Word Error Rate，WER）相对原始CosyVoice2下降83%至91%，法语8.77%、德语6.03%为开源最优，且法语比较平均意见分（Comparative Mean Opinion Score，CMOS）显著优于商业系统。结论仅适用于中等资源朗读与表现力语音混合场景，冻结分词器限制了母语级保真度与说话人保持上限。原文未披露训练、推理或部署成本，仅报告实时率。

🔗 开源与复现资源

• 代码相关资源：https://github.com/hi-paris/CosyVoice2-EU — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

任务是什么：为什么法语德语段落克隆更难？

输入是一段法语或德语文本加一段未见过说话人的参考音频，目标是合成整段语音，既要读对文字，又要保持参考音色和自然韵律。初学者可以把零样本语音克隆理解为白话的见声模仿：模型没有为这个人专门训练过，只听几秒钟就要模仿。英文和中文的现代生成式语音合成已经接近真人，但论文指出法语和德语的开源段落级合成仍然落后，直接套用现成多语模型容易出现可闻口音和不稳定韵律。

更关键的是缺方法：当手里只有 50 到 1500 小时这种现实预算时，应该动语言模型、声学解码器还是两个都动，缺少受控的部件级路线图。本文的目标就是给出可复述的适配流程，而不是只放一个新模型分数。资源状态方面，代码资源当前可用，地址为官方仓库，可用于核对训练与推理代码，但本解读的事实仍以论文正文证据为准。

三条技术路线中为什么选混合自回归加流模型？

论文把近期零样本语音合成归为 3 类。第一类是编解码器语言模型路线，自回归地预测离散音频令牌；第二类是扩散或流模型路线，直接生成连续声学特征；第 3 类是混合系统，代表是 CosyVoice2。白话说，第一类擅长学语言结构但声学控制粗，第二类擅长声学细节但长文本结构容易散，混合路线让两者各做一段。

论文选择混合结构作为试验台，理由是它的模块边界清晰，可以单独冻结或微调某个部件，从而回答哪个部件带来最大增益。同输入同目标的对照包括 XTTS2 和 OpenAudio-S1-mini 等开源系统，以及 ElevenLabs Flash V2.5 商用系统。需要强调的是类别差异不等于同条件胜负，例如 XTTS2 在推理时被给了显式语言提示，而包括本文模型在内的其他系统没有该提示，因此比较时必须保留这一条件差异。

要回答的三个问题是什么？

论文把适配问题拆成 3 个研究问题。第一个问题是哪个部件驱动最大增益，对应语言模型、流解码器和声码器的消融。第二个问题是性能如何随数据量变化，对应 50 到 1500 小时每语言的六档预算曲线。第 3 个问题是双语联合训练是否优于单语适配，对应在匹配每语言小时数的条件下比较双语减单语的差值。教学例子仅为例子：比如手里有 100 小时法语，到底是先把语言模型调对，还是把声码器也一起调，这就是第一个问题在实践中的样子。论文同时声明，结论主要依赖词错误率、说话人相似度和比较平均意见分，梅尔倒谱失真和基频指标只作参考诊断，因为零样本合成不是重构任务。

方法全景：一个样本如何走完三段流水线？

沿一个样本走一遍有助于建立依赖顺序。输入文本先进入文本语音语言模型，输出语义令牌，可以理解为先定骨架：读什么音、在哪里停顿、节奏如何。语义令牌与来自参考音频的说话人嵌入一起进入流解码器，输出梅尔频谱，可以理解为再填血肉：音色、风格和细粒度韵律。梅尔频谱最后进入 HiFi-GAN 声码器，输出波形。论文的适配管线只微调其中两段：文本语音语言模型和流模型，对应图中绿色部分。

语义语音分词器 S3 和说话人编码器 CAM++ 作为固定特征提取器保持冻结；声码器根据消融结果也保持冻结以保住可懂度。这种安排的理由是分阶段隔离影响：先验证语言结构是否迁移，再验证声学细化是否有 2 次增益，避免 1 次全量微调掩盖真正的瓶颈。

主杠杆如何工作：文本语音语言模型管什么？

文本语音语言模型是本文认定的主杠杆。它的分工是把文本映射为基本语言结构，包括节奏和组块方式。如果这一步的蓝图是错的，下游声学解码器拿到的就是错误指令，再精细的声学建模也无法挽回高质量合成。流解码器的分工是把蓝图细化为带音色和风格的声学实现，因此它的作用是次要的，且受益于更大数据的风格多样性。

文本语音语言模型 × 流解码器： 文本语音语言模型负责把输入文本映射为语义令牌序列，决定节奏、停顿和语言结构等语言学骨架；流解码器负责把语义令牌转换为梅尔频谱，填充音色和风格等声学细节；二者搭配的理由是下游声学细化无法弥补上游语言蓝图错误，因此先保证语言模型正确，再用流解码器做韵律精修，组合后同时改善可懂度和说话人相似度。

具体操作上，论文在锚点小时数上做全因子消融，比较冻结与微调的组合。报告显示，只微调文本语音语言模型就能把相对词错误率降低 80% 以上，而只调流模型的增益较小，两者结合得到最优词错误率并带来韵律和稳定性方面的持续改善。复述时要注意冻结与更新边界：语言模型和流模型是可训练的下游阶段，分词器和说话人编码器冻结，声码器最终也冻结。

被冻结的部分：分词器和说话人编码器意味着什么？

S3 语义语音分词器负责把语音切成离散语义码，CAM++ 负责从参考音频提取说话人向量。论文刻意保持两者冻结，目的是检验基础语音表示从原有的中英文预训练向法德迁移的能力。结果支持有限迁移：冻结的分词器足以支撑有竞争力的法语德语合成，但仍是母语级保真度和零样本说话人保持的关键约束。白话说，模型不得不用已有的语义库存去近似目标语言特有的发音，必然封顶。

语义令牌 × 梅尔频谱： 语义令牌是文本语音语言模型输出的离散中间表示，承载发什么音和如何断句；梅尔频谱是流解码器输出的连续声学特征，承载音色和韵律细节；二者搭配的原因是模块化解耦让语言适配和声学适配可以分别验证，语义令牌正确后梅尔频谱才有稳定条件，组合意义是把跨语言迁移压力集中在语言模型，而声学部分只做增量精修。

另一个教学点是说话人条件路径。参考梅尔频谱和说话人嵌入作为流解码器的条件输入，决定了克隆的身份来源。

零样本语音克隆 × 说话人嵌入： 零样本语音克隆指只给一段未见过的参考音频就不改变文本内容地模仿其音色；说话人嵌入指用 CAM++ 从参考音频提取的固定向量，用于向流解码器提供音色条件；二者搭配的理由是克隆不需要为新说话人重训模型，只需更换嵌入即可切换目标音色，组合意义是在法语德语评测中可以用同一模型对多个未见说话人做段落合成并用余弦相似度衡量保持程度。

复述时不要从模型名字推定分词器已覆盖法德，论文明确指出预训练限于中文和英文，迁移是有界的。未来工作也指向把分词器换成更强的多语变体，CosyVoice 3 改用监督多任务分词器被引为旁证，但那不是本文的实验，只是架构约束的佐证。

为什么声码器保持冻结？

声码器的分工是把梅尔频谱变成波形，属于最后的渲染环节。论文用带下标圆圈负号的配置表示微调过的 HiFi-GAN 声码器，并与冻结版本对比。观察到的权衡是不利的：微调声码器虽然提高了说话人相似度，例如法语从 0.24 到 0.31，但一致地损害可懂度，词错误率从 8.77% 升到 9.67%。论文把这种不稳定归因于过拟合，因为相对声码器原始预训练，适配数据时长有限。因此后续实验排除声码器微调，优先保证语言稳定性。

这个负结果很重要：不是可训练参数越多越好，渲染器在数据不足时容易记住训练音色分布而破坏发音。复述方法时必须写清声码器冻结，否则别人复现时多调一步可能得到相似度更高但词错误率更差的结果。

训练数据如何构造：预算、配比与采样做了什么？

训练数据来自 LibriSpeech 法语德语片段和 EmoNet 表现力语音，过滤为 1 到 30 秒片段。每档预算强制法语德语各占一半，且 LibriSpeech 与 EmoNet 按 80 比 20 混合，设计意图是以中性朗读为底、表现力语音为补充。为了稳定小预算训练，采用话语密度最大化采样：按最短优先的贪心策略填满数据集。后果是低预算下每小时的话语条数更高，例如 100 小时约每小时 410 条，而 1500 小时约每小时 336 条，因为大预算纳入了更多长句。固定 50 小时开发集采用同样配方。除特别说明，超参数沿用原始 CosyVoice2 设置，但把令牌最大长度增至 512，使用 AdamW 和 1 乘 10 的负 5 次方恒定学习率，按开发集损失最小选检查点，最终模型由表现最好的 5 个检查点权重平均得到。

训练网格与检查点选择如何保证可比？

实验设计是受控网格，3 个维度分别是适配目标、数据预算和训练机制。适配目标消融语言模型、流和声码器；数据预算覆盖 100、200、500、1000、2000、3000 总小时，换算到单语即 50 到 1500 小时每语言；训练机制包括单语法语、单语德语和联合双语，总计 36 组训练配置。为避免挑最优点，所有消融都在固定锚点小时报告，锚点定义为该机制下测试集词错误率最小的预算，识别结果是法语单语 250 小时、德语单语 500 小时、双语 100 小时。

检查点选择依据开发集损失而非测试集，避免用测试集直接选模型。权重平均只用前 5 名，有助于平滑单检查点波动。复现时若改动采样策略或平均策略，曲线形状可能变化，因此必须保留原文的采样与选点条件再谈增益。

在哪里测、用什么测、条件是否一致？

评测目标是零样本段落级合成，测试集是 2 小时域外 M-AILABS 数据，片段 1 到 20 秒，按语言和性别均衡，提示音来自未见过的 CommonVoice。白话说，训练是读书加情感语音，测试是另一套域外段落，检验泛化而非背诵。主要指标是经归一化的词错误率和说话人嵌入余弦相似度，分别用 Whisper large-v3 和 CAM++ 计算。次要诊断包括经动态时间规整对齐的梅尔倒谱失真、基频均方根误差与相关系数、有声无声错误率和实时率。词错误率归一化包括兼容性归一、字符展开如德语ß转 ss、数字清洗、标点去除和变音符号剥离。

词错误率 × 说话人嵌入余弦相似度： 词错误率用 Whisper large-v3 转写合成语音后与参考文本比较，衡量可懂度，越低越好；说话人嵌入余弦相似度用 CAM++ 比较合成语音和参考音频的嵌入夹角，衡量音色保持，越高越好；二者搭配的原因是只看可懂度会忽略音色漂移，只看相似度会忽略发音错误，组合意义是论文把结论主要建立在这两项上，梅尔倒谱失真和基频误差只作参考诊断。

公平条件方面，开源基线和本文模型都不给语言提示，只有 XTTS2 给了显式语言提示；主观听测采用成对比较平均意见分，14 名法语母语者和 14 名德语母语者，在负 3 到正 3 的七点量表上判断更偏好哪一侧，并报告 95% 置信区间。

主结果：语言模型带来多大可懂度增益？

比较的问题是，在锚点预算下微调语言模型加流解码器相对原始基线能改善多少，代价是什么。公平条件是同一域外测试集、同一词错误率归一化和同一说话人相似度计算，指标方向是词错误率越低越好、相似度越高越好。下表整理锚点处的最优配置与双语对应值，数值保留原文写法。

表后解释需要同时看到收益与代价。主要收益是语言模型微调占主导，单用它就能带来超过 80% 的相对词错误率下降，再加流微调得到次要韵律增益并达到上述最优值。具体代价或反例是声码器微调虽能把相似度推高，但会把法语词错误率推回 9.67% 附近，因此最终方案冻结声码器。另一个未胜出项是只调流模型增益小，说明不先修语言蓝图只修声学细节走不远。该表支持的判断限于锚点预算，不代表所有预算下双语都更可懂。

与开源和商用系统对比：赢在哪里、输在哪里？

比较的问题是最终模型 CosyVoice2-EU 在域外集上相对强基线的客观与主观位置。公平条件是同一 2 小时域外测试集，但 XTTS2 有语言提示优势需单独注明；指标方向是词错误率、梅尔倒谱失真、基频误差和有声无声错误越低越好，相似度、基频相关和比较平均意见分越高越好。下表只收录论文明确报告且有逐字证据的单元格，数值保留原文写法。

表后解释必须保留限定。客观上本文在开源系统中词错误率最低，对 XTTS2 在 12 个指标语言格中赢 10 格，仅输法德梅尔倒谱失真，对 OpenAudio-S1-mini 赢 8 格，对 ElevenLabs 总体竞争，赢 6 格包括法语词错误率、法德有声无声错误、法语基频误差与相关和德语梅尔倒谱失真，而商用在德语词错误率和总体相似度仍最好。主观上听者显著偏好本文超过两个开源基线，也显著偏好本文超过商用系统，法语 0.64、德语 1.61。部署成本方面，单张 A100 上 ElevenLabs 约 0.10 实时率经接口最快，XTTS2 约 0.42，OpenAudio 约 0.55，CosyVoice 系标准模式约 2.4、流式约 1.0，因此本文的自然度优势伴随推理更慢的代价。

数据量与双语机制：甜点在哪里、双语何时帮忙？

比较的问题有两层，一是单语预算从 50 增至 1500 小时时可懂度和相似度如何变化，二是匹配每语言小时数下双语相对单语的差值方向。公平条件是同为语言模型加流微调且声码器冻结，差值定义为双语减单语。下表整理甜点预算与 1500 小时的复杂度多样性对比，数字保留原文写法。

表后解释要区分趋势与边界。单语曲线显示大部分词错误率增益发生在前 250 到 500 小时，法语约在 250 小时达到约 8.8，德语约在 500 小时达到约 6.0，超过 500 到 1000 小时后词错误率持平或回升，而相似度从约 250 小时起基本 plateau，法语徘徊在 0.24 到 0.25，德语从约 0.23 向约 0.26 漂移后在 1500 小时略回落。论文的事后分析称之为复杂度多样性失配：从甜点扩到 1500 小时，数据量翻 3 倍但说话人数几乎不动，法语 175 到 189，德语 241 到 245，而 95 分位时长从约 12.7 秒跳到 19.3 秒和 16.4 秒，新增的主要是更长更难的序列而非有用变化。

单语适配 × 双语联合训练： 单语适配指只用法语或只用德语数据微调模型；双语联合训练指每档预算都保持法语德语各占一半并联合训练；二者搭配比较的理由是检验跨语言数据是正则项还是干扰项，组合意义是论文发现双语几乎在所有预算下提升说话人相似度，但词错误率只在极低和极高预算下占优，中段仍是单语更好。

双语差值方面，相似度在几乎所有预算和语言上都提升，说明跨语言说话人多样性带来更鲁棒的说话人空间；词错误率的好处集中在两端，法语在极低预算不高于 100 小时，德语在极低和 1500 小时极高预算，而 250 到 1000 小时中段单语更好或持平。实践含义是双语混合在数据稀缺和大尺度两端起正则作用，中段聚焦单语更有效。

哪些结论不能推广：瓶颈与缺项是什么？

论文直接报告的瓶颈是冻结的 S3 分词器。它提供了足够的跨语言声学先验以支撑法德合成，但因预训练限于中英文，只能用已有语义库存近似目标语言特性，封顶了母语级保真度。这是有限解释，不是因果证明，论文用可能和待验证的语气指向未来换更强多语分词器。缺失证据不是技术错误：论文未测量分词器微调后的误判率，也未承诺换分词器一定同时改善延迟或成本。

另一个边界是数据结论的适用域：甜点 250 到 500 小时依赖当前的 50 比 50 语言配比、80 比 20 读书比情感配比和最短优先采样，若改成以长句为主或说话人极少，复杂度多样性失配的阈值会移动。总体趋势不等于每组每步成立，例如德语相似度在 1500 小时的小回落就不能被平均趋势掩盖。相关性也不是因果：双语提升相似度与说话人多样性相关，但论文没有分离是说话人数量还是语言混合本身起作用。

复现先做什么：代码、权重与关键超参数如何取用？

复现的第一步是固定评测链：用同一域外 M-AILABS 2 小时集、同一 Whisper large-v3 归一化流程和同一 CAM++ 相似度计算，否则词错误率数字不可比。归一化必须包括兼容性归一、ß转 ss 这类字符展开、数字清洗、标点去除和变音符号剥离，漏掉任何一步都会改变词错误率。第二步是按原文重建数据配方：法德各半、读书与情感 80 比 20、最短优先填充、固定 50 小时开发集，再把令牌最大长度设为 512、AdamW 恒定学习率 1 乘 10 的负 5 次方、按开发损失选点并平均前五检查点。

第三步是遵守冻结边界：先只调文本语音语言模型验证大头增益，再加流解码器验证韵律增益，声码器、分词器和说话人编码器保持冻结。代码方面，官方仓库当前可用，提供即插即用包、可扩展代码库和交互演示，代码库已重构为支持任意 Hugging Face 大语言模型骨干并保留流式与低显存 LoRA 路径。需要区分三者：代码开源不等于权重可直接商用，权重下载不等于系统可一键运行，实际可运行还需核对环境与流式配置。

何时值得尝试这套适配路线？

当目标是中资源欧洲语言的段落级零样本克隆，且预算在 50 到 1500 小时之间时，这套路线值得优先尝试：先围绕语言相关甜点选预算与组成，避免用更长但说话人不变的数据堆量；先微调文本语音语言模型拿下主要可懂度；当说话人相似度更重要时加入多语数据，但要接受中段词错误率可能略逊于单语；最后再微调流解码器做韵律精修并保持声码器冻结。若预算极低不高于 100 小时，双语混合的正则作用更值得试。

若已到 1000 小时量级，应先增加互不相同的说话人数而非单纯加时长。还需补的验证包括在新语言上重测甜点位置、报告分词器替换前后的可懂度与相似度对照，以及补测实际部署的延迟与显存占用。记住论文的中心判断：语言蓝图对了，声学细化才有意义；数据多了但多样性不涨，模型学到的更多是更难的长句而非更好的发音。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 4 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eusipco-2026 论文汇总