英语音色说法语汉语为何走调：语言标签与词项检索如何稳住跨语种克隆

英文题目：KIT’s Submission to Cross-Lingual Voice Cloning in IWSLT 2026

会议身份：conference:iwslt:2026:conference-paper-id:2026.iwslt-1.8

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#强化学习 #检索增强 #跨语言 #语音克隆

评分：5.6/10 | 创新 1.0/2 | 技术严谨 1.0/1.5 | 实验充分 0.8/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Seymanur Akti：机构信息未能从会议 PDF 纯文本可靠映射
• Alexander Waibel：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

跨语言语音克隆以英语参考语音及法语阿拉伯语中文目标文本为输入，合成保留说话人身份的目标语语音，难点是参考口音导致的发音漂移与领域术语命名实体在目标语中分布缺失。系统以鱼声语音大模型为基座，先在参考文本与目标文本前分别插入母语形式显式语言标签以约束音系实现，引导模型向目标语音系靠拢并减少跨语干扰。接着采用组相对策略优化强化学习微调适配新增标签分布，以反转字符错误率与说话人相似度均值为奖励，在保持基座质量下进一步修正跨语发音一致性。推理时对长参考音频用长语音识别模型切分为秒级片段并转写，再按目标文本与转写片段的词汇重叠检索含领域词片段进行条件合成，为罕见词提供声学发音依据。在ACL 60/60评测子集下，强化微调模型的字符错误率为6.38%，低于无标签基线模型的字符错误率6.57%。相对无标签基线与先合成后转换的级联思路，该链条分工明确提示约束负责语言控制，强化微调负责新标签分布适配，检索条件负责术语发音接地，从而在改善可懂度的同时保留说话人特性。上述结论适用边界限于该语料三种目标语短句评测，词汇匹配在无词形重叠时失效且盲测长音频与人类听测尚未验证，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，哪些信息必须保留？

这篇论文处理的是跨语种语音克隆。输入包括两部分，第一部分是英语参考语音及其对应文本，第二部分是目标语言文本，目标语言覆盖法语、阿拉伯语和汉语。输出是用目标语言说出的新语音，要求听起来仍然是同一个说话人。必须保留的信息包括说话人身份、说话风格、语速等特征，同时目标文本的语言学内容要说清楚、说准确。

研究场景来自 IWSLT 2026 跨语种语音克隆赛道，数据是 ACL 60/60，源自 ACL 会议演讲的长语音。论文强调该数据的特点是说话人口音差异大，目标文本里有很多领域术语和命名实体，有些词在目标语中很少见，甚至直接保留英文原形。这带来两个具体困难，一是英语口音容易渗入法语或汉语发音，二是生僻词容易读错。

论文的输出是一套可复述的系统做法，而不是笼统结论。后文按任务路线、方法全景、组件计算、训练推理、实验条件、结果反证和复现收束展开，每节回答一个具体问题。

跨语种语音克隆 × 上下文语音克隆： 跨语种语音克隆的分工是给定源语言参考音频和目标语言文本，生成保留说话人身份的目标语言语音；上下文语音克隆的分工是把参考音频直接作为条件输入，让模型模仿音色和风格而不依赖显式说话人向量。二者搭配的理由是后者为前者提供零样本跨说话人能力，组合意义是模型可以直接从英语参考抽取音色再由目标文本驱动，但也引入源语言发音习惯被带入目标语的口音泄漏风险。

级联管线与端到端条件各解决什么问题？

论文把已有路线分成两类。第一类是级联管线，先用语音合成系统生成目标语语音，再用独立的音色转换模型把音色换成源说话人。这种做法的好处是模块清晰、替换灵活，但论文指出它会引入额外误差来源，包括说话人泄漏和语言内容与韵律不对齐。

第二类是端到端以说话人特征为条件的合成。其中较早的做法是用显式说话人编码器，把说话人向量注入合成模型，优点是简单稳定，缺点是克隆能力受限于嵌入的质量和表现力。更新的做法是上下文学习式零样本克隆，直接以参考音频为条件，代表系统包括 VALL-E、F5-TTS、Qwen3-TTS 和 CosyVoice3，在保留说话人身份上表现较强。

但论文指出，即使是大规模模型，跨语种生成仍然困难，常见问题仍是口音泄漏，以及领域词在目标语分布外时读错。本文选择第二类中的上下文克隆基座 FishAudio-S2-Pro，工作重点不是重训大模型，而是用输入层控制和轻量适配改善跨语种发音。

为什么基座模型在混合语言序列中容易跑调？

举一个教学例子帮助理解，不代表论文报告了该句的数值。假设参考文本是英文小猫在桌子下睡觉对应的英文句，目标文本是汉语小猫正在桌子下面睡觉。模型要先听英语参考把握音色，再用汉语文本生成。如果模型只靠文本隐式判断语种，自回归生成在长序列中会不断受到英语参考的影响，把汉语的声调和韵母读得偏英语化。

论文把这种现象称为跨语种发音漂移。另一个例子是 VALSE、LXMert、Word2Vec 这类实体，若参考音频里没有出现过，模型只能按拼写或目标语默认规则拼读，容易逐字母念出。问题形式化就是，在只有英语参考、没有目标语平行监督的条件下，如何让模型既保持音色，又稳定输出目标语音系和领域词正确读法。

长参考会放大这种偏置。论文指出，在长语音参考条件下，自回归生成更容易保留英语影响的语音特征，导致目标语实现不够自然，韵律也可能被带偏。

系统让一个样本走完输入到输出经历哪几步？

沿一个样本走完全程更易复述。第一步准备条件，取英语参考语音和对应英文转写，在两者前面分别加上语言标签，例如参考侧加英文标签，目标侧按语种加普通话、法语或阿拉伯语标签。第二步构造提示，把带标签的参考文本、参考音频表征和带标签的目标文本拼成一个跨语种提示，送入 FishAudio-S2-Pro 做上下文合成。

第三步是适配，模型已经过强化学习微调，更适应这种带标签的跨语种提示，微调目标是在保持原模型质量的同时改善跨语种感知表现。第四步针对盲测长音频，增加检索分支，先把长参考切成小段并转写，在推理时用目标文本与这些转写做词项匹配，挑出含重叠词的片段作为声学依据，再与原提示一起条件生成。

这样做的目标是让模型既听到说话人音色，又听到领域词的正确读法。输出是目标语语音，评估看可懂度、说话人相似度和预测平均意见分。检索只在推理时应用，不引入额外监督。

语言标签提示具体加在哪里，为何用母语文字？

语言标签提示是本文最关键的输入层改动。白话说就是在文本前加一个方括号标记，告诉模型后面是什么语言，英文名是 language tag prompting。论文说 FishAudio-S2-Pro 训练时没有显式用语言标签，语种靠文本隐式推断。做法是对每段文本输入都加标签，包括参考文本。

论文对比了英文标签和母语文字标签，发现母语文字标签提供更强的条件信号，跨语种发音质量更好。提交示例中，英文参考前加英文标签，汉语目标前加普通话标签，法语目标前加法语标签，阿拉伯语目标前加阿拉伯语标签。作用机制是标签引导模型走向期望的音系实现，减少跨语种干扰。

论文报告语言标签主要减少英语发音偏置，使目标语实现更自然，而说话人语速、口音特质和风格大体保留。这意味着语言条件主要影响语言学实现，而非改变说话人身份。

语言标签提示 × 口音泄漏： 语言标签提示的分工是在参考文本和目标文本前加入显式控制符，引导模型选择目标语音系；口音泄漏的分工是指源语言发音特征在目标语生成中残留的现象。二者搭配的理由是基座模型原本靠文本隐式判断语种，在混合语言序列中容易误判，组合意义是标签给出更强音系先验，使目标语判别概率上升而说话人身份基本不变。

参考语音检索与词项匹配如何提供发音依据？

参考语音检索是为处理盲测长音频和领域词设计的推理时策略。白话说就是先切分再按词找录音。给定长参考，先用自动语音识别模型切成小块并转写，论文开发阶段用金标准切分，盲测阶段用长语音识别模型切成 2 到 10 秒左右的片段。然后在目标文本与这些转写之间做词项匹配，选出含重叠词的参考片段。

论文区分匹配与非匹配条件，匹配指参考音频恰好是目标文本的翻译对应，领域词已在参考提示中出现并提供显式语音依据，非匹配指从同一说话人随机选参考，不一定含目标词项。论文称该检索只在推理时应用，不引入额外监督。效果上，匹配条件显著改善跨语言词和缩略语的一致性。

同时论文报告说话人对命名实体的个人发音习惯得到保留，反映了说话人在参考音频中产生这些术语的方式。这说明检索不仅提供标准读法，也保留了个人风格。

参考语音检索 × 词项匹配： 参考语音检索的分工是把长参考音频切成 2 到 10 秒小段并转写，在推理时按需取出相关片段；词项匹配的分工是比较目标文本与这些转写片段的重叠词，优先选用含相同领域词或缩略语的音频段作为条件。二者搭配的理由是盲测长音频中领域词发音只能从说话人自己的历史发音中找到依据，组合意义是让模型直接听到正确读法，从而对 VALSE 和 Word2Vec 类词汇给出更符合说话人习惯的发音。

强化学习微调更新哪些参数，用什么奖励？

该节讲清真实计算过程。论文用组相对策略优化做强化学习微调，英文名是 Group Relative Policy Optimization，简称 GRPO，目标是适应新引入的语言标签和跨语种推理，同时保持原模型质量。之所以不用监督训练，是为了模拟目标语音不可得的真实场景。

奖励函数由两部分平均而成，一是基于多语种识别模型的字符错误率取反，二是基于说话人验证模型的说话人相似度，两者都缩放到 0 到 1 区间再平均。实现细节上，论文采用更激进的更新策略，优化注意力、多层感知机和输出层，而原始配方只更新多层感知机层。

优化使用低秩适配、组采样和 KL 约束，开发集用于系统开发和强化微调，评估集用于验证分析。论文未报告总训练步数、批量大小和硬件耗时，这是复现时需要补记的缺项。论文也未给出梯度是否在识别或验证模型中回传的细节，复现时应把奖励模型视为打分器而非默认可微路径。

组相对策略优化 × 字符错误率与说话人相似度奖励： 组相对策略优化的分工是在无平行目标语音时按组采样比较相对优劣来更新策略，避免监督训练；字符错误率与说话人相似度奖励的分工是分别用多语种识别和说话人验证模型给出可懂度和保真度信号。二者搭配的理由是需要在保持基座质量的同时适应新标签和跨语种推理，组合意义是把可懂度倒数与相似度平均成标量奖励，引导发音更准且不偏离原模型太远。

数据划分、对比条件和指标方向是什么？

数据用 ACL 60/60 开发集做开发和强化微调，评估子集做验证分析，每个样本都用英语参考合成为阿拉伯语、汉语和法语 3 种目标。所有录音提供金标准话语级切分，微调时不做额外切分或对齐。对比设置有三档，一是无语言标签的基线 FishAudio-S2-Pro，二是同一模型加显式语言标签，三是带语言标签提示的强化微调模型，其中第三档为提交系统。

评估指标有三项，一是字符错误率，用大词汇量识别模型计算，越低越好，选用字符级而非词级是为了跨语言可比。二是说话人相似度，用预训练说话人验证模型抽取源与生成语音嵌入计算余弦相似度，越高越好。三是预测平均意见分，越高越好。为避免评估偏置，评估用的识别和说话人验证模型与强化微调奖励计算用的模型不同。

这一区分很重要，数值相同也不能混为同一指标。百分点变化和相对百分比变化含义不同，不同指标的差值也不能放在同一列下比较。自动指标不能直接当作人工听辨结果。

字符错误率 × 说话人相似度： 字符错误率的分工是用识别模型转写生成语音再与目标文本比对，衡量跨语言可比的可懂度，越低越好；说话人相似度的分工是用预训练说话人验证模型抽取源与生成语音嵌入并计算余弦相似度，衡量音色保持，越高越好。二者搭配的理由是只看可懂度会忽略换人，只看相似度会忽略胡言，组合意义是必须同时报告并检查一方提升是否以另一方下降为代价。

语言标签是否减少了目标语判别漂移？

要回答的核心比较问题是，在同一基座和同一评估协议下，加入显式语言标签是否提高目标语言置信度。公平条件是同一说话人的同一目标文本，只切换是否加标签，用预训练语言辨识模型衡量生成语音的目标语概率，概率越高表示口音泄漏越小。指标方向是概率越高越好，比较对象是普通提示与带语言标签提示在三语上的表现。

该表显示带标签后三语置信度一致上升，平均值从 89.85 升至 91.64，支持语言条件减少跨语种发音泄漏的判断。代价是该表只反映语言辨识器的间接证据，不直接证明可懂度或音色，论文另报告加标签后说话人相似度只有微小波动，说明语言条件主要影响音系实现而非说话人身份。但需注意这仍是自动辨识器的结果，不是人工听辨，不能推广为所有口音都改善。

主结果中可懂度、音色和自然度如何权衡？

主结果比较基线、无微调加标签和强化微调加标签三档。论文文字报告，加标签后阿拉伯语和法语字符错误率改善，汉语略有退化，提示语言条件的效果在不同语言上不一致。强化微调后字符错误率相对加标签档进一步小幅改善或保持稳定，而说话人相似度和预测平均意见分保持稳定。

这表明微调没有损害音色和感知质量，但稳定不等于大幅提升。论文还报告说话人特质大体保留，例如语速、口音相关语音特征和说话风格在目标语中延续，带较重地域口音的说话人仍保留类似口音特征。这支持语言条件主要改变语言学实现而非说话人身份的解释。

限制是原文正文可核对的逐句数字证据主要覆盖语言辨识和超参数，主表逐格数值在本轮证据中不完整，因此本节不硬写无法核对的逐格数值。复现时应以原论文表格和官方评测脚本为准，并区分奖励用模型与评估用模型的不同，避免把奖励分数当作最终评估分数。

匹配参考与随机参考在实体发音上有何差别？

要检验的是词项依据是否真起作用。比较问题是，同一说话人、同一目标实体，用含该实体的匹配参考与随机非匹配参考条件时，发音是否不同。公平条件是说话人相同、目标实体相同，只切换参考音频是否包含该词项。论文用实体级例子说明，匹配时模型能保留正确读法并体现说话人个人习惯。

非匹配时模型倾向按拼写或语言默认策略逐字母或分段拼读，例如把组合词中的数字读成数字而非整体一部分，把技术缩略语做组合式解读。这说明在缺乏语音依据时，模型回退到拼写驱动策略。论文指出这种差异在跨语言词和缩略语上尤其明显，匹配参考提供了对齐的词汇和语音线索。

未胜出的反例恰是非匹配条件，它表现较弱，说明词项匹配只在有词汇重叠的子集上一致改善，不能推广到无重叠长音频。这是重要的适用边界，部署时需要记录无重叠时的回退策略。

复现必须固定的超参数信息条件有哪些？

要复现强化微调，必须固定论文明确给出的信息条件。比较问题不是哪组参数最优，而是原文实际可运行的配置是什么。公平条件是同一基座、同一开发集划分和同一提示格式，只按原文配置照抄，再补测缺失的训练步数和批量。下表整理论文报告的超参数，表格为 5 列以便对照组件、参数名、取值、作用阶段和可执行含义。

该表的主要收益是给出可直接照抄的复现起点，代价是未报告训练步数、批量大小和硬件开销，不能据此估计成本。论文指出 KL 系数调优改善训练稳定性和任务适应，但只报告 0.1 有效，未做完整消融，因此 0.1 应视为可用起点而非证明最优。更新范围覆盖注意力、多层感知机和输出层，比原始配方更激进，复现时需按此固定。

哪些边界尚未评测，哪些推测不能当结论？

论文明确和隐含的边界需要分开。已报告的限制包括语言标签对汉语字符错误率一度轻微退化，说明效果不一致。词项匹配的改善限于匹配子集，非匹配时仍弱。说话人相似度和预测平均意见分稳定是好消息，但稳定不等于提升。

未验证的推测包括母语文字标签为何更强，论文只说在该设置下提供更强条件信号，未给出机理证明，应表述为可能与编码或提示分布有关、待验证。强化微调的稳定性依赖 KL 系数调优，但只报告一个有效取值，未做完整消融。总体趋势不等于每组每步都成立，重口音说话人和高度分布外术语仍是风险点。

未测量误判率、延迟或成本时，不能承诺这些量得到改善。训练资源、推理开销、输出帧率与实际延迟应分别讨论。本次未发现来源绑定且完成验证的开源链接，不得声称代码模型或数据已公开，复现应以论文描述和公开数据集名称为准自行核对可达性。

复现应先固定什么，再补哪项验证？

复现先做三件事。第一固定基座与数据，下载 FishAudio-S2-Pro 和 ACL 60/60 开发与评估划分，保留金标准话语级切分，微调时不做额外切分。第二照抄提示格式，参考文本和目标文本前分别加对应语言标签，优先用母语文字标签并记录英文标签对照结果。第三照抄强化微调信息条件，更新注意力、多层感知机和输出层，低秩秩为 64 缩放为 16，组大小为 8，优化器学习率为 10 的负 5 次方，KL 系数为 0.1，奖励为字符错误率倒数与说话人相似度的平均。

评估时必须换用与奖励不同的识别和说话人模型，分别计算字符错误率、相似度并加预测平均意见分。还需补的验证包括报告每语种均值与方差、人工可懂度和说话人相似度听辨、匹配与非匹配子集切分，以及训练步数、批量和推理延迟。盲测长音频需实现切分转写加词项匹配的推理检索，并记录无重叠时的回退策略。

特别注意区分奖励分数与评估分数。奖励计算用的识别和验证模型与最终评估用的模型不同，不能把训练中看到的奖励曲线直接当作最终性能。所有切分和转写工具的版本也应固定，否则检索条件不可比。

何时值得尝试这套轻量做法，何时不应照搬？

当已有强大多语上下文合成基座，但跨语种输出带源语言口音，且目标语音不可得无法做监督微调时，值得尝试显式语言标签加小规模强化适配。它的优点是改动小，只在输入层加控制符，再用可懂度和音色奖励做轻量校准，不重训大模型。论文显示语言辨识置信度三语一致上升，这是支持尝试的直接依据。

当目标文本与参考历史有词汇重叠，尤其是会议术语和缩略语多时，值得加入推理时词项匹配，让模型听到说话人自己的正确读法。不应照搬的情形包括期望音色大幅提升，论文显示相似度只是稳定。也不应在无重叠长音频上期待实体改善，非匹配条件仍弱。

若目标语与论文三语差异大，或说话人口音分布不同，需重做标签语言选择和 KL 系数调优，并补人工评估后再上线。轻量做法的价值在于稳住发音和保持音色，而不是替代数据覆盖和系统级优化。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 3 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 iwslt-2026 论文汇总