📄 用配音加声音转换造出内容韵律兼顾的翻译训练数据

英文题目:Holistic Parallel Supervision for Expressive Speech to Speech Translation

评分:7.2/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.1/1.5

👥 作者与机构

  • Hao Zhang:机构信息未能在本次解析中与作者逐人可靠绑定
  • Ismail Rasim Ulgen:机构信息未能在本次解析中与作者逐人可靠绑定
  • Bismarck Bamfo Odoom:机构信息未能在本次解析中与作者逐人可靠绑定
  • Rui Liu:机构信息未能在本次解析中与作者逐人可靠绑定
  • Zihan Zhang:机构信息未能在本次解析中与作者逐人可靠绑定
  • Berrak Sisman:机构信息未能在本次解析中与作者逐人可靠绑定
  • Philipp Koehn:机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

语音到语音翻译输入为源语言语音、输出为目标语言语音,需同时译出内容并在跨语言时保持韵律、时长和说话人身份对应,任一维度缺失都会让表达走样。论文先用影视专业配音获得内容、韵律和时长的人工演绎对应,再对配音侧做多语言零样本语音转换以贴近原始说话人,形成源侧为转换后语音、目标侧保留原始真实录音的VC-Dub训练对。最后提出DirectS2ST,用冻结语义编码器提供源语音记忆,自回归部分生成源文本、目标文本和目标Mimi编码第一层编码,非自回归深度部分补全其余编码层,直接预测完整目标语音表示。为检验监督通用性,作者把同一数据同时用于TransVIP和Dub-S2ST这两个已有表达型系统,与解码器从头训练的DirectS2ST对照,关键差异在于是否直接以源语音为唯一条件预测全部目标语音。在mExpresso英西评测上,DirectS2ST将训练数据从CVSS-T换为VC-Dub后,韵律相似度指标A.PCP从2.238升至3.091,语义一致性指标BLASER从3.153升至3.259。在9名英西听众对10个英西源话语的表达MOS人评中,DirectS2ST同样从CVSS-T的2.13升至VC-Dub的3.42。结论适用于英德、英西两个方向的影视配音域,跨域泛化、长时对话和实时部署尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

语音翻译为什么不只看文字翻得对不对

这篇论文研究的输入是一段源语言语音,输出是另一语种的目标语音。目标不只是把字面意思翻对,还要把强调、语调、节奏、停顿以及说话人的音色特点用目标语言再现出来。举例来说,同样一句话,用兴奋的快语速说和用低沉的慢语速说,听感和意图完全不同,如果翻译只保证词对而把韵律丢掉,就不算完成了表达力翻译。

对刚入门的读者来说,关键是把 4 个维度分开:内容是说了什么,韵律是重音和语调怎么走,时长是语速和停顿如何组织,说话人身份是听起来像谁。论文反复强调,语义正确但表达不对应的目标语音,不能教会模型源表达在另一种语言里该如何实现,所以训练需要 4 个维度同时对齐的语音对。

已有数据和系统各缺了哪一块

论文梳理了 3 类已有资源各自的短板。合成语音可以复制源说话人音色,但表达往往比较平,缺少真实表演的起伏;大规模挖掘得到的语义平行数据量大,但说话人和表达对应很弱;专业配音有真实演员按剧情演绎,内容、韵律和时长对应较强,但源语和配音通常是不同演员,音色对不上。也就是说,已有训练数据至少在一个维度上是不对齐的。

在系统方面,已有表达力翻译方法常用间接策略,例如训练时用目标语音提取韵律或音色条件,推理时换成源语音提取的条件,或者用单独模块分别搬运音色和韵律。论文认为这些做法没有让模型直接从成对语音中联合学到内容和表达的实现方式,因此提出用更完整的平行监督来检验直接建模是否更有效。

论文要回答的具体问题是什么

论文把问题收敛为两点。第一,能否用低成本方式构造出内容、韵律、时长、说话人身份都尽量对齐的训练语音对;第二,给定这样的数据,已有系统和新提出的直接预测系统各能获益多少,直接预测是否对数据质量更敏感。作者明确这是概念验证性质的系统性考察,而不是发布一个通用大数据集。

需要提醒的是,论文不主张配音的基频曲线或帧级时长完全相同,而是把对应理解为同一视听语境下对表达意图的合理再现。音色对齐也不是要求生物学上的同一人,而是通过声音转换减少训练对中的说话人不匹配,让模型学到更一致的映射。

整体思路如何把配音和声音转换连起来

整体流程可以沿着一个样本理解。起点是德语或西班牙语原片语音和对应的英语配音语音,两者语义对应、表演对应,但说话人不同。先做清洗和语义对齐,得到干净的单说话人片段;然后对英语配音做多语种零样本声音转换,把音色换成原片说话人的音色,但保留配音的翻译内容和表演;最后把转换后的英语语音当源、原片德语或西班牙语真实录音当目标,构成英译德或英译西的训练对。

内容 × 韵律: 内容指说了什么、翻译语义是否正确;韵律指怎么说的,包括重音、语调、节奏和停顿,两者在表达力翻译中都要保留,本文用配音保证两者的人工对应,再用客观指标分别检验语义一致性和韵律相似性。

这样做的关键取舍是只对源端做转换,目标端始终是未经合成的人类真实录音。论文的理由是避免把转换带来的人工痕迹引入监督目标,让模型预测的是真实语音分布。后续还用随机打乱配对的负对照来验证观察到的对应确实来自配对本身,而不是语料整体风格相近。

配音数据怎样清洗成可用的训练对

配音部分先解决能用性的问题。原始影视音频有背景音乐和噪声、多说话人混杂、语言标签不准等问题。论文依次用语音增强、歌声分离得到单说话人语音,用 Speech VecAlign 做原片与配音的语义对齐,用语言识别模型检查语种,用说话人日志模型剔除多说话人片段,再用 DNSMOSPro 这类语音质量预测器过滤低质量对。源和目标的文字转写是用 Whisper-large-v3 生成的,只作辅助训练目标,推理时不输入。

专业配音 × 多语种声音转换: 专业配音指影视剧中由演员用另一种语言重新演绎对白的人声,负责提供翻译内容和符合剧情的强调、语调与时长组织;多语种声音转换指把一段语音的内容和韵律保留、只换成另一个说话人音色的零样本转换,负责减少配音与原片说话人不一致的问题,两者搭配后得到内容、韵律、时长、说话人身份都尽量对齐的训练对。

记清洗后的原片语音为一种语言的某个说话人的语音,配音为另一语言另一演员的对应语音。声音转换一步把配音的音色替换为原片说话人,同时尽量保留语言内容和韵律,这是下两个公式要形式化的对象。

声音转换一步在数学上做了什么

声音转换的输入是两个对象:需要保留内容和表演的配音语音,以及提供音色参考的原片语音。输出是内容和表演来自配音、音色靠近原片说话人的新源语音。论文用 Seed-VC 实例化多语种零样本转换,并引用其保持语言内容和韵律的设计,但正文没有给出该转换内部的网络细节,读者只需把它看作保留表演、替换音色的操作。

\[\tilde{y}^{b,o}=\mathcal{V}_{\mathrm{multi}}\left(y^{b,d};x^{a,o}\right).\vskip-3.1298pt\]

得到转换后源语音后,训练对按与配音过程相反的方向组织,即转换后的英语配音作源,原片德语或西班牙语录音作目标。论文强调目标保留人类表演,不经过文本转语音或声音转换重合成。

\[(u,v)=\left(\tilde{y}^{b,o},x^{a,o}\right)\in\mathcal{D}_{\mathrm{\textsc{VC-Dub}}}^{b\rightarrow a}.\vskip-3.41432pt\]

从监督角度看,这意味着内容、韵律、时长和说话人身份是联合监督模型去预测真实目标语音,而不是分别用不同损失拼凑。代价是源端不可避免带有转换痕迹和约 8.3% 词错率量级的内容扰动,论文用转写前后比较来量化这一点。

DirectS2ST 怎样直接预测目标语音

DirectS2ST 是论文为检验直接监督假设而搭建的端到端模型。给定源语音,它要预测配对目标人类录音的全部 16 路 Mimi 编解码器编码流。源端记忆来自冻结的 w2v-BERT 2.0 编码器,通过交叉注意力提供连续表示;声学提示是对连续 Mimi 特征做均值标准差池化后得到的,放在文本到编码边界的分隔符位置,且与 TransVIP 不同,这里是从源语音提取而不是从目标语音提取。

自回归时间解码器 × 非自回归深度解码器: 自回归时间解码器指按时间步逐个生成源文、目标文本和第一层语音编码的模块,负责建立语义锚点和粗粒度声学序列;非自回归深度解码器指在每一层编码内并行预测、层与层之间顺序预测其余编码层的模块,负责补全细粒度音质细节,两者分工让文本引导与声音细节预测解耦又共享源语音条件。

具体计算分两段。自回归时间解码器逐步生成源文本、目标文本和第一层目标编码,共享输出头;非自回归深度解码器预测其余编码层,每层内部各帧并行、层之间顺序进行,每层以上一层编码和源编码前缀为条件,并在前面拼接来自冻结 CAMPPlus 说话人编码器的投影作为音色条件。另有一个说话人身份损失,把深度解码器隐状态均值池化后投影到 CAMPPlus 空间,与配对目标语音的嵌入算余弦损失。论文把源文本、目标文本的预测理解为语义扎根和翻译引导,而源语音条件同时引导语义、音色和韵律,从而实现训练时的端到端整体监督。

模型用什么规模和设置训练

DirectS2ST 的时间解码器和深度解码器分别为 12 层和 8 层,隐藏维度 1024,注意力头 16 个,前馈维度 4096,丢弃率 0.1,总参数约 1.2B,解码器从随机初始化开始训练。词汇是方向相关的 8k SentencePiece,用冻结预训练 Mimi 编解码器的前 16 个码本、每个 2048 表项,以及冻结的 CAMPPlus 说话人编码器。英德和英西分别训练,在一块 141-GB H200 上批量大小为 8,每个方向约 2 到 3 天。

损失权重按原文为源文本 0.4、目标文本 0.6、第一层编码 1.0、深度损失 3.0,另有仅训练时使用的文本到文本、文本到第一层编码和说话人身份目标,权重分别为 0.3、0.5 和 0.1。学习率从 1e-4 按多项式衰减。推理时用束宽为 5 的束搜索生成统一的文本加第一层编码序列,再由深度解码器贪心预测其余编码层。TransVIP 用官方实现和默认设置在同样数据上训练,Dub-S2ST 则因原语音到单元模块泛化有限,换用了另一工作的语音到单元模型,且单元到语音模块从 CosyVoice 预训练 checkpoint 初始化而非从零训练。

训练和评测条件如何保证可比

训练对比把新构造的 VC-Dub 与广泛使用的 CVSS-T 放在约相同训练量下比较,CVSS-T 的目标是合成的音色迁移语音。针对 Dub-S2ST 还考察了其变体 CVSS-TS,该变体改善了源目标语速对应,但不改善其他表达维度。为分离声音转换的作用,另用同一配音对但不做转换的 Raw-Dub 训练 DirectS2ST。评测用与训练无关的 mExpresso,每个方向 504 条,覆盖 7 种表达条件,Dub-S2ST 因单元表示不支持德语只评英西。

ASR-BLEU × BLASER 2.0-QE: ASR-BLEU 指先用语音识别转写翻译语音再算文本 BLEU 的内容指标,反映可懂的词汇正确性;BLASER 2.0-QE 指直接衡量源语音与输出语音语义一致性的免参考指标,两者搭配可以同时看到转写层面的错误和跨语种语义保持程度。

内容用 ASR-BLEU 和 BLASER 2.0-QE 看,韵律用 AutoPCP 看,时长和音色用 STOPES 中的语速相关性、停顿相似性和说话人相似性看,自然度用 NISQA-TTS 估计。人工评测请 9 名精通英语和西班牙语的听者,对 10 条覆盖 7 种表达条件的英西源语音的输出按 5 分制评表达力,参考源语音,考虑强调、节奏、时长和语调。显著性在自动指标上用双边配对随机化检验加 Holm-Bonferroni 校正,在人工分上用交叉线性混合效应模型加同样校正。

AutoPCP × STOPES: AutoPCP 指衡量整句韵律相似度的自动指标;STOPES 指一组衡量语速相关性、停顿相似性和说话人相似性的指标,其中语速用 Rate、停顿用 Pause、说话人用 Vsim 表示,两者搭配把笼统的像不像拆成韵律、时长组织和音色三个可比较的维度。

构造的数据本身在四个维度上对齐了吗

先看训练对本身的配对分析,这是判断监督是否成立的前提。下表比较 CVSS-T、未做转换的配音对和做了转换的配音对,并用随机打乱配对作负对照,指标越大越好,语音质量指标按源和目标分别报告。

方向数据集BLASERA.PCPRatePauseVsimDNSMOSPro
英译德CVSS-T3.4052.5050.3650.5240.2083.160 || 2.797
英译德Raw-Dub3.6342.7590.4160.6820.0603.900 || 3.684
英译德VC-Dub3.6113.0000.4350.6980.4064.104 || 3.684
英译德打乱2.2852.218-0.0090.3940.0254.104 || 3.684
英译西CVSS-T3.4002.5370.3720.5500.1943.173 || 2.780
英译西Raw-Dub3.6322.9200.4170.6760.0463.913 || 3.714
英译西VC-Dub3.6063.1830.4360.6860.3624.091 || 3.714
英译西打乱2.1992.345-0.0030.3610.0274.091 || 3.714

表中可见,未转换配音已在内容、韵律和时长对应上强于 CVSS-T,主要短板是说话人相似度很低;加入声音转换后说话人相似度大幅回升,韵律相似度进一步提高,语速和停顿也有小幅提升,跨语种语义在语料层面基本保持。随机打乱后各项对应大幅下降,说明对应是配对特异的。限制是内容保持的词错率和字错率是用转换前后转写比较得到的间接估计,且转换后源端质量分变高可能部分反映增强处理,不能直接等同于表达更真实。

训练量是否大致匹配

下表是论文报告的训练规模对照,说明 VC-Dub 与 CVSS-T 在 2 个方向上的训练量大致匹配,这是讨论公平性的基础,平均时长按源和目标分别报告。

方向数据集对数源小时目标小时总小时平均时长
英德CVSS-T127,250128.19122.16250.353.63 || 3.46
英德VC-Dub131,399127.40135.82263.223.49 || 3.72
英西CVSS-T78,96379.7672.77152.533.64 || 3.32
英西VC-Dub79,20084.6186.52171.133.85 || 3.93

在该量级下,主结果显示把 CVSS-T 换成 VC-Dub 后,3 个模型家族的表达力保持都有改善,尤其韵律相似度和说话人相似度一致提升,时长和自然度则依架构而异。绝对分数还受预训练影响,例如 TransVIP 因有 SeamlessM4T 初始化的内容主干,内容分数更强;Dub-S2ST 因单元到语音合成器来自大规模训练的 CosyVoice,自然度和说话人相似度绝对值更高。但即使如此,换数据仍能提升其韵律、音色和翻译表现。

直接预测系统在主评测上是否提升最大

主翻译结果在 mExpresso 2 个方向上同时报告内容、语义、韵律、语速、停顿、音色和自然度,表中标记表示同模型不同训练集之间显著以及对同方向最强基线显著。下表是完整的跨模型比较,数字方向均为越大越好。

方向模型训练ASR-BLEUBLASERA.PCPRatePauseVsimNAT
英译德TransVIPCVSS-T12.253.3972.6090.4700.4890.1263.257
英译德TransVIPVC-Dub13.843.3992.7430.6000.5490.1693.472
英译德DirectS2STCVSS-T6.013.2342.1620.3340.6870.1143.339
英译德DirectS2STVC-Dub10.523.3732.9050.5890.7520.2173.450
英译西TransVIPCVSS-T15.533.3542.6640.6010.4940.1383.092
英译西TransVIPVC-Dub18.963.4332.8030.6710.5620.1583.407
英译西Dub-S2STCVSS-T11.613.2392.9330.5810.5960.2183.658
英译西Dub-S2STCVSS-TS11.893.2262.9380.6080.5720.2143.631
英译西Dub-S2STVC-Dub15.213.3213.0120.5950.6120.2383.759
英译西DirectS2STCVSS-T10.003.1532.2380.4330.6520.1053.361
英译西DirectS2STVC-Dub14.223.2593.0910.6690.7330.2053.466

从表中可读出,DirectS2ST 从 CVSS-T 换到 VC-Dub 后涨幅最大,在 2 个方向上都拿到最好的韵律相似度和停顿分数,并在部分指标上显著超过同方向最强基线。但也要看到它的内容起点较低,这与解码器从零训练、检验成对语音能否独立支撑翻译的严格设定有关。未胜出的细节同样重要,例如 Dub-S2ST 的语速自适应变体主要改善语速,而 VC-Dub 带来更广的提升;Dub-S2ST 在自然度和音色绝对值上仍占优,说明数据改善不能完全抹平预训练合成器带来的差距。

声音转换和人工听感各自证明了什么

为分离音色匹配的作用,论文固定同一配音对,只比较做与不做声音转换训练 DirectS2ST 的效果。原文报告英译德时 VC-Dub 与 Raw-Dub 的说话人相似度为 0.217 对 0.065,韵律为 2.905 对 2.712,语速为 0.589 对 0.455;英译西时说话人相似度为 0.205 对 0.058,韵律为 3.091 对 2.824,语速为 0.669 对 0.555,而内容、停顿和自然度基本相当。这支持论文的解释,即转换主要减少说话人不匹配,同时保留配音的其他属性。

人工表达力评价进一步验证了感知层面的收益。下表是 9 名听者在英西 10 条源语音上的 5 分制表达力平均分,括号为置信区间,可靠性系数表明评分一致性较高。

模型训练数据MOS95% 区间
TransVIPCVSS-T1.82[1.62, 2.01]
TransVIPVC-Dub2.24[2.03, 2.44]
Dub-S2STCVSS-T2.88[2.63, 3.12]
Dub-S2STVC-Dub3.59[3.34, 3.84]
DirectS2STCVSS-T2.13[1.93, 2.33]
DirectS2STVC-Dub3.42[3.20, 3.64]

表中 VC-Dub 在 3 个模型上都显著高于 CVSS-T,其中 DirectS2ST 的增量约为 1.29,为三者中最大,与自动指标的趋势一致。复述时要注意,该结论依赖 Raw-Dub 本身已提供有效表达监督这一前提,如果配音对齐很差,转换也无法凭空产生对应,而且人工评测样本量小,不能推广到所有场景。

还有哪些条件没有测到

首先是数据许可限制,论文明确因版权不能分享数据集本身,只放脚本、阈值和实现细节,复现需要自行获取影视配音并重走流程。其次是语言和评测范围,训练只覆盖英德和英西,评测只用 mExpresso 的 504 条 7 种表达条件,人工评测只在英西 10 条源语音上进行,9 名听者的结论不能推广到所有语种和场景。

其次是指标局限,韵律、语速、停顿和音色都是自动近似,人工分也只评感知表达力,没有报告误判率、延迟和推理成本,因此不能承诺实时性或部署开销会改善。最后是因果表述,相关不等于因果,DirectS2ST 涨幅更大与直接监督假设一致,但论文没有逐一证明梯度路径或拿掉某一条件必然如何,仍应视为支持性证据而非决定性证明。

要复现第一步该做什么

复现应从数据管道开始,而不是先调模型。按论文顺序准备德语或西班牙语原片音轨及其英语配音,用语义对齐得到片段,再做语音增强和人声分离保证单说话人,接着做语言识别、多说话人剔除和质量过滤,所有阈值参考作者放出的脚本。由于数据集不能直接下载,这一步的工作量和版权门槛是主要代价。

之后用 Seed-VC 这类多语种零样本转换把英语配音转成原片说话人音色,组织成英语到德语或西班牙语的训练对,目标端保持原始人类录音。模型方面可先复现 DirectS2ST 的冻结编码器加两段解码器结构,或直接用 TransVIP 官方实现在同样数据上训练以验证数据效应。论文提到的演示页是第三方可访问链接,只能证明论文提到该链接,不能当作作者已开源代码与权重的证据,代码、权重、系统可运行要分开确认。

什么时候值得尝试这种监督

如果任务明确要求保留强调、语调和说话人特点,且能合法获得带表演的配音材料,这种先配音后换音色的构造值得尝试,因为它用真实表演弥补了合成语音表达不足和挖掘数据对应弱的问题。预期收益主要在韵律相似性、停顿和音色一致性上,内容提升是附带的,不能指望它解决所有翻译错误。

还需要补的验证包括更多语种、更自然的非影视口语、以及对转换痕迹是否被模型放大的检查。教学上可以把本文记成一句话:用人类配音解决怎么说的问题,用声音转换解决像谁说的问题,再让直接预测模型从完整目标语音中一次学到两者。任何超出英德英西和 mExpresso 条件的推广,都需要新的对照才能成立。

📎 论文与评分元数据

排名:前50% | 文档类型:方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-09 语音/音乐/音频论文速递