📄 用语音加文本的两阶段对比学习改善电子喉语音转换
标签：#语音转换 | #对比学习 | #多模态学习 | #语音
评分：5.8/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
👥 作者与机构
- Ding Ma：机构信息未在 arXiv HTML 中可靠披露
- Jinyi Mi：机构信息未在 arXiv HTML 中可靠披露
- Jiajun He：机构信息未在 arXiv HTML 中可靠披露
- Kazuhiro Kobayashi：机构信息未在 arXiv HTML 中可靠披露
- Naoki Nishio：机构信息未在 arXiv HTML 中可靠披露
- Tomoki Toda：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
电子喉语音转换（electrolaryngeal-speech-to-normal-speech conversion，EL2SP）的输入是电子喉发声产生的语音，输出是内容相同但更接近正常语音的声学特征，难点在于人工激励缺失基频变化和浊清音线索并混入辐射噪声，时长和频谱都与正常语音偏差很大。所提两阶段多模态对比表示学习语音转换（Multimodal Contrastive Representation Learning VC，MCRL-VC）在第一阶段同时编码电子喉语音和对应文本，用双向对比损失拉近配对语音文本并融合生成目标语音，第二阶段冻结第一阶段的融合表示并以单向对比损失引导纯语音编码器逼近该表示，推理时不再需要文本。语音编码器和解码器在第二阶段继承第一阶段参数，融合模块采用以语音为查询、文本为键和值的多头交叉注意力并保留语音残差。与同模态的基线相比，该方法在 Patient 2 测试集上把自然度平均意见分从 2.86 提高到 3.28，把字符错误率从 22.1% 降低到 20.1%。结论只在两个日语小规模电子喉数据集和配套声码器条件下成立，跨说话人、跨语言和实时部署能力尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 第三方资源：https://muginekoo.github.io/slt2026-demo/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
电子喉语音为什么难转成正常语音
喉切除手术会拿掉声带，患者常用体外电子喉提供人工激励，再经声道调制发出电子喉语音。这种语音的输入是人工振动加声道运动，目标输出是自然、清晰的正常语音频谱，转换时必须保留语言内容，同时补上缺失的基频变化、浊清音区分和自然韵律，还要去掉向外辐射的高能量噪声。论文指出，代偿性慢速发音还会让时长和时间结构异常，这使得电子喉语音与正常语音在大范围频谱和时长上都不对齐。
传统的帧对帧转换要求严格对齐，难以处理这种时长伸缩；序列到序列语音转换先把输入编码成语言学中间表示再解码成目标特征，可以隐式学映射并调整输出时长，因此更适合这项任务。对于刚入门的读者，可以把任务记成：输入是退化且时长异常的电子喉梅尔谱，输出是正常梅尔谱，中间要经过一个能抗退化的语言表示瓶颈。
已有路线在什么输入和推理条件下比较
论文把相关工作按推理时需要什么输入来区分。纯语音路线只用语音，例如马等人提出的预训练加 2 阶段微调方法，先用文本转语音模型做语音转换预训练，再用合成平行数据加原始数据做增强微调，最后只用原始平行数据精调，它在当时取得了较好效果，但在大失配下仍有累积误差和不稳定映射。
多模态融合路线在训练甚至推理时引入文本或提示，例如结合文本与音频提示做风格转换、引入节奏提示做语音到歌声转换，以及在情感识别、增强和识别中融合辅助模态，这些做法通常增加模型复杂度和数据需求，且运行时依赖额外模态。本文要比较的另一个基线是与本文模态相同的多模态表示方法，它在第一阶段用交叉注意力融合语音与文本表示生成正常语音，第二阶段去掉文本编码器做纯语音重建训练。
理解这条线的关键是公平条件：本文的比较都固定了相同的预训练模块和合成数据设置，区别只在是否加对比学习以及第二阶段如何迁移，因此胜负可以归因于表示学习方式，而不是数据量或推理时多用了文本。
论文要解决的两个具体困难是什么
论文把挑战拆成融合与迁移两步。第一，语音与文本表示是异构的，一个是帧级声学序列，一个是音素符号序列，而电子喉语音本身声学线索退化，简单的拼接或注意力容易学不到细粒度的跨模态对应。第二，即使第一阶段学到了好的融合表示，实际使用时不能要求患者每次说话都提供文本，因此要把多模态知识转回只用语音编码器的模型，保证结构和推理简单。换句话说，训练时可以用文本帮忙，推理时只能看电子喉语音。论文提出的 2 阶段多模态对比表示学习语音转换框架就是为这两点设计的：先用双向跨模态对比促进融合，再用单向跨阶段对比做教师引导的迁移。
两阶段框架的输入输出与分工
整个流程的输入在两个阶段不同。第一阶段同时输入配对的电子喉语音和对应文本，经语音编码器和文本编码器得到各自表示，先做对比对齐，再经交叉注意力融合成融合表示，最后由语音解码器生成正常语音的梅尔谱。第二阶段只输入电子喉语音，由一个纯语音编码器加语音解码器生成正常语音，但训练时第一阶段的融合表示被冻结为教师，用对比损失约束学生语音表示向教师靠拢。推理时第二阶段模型不再需要文本编码器、融合模块和教师分支。
这种分工的好处是把难学的语义对齐放在有文本的阶段解决，把轻量的模仿放在无文本的阶段解决。读图时可按从左到右的主路径先看数据流，再看对比分支提供的辅助监督。
下图为论文总览，展示两个阶段的模块连接、训练与固定关系的标注以及融合表示的位置。
看图路径： 1. 先看上下两栏区分第一阶段有文本输入、第二阶段只有电子喉语音输入；2. 看黑色实线与橙色实线的训练路径，以及橙色虚线表示的固定教师与初始化关系；3. 看交叉注意力与加号残差在哪里汇成融合表示并送入语音解码器；4. 看两侧平均池化加投影分支如何构成双向与单向对比学习
论文图 1。原论文 Fig. 1:：“Overview of the proposed two-stage multimodal contrastive representation learning VC framework, MCRL-VC.”。
从图中可见，第一阶段文本与语音两条编码支路在中间经平均池化加投影做双向对比，同时经交叉注意力加残差汇成融合表示；第二阶段的语音编码器由第一阶段初始化，融合表示经平均池化加投影后作为单向对比的目标，语音解码器同样由第一阶段初始化后继续训练。
第一阶段如何得到语音和文本的句级向量
第一阶段先对每个样本提取模态专属表示。语音编码器把电子喉语音序列变成帧数乘隐维度的张量，文本编码器把音素序列变成文本长度乘隐维度的张量。符号含义是：N 为批量大小，F 为语音帧数，L 为文本序列长度，D 为隐维度。为了做整句级的对比，论文对时间维做平均池化，把变长序列压成一个向量，再经各自可训练的投影块映射到同一对比空间，投影块由线性层加层归一化组成，随后做 L2 归一化并计算相似度。这一过程把帧级细节暂时平均掉，换来的是适合批量内配对判别的句级语义向量。
\[\displaystyle\boldsymbol{H}^{(S)}=\mathrm{SpeechEnc}(\boldsymbol{X}^{(S)})\in\mathbb{R}^{N\times F\times D},\]上式说明语音编码的输出形状与输入批量、帧数和隐维度的对应关系，是后续池化和投影的起点。
\[\displaystyle{\boldsymbol{Z}^{(S)}=\mathrm{Proj}(\mathrm{MeanPooling}({\boldsymbol{H}^{(S)}))}}\in\mathbb{R}^{N\times D},\]上式说明对语音表示先平均池化再投影得到句向量的具体变换，文本分支采用同样形式。
电子喉语音 × 正常语音： 电子喉语音指经由体外电子喉人工激励经声道产生的语音，缺少丰富的基频变化和浊清音线索且混有辐射噪声；正常语音指目标端要生成的自然语音。两者在频谱、韵律和时长结构上都存在大失配，本方法正是要学习从前者到后者的序列级映射，文本则用来给这种困难映射提供语言学锚点。
双向跨模态对比如何拉近配对拉远非配对
得到句向量后，论文在批量内计算语音到文本和文本到语音两张相似度矩阵，即归一化后的句向量点积再除以温度系数。矩阵的行是查询模态的样本，列是另一模态的样本，对角线为配对句，非对角为非配对句。损失采用常见的 InfoNCE 形式，对每一行做 softmax 分类，目标是让对角相似度最高。2 个方向的损失再平均得到跨模态对比损失。这种双向设计让语音找文本和文本找语音同时被优化，避免单一方向只顾一侧分布。对初学者可举例说明：假如一个批量有 32 句话，模型要让第 5 句电子喉语音与第 5 句文本的相似度高于它与其他 31 句文本的相似度，反方向亦然。
\[\displaystyle\boldsymbol{M}^{(S\rightarrow T)}=\hat{\boldsymbol{Z}}^{(S)}(\hat{\boldsymbol{Z}}^{(T)})^{\top}/\tau\in\mathbb{R}^{N\times N},\]上式为语音到文本相似度矩阵的计算，文本到语音矩阵形式对称，只是查询与被查询方互换。
\[\mathcal{L}_{\mathrm{CMC}}=\frac{1}{2}\left(\mathcal{L}_{S\rightarrow T}+\mathcal{L}_{T\rightarrow S}\right).\]上式为 2 个方向损失平均得到最终跨模态对比损失，论文在第一阶段总损失中以系数加权加入该项。
语音编码器 × 文本编码器： 语音编码器把电子喉语音的梅尔滤波器组序列变成帧级声学表示，文本编码器把音素加停顿符号序列变成字符级语言表示。前者携带退化的声学细节，后者携带干净的语言内容，两者在第一阶段先做对比对齐再做交叉注意力融合，目的是让声学表示向语义一致的方向靠拢。
交叉注意力融合保留了什么信息
对比分支只约束句级语义，真正送入解码器的仍是帧级融合表示。论文用多头交叉注意力，以语音表示为查询，以文本表示为键和值，把语言信息写入每一语音帧，再把原始语音表示残差加回，保证声学细节不丢失。输出形状与语音表示相同，仍是批量乘帧数乘隐维度，可直接送入语音解码器生成正常语音特征。这种设计对应一个直观分工：查询决定每 1 帧需要什么语言内容，键值提供文本侧的内容库，残差则防止过度依赖文本而丢掉说话方式。论文没有把文本单独解码，而是始终以语音帧为骨架做增强，这也是第二阶段能用纯语音逼近融合表示的结构基础。
\[\mathcal{L}_{\mathrm{CSC}}=-\frac{1}{N}\sum_{i=1}^{N}\log\frac{\exp(\boldsymbol{M}^{(\mathrm{stu}\rightarrow\mathrm{fused})}_{i,i})}{\sum_{j=1}^{N}\exp(\boldsymbol{M}^{(\mathrm{stu}\rightarrow\mathrm{fused})}_{i,j})}.\]上式为第二阶段单向跨阶段对比损失的形式，与第一阶段的 InfoNCE 思路一致，只是此处查询是学生语音表示，目标是冻结的融合教师表示，理解时可把分母看成批量内所有教师候选，分子为同句教师。
跨模态对比学习 × 交叉注意力融合： 跨模态对比学习把整句平均池化后的语音和文本向量投到共享空间，拉近配对句、推远非配对句，解决两种表示异构难以直接融合的问题；交叉注意力融合则以语音表示为查询、文本表示为键和值，把语言信息写入每一帧并用残差保留原声学信息。对比提供对齐约束，注意力完成细粒度信息注入，两者搭配才得到可解码的融合表示。
两阶段的总损失与参数冻结更新关系
除对比损失外，模型每阶段都保留三项常规损失：目标语音重建的 L1 损失、停止符预测的加权二元交叉熵损失，以及鼓励输入输出对角对齐的引导注意力损失。第一阶段总损失为这三项加系数 α 乘跨模态对比损失，论文取 α 为 0.1；第二阶段总损失为这三项加系数 β 乘跨阶段对比损失，论文取 β 为 0.01。参数关系按原文描述为：第二阶段去掉文本编码器，语音编码器和解码器用第一阶段对应参数初始化后继续训练。
第一阶段的文本增强融合表示被冻结，用作表示级教师来构造对比损失，学生分支的投影块可训练。原文未报告温度系数、批量大小和投影维度的具体取值，也未给出梯度是否截断教师分支之外的细节，因此复现时只能按冻结教师、更新学生与解码器的字面描述实现，缺失项应在记录中标明未报告，而不能从模型名猜测。
融合表示 × 学生语音表示： 融合表示是第一阶段学到的语音加文本联合表示，在第二阶段被冻结为教师；学生语音表示是第二阶段纯语音编码器从电子喉语音单独提取的表示。两者经同样的平均池化和投影后做单向对比，迫使学生在没有文本输入时仍逼近教师，从而把多模态知识迁移到可独立推理的语音模型中。
数据划分、基线配置与评价指标方向
实验用日语数据。文本转语音预训练用 JSUT 语料，7296 句训练约 10 小时，其转写及用其生成的合成数据也参与第一阶段训练。患者 1 为平行语料，300 句电子喉与正常语音约 15 分钟，来自同一患者术前术后；患者 2 为半平行语料，200 句电子喉语音不足 10 分钟加 413 句正常语音约 20 分钟，正常语音由健康说话人在相同录音条件下提供，模拟拿不到患者自身正常语音的实用场景。两数据集各留 20 句平行做开发集、40 句做测试集，其余做训练。
第一阶段除原始平行对还加入 7296 句外部平行合成数据，患者 2 还为多出的正常语音生成对应电子喉合成数据，使全部 353 句正常语音可用；最后阶段只用原始平行数据精调。实现上用 ESPnet，24 千赫采样，80 维梅尔滤波器组，2048 点傅里叶变换，300 点帧移，文本为日语音素加停顿符，编码器解码器为 6 层四头 Transformer，降采样因子为 3，交叉注意力同样四头，波形由 4 个按数据集与声种分别训练的 Parallel WaveGAN 声码器重建。
比较系统包括纯语音 S-VC、多模态 MR-VC、本文 MCRL-VC 及其变体 MCRL-VC-Rec，后者保留第一阶段对比但第二阶段沿用普通重建而不加跨阶段对比，用于分离 2 阶段贡献。评价指标方向为：梅尔倒谱失真越低越好，字符错误率越低越好，说话人嵌入余弦相似度越高越好，主观语音质量评估预测分越高越好，人工自然度平均意见分越高越好，其中可懂度用适配过的识别引擎计算，说话人相似度用 SpeechBrain 说话人确认工具提取，自然度由 26 名日语母语听者打分。
序列到序列语音转换 × 电子喉到正常语音转换： 序列到序列语音转换指先编码中间语言表示再解码为目标语音特征、允许输出长度变化的框架；电子喉到正常语音转换是它在本篇中的具体任务，要求保持语言内容不变、把说话人特性和自然度向正常语音靠拢并调整异常时长。论文的所有预训练、合成数据增强和两阶段微调都是为这个任务在极少平行数据下能训练起来而设计的。
患者 1 测试集上各方法比较说明了什么
下表比较的问题是：在相同的预训练、合成数据和纯语音推理条件下，是否加入文本融合以及是否加入 2 阶段对比会改变转换质量。公平条件是三者都经过相同的合成数据增强和最后只用原始平行数据的精调，推理都不需要文本。指标方向按上节所述，数值越低越好的为失真与错误率，越高越好的为相似度与主观分。表中同时列出原始电子喉语音和真实正常语音作为上下界参考。
| Systems | MCD (↓) | CER (↓) | SECS (↑) | SSQA (↑) | NMOS (↑) |
|---|---|---|---|---|---|
| S-VC | 7.42 | 37.0 | 0.587 | 3.80 | 2.64 ± 0.09 |
| MR-VC | 7.35 | 35.5 | 0.630 | 3.83 | 3.04 ± 0.10 |
| MCRL-VC (proposed) | 7.20 | 32.7 | 0.647 | 3.84 | 3.15 ± 0.09 |
| MCRL-VC-Rec (proposed) | 7.25 | 33.9 | 0.644 | 3.88 | – |
| EL | 13.28 | 41.8 | 0.014 | 2.12 | 1.08 ± 0.04 |
| NL (ground truth) | – | 15.1 | – | 4.48 | 4.62 ± 0.07 |
读数可见，多模态基线已全面优于纯语音，而本文完整方法又进一步降低失真与错误率并提高说话人相似度和人工自然度。具体看，MCRL-VC 相对 MR-VC 在患者 1 上梅尔倒谱失真降低 0.15，字符错误率降低 2.8 个百分点，人工分从 3.04 升至 3.15。限制是：改进幅度基于 40 句测试集和特定识别与主观预测工具，SSQA 上 MCRL-VC 为 3.84 反而略低于同门变体的 3.88，说明在预测自然度维度存在权衡；原始电子喉语音失真高达 13.28，说明任务起点很低，任何向正常语音的靠拢都容易显出大收益，不能直接推广到其他语种或更大数据。
患者 2 半平行场景下结论是否依然成立
下表回答的问题与患者 1 相同，但数据条件更贴近实用：正常语音来自他人且数量多于电子喉语音，模型在第一阶段见过更多合成配对。表前说明同样适用：比较方法、训练数据量和推理条件一致，指标方向不变，表中破折号表示原文未报告对应值。
| Systems | MCD (↓) | CER (↓) | SECS (↑) | SSQA (↑) | NMOS (↑) |
|---|---|---|---|---|---|
| S-VC | 6.24 | 23.3 | 0.734 | 3.91 | 2.56 ± 0.09 |
| MR-VC | 6.04 | 22.1 | 0.738 | 3.93 | 2.86 ± 0.09 |
| MCRL-VC (proposed) | 5.87 | 20.1 | 0.743 | 3.95 | 3.28 ± 0.10 |
| MCRL-VC-Rec (proposed) | 5.96 | 21.6 | 0.739 | 3.99 | – |
| EL | 12.40 | 25.1 | 0.047 | 2.76 | 1.18 ± 0.05 |
| NL (ground truth) | – | 10.9 | – | 4.22 | 4.41 ± 0.09 |
结果趋势与患者 1 一致，且人工自然度差距更大，MCRL-VC 达 3.28，明显高于 MR-VC 的 2.86，更接近真实语音的 4.41。客观上 MCRL-VC 相对 MR-VC 失真降低 0.17，错误率降低 2.0 个百分点。需要强调的限制是：患者 2 的正常参考来自健康人，说话人相似度指标的含义与患者 1 不同；字符错误率的绝对值受适配识别引擎影响，正常语音本身仍有 10.9% 的错误率，说明该指标只适合组内相对比较；同样出现 SSQA 上变体略高而完整方法略低的反例，提示单看预测分会得出不同排序，应以多指标联合判断。
两阶段对比各自带来了什么变化
要分离两个对比的作用，论文比较了 MR-VC、MCRL-VC-Rec 与 MCRL-VC。MCRL-VC-Rec 只在第一阶段加跨模态对比，第二阶段仍为普通重建；MCRL-VC 则 2 阶段都加对比。两个数据集上 MCRL-VC-Rec 都已优于 MR-VC，支持第一阶段对比改善了融合；MCRL-VC 又在 4 个客观指标中的 3 个上优于 MCRL-VC-Rec，支持第二阶段跨阶段对比进一步帮助迁移，但 SSQA 略低显示在语音质量预测分上有代价。
为从表示层面验证，论文计算第二阶段语音表示与第一阶段融合表示经平均池化加 L2 归一化后的余弦相似度矩阵，并在患者 1 测试集上可视化。对角为同句配对，非对角为跨句配对，颜色越深相似度越高。
下图从左到右依次为普通多模态、只加第一阶段对比、2 阶段都加对比的热图，可直观比较对角 dominance 与背景杂散。
看图路径： 1. 横轴为第一阶段融合表示，纵轴为第二阶段语音表示，对角线为同句配对；2. 比较三幅热图中对角线亮度与非对角背景杂散的强弱；3. 注意最右侧图的背景最浅且对角最连续，反映的对齐含义结合正文理解
论文图 2。原论文 Fig. 2:：“Heatmaps of cosine similarity matrices between the second-stage speech representations and the corresponding first-stage fused representations within each system: (a) MR-VC, (b)…”。
图中可见，中间图的对角比左侧更清晰、非对角更弱，说明第一阶段对比产生的融合表示与第二阶段语音表示更兼容；右侧图的对角最强、非对角最低，说明单向教师引导让纯语音表示更贴近融合表示。这一可视趋势与表格中失真和错误率的排序一致，但它只是表示相似度的定性展示，不能直接等同于可懂度或自然度的因果证明，也未报告统计显著性与延迟成本。
哪些范围尚未评测与容易误解之处
首先是数据与泛化范围。实验只在两个小规模日语患者数据集上进行，测试集仅 40 句，且依赖大量由同源文本转语音模型生成的合成平行数据，结论不能直接推广到其他语言、更大数据或无合成数据的场景。其次是评价工具依赖。字符错误率、说话人相似度和主观预测分都来自特定工具和适配引擎，正常语音本身也有错误率，自动分不等于人工听感，人工分也只在 12 句随机抽样加 26 名听者条件下得到。第三是成本缺失。
论文未报告训练时长、参数量、推理延迟与实时因子，因此不能声称方法更省算力或适合低延迟部署，未来工作也明确把低延迟系统列为待做。容易误解的是把推理时不用文本等同于训练不用文本，实际上第一阶段仍需要配对文本与合成数据；把热图对角清晰等同于必然提升所有指标，但 SSQA 的反例已说明存在权衡；把与纯语音基线的差距完全归因于对比学习，而 2 阶段初始化与数据使用方式同样影响结果，需结合变体比较来理解。
复现第一步要准备什么与作者资源现状
复现应从数据与基线搭起。先准备 JSUT 的 7296 句训练划分用于预训练，再按论文划分整理患者 1 的 240 训练对加 20 开发加 40 测试，以及患者 2 的 140 训练对加额外正常语音合成配对，注意采样率统一到 24 千赫并提取 80 维梅尔特征，文本侧处理为日语音素加停顿符。先复现纯语音预训练加 2 阶段微调与普通多模态融合基线，固定 6 层四头 Transformer、降采样因子 3、学习率 0.001 及对应优化器设置，再加入跨模态与跨阶段对比分支并设权重为 0.1 和 0.01。声码器需按电子喉与正常、患者 1 与患者 2 分别训练 4 个 Parallel WaveGAN。
关于资源，论文正文给出一个第三方演示页链接，经核验当前可达，但它只证明论文提到该链接，不证明作者已开源代码或权重；本次证据未确认作者代码仓库可用，因此应按无公开代码假设从头实现，并在记录中区分演示音频可听、代码可运行与权重可下载三件事。
什么时候值得尝试与还需补什么验证
当手头有少量平行电子喉语音加较多文本或可合成平行数据，且推理时只能用语音时，这套先用文本辅助对齐、再蒸馏回纯语音的思路值得尝试；若已有高质量文本标注且能接受推理时输入文本，则普通多模态融合可能更直接，不必照搬 2 阶段蒸馏。复现第一步建议先跑通纯语音基线与合成数据管线，确认失真与错误率的数量级后再引入对比分支，避免一步到位难以定位问题。
还需补的验证包括：在更多说话人与语种上检验稳定性，对自动指标做显著性检验并补充完整人工可懂度评估，测量训练与推理开销及流式延迟，以及在去掉合成数据或减少文本量时观察性能下降曲线，这样才能知道收益中有多少来自对比设计、多少来自数据增强。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses