先学容易方向再反哺困难方向：WhispEar 用伪平行耳语扩大耳语转正常语音

英文题目：WhispEar: A Bidirectional Framework for Scaling Whispered Speech Conversion via Pseudo-Parallel Whisper Generation

会议身份：conference:interspeech:2026:conference-paper-id:fang26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #数据增强 #流匹配 #语音转换

评分：7.0/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.2/1.5 | 可复现 0.1/0.5 | 工程/实践 1.1/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Zihao Fang：机构信息未能从会议 PDF 纯文本可靠映射
• Yingda Shen：机构信息未能从会议 PDF 纯文本可靠映射
• Zifan Guan：机构信息未能从会议 PDF 纯文本可靠映射
• Tongtong Song：机构信息未能从会议 PDF 纯文本可靠映射
• Zhenyi Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Zhizheng Wu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

耳语转常态转换以耳语音波形为输入、以常态语音波形为输出，需在缺失基频与周期激励下恢复韵律、音色与可懂度，而平行语料稀缺与时长错位使直接建模困难。WhispEar第一步将SenseVoice-Large蒸馏为轻量语义分词器以输出跨发声模式不变的语义表征，第二步将该表征与方向标识送入共享流匹配变换器以生成对应方向的梅尔谱并结合音色参考合成波形。第三步分别训练常态转耳语与耳语转常态统一分词器承接上述表征实现双向映射，其中较易的常态转耳语先用少量对齐真值训练，再大规模合成伪平行对供给逆方向预训练与微调，这与依赖单语种或对抗训练的已有方案形成关键差异。与最强基线相比，WhispEar-Scaled 在 wEar 中文测试集上将字错率降至 14.93%并将说话人相似度提升至 0.750，显著优于 CosyVoice2 的 29.29%与 0.622。在wTIMIT英文测试集下，WhispEar-Scaled的WER为22.44%，低于CosyVoice2的WER 36.69%。该结论目前仅在安静手机录音与 wTIMIT 和 wEar 划分上得到验证，噪声、远场与未见语言的外推尚未证实。其适用边界受限于安静近场采集与需真值微调的设定，噪声远场与未见语言的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 演示资源：https://whispear-demo.github.io/ — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/zeta-chicken/toWhisper — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要保留哪些信息？

本文的输入是一段研究生需要复述的论文证据，目标是讲清耳语转正常语音这件事为什么难、作者用什么步骤解决、实验在什么条件下成立。本文只讲论文实际研究的 2 个方向：耳语转正常和正常转耳语，不扩展到一般语音增强或通用语音合成。必须保留的信息包括 3 阶段训练的先后关系、冻结与更新的对象、伪平行数据的来源与规模、评价指标的方向，以及中英文测试集上的关键数字。

耳语的白话含义是没有声带周期振动的说话方式，听感是气声，信号上缺少基频。基频的英文是 fundamental frequency，它决定音高轮廓，是韵律的重要载体。正常语音有周期激励，耳语只有噪声激励，因此直接把耳语频谱映射到正常频谱会同时缺失音高、音色细节和自然度。论文要解决的是在平行录音很少的情况下，如何恢复可懂、自然、音色一致的正常语音。

输出是 1 篇可核对的技术解读，读者应能按段落复述出样本从输入波形到语义令牌再到梅尔频谱最后到波形的完整路径，以及伪数据如何从正常语音批量生成。教学用的举例会明确标为例子，不把例子中的数值当作论文报告的结果。

已有路线在相同输入和目标下卡在哪里？

在相同输入都是耳语、相同目标都是正常语音、相同运行阶段都是转换推理的条件下，论文对照了 4 类已有路线。第一类是传统数字信号处理生成伪耳语，用规则把正常语音改造成耳语声，再拿来扩充训练。原文指出这类数据与真实耳语存在分布差距，带来的增益有限。第二类是对抗学习方法，训练不稳定。第三类是内容解耦思路在语音合成和音色转换中的成功做法，启发了近期耳语转换工作，例如引入 HuBERT 等语义表示来改善转换。

具体基线包括 WESPER、DistillW2N、CosyVoice2 和 MaskCycleGAN。WESPER 是零样本实时耳语转正常转换，DistillW2N 是通过自监督特征蒸馏得到的轻量单样本模型，CosyVoice2 是为正常语音优化的可扩展流式合成大模型，MaskCycleGAN 是无声码器的非平行转换对抗网络。前 3 个基线用公开发布的检查点评价，MaskCycleGAN 用官方实现在 wTIMIT 和 wEar 上重训。这种对照属于同输入同目标下的可运行策略比较，不是类别标签的胜负。

论文的判断是：已有方法一方面重度依赖有限平行数据，另一方面难以同时保住说话人音色和自然韵律。因此作者把问题重新表述为从相同语义内容生成不同风格的生成任务，耳语和正常语音共享高层语言和语义信息，只是声学风格不同，这为双向转换提供了逻辑支撑。

为什么平行数据稀缺会直接决定方法设计？

平行数据的白话含义是同一句话既有耳语录音又有正常录音，并且时间对齐。没有对齐，模型不知道耳语的哪 1 帧对应正常语音的哪 1 帧，监督信号就是错位的。论文报告 wTIMIT 英文只有约 26 小时，CHAINs 等更小，中文方面 iWhisper 等没有平行对，AISHELL6 等规模也有限。录制新的平行耳语成本高，需要组织说话人、控制噪声、逐句录制。

如果只用未对齐的原始录音直接训练，论文的消融显示会出现严重时间错位，性能最差。举例来说，这就像让学生对照两本页码错乱的书学翻译，即使内容对应，位置错了也学不会。因此方法必须同时回答两个问题：如何得到时间可用的平行监督，以及如何不依赖大量新录音扩大规模。

作者的答案是分两步走。先用少量真实平行数据学会容易的正常转耳语方向，再用这个方向把大量正常语音批量变成伪耳语，得到大规模伪平行对，最后用真伪混合数据训练困难的耳语转正常方向。容易与困难是原文的经验判断：正常转耳语在有限配对数据下已能达到较好质量，而反方向需要更多数据。

沿一个样本走完双向转换的全景

先沿一个样本走完全景。假设输入是一句耳语，目标是恢复同一说话人的正常语音。输入波形先进入对应方向的统一语义分词器，得到目标风格的离散语义令牌。再把这些令牌与一个音色参考一起送入共享的流匹配变换器，生成目标梅尔频谱，最后经共享声码器合成波形。如果输入是正常语音而目标是耳语，流程相同，只是换成另一个统一分词器并切换方向指示符。

下段导读图一的推理管线，重点是输入到输出的主路径、语义分支与声学分支的汇合点，以及音色参考的作用位置。

看图路径： 1. 先沿左侧输入语音经统一语义分词器到流匹配变换器的主箭头走一遍；2. 再看下方音色参考从哪里汇入声学模型；3. 最后确认右侧输出如何在转换后正常语音或耳语之间切换

论文图 1。原论文 Figure 1：“Inference pipeline of WhispEar for bidirectional conversion.”。

从像素可见，左侧输入经过语义处理后进入中间的流匹配变换器方框，下方有一路音色参考向上汇入同一方框，右侧输出为转换后的正常或耳语语音的频谱示意。可见内容支持上段文字的复述：语义令牌决定说什么，音色参考决定像谁的声音，方向指示决定输出哪种说话方式。推理时声学模型和声码器是固定的，不同方向的区别只在选用哪个统一分词器和方向标记。

语义分词与声学模型各自负责什么？

语义分词器的白话含义是把波形变成只保留内容、不保留说话方式的编码器。声学模型的白话含义是把内容编码变回指定风格声音的生成器。流匹配的英文是 flow-matching，它学习从噪声到目标频谱的速度场，用于逐步生成梅尔频谱。梅尔频谱是压缩听觉频率的时频表示，是声码器的输入。

统一语义表示 × 说话方式不变性： 统一语义表示负责把耳语和正常语音映射到同一内容空间，说话方式不变性是它要满足的性质，二者搭配的理由是耳语缺失基频但语言内容相同，组合意义是用同一组语义令牌同时驱动 2 个方向的声学生成，从而把声学风格差异留给后续声学模型处理。

第一阶段的蒸馏语义分词器由堆叠变换器块组成，每块包含基于旋转位置编码的自注意力、前馈序列记忆网络模块和前馈网络。前馈序列记忆网络的英文是 Feedforward Sequential Memory Network，它用卷积记忆机制捕捉局部时序依赖，没有循环连接，起到高效上下文平滑的作用。训练数据同时包含耳语和正常语音，目的是鼓励说话方式不变的表示。得到的嵌入再经有限标量量化得到离散语义令牌。

蒸馏语义分词器 × 统一语义分词器： 蒸馏语义分词器负责从大规模语音识别编码器学到轻量且对说话方式鲁棒的初始表示，统一语义分词器负责把一种说话方式的输入映射到另一种说话方式的目标语义空间，搭配原因是先解耦声学建模再学跨方式对齐，组合后推理时只需选用对应方向的统一分词器即可得到目标风格的令牌。

第二阶段的共享流匹配变换器以语义令牌和掩蔽梅尔频谱为输入，被掩蔽区域用高斯噪声初始化，模型预测沿最优传输概率路径的掩蔽部分速度场，损失只在掩蔽区域计算。模型从 CosyVoice2 初始化，并在混合耳语与正常语音上微调。关键设计是声学模型训练用的是蒸馏分词器的令牌，而不是后来的统一分词器，这把声学建模与语义对齐解耦。

流匹配变换器 × 方向指示符： 流匹配变换器负责以语义令牌为条件生成梅尔频谱，方向指示符负责告诉共享模型当前要生成耳语还是正常语音，搭配原因是两种方向共享韵律和音色建模能力但输出分布不同，组合意义是一个声学模型加一个声码器即可双向复用，减少重复训练。

有限标量量化 × 离散语义令牌： 有限标量量化负责把连续语义嵌入压缩为离散编码，离散语义令牌是声学模型的输入形式，搭配原因是离散化便于屏蔽细粒度声学差异并保留语言内容，组合后第二阶段声学模型只需学习从离散内容到连续频谱的映射。

统一分词器如何把一种说话方式映射到另一种？

第 3 阶段训练两个统一语义分词器，记为正常转耳语模型和耳语转正常模型。设冻结的蒸馏分词器为 T，对配对的耳语和正常语音，分别提取两种令牌。训练目标是让耳语转正常模型读入耳语能逼近正常语音的令牌，读入正常语音也能保持为正常语音的令牌，反方向同理。公式中包含主项和以系数加权的自保持项，目的是既学跨方式映射又不破坏同方式表示。

具体分 3 步执行。第一步只用真实配对数据训练较容易的正常转耳语方向。第二步用大量正常语料和已训好的正常转耳语管线合成伪耳语，得到大规模完全对齐的伪对。第 3 步用真实配对加大规模伪平行数据训练较难的耳语转正常方向，并做系统性扩展实验。推理时输入先经对应统一分词器映射为目标语义令牌，再经共享变换器和声码器生成波形。

原文未报告统一分词器的具体网络层数、隐藏维度细节和损失权重的取值搜索过程，也未给出梯度是否回传到冻结分词器的额外说明，只明确蒸馏分词器在第 3 阶段是冻结的。这些缺项在复现时需要按代码默认处理，不从模型名称推定实现。

三阶段如何组织冻结、数据与伪数据生成？

训练按顺序分 3 段。第一段是语义分词器蒸馏，从大规模语音识别编码器蒸馏轻量学生模型，不需要配对数据，用 Adam 优化，学习率为 1×10 的负 4 次方。第二段是流匹配声学模型训练，用蒸馏分词器的令牌，设置跟随 CosyVoice2，只是用固定学习率 1×10 的负 5 次方加 Adam，使用混合耳语与正常语音而不需要对齐。第 3 段是统一分词器训练，WhispEar 版本用 wTIMIT 与 wEar 的对齐和伪平行数据总量约 80 小时，WhispEar-Scaled 版本进一步加入约 3000 小时由正常语音语料生成的伪平行数据来训练耳语转正常分词器。两个版本共享第一和第二阶段，只在第 3 阶段不同。

下段导读图二的训练管线，重点是 3 阶段的输入输出、冻结位置和损失名称的对应关系。

看图路径： 1. 先看左上阶段一中教师编码器与学生分词器之间的蒸馏箭头与冻结标记；2. 再看右半阶段二中掩蔽梅尔频谱与蒸馏语义令牌如何相加进入变换器；3. 最后看左下阶段三中配对耳语与正常语音如何同时监督统一分词器

论文图 2。原论文 Figure 2：“Training pipeline of WhispEar.”。

从像素可见，左上阶段一中 SenseVoice-Large 语音识别编码器与蒸馏语义分词器共用训练样本并以蒸馏损失连接，教师侧有冻结标记。右半阶段二中训练样本同时派生掩蔽梅尔频谱与蒸馏语义令牌，两路相加进入流匹配变换器并以流匹配损失监督。左下阶段三中配对耳语与正常语音同时进入蒸馏分词器与统一分词器，以 2 个方向损失监督，且蒸馏侧冻结。这与文字描述的冻结安排一致。

伪平行数据 × 真实对齐数据： 伪平行数据负责提供大规模但由模型生成的耳语与正常语音配对，真实对齐数据负责提供少量但时间严格对齐的真人录制配对，搭配原因是伪数据给出更好的初始化而真实数据纠正分布偏差，组合后先在伪数据上预训练统一分词器再在真实数据上微调才能稳定提升。

伪数据构造的具体动作是：对每个说话人取高质量语音片段作音色提示，先在 Emilia 语料采样语句上做音色匹配的语音转换得到正常语音，再经正常转耳语模块生成耳语，组成合成对。数据处理还包括重采样归一化、用 HuBERT large 获得表示与频谱、对数柔性最大加连接时序分类贪心解码加强制对齐定帧边界、词合并与静音裁剪，再用 FastDTW 求对齐路径得到准 1 对 1 帧映射，最后把对齐后频谱帧逆变换回时域信号，兼顾语义级对齐与帧级精度。

在什么数据、划分和指标下比较才算公平？

数据方面，真实录制部分称为 wEar 真实子集，在空教室和隔音间录制，146 名说话人分为平行组与仅耳语组，每人录制 20 到 40 分钟数字与情感多变语句，用三部手机以 48 千赫 16 比特单声道在背景噪声低于 30 分贝下靠近耳部模拟通话录制，按 91 比 6 比 3 划分为训练验证测试且说话人不重叠。扩展部分用上述伪管线从 Emilia 生成超过 3000 小时伪平行数据，覆盖英文与中文，总计约 3044 小时约 604 千对，论文称之为迄今该领域最大规模双语平行语料。训练还用了 wTIMIT 训练集英文真实对齐数据与 wEar 训练集中文真实对齐数据。

评价回答 3 个问题：耳语转正常相对已有最优方法如何，模型自身生成的伪耳语对训练高质量系统是否有效，扩大伪数据规模与在真实对齐数据上微调各起什么作用。指标分四方面，质量用 UTMOS、DNSMOS 和 NISQA，数值越高越好。可懂度用英文词错误率和中文字符错误率，以 Whisper-large-v3 识别，数值越低越好。韵律用与目标正常语音的基频皮尔逊相关，越高越好。说话人相似度用 wavlm-base-plus-sv 提取嵌入的余弦相似度，越高越好。基线条件在上文已交代，测试集分为 wTIMIT 英文与 wEar 中文。

资源可用性方面，演示页当前可用，链接为可访问状态。第三方伪耳语工具仓库当前可用。论文说发布最大双语平行语料，但证据未给出可下载的数据链接与许可细节，因此复现时只能确认演示与第三方工具可达，不能写数据集当前已公开可下载。

主结果在什么条件下支持哪句判断？

比较的问题是：在英文与中文测试集上，相同耳语输入下谁的输出更自然可懂且更像原说话人，同时韵律恢复更好。公平条件是各系统在各自已定条件下生成，再用同一套客观指标与同一识别与说话人模型打分。指标方向是相似度与 3 个质量分与基频相关越高越好，错误率越低越好。

表后解释需要同时讲收益与代价。报告显示，未放大的 WhispEar 约 80 小时已在多指标上达到与最优系统可比或更好，放大到约 3000 小时伪数据的 WhispEar-Scaled 在相似度、可懂度、自然度和韵律上一致进一步提升，取得总体最好。英文方面 WESPER 音质尚可但因单说话人设计相似度低，DistillW2N 蒸馏后可懂度下降，CosyVoice2 质量与相似度强但基频相关弱。中文方面只在英文训练的 WESPER 与 DistillW2N 字符错误率超过 80%，泛化失败，而 WhispEar 保持跨语言性能。未胜出项是 WhispEar 在中文 UTMOS 等绝对值上仍低于英文侧，且质量分只是客观预测不是人评，不能当作听感结论。原文表头与算术未见冲突，但不同指标的差值不能混为一列比较，百分点与相对百分比也需区分。

伪耳语质量与数据规模各自贡献了什么？

消融的问题是：在只用 wTIMIT 原始语料、不引入外部数据时，耳语端的构造方式如何影响结果。5 个配置只在耳语构造与处理上不同：原始未对齐直接补齐，传统数字信号处理由正常语音生成耳语但时间匹配，本文对齐管线对原始录音做时间对齐，WhispEar 正常转耳语模型生成伪耳语，以及对齐真实对加伪对的组合。指标方向与主结果相同。

表后解释是：直接用原始数据因严重时间错位最差，传统信号处理虽时间匹配但存在质量差距而仍然受限，对齐与模型生成伪耳语都带来大幅增益，二者组合最好。这支持高质量时间对齐与基于模型的伪耳语生成对缓解配对稀缺都很关键。需要指出的反例是伪对单独在词错误率上不如对齐真实对，说明伪数据不能完全替代真实录音。

下段导读图三的规模实验，重点是预训练规模与是否微调的交互作用。

看图路径： 1. 先按图例区分蓝色仅预训练曲线与红色预训练加微调曲线的标记形状；2. 再沿横轴 10k 到 50k 再到 200k 比较三组子图纵轴的变化方向；3. 最后对照左侧字错误率向下为好与右侧相似度与基频相关向上为好的含义

论文图 3。原论文 Figure 3：“Scaling experiment with pseudo-parallel data.”。

从像素可见，3 组子图横轴均为数据规模 10k 到 50k 再到 200k，纵轴分别为词错误率、相似度与基频相关。蓝色仅预训练曲线随规模增大呈先好后差的非单调起伏，红色预训练加微调曲线随规模增大持续向好，200k 加微调在三图上均为最好。这支持原文判断：仅增大伪数据预训练增益有限，但作为初始化再用少量真实对齐数据微调时，规模越大效果越好。像素不能精确读出每个点的完整小数，因此复述只讲趋势与相对顺序，不硬写像素外的精确数值。

哪些边界没有测，不能承诺什么？

论文直接报告的是客观指标与可运行基线的比较，有限解释是伪数据规模带来更好初始化，待验证的是在噪声、更多语言和实际部署效率上的表现。作者在结论中明确把噪声鲁棒性、多语言泛化与效率优化列为未来工作，说明这些边界尚未验证。

缺失证据不是技术错误，但不能承诺未测量的量得到改善。原文未报告误判率、延迟、实时因子、输出帧率与实际延迟的区分、训练与推理的硬件预算与耗时，因此不能说系统更快更便宜。总体趋势不等于每组每步都成立，例如仅预训练曲线的非单调性就是反例。相关性也不是因果，基频相关高只表示音高轮廓接近目标，不能证明听感韵律一定自然。

另一个边界是评价依赖自动指标与识别模型，UTMOS、DNSMOS、NISQA 是预测分，词错误率与字符错误率来自 Whisper-large-v3，说话人相似度来自说话人嵌入余弦，这些都不能替代人评。跨语言方面，英文训练的基线在中文上失败，说明语言匹配条件必须核对，数值相同也不是同一指标的证据。

要复现应先做什么，需要补哪项验证？

何时值得尝试：如果手头只有少量平行耳语但有大量正常语音，且任务允许先训练正常转耳语再批量生成伪数据，这种先易后难的路线值得尝试。如果已有大规模高质量平行数据或只能做实时低延迟部署，则需要另行验证成本与延迟。

复现先做什么：先按 3 阶段顺序准备数据，第一阶段准备混合耳语与正常语音做蒸馏但不需要配对，第二阶段用蒸馏令牌训练共享声学模型，第 3 阶段先用真实配对训练正常转耳语，再批量生成伪对，最后用真伪混合训练耳语转正常。关键超参数按原文保留：第一阶段 Adam 学习率 1×10 的负 4 次方，第二阶段固定学习率 1×10 的负 5 次方，数据划分保证说话人不重叠，评价用同一识别与说话人模型。信息条件上要保留方向指示、音色参考和冻结的蒸馏分词器。

还需补的验证是：检查对齐管线在自己数据上的帧映射质量，对比不同伪数据规模下加与不加真实微调的差距，并补充人评与延迟测量。代码层面可先看演示页与第三方工具的可达状态，数据集部分因未给出下载链接，需要按论文描述自行组织录制与生成流程，不假设数据已公开。

一句话收束与可复述要点

收束是：WhispEar 把耳语与正常语音看作同一语义内容的不同声学风格，用统一语义表示解耦内容与风格，用共享声学模型复用生成能力，再用容易方向的大规模伪数据反哺困难方向。复述时应能说出样本路径、3 个阶段的冻结与数据、伪数据 3 步生成法、主结果中英文的关键数字方向，以及规模实验中预训练加微调才持续向好的条件。

论文特有的误解需要澄清。第一，伪数据多不等于直接训练就好，证据显示必须配合少量真实对齐数据微调。第二，共享声学模型不等于 2 个方向输出相同，方向指示与所选统一分词器决定了风格。第三，客观质量分高不等于人耳一定觉得自然，自动指标只是代理。记住这三点，就能在不夸大结论的前提下正确使用该方法。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总