语音转换

针对耳语缺少基频且与正常音谱和时长差异大的问题，WhisperVC 用有限配对数据做跨域对齐、只用正常音做由粗到精的梅尔生成与声码器适配，在普通话上把字错率从 22.937% 降到 16.932%，代价是仍需分阶段训练且依赖内容编码器与说话人嵌入条件。

Zero-VC 针对流式零样本声音转换中音色泄漏与韵律保留难以兼得且基频补偿引入前视延迟的问题，用说话人匿名化做扰动并配全因果编码解码器，在 20 毫秒单帧算法延迟下取得源相似度 0.171、目标相似度 0.521 与 FPC 0.688，代价是可懂度略逊于最优非流式基线且训练仍依赖外部匿名化模块。

本文针对聋人及重听人口音与非听觉验证需求，提出以可用、可验证、优雅降级与公平问责透明伦理为框架重构语音转文字、文字转语音与语音转语音，核心证据是受限数字任务下聋人发音 13% 词错误率而听人发音几乎无错，代价是数据稀缺、隐私与身份保持难题尚未解决。

针对病理语音匿名需保留诊断线索的问题，Phy-VC 用发音到声道几何再到共振的物理瓶颈代替无约束谱包络估计，在只用标准语音训练下提升口吃与老年语音的可懂度与韵律并保持匿名，主代价是鼻音建模仍限于全极点滤波器。

针对歌声转换中内容与音色解耦和生成质量的权衡，该文用 K 近邻映射到共享说话人空间去除源音色，再用两处最小池化对抗分别修补内容特征与谐波，最强证据是零样本下自然度和音色相似主观分同时超过基线，代价是需要分两阶段训练与额外判别器。

针对平行耳语数据稀缺导致耳语转正常语音韵律和音色难恢复的问题，WhispEar 用统一语义表示做双向转换并以容易的正常转耳语方向生成大规模伪平行数据，主实验显示 WhispEar-Scaled 在中英文测试上同时提升可懂度、音质、基频相关性和说话人相似度，代价是仍需少量真实对齐数据微调且依赖共享声学模型与声码器条件。

针对口音归一化缺少口音强度控制的问题，论文用掩码离散扩散重写自监督语音单元，并以公共单元预测器复用源端单元实现可控保留，实验报告显示自由时长下词错误率为 11.19% 且随复用阈值降低口音度单调回升，但重度口音下的内容保持仍受识别与合成链路限制。

针对实时零样本声音转换中说话人相似度低的问题，该研究用基频激励信号补回离散内容单元丢失的韵律，并用全局嵌入加轻量互补编码器的因果融合提升表达能力，在 LibriTTS 训练、VCTK 未见说话人评测上将说话人余弦相似度做到 80.83%，代价是可懂度略低于最优基线且主观相似度提升未达显著水平。

论文研究仅用一句自然语音做音色参考的个性化电子喉语音转换，对比伪目标训练与级联两条路线，报告最佳特征级级联加有监督微调在 SER 降到 59.65%、相似度到 0.84，代价是需要 240 对平行数据构造伪监督与额外的微调步骤。

针对声音转换要换音色但留住原文内容与韵律的问题，ProsoCodec 以文本与说话人嵌入为条件让离散瓶颈只编码残差韵律，并用双话语训练与低频输入减轻提示风格泄露，在合并评测上报告了更低的词错误率与基频误差，但高码率仍会带来源音色泄露的代价。

针对空中交通管制英语口音重、信道噪声强且真实标注仅 4 小时的问题，该工作用文本转语音、声音转换、双向口音转换加声学仿真合成训练数据，在 ATCO2 上把 Whisper-small 从开箱 63.32% 词错误率降到纯合成 24.18% 与混合训练 21.64%，代价是需先做分离增强、过滤约 35% 幻觉样本并承担额外微调耗时。

该研究用条件流匹配网络回归 kNN 生成的源到伪目标位移，以交叉注意力与 FiLM 注入目标说话人条件并比较三条高斯路径，在 LibriSpeech 上以单步推理改善可懂度与估计质量，代价是目标说话人验证相似度低于 kNN 与音素幻觉器。

论文研究角间隔 ECAPA-TDNN 分类器原型在单位超球面上的集中与有效维度坍缩问题，用铰链式 Riesz 对数能量与参与率最大化两项直接作用于原型的正则改善覆盖，并在 Fast-VGAN 零样本换声上以 WER 从 6.54% 到 5.97%、相似度从 0.65 到 0.69、UTMOSv2 从 2.47 到 2.70 为证据显示鲁棒性提升，而说话人识别 …

PACE 针对非平行口音转换，用冻结 WavLM 上的口音预测子空间更新加检索融合实现推理时可调的转换强度，默认点以 16.0% 词错误率和 39.0% 分类器准确率优于复现基线，代价是说话人相似度降到 0.583。

共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

该研究用 Seed-VC 把健康对照的持续元音转换成癌与良性黏膜病变的嗄声并请专家做 GRBAS 与四级可信度评定，结果显示转换声不总被判为人工但仍可被感知且常规声学差值解释不了，提示先别直接拿去训练分类器。

该文研究齐奏混音中不同颤音模式暴露多声源的问题，提出先抑制目标颤音再从源信号迁移频率调制与分谐波幅度调制加残差谱包络调制的方法，以声谱图示例和同命运变换分离失效为证据，代价是尚无听音实验与客观分离指标量化。

论文把多乐器音乐合成的注意力扩散模型改造为语音与歌声转换，用音素后验、基频与演唱者嵌入做条件，在自然度与演唱者相似度上追平专用转换模型，但音素保真下降且加入器乐数据会拉低人声质量。

共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读