低延迟下保不住音色:用激励信号与互补说话人编码补回韵律和时变信息
针对实时零样本声音转换中说话人相似度低的问题,该研究用基频激励信号补回离散内容单元丢失的韵律,并用全局嵌入加轻量互补编码器的因果融合提升表达能力,在 LibriTTS 训练、VCTK 未见说话人评测上将说话人余弦相似度做到 80.83%,代价是可懂度略低于最优基线且主观相似度提升未达显著水平。
针对实时零样本声音转换中说话人相似度低的问题,该研究用基频激励信号补回离散内容单元丢失的韵律,并用全局嵌入加轻量互补编码器的因果融合提升表达能力,在 LibriTTS 训练、VCTK 未见说话人评测上将说话人余弦相似度做到 80.83%,代价是可懂度略低于最优基线且主观相似度提升未达显著水平。
论文研究仅用一句自然语音做音色参考的个性化电子喉语音转换,对比伪目标训练与级联两条路线,报告最佳特征级级联加有监督微调在 SER 降到 59.65%、相似度到 0.84,代价是需要 240 对平行数据构造伪监督与额外的微调步骤。
针对声音转换要换音色但留住原文内容与韵律的问题,ProsoCodec 以文本与说话人嵌入为条件让离散瓶颈只编码残差韵律,并用双话语训练与低频输入减轻提示风格泄露,在合并评测上报告了更低的词错误率与基频误差,但高码率仍会带来源音色泄露的代价。
针对空中交通管制英语口音重、信道噪声强且真实标注仅 4 小时的问题,该工作用文本转语音、声音转换、双向口音转换加声学仿真合成训练数据,在 ATCO2 上把 Whisper-small 从开箱 63.32% 词错误率降到纯合成 24.18% 与混合训练 21.64%,代价是需先做分离增强、过滤约 35% 幻觉样本并承担额外微调耗时。
该研究用条件流匹配网络回归 kNN 生成的源到伪目标位移,以交叉注意力与 FiLM 注入目标说话人条件并比较三条高斯路径,在 LibriSpeech 上以单步推理改善可懂度与估计质量,代价是目标说话人验证相似度低于 kNN 与音素幻觉器。
论文研究角间隔 ECAPA-TDNN 分类器原型在单位超球面上的集中与有效维度坍缩问题,用铰链式 Riesz 对数能量与参与率最大化两项直接作用于原型的正则改善覆盖,并在 Fast-VGAN 零样本换声上以 WER 从 6.54% 到 5.97%、相似度从 0.65 到 0.69、UTMOSv2 从 2.47 到 2.70 为证据显示鲁棒性提升,而说话人识别 …
PACE 针对非平行口音转换,用冻结 WavLM 上的口音预测子空间更新加检索融合实现推理时可调的转换强度,默认点以 16.0% 词错误率和 39.0% 分类器准确率优于复现基线,代价是说话人相似度降到 0.583。
共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读
共收录 118 篇 jep-2026 会议论文的 Reader 深度解读
该研究用 Seed-VC 把健康对照的持续元音转换成癌与良性黏膜病变的嗄声并请专家做 GRBAS 与四级可信度评定,结果显示转换声不总被判为人工但仍可被感知且常规声学差值解释不了,提示先别直接拿去训练分类器。
该文研究齐奏混音中不同颤音模式暴露多声源的问题,提出先抑制目标颤音再从源信号迁移频率调制与分谐波幅度调制加残差谱包络调制的方法,以声谱图示例和同命运变换分离失效为证据,代价是尚无听音实验与客观分离指标量化。
论文把多乐器音乐合成的注意力扩散模型改造为语音与歌声转换,用音素后验、基频与演唱者嵌入做条件,在自然度与演唱者相似度上追平专用转换模型,但音素保真下降且加入器乐数据会拉低人声质量。
共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读
共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读
共收录 199 篇 acl-2026 会议论文的 Reader 深度解读
针对并行三元组稀缺与合成目标封顶质量的问题,MimicLM 把 TTS 合成语音做源、真录音做目标并配合交错文本建模与偏好对齐,在保持音色口音情感相似度可比的同时提升自然度,代价是仍需大规模合成过滤与两阶段训练且真实输入词错率高于纯音色转换。
针对双轨分离把主唱与和声混为一轨导致的下游含混问题,VocalRep 用全局身份条件加排序约束做三轨分离,在保持可比分离分的同时以更干净的主唱提升歌声转换可懂度与音高稳定性和唇同步精度,代价是求和比较时累积误差与多人主唱假设受限。
针对构音障碍语音与正常语音特征空间差异大的问题,EA-VAE 只用变分自编码器加嵌入对齐、分布对齐和时长对齐做重构,在 UASpeech 上把平均词错误率降到 62.19% 并取得平均 MOS 4.48,代价是仍需平行语料预训练与波形级时间拉伸来保证帧数条件。
共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读
该文在 nêhiyawêwin 与 SENĆOTEN 上比较推理时改风格嵌入、现成 SeedVC 与英数据多语言训练三路线,报告带语言嵌入的多语言训练匿名化最稳,而无语言嵌入与 SeedVC 分别付出英语口音与质量下降代价。