低资源下保住音高与细节:HQ-SVC 用解耦编解码加两级合成做零样本歌声转换
HQ-SVC 针对无目标说话人数据、无微调的零样本歌声转换,用冻结的解耦编解码同时取内容与音色特征,再经 EVA 模块融合音高能量并用 DDSP 加扩散两级重建 44.1 kHz 梅尔谱,在不足 80 小时数据与单张消费级 GPU 条件下取得比大资源基线更高的自然度与音高准确性,代价是音色相似度客观指标未全面领先且重建引入可接受的发音音高误差。
HQ-SVC 针对无目标说话人数据、无微调的零样本歌声转换,用冻结的解耦编解码同时取内容与音色特征,再经 EVA 模块融合音高能量并用 DDSP 加扩散两级重建 44.1 kHz 梅尔谱,在不足 80 小时数据与单张消费级 GPU 条件下取得比大资源基线更高的自然度与音高准确性,代价是音色相似度客观指标未全面领先且重建引入可接受的发音音高误差。
针对语音内容音色情感纠缠与控制粗糙问题,MF-Speech 用三流编码器提纯离散因子再用动态融合与分层风格归一化组合生成,在多因子组合任务上报告 WER 为 4.67% 与 SECS 为 0.5685,但重建自然度与部分解耦指标仍有代价与边界。
针对正常到伦巴德语音转换中风格与说话人、内容纠缠的问题,ProLombard 用对齐说话人编码、音素级去风格与再注入、VQ 中值下采样三层结构建模,在中英文数据上提升了可懂度和伦巴德相似度,代价是推理仍需目标噪声等级且与真实伦巴德仍有差距。
PACodec 用并行加性量化,在 LibriTTS 1.4 kbps 与 VCTK 4.2 kbps 上取得接近较高码率基线的客观表现;主观 ABX 仅在 LibriTTS 上进行,对多数 2 kbps 基线未检出显著偏好差异,并非等效证明,分支解耦也仍只是消融显示的潜力。
语音转换 | 8.0/10
语音编码 | 6.0/10
语音合成 | 6.5/10
语音伪造检测 | 8.4/10
语音伪造检测 | 7.7/10
语音转换 | 7.9/10
语音转换 | 6.9/10
语音转换 | 6.0/10
语音转换 | 6.5/10
语音转换 | 5.9/10
语音识别 | 7.5/10
语音转换 | 6.6/10
语音转换 | 8/10
语音转换 | 6.1/10
语音转换 | 6.5/10
语音转换 | 6.8/10