科学口音难克隆:用三教师蒸馏加单语 LoRA 补学术域数据
针对 IWSLT 2026 跨语言克隆学术演讲到阿拉伯语、法语和汉语的任务,该工作用 OmniVoice、VoxCPM 和 Chatterbox 三教师做 Best-of-N 合成蒸馏再对 OmniVoice 按语言做 LoRA 微调,在完整盲测上阿拉伯语 WER 由 0.244 降到 0.228、法语和汉语说话人相似度分别升到 0.760 和 0.732, …
针对 IWSLT 2026 跨语言克隆学术演讲到阿拉伯语、法语和汉语的任务,该工作用 OmniVoice、VoxCPM 和 Chatterbox 三教师做 Best-of-N 合成蒸馏再对 OmniVoice 按语言做 LoRA 微调,在完整盲测上阿拉伯语 WER 由 0.244 降到 0.228、法语和汉语说话人相似度分别升到 0.760 和 0.732, …
针对扩散零样本语音合成中时长预测长期游离于感知指标优化之外的问题,DMOSpeech 2 用分组相对策略优化对时长预测器做强化学习并引入教师引导采样,在 Seed-TTS 上把英文 WER 降到 1.752、相似度提到 0.698,代价是教师引导模式需同时保存师生参数并增加采样步数。
针对口吃语音直接转流利语音难、转写引入语义失真和实时延迟三难,STEAMROLLER 用转写加多智能体文本修复加音色克隆合成的三段管线,在 FluencyBank 上把词错误率平均降约 10 个百分点并保持语义,代价是约 3.8 秒分段延迟和零样本克隆音色相似度偏低。
针对扩散语音克隆的先验防御梯度消失与动态条件问题,VoiceCloak 用异性中心引导加注意力上下文发散做身份混淆、用分数幅值放大加噪声引导语义破坏做质量降级,在相同扰动预算下报告了更高的防御成功率,但保护音频本身仍需付出可感知性代价。
针对跨语言配音与双人全双工对话,Text-AB 用 DAC-VAE 潜变量上的流匹配 DiT 加 mT5 交叉注意力学对齐,经 480k 小时预训练与三路微调,在配音可分享性上领先内部系统约 0.38-0.40 分,短对话接近真值,但长音频依赖多扩散拼接与多候选重排带来额外推理代价。
语音合成 | 8.2/10
语音合成 | 7.5/10
语音合成 | 7.6/10
语音交互 | 5.2/10
语音交互 | 8.0/10
语音合成 | 9.0/10
语音伪造检测 | 6.1/10
语音克隆 | 6.4/10
语音合成 | 6.8/10
语音合成 | 7.7/10
语音合成 | 6.0/10
语音合成 | 6.4/10
语音克隆 | 7.9/10
语音情感识别 | 6.2/10
语音翻译 | 7.8/10