MeanVC 2: Robust Low-Latency Streaming Zero-Shot Voice Conversion
📄 MeanVC 2: Robust Low-Latency Streaming Zero-Shot Voice Conversion #语音合成 #生成模型 #流式处理 #鲁棒性 #数据增强 #正则化微调 6.9/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 6.9/10 | 前50% | #语音转换 | #生成对抗网络 | #语音合成 #生成模型 | arxiv 👥 作者与机构 马国彬1,谢旭1,赵品枫3,马佳琪1,江翰科1,贾景bin1,郭延波1,谢磊1,2,朱鹏程3 1 西北工业大学软件学院,音频、语音与语言处理组 (ASLP@NPU),中国 2 新南威尔士大学,澳大利亚 3 WeNet开源社区,中国 💡 毒舌点评 这篇工作在解决流式VC的实际痛点上做得扎实,将训练效率和推理延迟的提升量化得很清楚。FRC和UTTE的设计动机明确,且都有消融实验支持。但创新性略显不足,FRC本质上是对注意力掩码的层间调度,UTTE的结构也较为常见。实验对比基线较弱,缺乏与近期(如SeedVC等)强力SOTA的直接比较。作者声称的“鲁棒性”提升,其评估规模(30个说话人)和退化模型的多样性值得商榷。此外,代码未开源使得其声称的可复现性目前仍为空头支票。总体是一篇扎实的工程优化论文,但理论新意和实验全面性有提升空间。 📌 核心摘要 本文针对流式零样本语音转换中存在的训练效率低、小分块设置下质量下降以及参考音频质量敏感等局限性,提出了MeanVC 2系统。其核心创新在于:1) 引入未来感知分块策略(FRC),通过为扩散Transformer(DiT)的每一层分配不同的注意力掩码,分层调度过去和未来的感受野,并移除了原有的干净分块教师强迫机制。这使模型能够利用有限的未来上下文,在仅40毫秒的小分块设置下稳定生成,并将首包延迟从211毫秒降至110毫秒,同时将训练峰值内存消耗降低约60%。2) 提出通用音色标记编码器(UTTE),它不直接从参考梅尔谱图中提取细粒度特征,而是将全局说话人嵌入映射为一组“通用音色标记”(包含可学习的先验和针对目标说话人的调制),并利用源语音的瓶颈特征作为查询,通过交叉注意力检索发音相关的音色细节,从而解耦音色表示与参考音频质量,提升了鲁棒性。实验表明,MeanVC 2在说话人相似度(SSIM)和语音质量(DNSMOS)上优于MeanVC基线和StreamVoice+,且在低质量参考音频条件下表现更优。 ...