小块也稳、低延迟可播:MeanVC 2 用有限未来看与全局音色令牌改造流式转换
针对流式零样本变声在小块下质量退化与参考音频敏感问题,MeanVC 2 用未来感受分块与通用音色令牌编码器实现 40 毫秒块稳定转换,报告显示端到端首包延迟从 211 毫秒降到 110 毫秒左右,但单步解码的计算量略有增加。
针对流式零样本变声在小块下质量退化与参考音频敏感问题,MeanVC 2 用未来感受分块与通用音色令牌编码器实现 40 毫秒块稳定转换,报告显示端到端首包延迟从 211 毫秒降到 110 毫秒左右,但单步解码的计算量略有增加。
针对一步零样本语音转换中固定重型内容编码器成为推理瓶颈的问题,MeanVoiceFlow2 用可训练轻量内容编码器与学生平均速度网络联合学习,以转换蒸馏加真实数据重建、扩散判别器混合对抗和教师引导条件增强为手段,在保持说话人相似度的代价约束下把推理实时率降低约 9 倍并提升感知质量。
针对语义 Token 到波形解码器在流匹配多步采样下延迟过高的问题,该文把 MeanFlow 一步生成放在 25 Hz 低维波形变分自编码器隐空间并用波形域微调缓解隐分布失配,在 LibriSpeech test-clean 上以 140M 模型实现 0.0046 实时率和 3.41% 词错率,代价是感知质量仍略低于 10 步基线。
针对文本到音频生成中离线偏好优化存在分布偏移且 CLAP 奖励过粗的问题,该研究把在线分组相对策略优化改造到流匹配模型上并用大音频语言模型的问答概率做奖励,在 470M 参数和 25 步推理下把 TTA-Bench 语义对齐推到 0.737 并把产生质量推到 6.064,代价是强化阶段每步需同提示采样 24 条音频并依赖问答式奖励模型。
针对韩语正字法与实际发音不一致且低资源下隐式学习困难的问题,论文提出只标记鼻音韵尾的选择性同位异音切分 SALT-N,在 12.75 小时上把字形输入的 CER 从 4.74% 降到 3.30% 并取得最高主观自然度,代价是放弃全量同位异音标记所追求的声学分辨率。
针对业余歌声跑调与节奏不稳且不能丢失歌词和本人音色的问题,SRF-SVB 用整流流做梅尔谱修复式生成并以业余谱作上下文约束,最强证据是中英文集上音高准确率与音色相似度同时领先,但生成重构在英文集上带来略高的字错率代价。
StyleStream 用带文本监督和 45 码紧瓶颈的去风格器抽取内容,再用非自回归扩散变换器重上目标风格,在 3000 对测试上把可懂度和三种风格相似度做到最高,代价是需要 5 秒目标上下文和 600 毫秒分块带来的约 1 秒端到端延迟。
针对病理嗓音数据稀缺与传统线性增广失效的问题,论文用临床状态词控制的 F5-TTS 合成持续元音,研究 100 到 100000 的合成规模律,最强证据是仅用 10 万合成样本训练的分类器在留存真数据上超过真数据基线并显著提升灵敏度,代价是特异度下降与远域过量合成出现非单调退化。
VerAno 用受限码本的自监督 VQ-VAE 过滤说话人音色、再用条件流匹配重建梅尔谱,在 VPC 2024 上以 CB128 取得隐私与内容情感兼顾的前两名综合排名,代价是码本放大后隐私下降。
针对带噪低分辨率输入的噪声鲁棒带宽扩展问题,VeRe-Flow 在流匹配骨干上同时引入速度对比正则和中间表示对齐,并在 Valentini-Botinhao 带噪测试集上报告了生成式基线中最低的频谱距离和最高的整体感知分数,其代价是需要配对干净高分辨率监督与冻结的噪声鲁棒自监督特征。
针对耳语缺少基频且与正常音谱和时长差异大的问题,WhisperVC 用有限配对数据做跨域对齐、只用正常音做由粗到精的梅尔生成与声码器适配,在普通话上把字错率从 22.937% 降到 16.932%,代价是仍需分阶段训练且依赖内容编码器与说话人嵌入条件。
针对分钟级零样本对话合成在稠密梅尔谱上做条件流匹配时显存和耗时随长度暴涨的问题,ZipL-Dialog 把生成搬到 4 倍时间压缩的 25 Hz 确定性隐空间并重设 ZipFormer 下采样,用 CoVoMix2 上最大峰值显存 3.23 GB 对 36.21 GB、推理 1.075 秒对 2.396 秒的实测换取可听自然度基本保持,代价是词错误率和说话人 …
针对谱域生成把音高音色内容纠缠且语义条件与谱特征失配的问题,PhASE-Flow 把增强建模搬到 WavLM 表示域内、用高层语音内容表示条件化低层声学表示的流匹配并用独立训练的声码器重建波形,在 DNS 2020 无混响与有混响集上取得可核对的感知与可懂度收益,代价是依赖冻结大编码器与独立声码器且四步推理外的效率与幻觉边界仍有限。
针对歌声转换中内容与音色解耦和生成质量的权衡,该文用 K 近邻映射到共享说话人空间去除源音色,再用两处最小池化对抗分别修补内容特征与谐波,最强证据是零样本下自然度和音色相似主观分同时超过基线,代价是需要分两阶段训练与额外判别器。
针对参考音频需要转写文本导致的脆弱性,RTFree-F5 用冻结 WavLM 特征经轻量投影器替代参考文本条件并复用 F5-TTS,在构音障碍集上把 WER 从 24.62% 降到 10.39%,代价是说话人相似度从 0.60 降到 0.50。
UniVoice 用连续声学表示把自回归识别与流匹配合成放在同一个大模型主干上,在 50K 小时 LibriHeavy 训练下取得可比的识别与零样本克隆效果,代价是双任务共享参数带来自然度和说话人相似度的折中。
针对平行耳语数据稀缺导致耳语转正常语音韵律和音色难恢复的问题,WhispEar 用统一语义表示做双向转换并以容易的正常转耳语方向生成大规模伪平行数据,主实验显示 WhispEar-Scaled 在中英文测试上同时提升可懂度、音质、基频相关性和说话人相似度,代价是仍需少量真实对齐数据微调且依赖共享声学模型与声码器条件。
针对自然语言提示与语音风格之间的跨模态差距和一对多映射问题,OTAFlow 先用最优传输加对比学习加多任务监督构造统一风格空间,再用条件流匹配为同一提示采样多样声学风格向量,在 TextrolSpeech 上把文本到音频检索 R@10 做到 0.875 并把合成风格 sMOS 做到 3.88,代价是下游仍用轻量 DiT 骨干且自然度提升有限。
在每次网络求值都执行 18 次块调用的共同条件下,论文比较七种权重重用布局,显示 SEQUENCE 以 83.6M 参数对 158.0M 基线在 32 步保持可比可懂度,而共享段位置主要影响 4 步可懂度且只有 Middle 在两数据集两种步数下词错率均排前二。
EditVoice 针对非自回归零样本合成须先定长才能并行生成的问题,用编辑流在采样中联合做插入、删除、替换以同时改内容和长度,并以语音填充训练统一合成与编辑,再用互补提示采样与生成后修正提稳内容一致性,代价是每步需评估两种提示摆放且启发式一致性规则依赖阈值。