从混合比位置直接跳到目标:MeanFlow-TSE 为何能把一步生成走直
针对多人混合中用注册语音抽取目标说话人的任务,MeanFlow-TSE 沿用背景到目标的混合比流形并改用平均速度训练,在 Libri2Mix 上以单步推理取得 Clean 集 3.26 PESQ 与 18.80 dB SI-SDR,代价是无参考自然度指标仍落后于部分多步模型且复现依赖原文超参数。
针对多人混合中用注册语音抽取目标说话人的任务,MeanFlow-TSE 沿用背景到目标的混合比流形并改用平均速度训练,在 Libri2Mix 上以单步推理取得 Clean 集 3.26 PESQ 与 18.80 dB SI-SDR,代价是无参考自然度指标仍落后于部分多步模型且复现依赖原文超参数。
针对多通道分离中判别模型信号保真高但听感差、生成模型自然但需多步迭代的问题,MeCo 用条件平均速度场做一步校正并引入数据空间优化,在 WSJ0+WHAM!上达到 10.08 dB SI-SDR 与 3.19 DNSMOS,代价是只增加 1 次函数求值和 0.0068 实时率。
针对改歌词必须保留原旋律、节奏与总时长的问题,论文用旋律感知的时长占比预测加音频补全式流匹配解码做歌声编辑,并在六种编辑场景下以可核对的客观与主观评测显示总时长严格保留,但复杂混合编辑的可懂度仍明显下降。
针对混合音乐中乐器种类与数量未知的问题,论文用 stem 嵌入生成器逐个发现音频查询再驱动查询分离器,在正确检出的干声上达到人工查询相当的分离质量,主要代价是检出召回不完整与自编码器引入的听感瓶颈。
该工作用源语音的二值语音活动掩码约束固定长度修复式合成以实现唇同步配音,最强证据是帧级对齐准确率从约 73% 提升到约 96% 且主观韵律无显著下降,代价是在翻译时长严重失配时出现删读、重复或调序。
针对自然语言细粒度表达难控与参考音频风格泄漏问题,Poly-InstructTTS 用 1000 小时影视多模态指令数据训练无提示音频的 GPT 加流匹配声学模块,在 InstructTTSEval 上取得高指令跟随分,但以词错误率上升与复杂声学条件不稳为代价。
针对中文流匹配语音合成中重音数据少且韵律难控的问题,该工作在 F5-TTS 上加重音编码器并依次做有监督微调、直接偏好优化和基于小波韵律工具奖励的在线强化学习,主测试上显著度从 0.86 提升到 1.45 而词错误率稳定在 1.63% 左右,代价是说话人相似度微降且奖励仍依赖客观显著度工具。
针对流匹配零样本语音合成中跳词和复读的对齐失稳,RobustSpeechFlow 用等长复读与跳读隐变量构造难负样本做对比流匹配,在 0.06B 参数下把 Seed-TTS-eval 词错误率从 1.44 降到 1.38,并把 ZERO500 在 NFE=24 的英韩字符错误率分别降到 0.35% 和 0.57%,代价是公开基准说话人相似度未提升且主观听感尚 …
针对带噪语音中语音与噪声在声学空间纠缠导致高频衰减和频谱空洞的问题,Seed-Enh 把增强拆到语义空间与音色空间分别处理再用流匹配融合,在 DNS 盲测与 LibriTTS+wham 上取得最高的整体质量分 3.095 与 3.193,代价是字符错误率仍高于判别式基线且对干净参考仍有依赖。
针对生成式增强容易幻觉且强混响强噪声下质量不足的问题,StuPASE 用干声微调修正目标分布并把声学模块换成流匹配,在保持低词错率的同时把主观质量做到最高,代价是客观说话人相似度略降且依赖两阶段训练。
针对块流匹配固定块长在难建模语音段速度估计不稳的问题,论文提出免训练的轨迹置信度做逐帧可靠性信号并用截断加再生成动态调块,在 Seed 中英集上把英文词错率降到 1.798% 且自然度提到 3.809/3.973,代价是阈值 0.75 时相对推理耗时变为 1.08 倍。
针对线性路径下目标速度场与时间无关的问题,论文提出去掉时间步嵌入的自洽整流流 ARF,只用当前状态与带噪观测估计噪声,在 VoiceBank+DEMAND 上 NFE=5 时 PESQ 达 3.11 且 NFE=1 时 RTF 低至 0.02,代价是混响泛化仍明显下降。
针对歌曲生成缺零样本音色克隆而歌声转换缺人声伴奏协同的问题,UniSinger 用多模态扩散变换器加跨任务说话人空间与四阶段课程掩码统一两任务,在发音错误率和音色相似度上取得最优,但伴奏联合建模仍带来可测的基线指标下降。
ZipCodec 针对语音分词器依赖重型预训练编码器和多阶段流程的问题,采用 Zipformer 编码器加有限标量量化加 Zipformer 流匹配解码器的单阶段自编码结构并辅以编码器一致性正则,在 23.4375 Hz 与约 1.97 kbps 下报告了可复述的重建与零样本合成结果,代价是仍依赖 Vocos 声码器与流匹配多步推理并需蒸馏加速。
DiffRhythm 2 用块内并行、块间自回归的分块流匹配解决长歌曲词声对齐难题,以 5 Hz 音乐变分自编码器支撑 210 秒建模,并用随机块表示对齐与跨对偏好优化提升结构与综合偏好,最强证据是 Mulan-T 0.40 与 PER 0.13,代价是低帧率压缩限制重建上限与人声精细度仍弱于商业系统。
针对信号级水印易被神经编解码器和声码器重建抹除的问题,DuraMark 选择在音节时长这一信息级载体上嵌入奇偶水印,最强证据是在多种生成式攻击下保持 TPR 大于 95% 且平均达 0.993,代价是依赖文本转录与时长提取精度并需要时长可控的合成流水线。
针对推理时缩放或插值情感向量导致中间强度不稳定的问题,ETC-TTS 用残差向量量化情感原型锚定起点与终点并以流匹配学习中性到情感的连续速度场,在韩语 AIHub 与英语 ESD 上改善了单调可控性与情感表达并保持可比的自然度与可懂度,代价是三阶段训练与分层流预测器的额外设计与调参负担。
论文以语音经发音再到语音的闭环为问题,用发音特征加声源与说话人特征以及确定性合成与流匹配生成的对照,显示附加特征与采样步数能提升自然度与说话人相似度,但会削弱发音保真并在噪声与特征替换下暴露依赖。
针对生成式语音增强中条件信息不可靠的问题,HFMSE 用轻量谐波编码器提取基频与谐波掩码作为持久条件约束流匹配模型,在 DNS Challenge 2020 上提升感知质量与说话人相似度,但推理仍需 ODE 求解与声码器级联。
针对低帧率低码率下保真与可训练性的矛盾,论文用高帧率对抗变分自编码器先吸收波形建模难度,再在潜在空间做分片流匹配压缩与语义监督,并在单卡消费级 GPU 条件下报告了重建与语音合成下游证据,但流式与非英语泛化仍未验证。