只用合成元音就能超过真数据:流匹配如何把病理嗓音的非线性抖动学出来
针对病理嗓音数据稀缺与传统线性增广失效的问题,论文用临床状态词控制的 F5-TTS 合成持续元音,研究 100 到 100000 的合成规模律,最强证据是仅用 10 万合成样本训练的分类器在留存真数据上超过真数据基线并显著提升灵敏度,代价是特异度下降与远域过量合成出现非单调退化。
针对病理嗓音数据稀缺与传统线性增广失效的问题,论文用临床状态词控制的 F5-TTS 合成持续元音,研究 100 到 100000 的合成规模律,最强证据是仅用 10 万合成样本训练的分类器在留存真数据上超过真数据基线并显著提升灵敏度,代价是特异度下降与远域过量合成出现非单调退化。
VerAno 用受限码本的自监督 VQ-VAE 过滤说话人音色、再用条件流匹配重建梅尔谱,在 VPC 2024 上以 CB128 取得隐私与内容情感兼顾的前两名综合排名,代价是码本放大后隐私下降。
针对带噪低分辨率输入的噪声鲁棒带宽扩展问题,VeRe-Flow 在流匹配骨干上同时引入速度对比正则和中间表示对齐,并在 Valentini-Botinhao 带噪测试集上报告了生成式基线中最低的频谱距离和最高的整体感知分数,其代价是需要配对干净高分辨率监督与冻结的噪声鲁棒自监督特征。
针对耳语缺少基频且与正常音谱和时长差异大的问题,WhisperVC 用有限配对数据做跨域对齐、只用正常音做由粗到精的梅尔生成与声码器适配,在普通话上把字错率从 22.937% 降到 16.932%,代价是仍需分阶段训练且依赖内容编码器与说话人嵌入条件。
针对分钟级零样本对话合成在稠密梅尔谱上做条件流匹配时显存和耗时随长度暴涨的问题,ZipL-Dialog 把生成搬到 4 倍时间压缩的 25 Hz 确定性隐空间并重设 ZipFormer 下采样,用 CoVoMix2 上最大峰值显存 3.23 GB 对 36.21 GB、推理 1.075 秒对 2.396 秒的实测换取可听自然度基本保持,代价是词错误率和说话人 …
针对谱域生成把音高音色内容纠缠且语义条件与谱特征失配的问题,PhASE-Flow 把增强建模搬到 WavLM 表示域内、用高层语音内容表示条件化低层声学表示的流匹配并用独立训练的声码器重建波形,在 DNS 2020 无混响与有混响集上取得可核对的感知与可懂度收益,代价是依赖冻结大编码器与独立声码器且四步推理外的效率与幻觉边界仍有限。
针对歌声转换中内容与音色解耦和生成质量的权衡,该文用 K 近邻映射到共享说话人空间去除源音色,再用两处最小池化对抗分别修补内容特征与谐波,最强证据是零样本下自然度和音色相似主观分同时超过基线,代价是需要分两阶段训练与额外判别器。
针对参考音频需要转写文本导致的脆弱性,RTFree-F5 用冻结 WavLM 特征经轻量投影器替代参考文本条件并复用 F5-TTS,在构音障碍集上把 WER 从 24.62% 降到 10.39%,代价是说话人相似度从 0.60 降到 0.50。
UniVoice 用连续声学表示把自回归识别与流匹配合成放在同一个大模型主干上,在 50K 小时 LibriHeavy 训练下取得可比的识别与零样本克隆效果,代价是双任务共享参数带来自然度和说话人相似度的折中。
针对平行耳语数据稀缺导致耳语转正常语音韵律和音色难恢复的问题,WhispEar 用统一语义表示做双向转换并以容易的正常转耳语方向生成大规模伪平行数据,主实验显示 WhispEar-Scaled 在中英文测试上同时提升可懂度、音质、基频相关性和说话人相似度,代价是仍需少量真实对齐数据微调且依赖共享声学模型与声码器条件。
针对自然语言提示与语音风格之间的跨模态差距和一对多映射问题,OTAFlow 先用最优传输加对比学习加多任务监督构造统一风格空间,再用条件流匹配为同一提示采样多样声学风格向量,在 TextrolSpeech 上把文本到音频检索 R@10 做到 0.875 并把合成风格 sMOS 做到 3.88,代价是下游仍用轻量 DiT 骨干且自然度提升有限。
在每次网络求值都执行 18 次块调用的共同条件下,论文比较七种权重重用布局,显示 SEQUENCE 以 83.6M 参数对 158.0M 基线在 32 步保持可比可懂度,而共享段位置主要影响 4 步可懂度且只有 Middle 在两数据集两种步数下词错率均排前二。
EditVoice 针对非自回归零样本合成须先定长才能并行生成的问题,用编辑流在采样中联合做插入、删除、替换以同时改内容和长度,并以语音填充训练统一合成与编辑,再用互补提示采样与生成后修正提稳内容一致性,代价是每步需评估两种提示摆放且启发式一致性规则依赖阈值。
针对零-shot 流匹配语音合成训练目标与听感评价脱节的问题,该工作用两个模型分别学偏好与非偏好分布并配合改进的无分类器引导采样,在 Seed-TTS 中英文集上同时降低词错误率、提升说话人相似度,代价是推理需运行双模型并依赖小规模代理偏好数据。
针对合成器反演中合成配对训练与真实录音测试不匹配的问题,论文用参数与音频双时间轴的联合流匹配统一条件与边缘建模,并用部分加噪条件推理改善真实音频重建,代价是真实无标注音频带来的额外增益很小且评价仍依赖重建距离。
针对同文本同状态下不同语音实现导致目标速度不同而被平方误差平均掉的问题,ReaFlow-TTS 引入贯穿整条轨迹的 utterance 级实现潜变量 z 并用 VAD 线性映射做分级操控,行为证据是跨初始噪声可复现的音高能量时长倾向,代价是效价方向灵敏度较低且操控需在小幅自然度变化内使用。
针对只用正常声音训练、测试需跨工况统一阈值判异常的问题,该文把整流流匹配搬到紧凑音频特征空间并用近邻正常样本的失配做局部校准,在 DCASE 2020-2025 六年平均分报告 71.01,代价是仍依赖微调特征与逐查询多路径前向计算。
针对日常视频中增益失衡叠加噪声与混响的问题,SSE 用视频加文字引导的流匹配生成做重混与增强,在 DegradedMix 与 MuddyMix 上以分布与对齐指标优于 VisAH,但单真值重建指标上优势收窄且依赖预训练编解码与分离权重。
针对噪声下可懂度任务,论文用流匹配语音合成同时控制发声努力与清晰度两个维度,在发音拉开时词错误率明显下降,但极端用力合成会偏离识别器分布并带来自然度代价。
针对吴语越剧无专用演唱合成数据的低资源问题,论文用 565 段棚录对齐数据加发音与音高增广与条件流匹配基线 YueOpera-Singer,在 F0 RMSE 0.2133 与 MOS-N 3.92 取得可复现基准,代价是单演唱者单行当与 10 步推理开销。