偏好与引导分开学:双模型如何让流匹配语音更听话
针对零-shot 流匹配语音合成训练目标与听感评价脱节的问题,该工作用两个模型分别学偏好与非偏好分布并配合改进的无分类器引导采样,在 Seed-TTS 中英文集上同时降低词错误率、提升说话人相似度,代价是推理需运行双模型并依赖小规模代理偏好数据。
针对零-shot 流匹配语音合成训练目标与听感评价脱节的问题,该工作用两个模型分别学偏好与非偏好分布并配合改进的无分类器引导采样,在 Seed-TTS 中英文集上同时降低词错误率、提升说话人相似度,代价是推理需运行双模型并依赖小规模代理偏好数据。
针对合成器反演中合成配对训练与真实录音测试不匹配的问题,论文用参数与音频双时间轴的联合流匹配统一条件与边缘建模,并用部分加噪条件推理改善真实音频重建,代价是真实无标注音频带来的额外增益很小且评价仍依赖重建距离。
针对同文本同状态下不同语音实现导致目标速度不同而被平方误差平均掉的问题,ReaFlow-TTS 引入贯穿整条轨迹的 utterance 级实现潜变量 z 并用 VAD 线性映射做分级操控,行为证据是跨初始噪声可复现的音高能量时长倾向,代价是效价方向灵敏度较低且操控需在小幅自然度变化内使用。
针对只用正常声音训练、测试需跨工况统一阈值判异常的问题,该文把整流流匹配搬到紧凑音频特征空间并用近邻正常样本的失配做局部校准,在 DCASE 2020-2025 六年平均分报告 71.01,代价是仍依赖微调特征与逐查询多路径前向计算。
针对日常视频中增益失衡叠加噪声与混响的问题,SSE 用视频加文字引导的流匹配生成做重混与增强,在 DegradedMix 与 MuddyMix 上以分布与对齐指标优于 VisAH,但单真值重建指标上优势收窄且依赖预训练编解码与分离权重。
针对噪声下可懂度任务,论文用流匹配语音合成同时控制发声努力与清晰度两个维度,在发音拉开时词错误率明显下降,但极端用力合成会偏离识别器分布并带来自然度代价。
针对吴语越剧无专用演唱合成数据的低资源问题,论文用 565 段棚录对齐数据加发音与音高增广与条件流匹配基线 YueOpera-Singer,在 F0 RMSE 0.2133 与 MOS-N 3.92 取得可复现基准,代价是单演唱者单行当与 10 步推理开销。
针对生成增强在真实噪声下语言一致性不足的问题,该文用转录本计算的负词错误率奖励对预训练 FlowSE 做 Reinforce Adjoint Matching 后训练,在 CHiME-4 真实录音上把词准确率从 76.98% 提高到 82.06%,而报告的非侵入式音质指标未下降,默认奖励强度下主观听感无显著偏好。
针对两阶段文本到音频中重建潜空间不一定好生成的问题,Unite-Audio 用部分波形在线编码加全波形 EMA 目标的噪声匹配流匹配联合训练表示与生成,并在 AudioCaps-886 上以 117M 潜流模型得到 CLAP 0.534 与 KL 1.057,代价是 Flow-GRPO 后分布保真度 FD 有所回退。
针对音频文本情绪证据被说话风格与词汇内容纠缠且两模态可能冲突的问题,BiCFlow-MER 用解耦后的冲突感知条件把样本输运到 64 维情绪端点再做前后向几何打分,在 IEMOCAP 与 MELD 及零样本 CASE 上报告最好值,代价是三阶段流程与多模块超参数。
该文用帧级二值语音活动掩码约束补画式语音合成以对齐源语言静音结构,在 mTEDx 上把帧对齐准确率从约 73% 提升到约 96%,而主观自然度无显著下降,代价是在翻译时长严重失配时出现可复述的删词、重复与重排。
该研究用条件流匹配网络回归 kNN 生成的源到伪目标位移,以交叉注意力与 FiLM 注入目标说话人条件并比较三条高斯路径,在 LibriSpeech 上以单步推理改善可懂度与估计质量,代价是目标说话人验证相似度低于 kNN 与音素幻觉器。
针对业余歌声跑调抢拍又要保留歌词与本嗓风格的问题,论文用整流流做梅尔谱补全并以业余谱作上下文约束,最强证据是中英双测试集上音准与音色相似度同时领先,代价是英文内容错误率略升与发音清晰度偶发受损。
针对解析训练态与自生 rollout 态的暴露偏差,纠正性强制用动态 rollout 纠正加反事实转移一致性统一后训练 SB-VE 与 OT-CFM,在 VoiceBank 上把 SB-VE 的 PESQ 从 3.07 提升到 3.21 并稳定多步 SI-SDR,代价是 UTMOS 提升有限且需额外 rollout 开销。
该文把一阶到三阶上采样定义为给定低阶信号生成缺失高阶通道的条件分布,用流匹配与得分扩散同骨干对比,在混响语音上流匹配信号与听感占优但参数与采样代价明显更大。
MoSAT 针对空间音频加文本联合驱动人体动作的新任务,用运动 VAE 压缩加变换器流匹配分层融合条件,在 STAM 联合评测中对齐与分布质量占优,但强噪声与模态错位时仍会退化。
针对 1 或 2 kHz 到 16 kHz 的极端语音超分,P2Flow 用音素后验引导缺失高频包络、用 3 段渐进恢复 0-2、2-4、4-8 kHz 速度场并对声码器做后训练,在 TIMIT 与 VCTK 上报告了谱失真、感知质量与可懂度同步改善,代价是 3 阶段流水线与额外分类器依赖。
针对多乐器混合中只改部分音符又要保留其余音色与 concurrent 内容的问题,该文用冻结 HeartCodec 的标量量化潜变量做流匹配生成,用 MIDI Span 把帧内时刻保留为连续属性并做置换不变池化,最强证据是转录与重建误差分解显示量化只带来约 0.45 个百分点损失而转录本身带来 21.60 个百分点损失,主要代价是对 1-5 ms 微小起音偏 …
AVTR-1 用 153M 参数的双音频条件流匹配模型生成头部与表情动作,再用常开的渲染与调度循环把外部语音智能体的可变语音片段变成同步音视频,并用延迟分解与 R-DGG 验证了可交互性与说话人依赖,代价是仍依赖外部语音智能体与固定的窗口节拍。
针对给定提示音色与目标 MIDI 的钢琴渲染任务,论文用 Composer 自回归预测连续隐状态、Performer 做局部流匹配生成 24 kHz 声学特征、Refiner 上采样到 48 kHz,并报告目标 MIDI 跟随提升 2.7 个百分点的证据,代价是音色相似度仍略低于全序列流匹配基线。