噪声下语音条件生成为何退化:AlignAudio 的双重对齐思路
针对带噪语音条件导致生成语义偏移与轨迹不稳的问题,AlignAudio 先用适配器拉近干净与带噪表征,再用方向一致约束拉齐干净与带噪条件下的流匹配速度场,在语音到音频与语音转换任务上用噪声、域外与实录条件验证了条件保真度的提升与干净条件的保持。
针对带噪语音条件导致生成语义偏移与轨迹不稳的问题,AlignAudio 先用适配器拉近干净与带噪表征,再用方向一致约束拉齐干净与带噪条件下的流匹配速度场,在语音到音频与语音转换任务上用噪声、域外与实录条件验证了条件保真度的提升与干净条件的保持。
AnyEdit 把带噪编辑拆成干净语义编辑与上下文声学渲染两步,用噪声鲁棒韵律与流匹配渲染保持背景,在真实与模拟带噪集上内容与背景连续性更好,但长音频与瞬态声仍受限。
AV-FlowEdit 针对已有音视频片段的提示词编辑问题,用冻结联合模型的源-目标流差异同时更新视频和音频,并用事件感知的多尺度低频校正抑制非目标漂移,代价是大幅语义改动会拉低与源视频的视觉相似度。
论文以行为文本控制动物叫声生成,用发声锚点把六个物种录音与文献行为知识成组配对,在 TangoFlux 上微调并用事件感知变长掩码聚焦真实事件,主结果支持微调全面改善与变长进一步提升判别力和声学保真度,但结论只限于已见行为的新表述与给定目标时长条件。
该文把单声道转立体声看作已知下混算子的逆问题,用冻结的立体声流模型做先验保证真实感,再用声道间相干与声级差分布奖励在推理时塑造声像,并在 MUSDB18-HQ 上以空间真实感见长但中频波形保真度有所牺牲。
论文用先预测文本词再生成对应语音段的序列构造解决语音到语音续写的内容建模问题,最强证据是在相同模型和数据下生成困惑度从 151.7 降到 58.9,蒸馏与文本回放进一步保留事实知识,代价是需要词级对齐和双头生成。
论文把音乐分离写成以混合为条件的生成问题,用流匹配学习从混合到各乐器的传输,在 MUSDB18-HQ 上用频谱与嵌入指标超过同骨干判别基线和已有生成方法,但波形重建类的 SDR 仍弱于强判别方法。
该文研究潜空间流匹配人声分离在波形指标不可微时的后训练对齐,用组内最优与均值差距分析指导 ViSQOL 改写与样本过滤,使 FlowGRPO 在原评价指标上提升分离与感知质量,但结论只在内部 50 秒测试与固定阈值下成立且 MRSTFT 单奖励仍保留最低谱损失。
论文用离散词元做长时规划、用连续语义特征做声音渲染并让流匹配损失回传语言模型,在 192 个共用提示上 Joint-STD-48D 相对离散基线提升 SongEval 并降低音素错误率,但更宽特征与不同渲染路线各有取舍且增益来源尚未分离。
PhysicsSliders 用在线模态仿真产生的接触声训练流匹配生成器,学习硬度、尺寸、速度和阻尼等物理输入,并在 18 类真实敲击录音的等效阻尼目标上验证了目标跟随与双目标联合控制,代价是持续摩擦声覆盖范围不足且需要厚度信息才能同时定准频率。
Prime-EVC 把目标情感的音高能量与说话人相关的风格提前做进条件 μ 中,再用 DiT 条件流匹配解码器一步生成梅尔谱,在 ESD 英文集上以单步取得 UTMOS 3.37 与 EECS 0.87,代价是条件分支更复杂且结论只在相同划分与声码器下成立。
VoTSpeech 针对纯文字指令缺显式声音目标的问题,用流匹配预测连续声音隐变量并双路引导大语言模型与声学扩散变换器,在中文指令评测的描述风格与角色扮演任务上占优,但结论只在同一中文训练与统一评判条件下成立,且推理多出声音采样开销。
论文研究连续自回归语音模型在偏好后训练中如何构造偏好对、在哪个流噪声水平比较以及更新自回归主干还是声学头,发现固定声学头只更新主干后部层在所测条件下带来更大的自动奖励提升,但训练损失更低并不等于生成语音更好。
AuraSE 针对生成式增强会改写内容与说话人的问题,用双流文本声学网络约束内容,再把不同解码配置产生的候选差异变成在线偏好训练信号,在合成集 1111/1212 个指标上排名第一并在真实录音上取得最高的 DNSMOS 与盲听分,部署时只用固定 10 步 ODE 解码。
论文要解决无成对电影声画编辑数据时如何执行组合指令,方法是把合成音频编辑与自监督声画掩码重建加入微调,在 CrossEditBench 上 AV-FES 达到 0.30 但仍远低于理想上限,且保留了原有单模态编辑能力。
论文把分块序号与去噪步看成一张二维格子,用两个可叠缩的权重恒等式决定何时重采样,在相同去噪器调用预算下用块边界打分提升长序列奖励,并用奖励到达时机与集合内可预测性解释何时该果断提交、何时值得前瞻。
LIFT-SE 用自回归模型先预测干净编解码器令牌锁定语言内容,再用条件流匹配把量化隐变量修正为连续隐变量,代价是需要两步串行推理和约 193M 可训练参数。
MUNITE 用一个随观测子集变化的完整观测潜变量条件分布统一编码与生成,用共享潜变量样本加各模态独立解码器保持联合一致,并用更丰富观测的自蒸馏从不完整样本中学习,在三个基准上主要提升一对多与无条件联合一致性,单目标质量保持可比。
针对音频填充式零样本合成在联合求解常微分方程时提示块偏离训练插值路径的问题,论文提出每次计算速度场前把提示块恢复为解析值的提示一致推理,并在冻结的 E2 TTS、F5-TTS 和 ZipVoice 系列上验证了说话人相似度和可懂度的改善,且不增加网络前向次数。
针对跨语言零样本合成把参考音频的源语言口音带进目标英语的问题,该文用双语拼接加区域感知掩码让训练见到推理时的跨语言提示模式,母语人听辨显示口音明显下降,但掩码位置决定了口音抑制与音色保持的折中。