转录文本与推理多样性如何降低生成式语音增强的幻觉
AuraSE 针对生成式增强会改写内容与说话人的问题,用双流文本声学网络约束内容,再把不同解码配置产生的候选差异变成在线偏好训练信号,在合成集 1111/1212 个指标上排名第一并在真实录音上取得最高的 DNSMOS 与盲听分,部署时只用固定 10 步 ODE 解码。
AuraSE 针对生成式增强会改写内容与说话人的问题,用双流文本声学网络约束内容,再把不同解码配置产生的候选差异变成在线偏好训练信号,在合成集 1111/1212 个指标上排名第一并在真实录音上取得最高的 DNSMOS 与盲听分,部署时只用固定 10 步 ODE 解码。
论文要解决无成对电影声画编辑数据时如何执行组合指令,方法是把合成音频编辑与自监督声画掩码重建加入微调,在 CrossEditBench 上 AV-FES 达到 0.30 但仍远低于理想上限,且保留了原有单模态编辑能力。
论文把分块序号与去噪步看成一张二维格子,用两个可叠缩的权重恒等式决定何时重采样,在相同去噪器调用预算下用块边界打分提升长序列奖励,并用奖励到达时机与集合内可预测性解释何时该果断提交、何时值得前瞻。
LIFT-SE 用自回归模型先预测干净编解码器令牌锁定语言内容,再用条件流匹配把量化隐变量修正为连续隐变量,代价是需要两步串行推理和约 193M 可训练参数。
MUNITE 用一个随观测子集变化的完整观测潜变量条件分布统一编码与生成,用共享潜变量样本加各模态独立解码器保持联合一致,并用更丰富观测的自蒸馏从不完整样本中学习,在三个基准上主要提升一对多与无条件联合一致性,单目标质量保持可比。
针对音频填充式零样本合成在联合求解常微分方程时提示块偏离训练插值路径的问题,论文提出每次计算速度场前把提示块恢复为解析值的提示一致推理,并在冻结的 E2 TTS、F5-TTS 和 ZipVoice 系列上验证了说话人相似度和可懂度的改善,且不增加网络前向次数。
针对跨语言零样本合成把参考音频的源语言口音带进目标英语的问题,该文用双语拼接加区域感知掩码让训练见到推理时的跨语言提示模式,母语人听辨显示口音明显下降,但掩码位置决定了口音抑制与音色保持的折中。
SepGen 要解决的是联合音频视频生成只有一条混合声、无法逐声源定位与重渲染的问题,它用受保护的混合声通道加两条分轨通道实现生成与分离两种模式,最强证据是真实录音与跨生成器场景上的分离与听感对比,代价是固定两条分轨与额外的去噪与引导计算。
针对无声视频配音需要同时保住可懂度、音色和口型同步的问题,UltraDub 用唇动引导的双路检索学习速度场、再用视觉节拍锚定推理修正,在四个数据集上同步和音色最好,但部分类别字错率仍非最低且推理要多算分支。
该文把已训练好的 Seed-VC v2 只在推理时改造,用随机说话人上下文重构内容条件再投影抑制源说话人方向,在 VoicePrivacy 2026 英语评测上提升隐私并保持可比的字错率与情感效用,但结论只在该协议与所选阈值下成立。
WorldSonus 针对无声世界模型,用 100 ms 因果分块的自回归扩散同时解决实时跟播、中途改提示词和视角对齐立体声问题,在只看过去与当前帧的条件下取得可比双向模型的音质与更强的左右一致性,代价是单块 41.2 ms 计算与对高质量立体声数据的依赖。
该文用声学到发音反演伪标签把声道滤波器锚定在发音运动学上,源用基频能量加流匹配细化,以频谱保真度小幅下降换来可验证的源滤波解耦与发音级口音编辑。
该文把 1926 年前管弦乐历史录音复原写成盲逆问题,用五阶段维纳-哈默斯坦退化函数合成成对数据,训练潜空间条件流匹配模型 SAMECFM,并在无参考指标与 MOS 上报告最优,但生成质量提升伴随保真度代价。
针对伪造语音类型持续新增且原始语音不能集中共享的问题,FedCFM 让每个客户端在嵌入层训练条件流匹配生成器并交换生成器,再用生成回放加知识蒸馏更新分类器,在相同训练数据组合下报告了低于所比较集中式与联邦基线的等错误率,但生成器交换轮带来约 164.1 MB 的单客户端通信开销。
针对一步零样本语音转换中内容编码器耗时约为主流程十倍的问题,MeanVoiceFlow2 用教师 MeanVoiceFlow 做转换蒸馏并联合训练轻量内容编码器与平均速度网络,再以真实数据重建、扩散判别器混合对抗和教师增强条件扩充提升真实感与解耦,在 VCTK 上自然度高于教师且推理约快 9 倍、说话人相似度基本持平。
针对无声谈话视频只能看到近似唇形而无法唯一确定音素的问题,论文用训练期真值文本加注意力融合与条件流匹配生成梅尔谱,并在 LRS2/LRS3 上以同步指标领先为证据,代价是推理仍依赖唇读预测文本的准确率。
针对舞蹈到音乐生成中身体部位与快慢运动混在一起、音乐隐变量局部变化缺乏直接监督的问题,Dyna2Music 用五部位慢快能量加 MotionBERT 特征做条件、用隐动态一致性约束相邻帧变化幅度,在 AIST++ 上 F1 达到 55.76 但最高 F1 对应的权重不是 FADc 最低权重。
针对新皮肤多事件音效补齐问题,论文用全量基础音频加已完成目标前缀与逐事件变换提示做潜在修复,在保持可运行基线对比下报告了重建误差下降与提示有效性,同时保留了对预言提示与时长先验的明确限制。
针对流匹配语音合成多步积分代价高的问题,论文用出发点局部微分恒等式做蒸馏、用一致性代价图做全局步数规划、用四步模型做对齐自蒸馏,最强证据是 Seed-TTS 上一步达到 1.80% 词错率接近 32 步教师的 1.76%,代价是说话人相似度和预测质量仍低于教师。
针对条件流匹配合成中近似子带持续增长而细节子带滞后的问题,论文提出免训练的频率选择性增强,在离散小波域按步调制中间梅尔谱,最强证据是 26 步达到 32 步质量且 FAD 大幅下降,代价是一次性标定低维调度且跨模型需更换函数形式。