从板混响脉冲响应反推六个物理参数:回归与条件流两条路线
针对合成板混响脉冲响应反推六个有效物理参数的问题,论文用共享编码器分别做直接回归与条件连续归一化流,再经可微合成器梯度下降或粒子群优化精修,在 100 条合成留存数据上把波形与参数误差降低三个数量级以上,但结论只在匹配合成条件下成立。
针对合成板混响脉冲响应反推六个有效物理参数的问题,论文用共享编码器分别做直接回归与条件连续归一化流,再经可微合成器梯度下降或粒子群优化精修,在 100 条合成留存数据上把波形与参数误差降低三个数量级以上,但结论只在匹配合成条件下成立。
SynerGest 针对双人对话手势生成,用双路音频条件、对比流匹配和脉冲-趋势解耦注意力,在两个公开数据集上取得更好的运动真实感和节拍对齐,但结论只在原文的数据处理和基线适配条件下成立,且加速主要来自 8 步 ODE 而非注意力本身变快。
针对输入截止频率多变且多步采样太慢的问题,论文用截止感知的流桥学习多步轨迹,再蒸馏为一步生成器并做对抗细化,在 VCTK 多带宽上取得最低对数谱距离且只需 1.80M 参数和一次网络评估。
JAVIS 针对对话系统缺视觉通道与级联延迟问题,用共享大语言模型加联合精炼头产生统一音视表示并分两支流式生成语音和面部动作,在 VStyle 未见样本上取得更好的唇同步与表情恰当性,并把初始延迟降到 1.27 秒,但结论依赖合成训练数据与特定评测条件。
MIDI-REPA 在 122M 参数的流匹配 DiT 上,用自动转谱得到的钢琴卷帘对齐早期中间层并贯穿全轨迹,在相同数据和单卡约 31 小时成本下提升了文本一致性和音频质量。
NIL-TTS 为解决噪声下合成语音听不清的问题,在流匹配语音合成主干上加入噪声感知通路,先用配对的 Lombard 数据做监督微调,再用 Flow-GRPO 以可懂度奖励直接优化,在 Seed-TTS 中英文评测中低信噪比下显著降低词错误率,而推理开销几乎不变。
论文把从多乐器混音中按提示抽出目标音色并合成新音高和力度作为新任务,用提示门控统计池化从混合中提取音色码再驱动音符合成器,在 27 个未见 NSynth 音色上文本提示达到 CLAP 0.706 并优于已测先分离再复刻流程,但音高信息仍有残留且同类多乐器点选仍待解决。
针对带噪语音条件导致生成语义偏移与轨迹不稳的问题,AlignAudio 先用适配器拉近干净与带噪表征,再用方向一致约束拉齐干净与带噪条件下的流匹配速度场,在语音到音频与语音转换任务上用噪声、域外与实录条件验证了条件保真度的提升与干净条件的保持。
AnyEdit 把带噪编辑拆成干净语义编辑与上下文声学渲染两步,用噪声鲁棒韵律与流匹配渲染保持背景,在真实与模拟带噪集上内容与背景连续性更好,但长音频与瞬态声仍受限。
AV-FlowEdit 针对已有音视频片段的提示词编辑问题,用冻结联合模型的源-目标流差异同时更新视频和音频,并用事件感知的多尺度低频校正抑制非目标漂移,代价是大幅语义改动会拉低与源视频的视觉相似度。
论文以行为文本控制动物叫声生成,用发声锚点把六个物种录音与文献行为知识成组配对,在 TangoFlux 上微调并用事件感知变长掩码聚焦真实事件,主结果支持微调全面改善与变长进一步提升判别力和声学保真度,但结论只限于已见行为的新表述与给定目标时长条件。
该文把单声道转立体声看作已知下混算子的逆问题,用冻结的立体声流模型做先验保证真实感,再用声道间相干与声级差分布奖励在推理时塑造声像,并在 MUSDB18-HQ 上以空间真实感见长但中频波形保真度有所牺牲。
论文用先预测文本词再生成对应语音段的序列构造解决语音到语音续写的内容建模问题,最强证据是在相同模型和数据下生成困惑度从 151.7 降到 58.9,蒸馏与文本回放进一步保留事实知识,代价是需要词级对齐和双头生成。
论文把音乐分离写成以混合为条件的生成问题,用流匹配学习从混合到各乐器的传输,在 MUSDB18-HQ 上用频谱与嵌入指标超过同骨干判别基线和已有生成方法,但波形重建类的 SDR 仍弱于强判别方法。
该文研究潜空间流匹配人声分离在波形指标不可微时的后训练对齐,用组内最优与均值差距分析指导 ViSQOL 改写与样本过滤,使 FlowGRPO 在原评价指标上提升分离与感知质量,但结论只在内部 50 秒测试与固定阈值下成立且 MRSTFT 单奖励仍保留最低谱损失。
论文用离散词元做长时规划、用连续语义特征做声音渲染并让流匹配损失回传语言模型,在 192 个共用提示上 Joint-STD-48D 相对离散基线提升 SongEval 并降低音素错误率,但更宽特征与不同渲染路线各有取舍且增益来源尚未分离。
PhysicsSliders 用在线模态仿真产生的接触声训练流匹配生成器,学习硬度、尺寸、速度和阻尼等物理输入,并在 18 类真实敲击录音的等效阻尼目标上验证了目标跟随与双目标联合控制,代价是持续摩擦声覆盖范围不足且需要厚度信息才能同时定准频率。
Prime-EVC 把目标情感的音高能量与说话人相关的风格提前做进条件 μ 中,再用 DiT 条件流匹配解码器一步生成梅尔谱,在 ESD 英文集上以单步取得 UTMOS 3.37 与 EECS 0.87,代价是条件分支更复杂且结论只在相同划分与声码器下成立。
VoTSpeech 针对纯文字指令缺显式声音目标的问题,用流匹配预测连续声音隐变量并双路引导大语言模型与声学扩散变换器,在中文指令评测的描述风格与角色扮演任务上占优,但结论只在同一中文训练与统一评判条件下成立,且推理多出声音采样开销。
论文研究连续自回归语音模型如何构造偏好对、在哪个流噪声水平比较优劣以及更新主干还是声学头,发现在受试设置下固定声学头只更新主干后部能提升自动奖励,但训练损失最低并不对应生成语音最好。