流匹配

📄 WavTTS: Towards High-Quality Zero-Shot TTS via Direct Raw Waveform Modeling #语音合成 #端到端 #扩散模型 #流匹配 #语音生成 #多模态模型 9.2/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 🔥 9.2/10 | 前25% | #语音合成 | #端到端 | #扩散模型 #流匹配 | arxiv 👥 作者与机构 作者: Wenxi Chen, Dongya Jia, Yushen Chen, Zhikang Niu, Yuzhe Liang, Xiquan Li, Ruiqi Yan, Ziyang Ma, Guanrou Yang, Sanyuan Chen, Yue Wang, Zhuo Chen, Kai Yu, Xie Chen. 机构: 1) 上海交通大学, 2) 上海创新研究院, 3) 字节跳动 Seed. ...

📄 DUET: Unified Dual-Space Emotion Control for Diffusion and Flow-Matching Driven Text-to-Speech #语音合成 #扩散模型 #流匹配 7.1/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 7.1/10 | 前25% | #语音合成 | #扩散模型 | #流匹配 | arxiv 👥 作者与机构 Xu Zhang, Longbing Cao, Zhangkai Wu。三人均来自麦考瑞大学前沿人工智能研究中心（Frontier AI Research Centre, Macquarie University）。 💡 毒舌点评 这篇工作想法巧妙，将表示工程（representation engineering）的概念移植到了语音合成领域，且实验范围很广。但几个问题不容忽视：1）梅尔空间引导部分的核心公式（Eq.5）中梯度计算细节模糊，例如如何通过可微分声码器计算\(\nabla_{\widehat{\mathbf{x}}_{0}}\,\mathcal{L}_{\mathrm{emo}}\)，是端到端微分还是代理梯度？这严重影响方法的可复现性和严谨性。2）主观评估的样本量（36样本×20人）对于支撑“最高情感适度性”的结论略显单薄。3）尽管实验了五个骨干，但StableTTS上的性能（平均48.8%）与其它骨干差距明显，且该骨干架构相对简单，是否暗示DUET对模型容量或架构复杂度有隐含依赖？论文对此讨论不足。4）开源仅提供了引用项目的链接，DUET本身无任何开源材料，这在声称“plug-and-play”和“复现性”的今天是重大减分项。 📌 核心摘要 本文发现，在未经情感监督预训练的扩散与流匹配TTS模型中，情感信息在隐藏状态里表现为一个可线性解码的方向，且该方向与编码说话人身份的方向近似正交。基于此发现，本文提出了DUET框架，这是一个即插即用的方法，通过在去噪的每一步统一执行双空间控制来实现情感生成：1) 在隐藏空间，沿探测得到的情感方向对特定层的隐藏状态进行范数自适应的引导；2) 在梅尔空间，通过将外部情感识别器的损失梯度经由可微分声码器反向传播，对清洁梅尔频谱估计进行引导。实验表明，在五个不同的预训练TTS骨干上，DUET在三个数据集上的平均情感识别准确率超过了10个监督学习基线模型，并在主观评价中获得了最高的情感适度性评分。此外，DUET在Ameca人形机器人上的部署展示了其在具身情感交互中的应用潜力。 ...

📄 Dasheng AudioGen: A Unified Model for Generating Coherent Audio Scenes from Text #音频生成 #语音合成 #音乐生成 #多模态模型 #扩散模型 #流匹配 #模型评估 #数据增强 🔥 8.6/10 | 前25% | #音频生成 | #数据增强 | #语音合成 #音乐生成 | arxiv 学术质量 6.6/7 | 影响力 1.6/2 | 可复现性 0.4/2 👥 作者与机构 作者: Jiahao Mei (1, 2), Heinrich Dinkel (2), Yadong Niu (2), Xingwei Sun (2), Gang Li (2), Yifan Liao (2), Jiahao Zhou (2), Junbo Zhang (2), Jian Luan (2), Mengyue Wu (1) 机构: 1: X-LANCE Lab, Shanghai Jiao Tong University, Shanghai, China 2: MiLM Plus, Xiaomi Inc., Beijing, China ...

📄 CFMDCTCodec: A Low-Bitrate Neural Speech Codec with Noise-Prior-aware Conditional Flow Matching for MDCT-Spectral Enhancement #语音编码 #流匹配 🔥 8.4/10 | 前25% | #语音编码 | #流匹配 | arxiv 学术质量 5.8/7 | 影响力 1.8/2 | 可复现性 0.8/2 | 置信度 高 👥 作者与机构 作者：Xiao-Hang Jiang, Yang Ai, Hui-Peng Du, Zhen-Hua Ling, Ji Wu 机构：Xiao-Hang Jiang, Yang Ai, Hui-Peng Du 和 Zhen-Hua Ling 隶属于中国科学技术大学语音及语言信息处理国家工程研究中心；Ji Wu 隶属于清华大学电子工程系。 💡 毒舌点评 论文聚焦于一个非常具体且具有实用价值的细分问题（极低比特率语音编码），并提出了一个技术上合理、设计上自洽的方案。然而，其核心贡献——将单码本压缩与MDCT域CFM增强相结合——在概念上并非革命性突破，更偏向于工程优化和巧妙的组合。最大的问题在于其通用性存疑：性能优势高度集中在0.65 kbps这一极窄的设定下，比特率稍有提高（1.3 kbps），优势便大幅缩水，与MDCTCodec持平。这让人怀疑该方案是否真的解决了根本问题，还是仅仅在极端场景下榨取了一点边际收益。此外，论文声称避免对抗训练以简化学习，但引入的CFM增强器及其诸多稳定化设计（范围归一化、自适应噪声先验）本身也增加了系统的复杂度和调优难度，这与“更简单高效”的宣称需打个问号。作者明确承认的高算法延迟是一个致命弱点，严重限制了其实际部署潜力。 📌 核心摘要 本文提出了CFMDCTCodec，一个完全在MDCT域操作的低比特率神经语音编解码器。该系统由一个轻量级的单码本MDCT谱编解码器和一个噪声先验感知的基于条件流匹配（CFM）的MDCT谱增强器串联组成。编解码器将输入语音的MDCT谱深度压缩为低比特率离散令牌，并解码出粗糙谱。增强器以该粗糙谱为条件，利用由其幅度导出的自适应噪声先验作为CFM的初始状态，通过ODE求解器逐步细化频谱细节。整个系统采用非对抗性的端到端联合优化策略训练。实验表明，在0.65 kbps的极低比特率下，CFMDCTCodec在主观感知质量（MUSHRA）和计算效率（参数量、FLOPs）之间取得了良好平衡，优于或接近多个强基线。消融研究验证了MDCT范围归一化、幅度自适应噪声先验和端到端联合训练的有效性。 🔗 开源详情 代码：论文中未提及CFMDCTCodec的代码链接。 模型权重：论文中未提及模型权重链接。 数据集：论文中使用了两个公开数据集： LibriTTS (16kHz实验)：使用了标准划分，包括train-clean-100、train-clean-360用于训练，dev-clean用于验证，test-clean用于评估。 VCTK (48kHz实验)：使用了40,936条语句用于训练，2,937条语句用于测试。 Demo：https://xhjiang1.github.io/CFMDCTCodec 复现材料：论文中详细描述了实验设置、模型架构细节和所有训练超参数，但未提供模型检查点或训练脚本等具体复现材料。 论文中引用的开源项目： DAC: https://github.com/descriptinc/descript-audio-codec BigCodec: https://github.com/Aria-K-Alethia/BigCodec WavTokenizer: https://github.com/jishengpeng/WavTokenizer FlowDec: https://github.com/facebookresearch/FlowDec 🏗️ 方法概述和架构 CFMDCTCodec是一个完全在修改离散余弦变换（MDCT）域工作的两阶段神经语音编解码框架，旨在极低比特率下实现高质量重建。其核心架构如图1所示，包含两个紧密耦合的模块：单码本MDCT谱编解码器和噪声先验感知的CFM-based MDCT谱增强器。 ...

📄 RobustSpeechFlow: Learning Robust Text-to-Speech Trajectories via Augmentation-based Contrastive Flow Matching #对比学习 #流匹配 #对齐鲁棒性 #硬负样本 #潜空间增强 #文本到语音合成 ✅ 7.8/10 | 前10% | #语音合成 | #对比学习 | #流匹配 #对齐鲁棒性 | arxiv 学术质量 6.0/7 | 影响力 1.5/2 | 可复现性 0.3/2 | 置信度 high 👥 作者与机构 Jinhyeok Yang, Hyeongju Kim, Yechan Yu, Joon Byun, Frederik Bous, Juheon Lee。机构：Supertone Inc, South Korea; Independent Researcher, South Korea。 💡 毒舌点评 这篇工作像给TTS模型做了一次“防错培训”，专门针对它最常犯的“嘴瓢”（重复和跳词）错误。想法很直接——与其让模型自由发挥然后出错，不如在训练时就把这些错误模式当成“坏榜样”狠狠惩罚。方法确实巧妙且实用，但论文的评估就像是只用打字速度来评价一个作家，完全没问读者觉得故事好不好看（缺乏主观MOS评估）。在模型小如0.06B的赛道上刷榜WER很有说服力，但和那些0.3B以上的“大块头”比拼时，胜之不武（存在架构与容量差距）。总体而言，它解决了一个真实的工程痛点，但作为一篇学术论文，其分析深度和评估完备性还有提升空间，尚未达到让社区毫无争议地接受其“最佳实践”的程度。 📌 核心摘要 本文针对流匹配（Flow Matching）TTS系统中常见的内容对齐错误（如跳词、重复词）问题，提出了RobustSpeechFlow训练策略。其核心思想是将这些真实的TTS失败模式转化为潜空间中的“硬负样本”。具体地，通过设计长度保持的“重复”和“跳过”潜变量增强操作来构造负样本，使得对比学习信号直接惩罚模型在特定对齐错误上的倾向性。该方法无需外部对齐器或偏好数据，可直接集成到现有流匹配TTS管道中。实验表明，在仅0.06B参数的SupertonicTTS模型上，该方法在公开的Seed-TTS-eval基准上将WER从1.44降至1.38；在作者构建的更具挑战性的ZERO500多语言基准上，显著降低了英语和韩语的字符错误率（CER）和词错误率（WER），尤其是在低步数推理（NFE=12）场景下改善更为明显。 🔗 开源详情 代码：论文中未提及代码开源。 模型权重：论文中未提及模型权重下载链接。 数据集： 训练数据：内部语料库（约10k小时，500万条语音，8万说话人，英语和韩语），未公开。 评测基准：Seed-TTS-eval（公开）， ZERO500（作者新构建，未公开）。 Demo：https://robustspeechflow.github.io/ 复现材料：论文详细描述了训练配置（如优化器、学习率、训练步数、硬件环境、模型参数设置等），但未提供具体的配置文件、检查点或代码。 论文中引用的开源项目： Whisper：用于合成音频的转写。论文中使用了Whisper large-v3。项目链接：https://github.com/openai/whisper Supertonic Speech Autoencoder：论文基础模型SupertonicTTS所使用的语音编码器。论文引用为[supertonic2025]。项目链接：https://github.com/SupertoneAI/SupertonicTTS Length-Aware RoPE (LARoPE)：论文中提到的位置编码技术。论文引用为[larope2025]，并提供了arXiv链接：https://arxiv.org/abs/2502.18936 F5-TTS：论文中作为基线比较的系统之一。项目链接：https://github.com/SWivid/F5-TTS 其他TTS系统：论文在介绍部分和基准比较中提及了多个系统（如DiTTo-TTS， DiTAR， Seed-TTS， MegaTTS3， CosyVoice3等），但未提供其具体代码链接。 🏗️ 方法概述和架构 RobustSpeechFlow是一种应用于基于流匹配的TTS模型的训练策略，旨在提升对齐鲁棒性。其核心架构与标准条件流匹配（Conditional Flow Matching, CFM）一致，但通过引入特定的潜空间增强操作和修改训练目标来实现。 ...

📄 CounterFlow: A Two-Phase Inference-Time Sampling for Counterfactual Video Foley Generation #音频生成 #流匹配 #音视频 #生成模型 #模型评估 🔥 8.7/10 | 前50% | #音频生成 | #流匹配 | #音视频 #生成模型 | arxiv 学术质量 5.6/7 | 影响力 1.5/2 | 可复现性 1.6/2 | 置信度 高 👥 作者与机构 第一作者：Gyubin Lee（Kim Jaechul Graduate School of AI, KAIST） 通讯作者：未明确说明（论文中作者列表无明确标注，但通常最后一位作者为通讯作者） 作者列表：Gyubin Lee（Kim Jaechul Graduate School of AI, KAIST）、Junwon Lee（Kim Jaechul Graduate School of AI, KAIST）、Juhan Nam（Kim Jaechul Graduate School of AI, KAIST；Graduate School of Cultural Technology, KAIST） 💡 毒舌点评 亮点：论文精准定义了“反事实视频拟音”这一具体且有工业需求的任务，并提出了一个无需重新训练、仅在推理时操作的轻量级解决方案。核心的两阶段采样设计思路清晰，分解引导公式（Eq.1）有效对抗视觉主导问题，实验在精心构建的冲突数据集上明确证明了其优越性。短板：实验的基线对比虽然包含了SOTA方法（CAFA），但本质上仍是现有技术组件的巧妙组合，缺乏在模型架构或训练范式上的根本创新。对“视觉特征如何编码声音身份信息”这一核心假设的分析主要依赖间接证据（消融实验），缺乏更深入的探讨。 ...

📄 Instrumental Text-to-Music Generation with Auxiliary Conditioning Branches #音乐生成 #音频大模型 #扩散模型 #流匹配 #条件生成 🔥 8.4/10 | 前25% | #音乐生成 | #扩散模型 | #音频大模型 #流匹配 | arxiv 学术质量 5.6/7 | 影响力 1.7/2 | 可复现性 1.1/2 | 置信度 高 👥 作者与机构 第一作者：Junyoung Koh 通讯作者：未提及 作者列表：Junyoung Koh（论文未明确提及所属机构） 💡 毒舌点评 论文提出了一个有趣且实证观察扎实的假说——为歌声生成设计的辅助条件分支，在器乐生成任务的退化输入下，其贡献主要体现在训练过程中，充当了“架构锚点”。这一发现挑战了“辅助分支仅在推理时用于条件注入”的直觉。然而，该结论本质上基于特定骨干架构（ACE-STEP 1.5）、特定任务（器乐）和特定受限数据集（457小时）的消融实验。将其直接升华为通用条件扩散模型的设计原则，可能低估了外部预训练模型（如作为基线的MusicGen，使用20k小时数据）和大规模数据在性能对比中的根本性作用。论文的实验设计是严谨的，但结论的普适性仍需在更广泛的场景下验证。 📌 核心摘要 问题：在严格控制数据规模和预训练的背景下，研究从歌声生成架构（ACE-STEP 1.5）中继承的辅助条件分支（如歌词和音色编码器），在接收退化（恒定）输入时，对纯器乐文本到音乐生成任务的贡献，特别是这些贡献是发生在推理时还是训练时。 方法核心：采用ACE-STEP 1.5架构作为骨干，将其适配到器乐任务。模型包含冻结的音频VAE（AutoencoderOobleck）和文本编码器（Qwen3-Embedding-0.6B），以及可训练的条件编码器和扩散变换器（DiT）解码器。条件编码器处理文本、歌词和音色三路流，其中歌词分支接收恒定输入占位符“[Instrumental]”，音色分支接收零张量。训练集成了多种策略：Min-SNR-γ加权、自适应时间步采样、随机片段裁剪、训练后EMA平均。推理时采用100步Euler ODE采样，并仅在引导区间[0.1, 0.9]内应用分类器引导（CFG）。 新意：通过严格控制的消融实验（推理时移除分支、从头重新训练不带分支的模型、以及参数匹配的更宽DiT模型），发现辅助条件分支的贡献主要发生在训练阶段，充当“架构锚点”，塑造了主干网络的学习动态，而这种效应无法通过简单增加DiT深度来完全替代。 结果：在ICME 2026 ATTM挑战赛中，2.4B的性能赛道模型在主办方组织的多评估者MOS（35人）上排名第一，获得了所有参赛作品中的最高总体MOS。499M的效率赛道模型在客观指标上并列第二。消融实验表明，从头训练移除条件分支会导致感知质量（AudioBox、LLM-as-judge、人类MOS）显著下降，而将节省的参数用于加深DiT只能部分恢复性能。 意义：为理解和使用条件扩散模型中的辅助分支提供了新的实证视角，表明它们不仅是推理时的条件接口，还可能是塑造训练动力学的重要结构性因素。同时，论文详细总结了一套在受限数据下训练高性能音乐生成模型的有效策略组合。 局限性：分析主要基于ICME挑战赛的特定训练集（457小时）和100个测试提示；条件分支“锚点”作用的确切机制是观察性的，缺乏理论分析；核心消融中的人类评估为单评估者，且仅在20个提示的子集上进行；多评估者MOS仅覆盖提交的模型，未覆盖所有消融变体。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及。论文提到了基于开源架构 ACE-STEP 1.5 进行实验，但未提供作者自己训练的模型（Efficiency 499M, Performance 2.4B）或所用开源组件（如 AutoencoderOobleck, Qwen3-Embedding-0.6B）的具体权重链接。 数据集：论文中提及使用公开数据集 MTG-Jamendo。具体信息为：MTG-Jamendo的raw_30s子集，包含约55,700条曲目（共457小时），用于ICME 2026 ATTM挑战赛。论文中未提供具体下载链接。 Demo：论文中未提及。 复现材料：论文中未提及具体配置文件或检查点链接。但论文在方法（Section III）、训练策略（Section IV）和模型配置表（Table I）中详细描述了模型架构、训练超参数、优化策略等，这些信息为复现提供了重要依据。 论文中引用的开源项目：论文中提及但未提供具体链接。 ACE-STEP 1.5：被用作模型骨干。 MusicGen, MusicLM, AudioLDM2, Stable Audio, MeLoDy：被用作对比基线或相关工作。 Qwen2-Audio, Qwen3-Embedding-0.6B：作为文本编码器或用于生成描述文本。 AutoencoderOobleck (来自Stable Audio)：作为音频VAE。 LP-MusicCaps, JamendoMaxCaps：作为相关数据集或描述生成方法。 🏗️ 方法概述和架构 本论文的核心方法是适配和改进一个为歌声生成设计的模块化扩散Transformer（DiT）架构，以解决纯器乐文本到音乐生成任务，并深入研究其辅助条件分支在退化输入下的作用。其整体流程可概括为：输入文本描述，通过冻结的文本编码器得到嵌入；同时，为恒定的歌词和音色输入生成嵌入；所有条件嵌入由可训练的条件编码器融合为单一序列；该序列与扩散过程中的时间步信息一起，通过交叉注意力注入到主生成模型——扩散变换器（DiT）解码器中，最终生成音频的潜在表示，再经冻结的音频VAE解码为波形。 ...

📄 CounterFlow: A Two-Phase Inference-Time Sampling for Counterfactual Video Foley Generation #音频生成 #流匹配 #多模态模型 #音视频 ✅ 6/10 | 前25% | #音频生成 | #流匹配 | #多模态模型 #音视频 | arxiv 学术质量 4.9/8 | 影响力 0.5/1 | 可复现性 0.6/1 | 置信度 高 👥 作者与机构 第一作者：Gyubin Lee（Kim Jaechul Graduate School of AI, KAIST） 通讯作者：Juhan Nam（Kim Jaechul Graduate School of AI, KAIST; Graduate School of Cultural Technology, KAIST）[注：论文未明确标注，但基于惯例与贡献推断] 作者列表：Gyubin Lee（Kim Jaechul Graduate School of AI, KAIST），Junwon Lee（Kim Jaechul Graduate School of AI, KAIST），Juhan Nam（Kim Jaechul Graduate School of AI, KAIST; Graduate School of Cultural Technology, KAIST） 💡 毒舌点评 论文精准地捕捉到了VT2A模型在视频与文本条件冲突时“视觉优先”的痛点，并提出了一个简洁且有效的推理时解决方案（两阶段采样+分解引导），在反事实音频生成这一细分任务上展示了明确的改进。然而，其核心方法本质上是对已有CFG、负提示和对采样过程洞察的工程化组合与调参，属于方法论层面的精巧设计而非底层算法突破。此外，所提的ΔFLAM评估指标虽然新颖，但对“听感正确性”的验证仍显间接，且评估仅在一个定制数据集上进行。 ...

📄 A Survey of Advancing Audio Super-Resolution and Bandwidth Extension from Discriminative to Generative Models #音频修复 #综述 #扩散模型 #流匹配 🔥 8.1/10 | 前25% | #音频修复 | #综述 | #扩散模型 #流匹配 | arxiv 学术质量 6.7/8 | 影响力 0.8/1 | 可复现性 0.6/1 | 置信度 高 👥 作者与机构 第一作者：Ningyuan Yang (Stony Brook University) 通讯作者：根据邮箱推断，可能为 Andrew C. Singer (Stony Brook University) 作者列表：Ningyuan Yang (Stony Brook University)、Yize Li (Northeastern University)、Diego A. Cuji (Stony Brook University)、Ryan M. Corey (University of Illinois Chicago & Discovery Partners Institute)、Pu Zhao (Northeastern University)、Xue Lin (Northeastern University)、Andrew C. Singer (Stony Brook University) （注：原文作者列表下所有脚注标记为“Equal contribution”，表示所有作者贡献均等，机构如上所列。） 💡 毒舌点评 这篇综述的核心价值在于，它构建了一个清晰、系统的框架，用以理解音频超分辨率（SR）与带宽扩展（BWE）领域从判别式模型到生成式模型的完整演进图谱。其贡献并非提出新算法，而是首次明确、统一地阐述了这一“范式转变”，并为不同的生成式方法（GAN、扩散、流、桥）在BWE/SR任务中的权衡提供了极具洞察力的分析。这为领域内研究者提供了宝贵的“路线图”。然而，作为一篇旨在指导未来方向的综述，其最大的遗憾在于完全依赖定性讨论和文献引用，缺乏对关键方法的统一基准或系统性定量指标汇总。因此，文中关于“何种范式在何种场景下更优”的结论，更多源于作者的学识与判断，而非可直接复现的、控制变量的实验证据，这在一定程度上削弱了其结论的普适性和说服力。 ...

📄 WavFlow: Audio Generation in Waveform Space #音频生成 #流匹配 #音视频 #音频大模型 #数据集 ✅ 6.7/10 | 前25% | #音频生成 | #流匹配 | #音视频 #音频大模型 | arxiv 学术质量 5.7/8 | 影响力 0.5/1 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 第一作者：Feiyan Zhou (Meta AI) 通讯作者：未明确说明（论文中仅标注*为Corresponding author，但未明确指出是哪位作者） 作者列表：Feiyan Zhou (Meta AI), Luyuan Wang (Meta AI), Shoufa Chen (Meta AI), Zhe Wang (Meta AI), Zhiheng Liu (Meta AI), Yuren Cong (Northeastern University), Xiaohui Zhang (Northeastern University), Fanny Yang (Northeastern University), Belinda Zeng (Northeastern University)。论文中明确标注Northeastern University为合作机构。 💡 毒舌点评 这篇论文勇敢地挑战了音频生成领域的“潜空间教条”，证明了在原始波形空间生成高质量音频是可行的，其技术路线（波形分块+幅度提升+xx预测）简洁有效，结果也颇具说服力。然而，其最大的“资产”——号称5000万样本的专有数据集——恰恰是最大的复现壁垒，使得论文的核心结论更像是一次强大的工业展示而非可广泛复现的学术研究。此外，论文声称与SOTA“匹配或超越”，但在关键的数据规模前提下，这一结论的公平性和说服力需要打上问号。 ...