流匹配

📄 One-Step Token-to-Waveform Generation with MeanFlow in Latent Space #语音合成 #生成模型 #自回归模型 #流匹配 #扩散模型 #Transformer 9.3/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 🔥 9.3/10 | 前10% | #语音合成 | #Transformer | #生成模型 #自回归模型 | arxiv 👥 作者与机构 作者：Zheqi Dai, Guangyan Zhang, Zhen Ye, Jingyu Li, Haolin He, Chunyat Wu, Yiwen Guo, Qiuqiang Kong 机构：1 The Chinese University of Hong Kong, Hong Kong SAR, China; 2 LIGHTSPEED, Tencent, Hong Kong SAR, China; 3 The Hong Kong University of Science and Technology, Hong Kong SAR, China; 4 Independent Researcher ...

📄 PhASE-Flow: Phonetic-Conditioned Acoustic Flow Matching in SSL Representation Domain for Speech Enhancement #语音增强 #流匹配 #自监督学习 #生成模型 7.6/10 | 创新 1.7/2 | 严谨 1.4/1.5 | 实验 0.7/1.5 | 清晰 0.9/1 | 影响 0.9/1.5 | 开源 0.4/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 ✅ 7.6/10 | 前25% | #语音增强 | #自监督学习 | #流匹配 #生成模型 | arxiv 👥 作者与机构 Jun Gao, Xiaobin Rong, Yu Sun, Dahan Wang, Jing Lu 单位：南京大学现代声学研究所；南京大学-地平线智能音频实验室；三星电子（中国）研发中心 💡 毒舌点评 这篇论文把语音增强的战场从大家熟悉的梅尔图谱和STFT直接搬到了WavLM的内部表征空间里，想法挺有意思，有点“跳出三界外”的感觉。消融实验做得比较扎实，把各种空间（梅尔、STFT、SSL声学、SSL音素）都比了一遍，结论也比较清晰。但问题也很明显：第一，论文对方法本身“可能”的局限性避而不谈，这不是一个成熟作者该有的态度；第二，效率优势（4步采样）喊得很响，但具体快多少、实时性能否达标，一个数据都没给，属于“口说无凭”；第三，在最具挑战性的混响场景下，虽然比同行好点，但SpkSim和dWER的断崖式下跌说明生成式模型“幻觉”的通病它也没治好。总的来说，技术路线有新意，实验设计合理，但自我批判的深度不足，工程落地的证据链也不完整。给个8分左右的分数，属于能发出来但离让人拍案叫绝还差口气的论文。 ...

📄 AUDEDIT: Inversion-Free Text-Guided Editing with Pretrained Audio Flow Models #生成模型 #流匹配 7.8/10 | 创新 1.5/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ✅ 7.8/10 | 前25% | #生成模型 | #流匹配 | arxiv 👥 作者与机构 Zhongyuan Fu，南开大学计算机科学学院 💡 毒舌点评 这篇论文精准地抓住了当前音频编辑领域一个非常实际的痛点：基于反转的编辑方法中“改得动”和“改对味”之间的矛盾。作者没有选择暴力优化或引入复杂模块，而是另辟蹊径，从流匹配模型自身的数学性质出发，找到了一条“直路”。思路清晰，实验扎实，消融研究做得尤其到位，把参数的影响剖析得很明白。但是，说到底，这更像是对现有工具（Stable Audio 3）的一次巧妙“调参”和路径规划，而非发明了一种全新的生成范式。其创新性被框定在了“无反转”这个特定赛道上，且强烈依赖于特定骨干模型，通用性和理论深度稍显不足。对于追求“颠覆性创新”的顶会来说，这或许是一篇扎实的工作，但离“改变游戏规则”还有距离。 📌 核心摘要 本文提出了AudEdit，一种无需训练、无需反转的零样本文本引导音频编辑框架。其核心思想是直接构建从源音频到目标编辑的传输路径，而非传统方法的“源->噪声->目标”的迂回路径。具体而言，该方法利用预训练的整流流模型（Stable Audio 3），通过在每个时间步计算并积分目标条件速度场与源条件速度场在匹配随机噪声下的差值，来直接更新音频潜在表示。这种方法避免了在高噪声状态下丢失源音频关键细节（如瞬态、节奏、音色）的风险。在构建的音效和音乐编辑评估集上，AudEdit在提示词对齐度（CLAP分数）和源音频保留度（如FAD、LSD）两项关键指标上均显著优于SDEdit、ODE反转和FireFlow等强基线。 🔗 开源详情 代码：论文中未提供代码仓库链接。 模型权重：论文中未提供预训练模型权重的获取链接。基础模型Stable Audio 3为第三方工作。 数据集：论文中构建了音效和音乐编辑评估集，但未提供直接下载链接或公开托管地址，仅说明了数据来源。 Demo：论文中未提及在线演示链接。 复现材料：论文未提供完整的复现材料包（如代码、预训练检查点、构建脚本）。但附录提供了详尽的实验设置、默认参数表（表4）和基线伪代码（附录B），为独立复现提供了关键信息。 论文中引用的开源项目：引用了Stable Audio 3、CLAP、SAME等多个开源项目作为基础组件或基线，但未在文中提供具体URL。 🏗️ 方法概述和架构 AudEdit的核心架构建立在预训练的Stable Audio 3文本到音频生成模型之上，该模型采用整流流（Rectified Flow）框架。方法本身是一个无需训练的推理算法，主要包含两个阶段：1）将源音频编码为潜在表示；2）通过求解一个直接的速度差分方程来迭代编辑该潜在表示，最后解码得到编辑后的波形。 ...

📄 MUNI: Multimodal Unified Latent Diffusion for Coherent Any-to-Any Generation #语音生成 #音频生成 #多模态模型 #扩散模型 #流匹配 #变分推断 #变分自编码器 6.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0.1/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 6.9/10 | 前50% | #语音生成 | #变分推断 | #音频生成 #多模态模型 | arxiv 👥 作者与机构 作者：Kyeongmin Yeo, Yunhong Min, Minhyuk Sung 机构：KAIST 💡 毒舌点评 本文立意不错，试图从变分推断第一性原理出发解决多模态生成中的“一致性”痛点。理论分析部分逻辑清晰，提出了三个潜在空间准则并设计了相应的路由目标，这种“讲道理”的方式值得肯定。实验也表明其在无条件联合生成的一致性指标上有显著提升。然而，论文的核心创新点在于理论分析和目标设计，而实现这些目标的架构（编码器、解码器、先验）本身并无革命性变化。此外，理论证明依赖于多个理想化假设，其现实适用性存疑。最遗憾的是，缺少了对自身关键设计选择（如路由策略、不同聚合规则）的消融实验，使得理论分析与实际性能提升之间的因果链条不够坚固。在影响力方面，对于本领域的读者而言，这项工作的直接可借鉴性有限，更像一个针对视觉主导的多模态生成的“特解”。 📌 核心摘要 MUNI是一个面向任意多模态生成（any-to-any generation）的统一框架。它扩展了联合训练的单模态潜在扩散模型到多模态场景，核心在于两点：1）架构上，引入模态特定的编码器、表达力强的解码器和一个共享的流匹配先验；2）目标上，设计了一个路由训练目标，该目标通过非混合聚合、目标解耦的自重建以及仅在留一子集上训练先验等策略，使共享潜在变量同时满足一致性充分、预测充分和最小性这三个准则。实验在合成和真实图像-文本-音频数据上进行，结果表明MUNI在条件生成任务上不弱于强基线，而在更难的无条件联合生成任务上，其生成的模态间一致性显著优于现有方法。 ...

📄 PianoKontext: Expressive Performance Rendering from Deadpan Context #音乐生成 #流匹配 #扩散模型 9.1/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 9.1/10 | 前50% | #音乐生成 | #流匹配 | #扩散模型 | arxiv 👥 作者与机构 Dmitrii Gavrilev （机构未在提供的原文中明确提及） 💡 毒舌点评 这篇论文的出发点很巧，把“如何让钢琴弹得有感情”这个玄学问题，转化成了“如何把死气沉沉的MIDI合成音频变得好听”这个工程问题。思路清晰，像用DTW在潜在空间对齐数据这招，算是个实用的小trick。但是，作者你这实验做得也太“精打细算”了吧？就一个MAESTRO子集、一张RTX 4090卡，就想定义“表现力演奏”的未来？连个人类主观听感测试都舍不得做，就敢在结论里谈“音乐性”？这跟用泡面调料包评测米其林餐厅有啥区别。最后那个“缺乏理想 articulation”的自我批评倒是挺诚实，但光承认问题不解决，顶会审稿人可不会买账。 📌 核心摘要 本文提出了PianoKontext，一个用于表现力钢琴演奏渲染（EPR）的潜在流匹配模型。其核心思想是将问题建模为以合成的死板音频为条件，在潜在空间中生成变长、富有表现力的钢琴音频。关键方法包括：1）利用动态时间规整（DTW）在预训练的Music2Latent模型的潜在空间中，对齐MIDI分数合成的死板音频与真实表现力音频，构建训练数据对；2）采用借鉴自FLUX Kontext的DiT架构，通过拼接条件序列和噪声化的目标序列，并使用2D旋转位置编码（RoPE）进行联合自注意力建模，以学习两者间的依赖关系。实验表明，与无监督基线CFG Bridge相比，PianoKontext在音频质量（FAD/KAD）和内容保真度（Pitch DTW、对齐精确率/召回率）上均有提升。 🔗 开源详情 代码仓库：github.com/realfolkcode/pianokontext 提供代码，有助于复现方法。未提供模型权重或完整数据集。 🏗️ 方法概述和架构 PianoKontext的方法可分为数据准备和模型架构两大部分，整体流程如图1所示。 ...

📄 Speech Meets ELF: Audio Conditional Continuous-Target Diffusion for Speech Recognition and Translation #语音识别 #语音翻译 #扩散模型 #流匹配 8.3/10 | 创新 1.7/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.3/10 | 前25% | #语音识别 | #语音翻译 | #扩散模型 #流匹配 | arxiv 👥 作者与机构 论文作者包括 Xuanchen Li（共同第一作者）， Tianrui Wang（共同第一作者）， Yuheng Lu， Zikang Huang， Yu Jiang， Chenghan Lin， Chenrui Cui， Ziyang Ma， Xingyu Ma， Chunyu Qiang， Guochen Yu， Xie Chen， Longbiao Wang， Jianwu Dang（通讯作者）。机构在作者列表中未明确标注，但根据通讯作者信息及论文常见模式，推测主要来自小米和相关合作机构。 ...

📄 End-to-End Training for Discrete Token LLM based TTS System #语音合成 #多任务学习 #强化学习 #流匹配 7.6/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ✅ 7.6/10 | 前50% | #语音合成 | #多任务学习 | #强化学习 #流匹配 | arxiv 👥 作者与机构 论文作者：Changfeng Gao, Yong Ren, Jun Yuan, Ye Bai, Zhao You, ShiDong Shang。单位未在摘要或作者列表中明确列出，但论文标题和内容表明与小米AI实验室相关。根据作者信息，机构为小米AI实验室与南京大学。 💡 毒舌点评 SOTA声明的谨慎性：论文声称达到“new SOTA result”，但在主实验表格（Table 1）中，与JoyVoice（WER 0.97% zh, 1.69% en）和CosyVoice3-1.5B（WER 1.12% zh, 2.21% en）等模型相比，提升幅度有限（如中文WER从0.97%降至0.78%）。考虑到其使用了0.6B参数的LLM，性能增益是合理的，但“SOTA”的表述可能需要更谨慎地限定在特定模型规模下。 实验设计的局限：论文的核心实验主要基于内部大规模数据集训练的模型进行自比较（Table 1中的Stage1/2/3和w/o E2E），以及与外部模型的有限对比。然而，论文未提供在相同数据、相同基础模型（如Qwen3-0.6B）上与非E2E训练基线（w/o E2E-training）的直接、公平对比的具体实现细节（如是否使用了完全相同的训练数据子集和超参数），这削弱了“E2E训练关键”这一结论的绝对说服力。 组件贡献的归因模糊：虽然消融研究（Table 2, 3）移除了\(L_{LM}\)或\(L_{FM}\)，证明了它们的重要性，但论文未深入分析三阶段训练中每个阶段（特别是Stage 2的独立微调）对最终性能的具体贡献比例。Stage 2允许为不同模块使用不同数据，这引入了额外变量，其效果与E2E优化本身的效果未被完全解耦。 理论分析的实用性存疑：Section 2.4的信息论分析将Tokenizer训练形式化为源编码问题，概念上有趣，但公式推导（如公式14）较为初步，且与实验结果的直接关联较弱（如Table 4中H和I的微小差异如何对应显著的性能提升？）。这部分更像理论点缀，而非深入的机理分析。 开源与可复现性短板：尽管论文在训练细节上描述详尽，但完全未提供代码、模型权重或内部数据集的获取途径。对于一个声称方法更简单、性能更优的框架，缺乏开源极大地限制了社区验证和直接应用其价值。 📌 核心摘要 本文提出了一种用于基于离散令牌的LLM的TTS系统的端到端（E2E）训练框架。该框架统一优化了语音分词器、自回归LLM、基于流匹配（FM）的声码器和一个辅助奖励模型（RM）。核心方法包括：1）通过一阶损失（\(L_1\)）联合训练分词器，使其直接适应下游LLM预测、FM重构和RM识别任务；2）通过二阶损失（\(L_2\)）在LLM生成的令牌分布上优化系统，缓解训练-测试不匹配；3）设计了三阶段训练流程以稳定优化。实验表明，该框架在Seed-TTS-Eval基准上，使用0.6B LLM和0.5B FM模型，取得了0.78%（中文）和1.56%（英文）的WER，达到了SOTA水平。消融研究验证了各损失项和端到端优化的重要性。理论分析从信息论角度探讨了高质量语音令牌应具备高熵和强时序依赖性。 ...

📄 OpenBibleTTS: Large-Scale Speech Resources and TTS Models for Low-Resource Languages #语音合成 #低资源 #数据集 #模型评估 #流匹配 #语音生成 #基准测试 8/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 🔥 8/10 | 前25% | #语音合成 | #低资源 | #数据集 #模型评估 | arxiv 👥 作者与机构 David Guzmán1,2, Luel Hagos Beyene3,4, Jesujoba Oluwadara Alabi5, Yejin Jeon1,2, Dietrich Klakow5, David Ifeoluwa Adelani1,2,6 1 McGill University 2 Mila - Quebec AI Institute 3 AIMS Research and Innovation Centre 4 NM-AIST 5 Saarland University 6 Canada CIFAR AI Chair ...

📄 SMC-ITA: Sequential Monte Carlo Inference-Time Alignment for Video-to-Audio Generation #音频生成 #多模态模型 #流匹配 7/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 7/10 | 前50% | #音频生成 | #多模态模型 | #流匹配 | arxiv 👥 作者与机构 作者：Haoyu Zhang, Yuta Oshima, Xingjian Du, Chunfeng Wang, Irene Li, Yusuke Iwasawa, Yutaka Matsuo 单位：The University of Tokyo, University of Rochester, Independent ...

📄 dots.tts Technical Report #语音合成 #流匹配 #自回归模型 #多语言 #低资源 #数据增强 #模型压缩 9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 🔥 9/10 | 前25% | #语音合成 | #数据增强 | #流匹配 #自回归模型 | arxiv 👥 作者与机构 作者：Shi Lian, Changtao Li, Bohan Li, Hankun Wang, Da Zheng, Junfeng Tian, Yufeng Ma, Colin Zhang, Kai Yu。 机构：dots团队，小红书公司（Xiaohongshu Inc.），上海交通大学X-LANCE实验室。 ...