流匹配

📄 ProsoCodec: Prosody-Oriented Speech Codec for Voice Conversion #语音转换 #流匹配 #扩散模型 6.6/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.3/1.5 | 复现 0.4/0.5 | 工程 0.5/1.5 ✅ 6.6/10 | 前50% | #语音转换 | #流匹配 | #扩散模型 | arxiv 👥 作者与机构 作者: Jeongsoo Choi, Ji-Hoon Kim, Shujie Hu, Joon Son Chung 机构: KAIST (韩国科学技术院), Chung-Ang University (中央大学), The Chinese University of Hong Kong (香港中文大学) ...

📄 Synthesizing the Lombard Effect: Multi-Level Control of Speech Clarity and Vocal Effort in TTS #语音合成 #流匹配 7.2/10 | 创新 1.4/2 | 严谨 0.9/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.2/10 | 前50% | #语音合成 | #流匹配 | arxiv 👥 作者与机构 Seymanur Akti, Alexander Waibel。单位：卡尔斯鲁厄理工学院 (KIT), 卡内基梅隆大学 (CMU), KIT Campus Transfer (KCT)。 💡 毒舌点评 这篇工作在“模拟朗伯效应”这个实际问题上动了心思，双轴控制的概念也直观。但作为顶会论文，细节经不起推敲。伪标签的定义像“拍脑袋”，词级控制把 \(\beta\) 拉到 1.5 超出范围，理论依据一句“为了感知显著性”就带过了，这很不严谨。实验基线用简单信号处理，这有点欺负人，和最新的神经网络可控TTS比比看？作者自己都承认WER在极端条件下可能失效，但又拿它作为主要可懂度指标，结论的基石就有点晃。总的来说，想法不错，但打磨和验证的功夫还差火候，离“扎实”的距离比评分显示的要远。 ...

📄 How Do Instructions Shape Speech? Cross-Attention Attribution for Style-Captioned Text-to-Speech #语音合成 #扩散模型 #流匹配 7.7/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1/1.5 ✅ 7.7/10 | 前50% | #语音合成 | #扩散模型 | #流匹配 | arxiv 👥 作者与机构 Nityanand Mathur, Wasim Hamees, Apoorv Madha, Sameer Singh, Akshat Khurana, Sudarshan Mandloi, Nityanand Kamath Smallest.ai 💡 毒舌点评 论文提出了一个有价值的问题：风格描述中的词语如何影响语音合成。将DAAM适配到语音领域（具体是流匹配模型）的思路是新颖的，且实验规模（3600组合）值得肯定。 然而，“可解释性”工作的核心在于解释的深度和普适性。本文的解释停留在“统计关联”层面（如方差低=全局调节），缺乏对机制本身的因果探索（如注意力编辑实验）。所揭示的规律（早期步骤重要）在扩散模型中并非全新发现。 最大的硬伤在于其“可复现性”和“可扩展性”。分析完全基于单一、未公开的商业模型（CapSpeech），使用的是精心构造的合成提示（120个模板化句子）。这严重限制了结论的泛化能力。读者无法验证、复现或在自己的模型上应用该方法。 部分分析结论（如函数token在后期步骤重要性上升）虽然有趣，但缺乏更深入的解释，只是现象描述。整体而言，这篇论文像是一份详尽的“模型行为观察报告”，而非一篇能提供新方法或深刻洞见的可解释性研究。 📌 核心摘要 本文首次将扩散模型注意力归因方法（DAAM）适配到语音合成领域，用于分析风格描述词如何影响基于流匹配的TTS模型（CapSpeech-TTS）的输出。通过对大量（风格描述，文本转录）组合生成的跨注意力图进行系统性分析，论文发现：风格标记通过注意力机制扮演全局调节角色，其注意力模式在时间上分布均匀，与生成语音的基频和能量具有语义一致的统计相关性，且其影响力在生成过程的早期ODE步骤和深层Transformer层中达到峰值。 ...

📄 Hybrid Diffusion Transformer for Instruction-Guided Audio Editing via Rectified Flow #Transformer #流匹配 #多模态模型 #模型压缩 7.6/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.6/10 | 前50% | #Transformer | #Transformer | #流匹配 #多模态模型 | arxiv 👥 作者与机构 Liting Gao, Yonggang Zhu, Yaru Chen, Dongyu Wang, Shubin Zhang, Zhenbo Li, Jean-Yves Guillemaut, Wenwu Wang* ...

📄 Time-Unconditional Generative Speech Enhancement via Autonomous Rectified Flow #语音增强 #流匹配 #生成模型 7.0/10 | 创新 1.3/2 | 严谨 1.0/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.7/1.5 | 开源 0.3/1.5 | 复现 0.7/0.5 | 工程 0.8/1.5 ✅ 7.0/10 | 前25% | #语音增强 | #流匹配 | #生成模型 | arxiv 👥 作者与机构 张文斌（Wenbin Zhang）、江晓飞（Xiaofei Jiang）、张文（Wen Zhang）、周（Zhou） 杭州电子科技大学通信工程学院，杭州电子科技大学自动化学院 💡 毒舌点评 这篇论文提出了一个有趣的观点：在边界锚定的线性路径语音增强任务中，显式的时间步可能是冗余的。核心洞察（目标向量场的时间不变性）在数学上是成立的，并且实验上确实展示了移除时间步模块后在单步推理效率和质量上的优势。然而，其理论贡献的深度有限，只是对线性路径的一个直接推论。实验的广度不足，缺乏在真实复杂噪声或低资源场景下的验证。作者声称“通用性可与传统流程媲美”，但DNS Challenge上的性能与FlowSE相当且在混响条件下有波动，这更像是持平而非优势。此外，论文对“自治ODE”可能带来的训练不稳定性、对初始状态的敏感性等潜在问题讨论不足。开源仅提供代码但无模型权重，复现门槛较高。总体而言，这是一个扎实的工程优化，理论新意有限，实验未能充分支撑其广泛影响力的断言。 📌 核心摘要 该论文针对生成式语音增强中显式时间步条件化的必要性提出质疑。作者提出“自治整流流”框架，将增强过程建模为一个自治常微分方程系统。理论上证明了在连接带噪观测和干净语音的线性插值路径下，目标向量场是时间不变的，其形式等价于噪声分布。因此，神经网络无需输入时间步，仅从当前状态和带噪观测的空间关系即可预测恒定的去噪方向。实验表明，该框架在VoiceBank+DEMAND数据集上，当NFE=5时达到3.11 PESQ；在极端的单步推理（NFE=1）时，仍保持3.00 PESQ，显著优于基线，同时将实时因子降低至0.02。消融研究证实移除时间步可提升质量与速度。在DNS Challenge数据集上，其性能与FlowSE相当。 🔗 开源详情 代码： https://github.com/zhangwen0821/ARFSE.git （论文脚注1提供） 模型权重： 未提及 数据集： VoiceBank+DEMAND：公开数据集，论文未提供直接下载链接。 INTERSPEECH 2020 DNS Challenge 公开合成测试集：公开数据集，论文未提供直接下载链接。 Demo： 未提及 复现材料： 模型架构：基于NCSN++，冻结时间步输入和噪声调度模块。 超参数：Adam优化器，学习率 \(1\times10^{-4}\)，批大小4，训练100个epoch，\(\sigma=0.5\)，EMA衰减因子0.999。 信号处理设置：FFT大小510，帧移128。 复现：提供了训练配置细节，但未明确说明是否包含完整的检查点、训练脚本或详细附录的获取方式。 🏗️ 方法概述和架构 本文提出的自治整流流框架的核心是建立一个不依赖显式时间步 t 的语音增强模型。其方法论构建在以下关键组件上： ...

📄 One-Step Token-to-Waveform Generation with MeanFlow in Latent Space #语音合成 #生成模型 #自回归模型 #流匹配 #扩散模型 #Transformer 9.3/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 🔥 9.3/10 | 前10% | #语音合成 | #Transformer | #生成模型 #自回归模型 | arxiv 👥 作者与机构 作者：Zheqi Dai, Guangyan Zhang, Zhen Ye, Jingyu Li, Haolin He, Chunyat Wu, Yiwen Guo, Qiuqiang Kong 机构：1 The Chinese University of Hong Kong, Hong Kong SAR, China; 2 LIGHTSPEED, Tencent, Hong Kong SAR, China; 3 The Hong Kong University of Science and Technology, Hong Kong SAR, China; 4 Independent Researcher ...

📄 PhASE-Flow: Phonetic-Conditioned Acoustic Flow Matching in SSL Representation Domain for Speech Enhancement #语音增强 #流匹配 #自监督学习 #生成模型 7.6/10 | 创新 1.7/2 | 严谨 1.4/1.5 | 实验 0.7/1.5 | 清晰 0.9/1 | 影响 0.9/1.5 | 开源 0.4/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 ✅ 7.6/10 | 前25% | #语音增强 | #自监督学习 | #流匹配 #生成模型 | arxiv 👥 作者与机构 Jun Gao, Xiaobin Rong, Yu Sun, Dahan Wang, Jing Lu 单位：南京大学现代声学研究所；南京大学-地平线智能音频实验室；三星电子（中国）研发中心 💡 毒舌点评 这篇论文把语音增强的战场从大家熟悉的梅尔图谱和STFT直接搬到了WavLM的内部表征空间里，想法挺有意思，有点“跳出三界外”的感觉。消融实验做得比较扎实，把各种空间（梅尔、STFT、SSL声学、SSL音素）都比了一遍，结论也比较清晰。但问题也很明显：第一，论文对方法本身“可能”的局限性避而不谈，这不是一个成熟作者该有的态度；第二，效率优势（4步采样）喊得很响，但具体快多少、实时性能否达标，一个数据都没给，属于“口说无凭”；第三，在最具挑战性的混响场景下，虽然比同行好点，但SpkSim和dWER的断崖式下跌说明生成式模型“幻觉”的通病它也没治好。总的来说，技术路线有新意，实验设计合理，但自我批判的深度不足，工程落地的证据链也不完整。给个8分左右的分数，属于能发出来但离让人拍案叫绝还差口气的论文。 ...

📄 AUDEDIT: Inversion-Free Text-Guided Editing with Pretrained Audio Flow Models #生成模型 #流匹配 7.8/10 | 创新 1.5/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ✅ 7.8/10 | 前25% | #生成模型 | #流匹配 | arxiv 👥 作者与机构 Zhongyuan Fu，南开大学计算机科学学院 💡 毒舌点评 这篇论文精准地抓住了当前音频编辑领域一个非常实际的痛点：基于反转的编辑方法中“改得动”和“改对味”之间的矛盾。作者没有选择暴力优化或引入复杂模块，而是另辟蹊径，从流匹配模型自身的数学性质出发，找到了一条“直路”。思路清晰，实验扎实，消融研究做得尤其到位，把参数的影响剖析得很明白。但是，说到底，这更像是对现有工具（Stable Audio 3）的一次巧妙“调参”和路径规划，而非发明了一种全新的生成范式。其创新性被框定在了“无反转”这个特定赛道上，且强烈依赖于特定骨干模型，通用性和理论深度稍显不足。对于追求“颠覆性创新”的顶会来说，这或许是一篇扎实的工作，但离“改变游戏规则”还有距离。 📌 核心摘要 本文提出了AudEdit，一种无需训练、无需反转的零样本文本引导音频编辑框架。其核心思想是直接构建从源音频到目标编辑的传输路径，而非传统方法的“源->噪声->目标”的迂回路径。具体而言，该方法利用预训练的整流流模型（Stable Audio 3），通过在每个时间步计算并积分目标条件速度场与源条件速度场在匹配随机噪声下的差值，来直接更新音频潜在表示。这种方法避免了在高噪声状态下丢失源音频关键细节（如瞬态、节奏、音色）的风险。在构建的音效和音乐编辑评估集上，AudEdit在提示词对齐度（CLAP分数）和源音频保留度（如FAD、LSD）两项关键指标上均显著优于SDEdit、ODE反转和FireFlow等强基线。 🔗 开源详情 代码：论文中未提供代码仓库链接。 模型权重：论文中未提供预训练模型权重的获取链接。基础模型Stable Audio 3为第三方工作。 数据集：论文中构建了音效和音乐编辑评估集，但未提供直接下载链接或公开托管地址，仅说明了数据来源。 Demo：论文中未提及在线演示链接。 复现材料：论文未提供完整的复现材料包（如代码、预训练检查点、构建脚本）。但附录提供了详尽的实验设置、默认参数表（表4）和基线伪代码（附录B），为独立复现提供了关键信息。 论文中引用的开源项目：引用了Stable Audio 3、CLAP、SAME等多个开源项目作为基础组件或基线，但未在文中提供具体URL。 🏗️ 方法概述和架构 AudEdit的核心架构建立在预训练的Stable Audio 3文本到音频生成模型之上，该模型采用整流流（Rectified Flow）框架。方法本身是一个无需训练的推理算法，主要包含两个阶段：1）将源音频编码为潜在表示；2）通过求解一个直接的速度差分方程来迭代编辑该潜在表示，最后解码得到编辑后的波形。 ...

📄 MUNI: Multimodal Unified Latent Diffusion for Coherent Any-to-Any Generation #语音生成 #音频生成 #多模态模型 #扩散模型 #流匹配 #变分推断 #变分自编码器 6.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0.1/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 6.9/10 | 前50% | #语音生成 | #变分推断 | #音频生成 #多模态模型 | arxiv 👥 作者与机构 作者：Kyeongmin Yeo, Yunhong Min, Minhyuk Sung 机构：KAIST 💡 毒舌点评 本文立意不错，试图从变分推断第一性原理出发解决多模态生成中的“一致性”痛点。理论分析部分逻辑清晰，提出了三个潜在空间准则并设计了相应的路由目标，这种“讲道理”的方式值得肯定。实验也表明其在无条件联合生成的一致性指标上有显著提升。然而，论文的核心创新点在于理论分析和目标设计，而实现这些目标的架构（编码器、解码器、先验）本身并无革命性变化。此外，理论证明依赖于多个理想化假设，其现实适用性存疑。最遗憾的是，缺少了对自身关键设计选择（如路由策略、不同聚合规则）的消融实验，使得理论分析与实际性能提升之间的因果链条不够坚固。在影响力方面，对于本领域的读者而言，这项工作的直接可借鉴性有限，更像一个针对视觉主导的多模态生成的“特解”。 📌 核心摘要 MUNI是一个面向任意多模态生成（any-to-any generation）的统一框架。它扩展了联合训练的单模态潜在扩散模型到多模态场景，核心在于两点：1）架构上，引入模态特定的编码器、表达力强的解码器和一个共享的流匹配先验；2）目标上，设计了一个路由训练目标，该目标通过非混合聚合、目标解耦的自重建以及仅在留一子集上训练先验等策略，使共享潜在变量同时满足一致性充分、预测充分和最小性这三个准则。实验在合成和真实图像-文本-音频数据上进行，结果表明MUNI在条件生成任务上不弱于强基线，而在更难的无条件联合生成任务上，其生成的模态间一致性显著优于现有方法。 ...

📄 PianoKontext: Expressive Performance Rendering from Deadpan Context #音乐生成 #流匹配 #扩散模型 9.1/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 9.1/10 | 前50% | #音乐生成 | #流匹配 | #扩散模型 | arxiv 👥 作者与机构 Dmitrii Gavrilev （机构未在提供的原文中明确提及） 💡 毒舌点评 这篇论文的出发点很巧，把“如何让钢琴弹得有感情”这个玄学问题，转化成了“如何把死气沉沉的MIDI合成音频变得好听”这个工程问题。思路清晰，像用DTW在潜在空间对齐数据这招，算是个实用的小trick。但是，作者你这实验做得也太“精打细算”了吧？就一个MAESTRO子集、一张RTX 4090卡，就想定义“表现力演奏”的未来？连个人类主观听感测试都舍不得做，就敢在结论里谈“音乐性”？这跟用泡面调料包评测米其林餐厅有啥区别。最后那个“缺乏理想 articulation”的自我批评倒是挺诚实，但光承认问题不解决，顶会审稿人可不会买账。 📌 核心摘要 本文提出了PianoKontext，一个用于表现力钢琴演奏渲染（EPR）的潜在流匹配模型。其核心思想是将问题建模为以合成的死板音频为条件，在潜在空间中生成变长、富有表现力的钢琴音频。关键方法包括：1）利用动态时间规整（DTW）在预训练的Music2Latent模型的潜在空间中，对齐MIDI分数合成的死板音频与真实表现力音频，构建训练数据对；2）采用借鉴自FLUX Kontext的DiT架构，通过拼接条件序列和噪声化的目标序列，并使用2D旋转位置编码（RoPE）进行联合自注意力建模，以学习两者间的依赖关系。实验表明，与无监督基线CFG Bridge相比，PianoKontext在音频质量（FAD/KAD）和内容保真度（Pitch DTW、对齐精确率/召回率）上均有提升。 🔗 开源详情 代码仓库：github.com/realfolkcode/pianokontext 提供代码，有助于复现方法。未提供模型权重或完整数据集。 🏗️ 方法概述和架构 PianoKontext的方法可分为数据准备和模型架构两大部分，整体流程如图1所示。 ...

📄 Speech Meets ELF: Audio Conditional Continuous-Target Diffusion for Speech Recognition and Translation #语音识别 #语音翻译 #扩散模型 #流匹配 8.3/10 | 创新 1.7/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.3/10 | 前25% | #语音识别 | #语音翻译 | #扩散模型 #流匹配 | arxiv 👥 作者与机构 论文作者包括 Xuanchen Li（共同第一作者）， Tianrui Wang（共同第一作者）， Yuheng Lu， Zikang Huang， Yu Jiang， Chenghan Lin， Chenrui Cui， Ziyang Ma， Xingyu Ma， Chunyu Qiang， Guochen Yu， Xie Chen， Longbiao Wang， Jianwu Dang（通讯作者）。机构在作者列表中未明确标注，但根据通讯作者信息及论文常见模式，推测主要来自小米和相关合作机构。 ...

📄 End-to-End Training for Discrete Token LLM based TTS System #语音合成 #多任务学习 #强化学习 #流匹配 7.6/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ✅ 7.6/10 | 前50% | #语音合成 | #多任务学习 | #强化学习 #流匹配 | arxiv 👥 作者与机构 论文作者：Changfeng Gao, Yong Ren, Jun Yuan, Ye Bai, Zhao You, ShiDong Shang。单位未在摘要或作者列表中明确列出，但论文标题和内容表明与小米AI实验室相关。根据作者信息，机构为小米AI实验室与南京大学。 💡 毒舌点评 SOTA声明的谨慎性：论文声称达到“new SOTA result”，但在主实验表格（Table 1）中，与JoyVoice（WER 0.97% zh, 1.69% en）和CosyVoice3-1.5B（WER 1.12% zh, 2.21% en）等模型相比，提升幅度有限（如中文WER从0.97%降至0.78%）。考虑到其使用了0.6B参数的LLM，性能增益是合理的，但“SOTA”的表述可能需要更谨慎地限定在特定模型规模下。 实验设计的局限：论文的核心实验主要基于内部大规模数据集训练的模型进行自比较（Table 1中的Stage1/2/3和w/o E2E），以及与外部模型的有限对比。然而，论文未提供在相同数据、相同基础模型（如Qwen3-0.6B）上与非E2E训练基线（w/o E2E-training）的直接、公平对比的具体实现细节（如是否使用了完全相同的训练数据子集和超参数），这削弱了“E2E训练关键”这一结论的绝对说服力。 组件贡献的归因模糊：虽然消融研究（Table 2, 3）移除了\(L_{LM}\)或\(L_{FM}\)，证明了它们的重要性，但论文未深入分析三阶段训练中每个阶段（特别是Stage 2的独立微调）对最终性能的具体贡献比例。Stage 2允许为不同模块使用不同数据，这引入了额外变量，其效果与E2E优化本身的效果未被完全解耦。 理论分析的实用性存疑：Section 2.4的信息论分析将Tokenizer训练形式化为源编码问题，概念上有趣，但公式推导（如公式14）较为初步，且与实验结果的直接关联较弱（如Table 4中H和I的微小差异如何对应显著的性能提升？）。这部分更像理论点缀，而非深入的机理分析。 开源与可复现性短板：尽管论文在训练细节上描述详尽，但完全未提供代码、模型权重或内部数据集的获取途径。对于一个声称方法更简单、性能更优的框架，缺乏开源极大地限制了社区验证和直接应用其价值。 📌 核心摘要 本文提出了一种用于基于离散令牌的LLM的TTS系统的端到端（E2E）训练框架。该框架统一优化了语音分词器、自回归LLM、基于流匹配（FM）的声码器和一个辅助奖励模型（RM）。核心方法包括：1）通过一阶损失（\(L_1\)）联合训练分词器，使其直接适应下游LLM预测、FM重构和RM识别任务；2）通过二阶损失（\(L_2\)）在LLM生成的令牌分布上优化系统，缓解训练-测试不匹配；3）设计了三阶段训练流程以稳定优化。实验表明，该框架在Seed-TTS-Eval基准上，使用0.6B LLM和0.5B FM模型，取得了0.78%（中文）和1.56%（英文）的WER，达到了SOTA水平。消融研究验证了各损失项和端到端优化的重要性。理论分析从信息论角度探讨了高质量语音令牌应具备高熵和强时序依赖性。 ...

📄 OpenBibleTTS: Large-Scale Speech Resources and TTS Models for Low-Resource Languages #语音合成 #低资源 #数据集 #模型评估 #流匹配 #语音生成 #基准测试 8/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 🔥 8/10 | 前25% | #语音合成 | #低资源 | #数据集 #模型评估 | arxiv 👥 作者与机构 David Guzmán1,2, Luel Hagos Beyene3,4, Jesujoba Oluwadara Alabi5, Yejin Jeon1,2, Dietrich Klakow5, David Ifeoluwa Adelani1,2,6 1 McGill University 2 Mila - Quebec AI Institute 3 AIMS Research and Innovation Centre 4 NM-AIST 5 Saarland University 6 Canada CIFAR AI Chair ...

📄 SMC-ITA: Sequential Monte Carlo Inference-Time Alignment for Video-to-Audio Generation #音频生成 #多模态模型 #流匹配 7/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 7/10 | 前50% | #音频生成 | #多模态模型 | #流匹配 | arxiv 👥 作者与机构 作者：Haoyu Zhang, Yuta Oshima, Xingjian Du, Chunfeng Wang, Irene Li, Yusuke Iwasawa, Yutaka Matsuo 单位：The University of Tokyo, University of Rochester, Independent ...

📄 dots.tts Technical Report #语音合成 #流匹配 #自回归模型 #多语言 #低资源 #数据增强 #模型压缩 9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 🔥 9/10 | 前25% | #语音合成 | #数据增强 | #流匹配 #自回归模型 | arxiv 👥 作者与机构 作者：Shi Lian, Changtao Li, Bohan Li, Hankun Wang, Da Zheng, Junfeng Tian, Yufeng Ma, Colin Zhang, Kai Yu。 机构：dots团队，小红书公司（Xiaohongshu Inc.），上海交通大学X-LANCE实验室。 ...

📄 WavTTS: Towards High-Quality Zero-Shot TTS via Direct Raw Waveform Modeling #语音合成 #端到端 #扩散模型 #流匹配 #语音生成 #多模态模型 9.2/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 🔥 9.2/10 | 前25% | #语音合成 | #端到端 | #扩散模型 #流匹配 | arxiv 👥 作者与机构 作者: Wenxi Chen, Dongya Jia, Yushen Chen, Zhikang Niu, Yuzhe Liang, Xiquan Li, Ruiqi Yan, Ziyang Ma, Guanrou Yang, Sanyuan Chen, Yue Wang, Zhuo Chen, Kai Yu, Xie Chen. 机构: 1) 上海交通大学, 2) 上海创新研究院, 3) 字节跳动 Seed. ...

📄 DUET: Unified Dual-Space Emotion Control for Diffusion and Flow-Matching Driven Text-to-Speech #语音合成 #扩散模型 #流匹配 7.1/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 7.1/10 | 前25% | #语音合成 | #扩散模型 | #流匹配 | arxiv 👥 作者与机构 Xu Zhang, Longbing Cao, Zhangkai Wu。三人均来自麦考瑞大学前沿人工智能研究中心（Frontier AI Research Centre, Macquarie University）。 💡 毒舌点评 这篇工作想法巧妙，将表示工程（representation engineering）的概念移植到了语音合成领域，且实验范围很广。但几个问题不容忽视：1）梅尔空间引导部分的核心公式（Eq.5）中梯度计算细节模糊，例如如何通过可微分声码器计算\(\nabla_{\widehat{\mathbf{x}}_{0}}\,\mathcal{L}_{\mathrm{emo}}\)，是端到端微分还是代理梯度？这严重影响方法的可复现性和严谨性。2）主观评估的样本量（36样本×20人）对于支撑“最高情感适度性”的结论略显单薄。3）尽管实验了五个骨干，但StableTTS上的性能（平均48.8%）与其它骨干差距明显，且该骨干架构相对简单，是否暗示DUET对模型容量或架构复杂度有隐含依赖？论文对此讨论不足。4）开源仅提供了引用项目的链接，DUET本身无任何开源材料，这在声称“plug-and-play”和“复现性”的今天是重大减分项。 📌 核心摘要 本文发现，在未经情感监督预训练的扩散与流匹配TTS模型中，情感信息在隐藏状态里表现为一个可线性解码的方向，且该方向与编码说话人身份的方向近似正交。基于此发现，本文提出了DUET框架，这是一个即插即用的方法，通过在去噪的每一步统一执行双空间控制来实现情感生成：1) 在隐藏空间，沿探测得到的情感方向对特定层的隐藏状态进行范数自适应的引导；2) 在梅尔空间，通过将外部情感识别器的损失梯度经由可微分声码器反向传播，对清洁梅尔频谱估计进行引导。实验表明，在五个不同的预训练TTS骨干上，DUET在三个数据集上的平均情感识别准确率超过了10个监督学习基线模型，并在主观评价中获得了最高的情感适度性评分。此外，DUET在Ameca人形机器人上的部署展示了其在具身情感交互中的应用潜力。 ...

📄 Dasheng AudioGen: A Unified Model for Generating Coherent Audio Scenes from Text #音频生成 #语音合成 #音乐生成 #多模态模型 #扩散模型 #流匹配 #模型评估 #数据增强 🔥 8.6/10 | 前25% | #音频生成 | #数据增强 | #语音合成 #音乐生成 | arxiv 学术质量 6.6/7 | 影响力 1.6/2 | 可复现性 0.4/2 👥 作者与机构 作者: Jiahao Mei (1, 2), Heinrich Dinkel (2), Yadong Niu (2), Xingwei Sun (2), Gang Li (2), Yifan Liao (2), Jiahao Zhou (2), Junbo Zhang (2), Jian Luan (2), Mengyue Wu (1) 机构: 1: X-LANCE Lab, Shanghai Jiao Tong University, Shanghai, China 2: MiLM Plus, Xiaomi Inc., Beijing, China ...

📄 CFMDCTCodec: A Low-Bitrate Neural Speech Codec with Noise-Prior-aware Conditional Flow Matching for MDCT-Spectral Enhancement #语音编码 #流匹配 🔥 8.4/10 | 前25% | #语音编码 | #流匹配 | arxiv 学术质量 5.8/7 | 影响力 1.8/2 | 可复现性 0.8/2 | 置信度 高 👥 作者与机构 作者：Xiao-Hang Jiang, Yang Ai, Hui-Peng Du, Zhen-Hua Ling, Ji Wu 机构：Xiao-Hang Jiang, Yang Ai, Hui-Peng Du 和 Zhen-Hua Ling 隶属于中国科学技术大学语音及语言信息处理国家工程研究中心；Ji Wu 隶属于清华大学电子工程系。 💡 毒舌点评 论文聚焦于一个非常具体且具有实用价值的细分问题（极低比特率语音编码），并提出了一个技术上合理、设计上自洽的方案。然而，其核心贡献——将单码本压缩与MDCT域CFM增强相结合——在概念上并非革命性突破，更偏向于工程优化和巧妙的组合。最大的问题在于其通用性存疑：性能优势高度集中在0.65 kbps这一极窄的设定下，比特率稍有提高（1.3 kbps），优势便大幅缩水，与MDCTCodec持平。这让人怀疑该方案是否真的解决了根本问题，还是仅仅在极端场景下榨取了一点边际收益。此外，论文声称避免对抗训练以简化学习，但引入的CFM增强器及其诸多稳定化设计（范围归一化、自适应噪声先验）本身也增加了系统的复杂度和调优难度，这与“更简单高效”的宣称需打个问号。作者明确承认的高算法延迟是一个致命弱点，严重限制了其实际部署潜力。 📌 核心摘要 本文提出了CFMDCTCodec，一个完全在MDCT域操作的低比特率神经语音编解码器。该系统由一个轻量级的单码本MDCT谱编解码器和一个噪声先验感知的基于条件流匹配（CFM）的MDCT谱增强器串联组成。编解码器将输入语音的MDCT谱深度压缩为低比特率离散令牌，并解码出粗糙谱。增强器以该粗糙谱为条件，利用由其幅度导出的自适应噪声先验作为CFM的初始状态，通过ODE求解器逐步细化频谱细节。整个系统采用非对抗性的端到端联合优化策略训练。实验表明，在0.65 kbps的极低比特率下，CFMDCTCodec在主观感知质量（MUSHRA）和计算效率（参数量、FLOPs）之间取得了良好平衡，优于或接近多个强基线。消融研究验证了MDCT范围归一化、幅度自适应噪声先验和端到端联合训练的有效性。 🔗 开源详情 代码：论文中未提及CFMDCTCodec的代码链接。 模型权重：论文中未提及模型权重链接。 数据集：论文中使用了两个公开数据集： LibriTTS (16kHz实验)：使用了标准划分，包括train-clean-100、train-clean-360用于训练，dev-clean用于验证，test-clean用于评估。 VCTK (48kHz实验)：使用了40,936条语句用于训练，2,937条语句用于测试。 Demo：https://xhjiang1.github.io/CFMDCTCodec 复现材料：论文中详细描述了实验设置、模型架构细节和所有训练超参数，但未提供模型检查点或训练脚本等具体复现材料。 论文中引用的开源项目： DAC: https://github.com/descriptinc/descript-audio-codec BigCodec: https://github.com/Aria-K-Alethia/BigCodec WavTokenizer: https://github.com/jishengpeng/WavTokenizer FlowDec: https://github.com/facebookresearch/FlowDec 🏗️ 方法概述和架构 CFMDCTCodec是一个完全在修改离散余弦变换（MDCT）域工作的两阶段神经语音编解码框架，旨在极低比特率下实现高质量重建。其核心架构如图1所示，包含两个紧密耦合的模块：单码本MDCT谱编解码器和噪声先验感知的CFM-based MDCT谱增强器。 ...

📄 RobustSpeechFlow: Learning Robust Text-to-Speech Trajectories via Augmentation-based Contrastive Flow Matching #对比学习 #流匹配 #对齐鲁棒性 #硬负样本 #潜空间增强 #文本到语音合成 ✅ 7.8/10 | 前10% | #语音合成 | #对比学习 | #流匹配 #对齐鲁棒性 | arxiv 学术质量 6.0/7 | 影响力 1.5/2 | 可复现性 0.3/2 | 置信度 high 👥 作者与机构 Jinhyeok Yang, Hyeongju Kim, Yechan Yu, Joon Byun, Frederik Bous, Juheon Lee。机构：Supertone Inc, South Korea; Independent Researcher, South Korea。 💡 毒舌点评 这篇工作像给TTS模型做了一次“防错培训”，专门针对它最常犯的“嘴瓢”（重复和跳词）错误。想法很直接——与其让模型自由发挥然后出错，不如在训练时就把这些错误模式当成“坏榜样”狠狠惩罚。方法确实巧妙且实用，但论文的评估就像是只用打字速度来评价一个作家，完全没问读者觉得故事好不好看（缺乏主观MOS评估）。在模型小如0.06B的赛道上刷榜WER很有说服力，但和那些0.3B以上的“大块头”比拼时，胜之不武（存在架构与容量差距）。总体而言，它解决了一个真实的工程痛点，但作为一篇学术论文，其分析深度和评估完备性还有提升空间，尚未达到让社区毫无争议地接受其“最佳实践”的程度。 📌 核心摘要 本文针对流匹配（Flow Matching）TTS系统中常见的内容对齐错误（如跳词、重复词）问题，提出了RobustSpeechFlow训练策略。其核心思想是将这些真实的TTS失败模式转化为潜空间中的“硬负样本”。具体地，通过设计长度保持的“重复”和“跳过”潜变量增强操作来构造负样本，使得对比学习信号直接惩罚模型在特定对齐错误上的倾向性。该方法无需外部对齐器或偏好数据，可直接集成到现有流匹配TTS管道中。实验表明，在仅0.06B参数的SupertonicTTS模型上，该方法在公开的Seed-TTS-eval基准上将WER从1.44降至1.38；在作者构建的更具挑战性的ZERO500多语言基准上，显著降低了英语和韩语的字符错误率（CER）和词错误率（WER），尤其是在低步数推理（NFE=12）场景下改善更为明显。 🔗 开源详情 代码：论文中未提及代码开源。 模型权重：论文中未提及模型权重下载链接。 数据集： 训练数据：内部语料库（约10k小时，500万条语音，8万说话人，英语和韩语），未公开。 评测基准：Seed-TTS-eval（公开）， ZERO500（作者新构建，未公开）。 Demo：https://robustspeechflow.github.io/ 复现材料：论文详细描述了训练配置（如优化器、学习率、训练步数、硬件环境、模型参数设置等），但未提供具体的配置文件、检查点或代码。 论文中引用的开源项目： Whisper：用于合成音频的转写。论文中使用了Whisper large-v3。项目链接：https://github.com/openai/whisper Supertonic Speech Autoencoder：论文基础模型SupertonicTTS所使用的语音编码器。论文引用为[supertonic2025]。项目链接：https://github.com/SupertoneAI/SupertonicTTS Length-Aware RoPE (LARoPE)：论文中提到的位置编码技术。论文引用为[larope2025]，并提供了arXiv链接：https://arxiv.org/abs/2502.18936 F5-TTS：论文中作为基线比较的系统之一。项目链接：https://github.com/SWivid/F5-TTS 其他TTS系统：论文在介绍部分和基准比较中提及了多个系统（如DiTTo-TTS， DiTAR， Seed-TTS， MegaTTS3， CosyVoice3等），但未提供其具体代码链接。 🏗️ 方法概述和架构 RobustSpeechFlow是一种应用于基于流匹配的TTS模型的训练策略，旨在提升对齐鲁棒性。其核心架构与标准条件流匹配（Conditional Flow Matching, CFM）一致，但通过引入特定的潜空间增强操作和修改训练目标来实现。 ...