音频生成

📄 AudioCALM: Continuous Autoregressive Language Modeling for Universal Audio Generation #语音合成 #音频生成 #音乐生成 #自回归模型 #流匹配 7.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.9/10 | 前25% | #语音合成 | #音频生成 | #音乐生成 #自回归模型 | arxiv 👥 作者与机构 作者：Huadai Liu, Kaicheng Luo, Wen Wang, Qian Chen, Bin Ma, Xiangang Li, Wei Xue 机构：香港科技大学 (HKUST), 通义团队, 阿里巴巴集团 (Tongyi Fun Team, Alibaba Group) ...

📄 LambdaMark: Semantic Audio Watermarking for Robustness and Radioactivity #音频水印 #音频生成 #语音合成 8/10 | 创新 1.6/2 | 严谨 1.1/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8/10 | 前25% | #音频水印 | #生成对抗网络 | #音频生成 #语音合成 | arxiv 👥 作者与机构 Kexin Li， Xiao Hu， Ilya Grishchenko， David Lie University of Toronto, Canada *Equal contributions， BCorresponding author 💡 毒舌点评 本文首次将“放射性”水印概念系统化地引入音频领域，并通过语义潜在空间嵌入提出了一个新颖的框架LambdaMark，实验结果看起来非常漂亮，声称在所有评估的攻击下都保持了鲁棒性。然而，审稿人必须指出几个严重关切。首先，该方法的“通用性”高度依赖于一个特定的、未开源的语义编码器（Dasheng）和声码器（SemanticVocoder）骨干网络，这使得其声称的通用性打了折扣。其次，论文在理论深度上有所欠缺，主要贡献是架构设计和实证验证，缺乏对为何“语义嵌入”比“波形嵌入”更鲁棒的严格数学分析或理论证明。第三，尽管实验全面，但评估完全依赖于作者自己提出的“HarmonicAttack”，且该攻击的泛化性和威胁强度是否代表最先进水平有待商榷。论文的局限性部分诚实，但更多地描述了方法适用范围，而非对方法内在缺陷的深入剖析。总体而言，这是一篇不错的工程导向论文，但距离顶会论文所要求的理论创新和深度分析仍有差距。 ...

📄 STAR-VAE: Structured Topology-Aware Regularization for Audio Reconstruction and Generation #音频生成 #变分自编码器 #正则化微调 8.8/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.8/10 | 前25% | #音频生成 | #变分自编码器 | #正则化微调 | arxiv 👥 作者与机构 未说明机构信息。作者：Huadai Liu, Wen Wang, Kaicheng Luo, Qian Chen, Xiangang Li, Wei Xue。 💡 毒舌点评 这篇论文定位清晰，问题（R-D-R三难困境）定义具有洞察力，提出的STAR正则化在理论上合理且实验上有效。STAR-VAE的混合架构设计和STAR-Gen的LLM流匹配框架都展示了不错的工程整合能力。然而，论文的“开源”声明需要澄清——实际上只提供了项目主页，并未开源代码或模型权重，这对于一篇声称“通用”和“优越范式”的工作来说略显不足。实验比较全面，但部分消融分析（如Appendix C.1的γ值选择）可以更深入。最大的弱点在于对“Reconstruction Drift”现象的实证分析主要依赖间接指标（如ablation），缺乏更直接的可视化或量化证据来证明高容量编码器在各向同性约束下会优先丢失纹理信息。 📌 核心摘要 本文针对连续音频变分自编码器（VAE）中各向同性高斯先验导致的“率-失真-正则化三难困境”提出了系统解决方案。通过形式化定义三难困境，作者指出平坦的潜空间拓扑无法容纳音频的层级信息结构（结构化的低频与随机的高频）。为此，提出结构化拓扑感知正则化（STAR），通过Gamma增长函数对潜空间通道施加非均匀的KL惩罚，诱导形成与音频信息密度对齐的容量梯度，从而将结构信息路由至高容量通道，随机纹理分配至低容量通道。基于此，构建了STAR-VAE，采用混合CNN-Mamba架构，在保证线性复杂度全局建模能力的同时，借助STAR正则化避免了高容量编码器可能出现的“重建漂移”。进一步，提出了STAR-Gen，一个基于LLM的流匹配框架，利用STAR-VAE的结构化潜空间实现高质量的文本到音频生成，避免了向量量化伪影。大量实验表明，STAR-VAE在相同潜空间率下显著优于现有基线，STAR-Gen也达到了文本到音频生成的新水平。 ...

📄 Audio-to-Audio via Diffusion Warm Initialization #扩散模型 #音频生成 7.6/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ✅ 7.6/10 | 前25% | #音频生成 | #扩散模型 | arxiv 👥 作者与机构 未明确提及。 💡 毒舌点评 审稿人：这位同行，你的思路不错，想用一个统一的“预热”技巧来玩转各种音频转换，省时省力。但请恕我直言，这更像是一个精心调试的“工程技巧展示”，而非一篇扎实的学术论文。理论？几乎没有。实验？只盯着自家模型和自家指标自说自话，连个公开的SOTA方法都不拉出来定量比一比，怎么好意思说“有竞争力”？你提的那些新指标（JD, FAD）很好，但它们成了你唯一的救命稻草。结论部分写得很谦虚，说这是个“基础构件”，我看更像是空中楼阁，因为连最基础的、脱离特定模型的通用性验证都没做。创新性有限，严谨性不足，离顶会（NeurIPS/ICML/ICLR）的门槛还有段距离。建议你老老实实补上跨模型验证和与现有方法的硬碰硬对比，再回来。 📌 核心摘要 本文探讨了扩散模型的“预热初始化”技术在音频到音频任务中的应用。核心思想是利用一个预训练好的、通常是无条件或文本引导的扩散模型（如Stable Audio Open），在推理时将反向扩散的起点从纯高斯噪声替换为一个包含结构信息的引导信号（例如，一段人声或乐器录音）。通过调节初始化时间参数τ_init和噪声注入系数λ，可以控制生成过程对引导信号的修改程度，从而在保持原始内容（如旋律、节奏）的同时，改变其音色或质量。论文在音色转换、MIDI音色合成、音频增强（去噪、去削波等）等多个任务上验证了该方法的有效性。通过对音色转换任务的深入实验分析，作者发现存在一个经验性的“甜点”区域（如τ_init≈0.8），并指出在此场景下通常无需添加额外噪声（λ=0），且需要使用较高的分类器自由引导尺度（ω）来强化目标分布。论文为快速利用大型预训练音频生成模型进行多种转换任务提供了一个简单、实用的框架。 🔗 开源详情 代码：论文中提供了核心算法（算法1）的伪代码，但未提供完整的开源代码仓库链接（如GitHub）。 模型权重：论文中使用 Stable Audio Open 预训练模型，但未提供具体的模型权重下载链接（如HuggingFace、ModelScope）。 数据集： 音色转换实验中使用了来自 MUSOPEN 的双簧管和弦乐样本，但未提供数据集的直接获取链接或具体开源协议。 其他任务（如MIDI到真实合成、音频增强）未提及使用特定的公开数据集。 Demo：论文提供了包含音频示例的配套项目网站：https://cristobalandrade.github.io/Audio-to-Audio-via-Diffusion-Warm-Initialization/。 复现材料：论文提供了核心算法伪代码和部分实验设置（推理步数T=100，引导权重ω=30），但未提供完整的训练配置、模型检查点或详细的复现指南。计算FAD和JD的工具箱引用了文献[16]和Essentia库，但未提供直接链接。 论文中引用的开源项目： Stable Audio Open：预训练扩散模型（来源：Stability AI，未提供具体链接）。 Essentia：用于提取音高的开源音频分析库（https://essentia.upf.edu/，论文未直接链接）。 LAION-CLAP：用于计算FAD的嵌入模型（来源：LAION，未提供具体链接）。 🏗️ 方法概述和架构 本文提出的“扩散预热初始化”框架是对标准扩散模型采样过程的直接修改，旨在将预训练模型重新用于各种音频到音频的转换任务。其核心流程和组件如下： ...

📄 AdaTT: Text-Guided Instrument Timbre Transfer with Target-Adaptive Structural Control #音频生成 #迁移学习 #扩散模型 8.7/10 | 创新 1.6/2 | 严谨 1.4/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.7/10 | 前25% | #音频生成 | #迁移学习 | #扩散模型 | arxiv 👥 作者与机构 论文作者为 Dabin Kim, Junwon Lee, Juhan Nam，来自韩国科学技术院（KAIST）的文化技术研究生院和人工智能研究生院。 💡 毒舌点评 这篇工作问题定义清晰，动机明确——在ControlNet框架下进行音色迁移时，不同乐器固有的、不兼容的“表现力细节”（如小提琴的音高颤音 vs 长笛的响度颤音）会导致音色模糊。作者提出的文本引导自适应缩放机制（TG-CSPs）和半自动数据构建流程是解决此问题的合理且有效的技术路线。然而，其核心贡献——通过两个轻量级模块对异构控制信号进行缩放——在技术深度上略显单薄，更多是工程上的巧妙集成而非理论上的突破。论文最大的短板在于开源和可复现性：只提供了一个无法交互的demo页面，未开源任何代码、模型权重或训练好的数据集，这极大地限制了工作的可验证性和社区影响力，使其像一个精心包装的“演示”而非一个可供研究社区复现的坚实工作。实验部分虽然全面，但主观评估样本量较小（22人，每人20项），说服力有限。此外，将所有对比基线（包括推理时编辑方法）都放在自己精心构造的数据集上测试，可能存在潜在的评价偏差。总体而言，这是一个扎实的、解决具体问题的系统工作，但因其封闭性，在顶级会议上难以获得最高评价。 📌 核心摘要 论文针对基于ControlNet的文本到音乐生成模型在乐器音色迁移任务中，因粗暴保留源乐器表现力细节而导致的音色模糊问题，提出了AdaTT系统。其核心创新在于：1）设计了文本引导控制尺度预测器（TG-CSPs），能根据目标乐器文本提示，独立地、帧级地动态缩放从源音频提取的音高（f0）和响度（RMS）这两种异构控制信号的影响力，从而自适应地转换不兼容的表现力细节。2）提出了一套半自动化的数据构建流程，通过参数搜索、自动指标筛选和人工验证，生成高质量的源-目标乐器音色迁移对，用于微调模型。实验表明，AdaTT在保持与ControlNet基线相当的乐谱内容保真度的同时，在音色保真度（CLAP分数0.490，主观TIM 3.582）和自然度（主观NAT 3.484）上达到了最佳水平，且整体音频质量（KAD 0.495，主观QUL 3.307）显著优于基线。 ...

📄 FreeSonic: Training-Free Temporal-Aware Decoupled Attention for Precise Audio Editing #音频生成 #生成模型 9/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 9/10 | 前25% | #音频生成 | #生成模型 | arxiv 👥 作者与机构 Yuxuan Jiang1, Mingyang Han1, Yusheng Dai1, Andong Wang1, Tianhong Zhou2, Jiaxin Ye1, Dongxiao Wang4, Haoxiang Shi5, Boyu Li1, Jun Song3, Cheng Yu2, Bo Zheng2, Weibei Dou1, Zehua Chen2, Jun Zhu1 1 Tsinghua University, China; 2 Alibaba Group, China; 3 Monash University, Australia; 4 Renmin University of China, China; 5 Fudan University, China ...

📄 MUNI: Multimodal Unified Latent Diffusion for Coherent Any-to-Any Generation #语音生成 #音频生成 #多模态模型 #扩散模型 #流匹配 #变分推断 #变分自编码器 6.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0.1/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 6.9/10 | 前50% | #语音生成 | #变分推断 | #音频生成 #多模态模型 | arxiv 👥 作者与机构 作者：Kyeongmin Yeo, Yunhong Min, Minhyuk Sung 机构：KAIST 💡 毒舌点评 本文立意不错，试图从变分推断第一性原理出发解决多模态生成中的“一致性”痛点。理论分析部分逻辑清晰，提出了三个潜在空间准则并设计了相应的路由目标，这种“讲道理”的方式值得肯定。实验也表明其在无条件联合生成的一致性指标上有显著提升。然而，论文的核心创新点在于理论分析和目标设计，而实现这些目标的架构（编码器、解码器、先验）本身并无革命性变化。此外，理论证明依赖于多个理想化假设，其现实适用性存疑。最遗憾的是，缺少了对自身关键设计选择（如路由策略、不同聚合规则）的消融实验，使得理论分析与实际性能提升之间的因果链条不够坚固。在影响力方面，对于本领域的读者而言，这项工作的直接可借鉴性有限，更像一个针对视觉主导的多模态生成的“特解”。 📌 核心摘要 MUNI是一个面向任意多模态生成（any-to-any generation）的统一框架。它扩展了联合训练的单模态潜在扩散模型到多模态场景，核心在于两点：1）架构上，引入模态特定的编码器、表达力强的解码器和一个共享的流匹配先验；2）目标上，设计了一个路由训练目标，该目标通过非混合聚合、目标解耦的自重建以及仅在留一子集上训练先验等策略，使共享潜在变量同时满足一致性充分、预测充分和最小性这三个准则。实验在合成和真实图像-文本-音频数据上进行，结果表明MUNI在条件生成任务上不弱于强基线，而在更难的无条件联合生成任务上，其生成的模态间一致性显著优于现有方法。 ...

📄 Unified Audio Generation and Editing via Joint Condition Modeling and Progressive Training #音频生成 #扩散模型 #生成对抗网络 8.7/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.7/10 | 前25% | #音频生成 | #生成对抗网络 | #扩散模型 | arxiv 👥 作者与机构 Haocheng Dong：中国科学技术大学电子工程与信息科学系、中国电信人工智能研究院（TeleAI）。 Yuheng Lu：天津大学人工智能学院认知计算与应用天津市重点实验室、中国电信人工智能研究院（TeleAI）。 Cheng Gong, Shansong Liu, Xiao-Lei Zhang, Xuelong Li：中国电信人工智能研究院（TeleAI）。 💡 毒舌点评 这篇论文瞄准了一个实际痛点：音频生成与编辑模型的碎片化。作者提出的统一框架思路清晰，将扩散Transformer（DiT）适配为统一骨架，并通过联合条件建模与因子化位置嵌入处理不同任务的输入，有一定工程巧思。然而，论文在“统一”的深度上仍有欠缺，更像一个“多任务模型”而非真正的“统一范式”。任务特定注意力掩码这一关键设计被轻描淡写，缺乏原理性论证，令人怀疑其必要性与通用性。实验部分，虽然与SOTA模型对比数据亮眼，但编辑任务数据集是人工合成的，其真实世界泛化能力存疑。此外，论文声称“可扩展性”优势，但并未提供长音频或多参考音频的验证，这一宣称显得空洞。总体而言，这是一项扎实的工程应用研究，但理论洞察和实验验证的深度（尤其在编辑任务）未能匹配其雄心勃勃的标题。 📌 核心摘要 本文针对现有音频生成（如文本到音频，TTA）与编辑任务模型相互独立的现状，提出了一个名为AudioWeave的统一模型。该模型基于扩散Transformer（DiT）骨架，无需引入额外的任务特定模块，即可处理文本到音频生成和基于指令的音频编辑（需参考音频）两大类任务。核心方法包括：1）联合条件建模：将参考音频潜在序列与目标音频潜在序列沿序列维度拼接，形成统一的音频输入流；2）因子化位置嵌入：将位置信息分解为全局序列间位置和局部序列内位置，以区分不同序列（文本、目标音频、参考音频）并保持其内部时序结构；3）渐进式多阶段训练策略：先在纯TTA数据上训练基础模型，再混合TTA与编辑数据进行微调，以缓解任务竞争与灾难性遗忘。实验表明，在TTA任务及六种音频编辑任务上，AudioWeave的性能与多种任务特定模型相当，验证了该统一框架的有效性。 ...

📄 AudioX-Turbo: A Unified Framework for Efficient Anything-to-Audio Generation #音频生成 #音乐生成 9/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.3/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 9/10 | 前10% | #音频生成 | #音乐生成 | arxiv 👥 作者与机构 Zeyue Tian (香港科技大学, Noiz AI), Lei Ke (清华大学), Zhaoyang Liu (香港科技大学), Ruibin Yuan (香港科技大学), Liumeng Xue (香港科技大学), Yujiu Yang (清华大学), Weijia Chen (Noiz AI), Xu Tan (独立研究者), Qifeng Chen (香港科技大学), Wei Xue (香港科技大学), Yike Guo (香港科技大学)。 ...

📄 Low-Latency Real-Time Audio Game Commentary System via LLM-Based Parallel Text Generation #语音合成 #音频生成 7.9/10 | 创新 1.6/2 | 严谨 1.4/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ✅ 7.9/10 | 前25% | #语音合成 | #音频生成 | arxiv 👥 作者与机构 Ryota Kawamatsu (东京大学, 产业技术综合研究所) Anum Afzal (产业技术综合研究所, 慕尼黑工业大学) Yuki Saito (东京大学) Shinnosuke Takamichi (庆应义塾大学, 东京大学) Graham Neubig (卡内基梅隆大学) Katsuhito Sudoh (奈良女子大学) Hiroya Takamura (产业技术综合研究所) Tatsuya Ishigaki (产业技术综合研究所) ...