音频生成

📄 SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks 标签：#音频生成 #流匹配 #课程学习 #指令微调 #零样本 7.1/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 0.9/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.1/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：中 | #音频生成 | #流匹配 | #课程学习 #指令微调 | arxiv 👥 作者与机构 第一作者：Yu Zhang（ByteDance） 通讯作者：Yu Zhang， Ruiqi Li， Xiang Yin（均为ByteDance） 作者列表：Yu Zhang（ByteDance）、Ruiqi Li（ByteDance）、Changhao Pan（Zhejiang University）、Ke Lei（未说明）、Xiang Yin（ByteDance）、Cheng Yang（未说明） 💡 毒舌点评 论文在统一多说话人语音与音频生成上迈出了扎实的一步，从数据、模型到训练策略构建了完整的工业级pipeline，实验覆盖广泛且多数指标领先。但系统完全闭源，难以独立复现与检验；角色扮演等指令任务明显落后于部分基线，且未提供任何公开资源将严重削弱其社区影响力。 ...

📄 Exploring Efficient Waveform Diffusion Models for Foley Sound Generation 标签：#音频生成 #扩散模型 #音频理解 #Transformer #模型评估 6.5/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 0.9/1.5 | 清晰 0.7/1 | 影响 0.9/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 6.5/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音频生成 | #扩散模型 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者：Runwu Shi (Institute of Science Tokyo) 通讯作者：未说明 作者列表：Runwu Shi (Institute of Science Tokyo)、Chang Li (University of Science and Technology of China)、Jiahui Li (Institute of Science Tokyo)、Jiang Wang (Institute of Science Tokyo)、Yaozhong Kang (Institute of Science Tokyo)、Nabeela Khan (Institute of Science Tokyo)、Linghan Fang (Technical University of Munich)、Benjamin Yen (Institute of Science Tokyo)、Takeshi Ashizawa (Institute of Science Tokyo)、Kazuhiro Nakadai (Institute of Science Tokyo) 💡 毒舌点评 这篇论文用一个双路径时频注意力架构，把Foley波形扩散模型的参数量压到了3M级别，性能居然能和70M参数的模型打得有来有回，效率账算得很漂亮，架构设计的直觉也合情合理。但故事到这里就有点“高开低走”了：模型虽然参数少，但推理速度并不快，DP-DiT的实时率高达31.06，离“效率”二字相去甚远；主观评测仅9人且不提统计显著性；最关键的是，只有demo音频，没有代码也没有权重，整个社区想要踩在你的肩膀上继续走，得先花大力气把你走过的路重新铺一遍。 ...

📄 Qwen-Audio-3.0-Gen-Preview Technical Report 标签：#音频生成 #扩散模型 #音频理解 #Transformer #模型评估 5.6/10 | 创新 1/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.7/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1/1.5 📝 5.6/10 | 前50% | 文档类型：模型报告 | 评分置信度：中 | #音频生成 | #扩散模型 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者：未说明（按姓氏字母排序且标注同等贡献） 通讯作者：未说明 作者列表：Junyu Dai, Xiaoyue Duan, Xinyue Fan, Yihan Feng, Xiangang Li, Yunjia Li, Lejun Min, Yufei Shi, Xingchen Song, Yiran Wang, Cheng Wen, Menglin Wu, Bajian Xiang, Huaicheng Zhang, Han Zhao, Ruichen Zheng（机构均未说明） 💡 毒舌点评 这篇报告在场景级音频统一生成上迈出了有意义的一步，两阶段数据课程和结构化条件渲染的设计思路值得参考。但作为一个未开源的preview版本，实验对比范围明显偏窄——仅与Seed-Audio-1.0做多说话人和时间定位对比，而对真正同期的混合场景模型（如Bagpiper、Dasheng AudioGen虽在AudioCaps有对比但在混合场景任务上缺失）几乎避而不谈，大量关键训练与推理细节也完全缺失，让报告的参考价值大打折扣。 ...

📄 Designed Vocalizations Dataset: Sound-Designed Human and Animal Voices for Non-human Voice Conversion 标签：#语音转换 #数据集 #基准测试 #音频生成 #音频理解 7.9/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.9/10 | 前25% | 文档类型：数据集与基准 | 评分置信度：高 | #语音转换 | #数据集 | #基准测试 #音频生成 | arxiv 👥 作者与机构 第一作者：Seolhee Lee（NC AI Co., Ltd, Republic of Korea） 通讯作者：未说明 作者列表：Seolhee Lee（NC AI Co., Ltd）、Minsu Kang（NC AI Co., Ltd）、Yangsun Lee（NC AI Co., Ltd）、Woosun Min（Sogang University）、Choonghyeon Lee（NC AI Co., Ltd）、Namhyun Cho（NC AI Co., Ltd） 💡 毒舌点评 本文精准识别了“非人类设计声音转换”领域在公开资源和标准化评估上的空白，并为此构建了一个专业且实用的数据集与基准，其价值在于为该小众但关键的子领域奠定了可复现研究的基础。主要不足在于实验验证环节略显单薄：仅采用一个具有代表性的基线模型进行测试，未能充分展示该基准在驱动模型创新、进行更广泛方法比较上的潜力，使其更像一份“基础设施建设报告”而非深入的方法研究。此外，对于评估指标（如CER/WER在设计声音上的适用性）的讨论深度有待加强。 ...

📄 FillGauss: Fine-Grained Filling-Aware Impact Sound Generation for 3D Gaussian Splatting 标签：#音频生成 #扩散模型 #多模态模型 #数据集 #音频理解 6.2/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1/1.5 ✅ 6.2/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音频生成 | #扩散模型 | #多模态模型 #数据集 | arxiv 👥 作者与机构 第一作者：Chen Yang 通讯作者：Jinbao Wang 作者列表：Chen Yang, Ganye Wen, Bin Huang, Jiayi Lyu, Zehai Niu, Linlin Shen, Jinbao Wang (Shenzhen University) 💡 毒舌点评 本文敏锐地指出了现有3D音效生成研究中普遍忽视物体内部物理状态这一关键盲点，并为此构建了首个细粒度、物理对齐的FillImpact数据集，为解决此问题提供了坚实的数据基础，任务定义和数据集贡献突出。然而，其提出的FillGauss框架本质上是将成熟的3DGS编码器、文本编码器和预训练音频扩散模型（TangoFlux）进行了模块化组合与微调，在生成模型或物理编码机制层面缺乏底层原创性。此外，核心数据集和代码均未开源，严重削弱了其作为领域基准的学术影响力和可复现性。 ...

📄 Efficient Text-to-Audio Generation via Pruning 标签：#音频生成 #模型剪枝 #扩散模型 #高效推理 #音频理解 7.6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.6/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #音频生成 | #模型剪枝 | #扩散模型 #高效推理 | arxiv 👥 作者与机构 第一作者：Arshdeep Singh（萨里大学） 通讯作者：未说明 作者列表：Arshdeep Singh（萨里大学）、Yi Yuan（萨里大学）、Yun Chen（萨里大学）、Wenwu Wang（萨里大学）、Mark D. Plumbley（萨里大学） 💡 毒舌点评 论文将成熟的模型剪枝技术系统性地应用于音频扩散模型，通过聚焦U-Net深层块实现了显著的压缩，并细致分析了剪枝对语义类别的影响，这一应用工作有一定价值。然而，其核心贡献存在明显短板：1）方法层面缺乏创新，使用的是最基础的、基于ℓ1范数的被动剪枝，未与当前先进的剪枝方法（如基于泰勒展开、梯度、结构化剪枝或自适应剪枝率等）进行任何对比，增量贡献有限；2）声称的“轻量级微调”实则需要1M步，其计算成本与训练小型模型相比未见优势；3）对其他模型的对比（如与AudioLDM2）在数据、配置公平性上存在疑问，且效率指标（MACs、推理速度）对比不完整。论文的实验洞察（如安全关键声音受影响）有价值，但解决方案（微调）过于常规。 📌 核心摘要 本文旨在解决基于扩散模型的文本到音频生成模型（如AudioLDM）计算成本高昂、难以部署的问题。核心方法是采用基于ℓ1范数的滤波器剪枝技术，针对模型中参数和计算最集中的U-Net深层卷积块（b3, b4）进行模型压缩，并辅以轻量级微调以恢复性能。实验结果表明，该方法能移除高达83%的U-Net参数和39%的乘加运算（MACs），经过微调后，模型的FAD和KL散度指标优于未剪枝的基线模型。此外，研究发现剪枝会影响模型生成某些声音事件（尤其是安全关键声音）的能力，但通过微调可大部分恢复。主要局限性包括：剪枝策略相对基础，缺乏与其它先进剪枝方法的对比；微调代价高昂（1M步）；效率评估维度（如不同硬件延迟）不足；与其他模型的对比存在公平性疑问。 ...

📄 Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models 标签：#音频生成 #指令微调 #音频大模型 #音频理解 #Transformer 7.2/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.2/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音频生成 | #指令微调 | #音频大模型 #音频理解 | arxiv 👥 作者与机构 第一作者：Chun-Yi Kuan（台湾大学） 通讯作者：Chun-Yi Kuan（论文中标注了联系邮箱） 作者列表：Chun-Yi Kuan（台湾大学、亚马逊实习期间完成）、Siwon Kim（亚马逊）、Byeonggeun Kim（亚马逊）、Suyoun Kim（亚马逊）、Bo-Ru Lu（亚马逊）、Qingming Tang（亚马逊）、Ankur Gandhe（亚马逊）、Hung-yi Lee（台湾大学）、Chieh-Chi Kao（亚马逊）、Chao Wang（亚马逊） 💡 毒舌点评 论文直击了当前文本到音频生成模型在遵循复杂多事件时序指令时“力不从心”的痛点，利用ALLM作为细粒度裁判来构建偏好数据的思路清晰且实验效果显著，为改善指令遵循能力提供了一条有潜力的新路径。然而，整个框架的成败高度悬于所选ALLM裁判的准确性与推理成本，使其在追求极致可控性的工业场景中“看起来很美”但“用起来肉疼”。论文未能提出一种低成本的替代验证或蒸馏方案来缓解对庞大ALLM的依赖，这极大地限制了其方法的实际可扩展性和落地前景。此外，对时序关系的评估仅限于事件起始顺序的简单排序，回避了对重叠、持续时间等更复杂时序关系的探讨，使得其“时序正确性”的声明在更广泛的意义上略显单薄。 ...

📄 A Production-Oriented Framework for Evaluation of SFX Generation 标签：#音频生成 #多模态模型 #工业应用 #音频理解 #Transformer 6.9/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 0.9/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 6.9/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音频生成 | #多模态模型 | #工业应用 #音频理解 | arxiv 👥 作者与机构 第一作者：Mélodie Desbos（ÉTS Montreal） 通讯作者：未说明 作者列表：Mélodie Desbos（ÉTS Montreal）、Yara Bahram（未说明）、Eric Granger（ÉTS Montreal，LIVIA实验室）、Mohammadhadi Shateri（NVIDIA，蒙特利尔AI实验室） 💡 毒舌点评 这篇论文像一份精心编写的、面向音效工程师的“能力体检报告”和“选型指南”。它严肃地指出了当前SFX生成研究“自说自话、难以比较”的弊病，并拿出了一个相当扎实、可操作的评估框架来解决。然而，其“严父”般的严谨也暴露了自身的软肋：评估的沙箱（ESC-50）过于理想化，基线“体检”项目有限，且缺乏对真正复杂、动态工业场景的抗压测试。它是一份优秀的系统设计和实践导向的报告，但距离定义SFX生成评估新范式仍有一步之遥。 ...

📄 BackgroundMellow: A Multi-Modal Cohesive Framework for Narrative-Driven Rich Cinematic Soundscape Generation 标签：#音频生成 #多模态模型 #音频大模型 #音频理解 #Transformer 7.4/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 7.4/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音频生成 | #多模态模型 | #音频大模型 #音频理解 | arxiv 👥 作者与机构 第一作者：Ajitesh Jamulkar（印度理工学院卡拉格普尔分校计算机科学与工程系） 通讯作者：未说明 作者列表：Ajitesh Jamulkar（印度理工学院卡拉格普尔分校计算机科学与工程系）、Aritra Hazra（印度理工学院卡拉格普尔分校计算机科学与工程系） 💡 毒舌点评 本文将复杂的叙事音效生成拆解为可控的编排与混合问题，其“化整为零”的工程思路清晰且有价值，利用专业配乐库检索也比从零生成更务实。然而，其核心实验支撑过于单薄：所有评估均建立在作者自建的、仅包含约100个电影预告片的小型数据集及其衍生的两个新颖指标上，缺乏与通用基准或人工主观评价的对照。论文在“电影级”效果的声明上显得过于自信，尤其是其关键组件DSPred的训练数据与细节模糊不清，可复现性堪忧。这更像是一份展示了有趣想法的概念验证系统报告，而非一项经过严格验证的研究成果。 📌 核心摘要 本文旨在解决从长篇叙事文本生成多音轨、时间对齐的电影级音效这一难题。作者指出，现有端到端文本到音频（TTA）模型在生成孤立音效上表现良好，但在处理复杂叙事所需的多元素混合、时间同步与情感深度上存在根本困难，常导致声音浑浊、相位抵消等问题。为此，论文提出了BackgroundMellow框架，其核心思想是将问题重构为一个“编排与数字信号处理（DSP）”问题。框架采用主-从（Master-Specialist）代理架构：主代理（LLM）将故事分解为包含音频类型、时间戳、音量等参数的“音频提示”清单；然后将任务分发给不同的“专家”生成器（如Tango2用于环境音，一个基于专业配乐库的新设计检索器用于电影配乐）。为实现精确的时间对齐，论文提出了一个关键组件——微调后的“数字声音预测器”（DSPred），并结合语义自适应混合策略，将各音轨锚定到由TTS生成并经ASR转录的叙述主时间线上。此外，论文提出了一种基于最近邻检索的评估方法，利用一个自建的约100个电影预告片构成的数据集，计算语义召回率（YT Coverage）和时间交并比（IoU，YT Sync）作为客观指标。实验通过消融研究证明了框架各组件的有效性，并与零样本单体模型（Tango2, AudioLDM2）对比，展示了其在声谱平坦度、动态范围、音频起始点等指标上的优势。主要局限性包括：评估基准（电影预告片）与生成目标（叙事文本音效）存在显著领域差异；核心组件DSPred的训练数据、具体网络结构与训练细节不透明；实验规模小（约40个故事），且缺乏与专业音效工程师或更广泛基准的深入对比。 ...

📄 FdAudio: MeanFlow-Anchored Fréchet-Distance Post-Training for One-Step Text-to-Audio Generation 标签：#音频生成 #后训练 #流匹配 #生成模型 #高效推理 8.6/10 | 创新 1.7/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5 🔥 8.6/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #音频生成 | #后训练 | #流匹配 #生成模型 | arxiv 👥 作者与机构 第一作者/通讯作者：Kuan-Po Huang（论文作者列表中带有⋆标注，按学术惯例通常为通讯作者或等同贡献） 作者列表：Kuan-Po Huang（⋆标注，未说明机构）、Bo-Ru Lu（†标注，论文注明“This work is unrelated to the author’s position at Amazon”，未说明研究时所属机构）、Ho-Lam Chung（⋆标注，未说明机构）、Shih-Hsin Wang（⋆标注，未说明机构）、Hung-yi Lee（⋆标注，未说明机构） 💡 毒舌点评 论文敏锐地发现了FD后训练与流匹配模型多步生成能力之间的根本矛盾，并用一个轻巧的MeanFlow锚点漂亮地解决了它。工作逻辑自洽，实验立竿见影，堪称一次成功的“微调手术”。然而，这柄手术刀只在120M参数的“小手术台”和8万样本的“微型数据集”上挥舞，其有效性在真正的大规模（数十亿参数）、海量数据场景下是否依然成立，是一个亟待回答的“X光片”问题。论文标题声称“一步文本到音频生成”，但实验局限在10秒音频和单一数据集，其泛化能力有待更严格的拷问。 ...