音频生成

📄 Foley-Omni: A Unified Multimodal Generation Model from Task-Level Audio Synthesis to Complete Video Soundtrack Generation #音频生成 #语音合成 #音乐生成 #多模态模型 #课程学习 #扩散模型 7/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.4/1.5 | 开源 0.3/1.5 | 复现 0.3/0.5 | 工程 0/1.5 ✅ 7/10 | 前25% | #音频生成 | #课程学习 | #语音合成 #音乐生成 | arxiv 👥 作者与机构 作者：Ye Tao, Lupeng Liu, Xuenan Xu, Jiasun Feng, Jiarui Wang, Ying Qin, Shuiyang Mao, Wei Liu, Shuai Wang 机构：南京大学智能科学与技术学院，Video Rebirth，上海交通大学，北京交通大学，上海人工智能实验室 ...

📄 SketchSong: Hierarchical Song Generation with Sketch Planning and Fine-Grained Multi-Track Modeling #音乐生成 #音频生成 #多模态模型 #数据增强 #低资源 8.6/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 🔥 8.6/10 | 前25% | #音乐生成 | #数据增强 | #音频生成 #多模态模型 | arxiv 👥 作者与机构 论文作者：Xiaoyue Duan, Nanxing Hu, Yutang Feng, Xudong Yan, Jiatao Chen, Jinchao Zhang, Jie Zhou 机构：腾讯微信AI模式识别中心 (Pattern Recognition Center, WeChat AI, Tencent Inc.) 通讯作者：Jinchao Zhang (†Work done during an internship at WeChat AI, Tencent Inc. ‡Corresponding author) 💡 毒舌点评 这篇工作在概念层面抓住了当前歌曲生成模型的两个痛点：宏观结构规划不足和伴奏部分建模粗糙。提出的“草图规划”和“四轨建模”思路直接、清晰，且能互补。实验设计比较扎实，消融研究有力地支撑了各自组件的贡献。然而，方法的工程实现存在明显的“补丁”感，尤其是第二阶段多轨道模型却沿用第一阶段（或基线）为混合信号训练的伴奏解码器，这就像声称做了精细分轨烹饪，最后却用同一个大锅炒在一起，严重削弱了“细粒度”声称的冲击力。论文在局限性部分诚实地指出了这一点，但这也使得其作为一项完整工作的贡献打了折扣。与经过充分后训练（如DPO、对齐优化）的开源系统相比，本系统在部分主观指标上仍有差距，这进一步说明了其“潜力”与“现状”的差距。总体而言，这是一篇扎实的系统性工作，但缺乏一个令人惊艳的、完全自洽的闭环。 ...

📄 UniVocal: Unified Speech-Singing Code-Switching Synthesis #语音合成 #语音生成 #音频生成 #音乐生成 #自监督学习 #课程学习 #数据增强 8.9/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.4/1.5 | 复现 0.5/0.5 | 工程 0/1.5 🔥 8.9/10 | 前25% | #语音合成 | #自监督学习 | #语音生成 #音频生成 | arxiv 👥 作者与机构 作者: Yufei Shi, Qian Chen, Wen Wang, Xiangang Li, Zhen-Hua Ling, Yang Ai 机构: Tongyi Fun Team, Alibaba Group; Independent Researcher ...

📄 Sound effects in media:A comparative analysis of recorded and synthetic samples in live-action and animation #音频生成 #音频质量评估 #信号处理基础 📝 5.7/10 | 前50% | #音频生成 | #音频质量评估 | #信号处理基础 | arxiv 学术质量 4/7 | 影响力 1.2/2 | 可复现性 0.5/2 | 置信度 中 👥 作者与机构 作者：Nelly Garcia， Joshua Reiss 机构：Centre for Digital Music (C4DM)， Queen Mary University of London 💡 毒舌点评 这篇论文像是一个音频专业的本科毕业设计，野心不小但手上功夫差了点。想用机器学习和用户研究来评判“程序化音频”这把双刃剑到底锋不锋利，想法是好的。但问题在于，你的尺子（MUSHRA评估）根本量不准你想量的东西（合成声音本身的质量）。你让一群专家评价“整体音效设计”，里面混着混音、同步、创意，最后得出“合成声音在动画日常场景里不行”的结论，这不是隔靴搔痒吗？方法部分写的像实验笔记，特征选择理由一笔带过，统计结果报告得乱七八糟，自由度都没有。最搞笑的是，你号称发现了“至少三个需要优化的声音效应”，结果通篇没说清楚是哪三个。这就像医生告诉你病了三个地方，但不说具体是哪。结论呢？又把“上下文很重要”这种老生常谈当宝贝。说白了，这篇论文最大的贡献可能是为后续研究者提供了一个“如何设计不严谨音频评估实验”的反面案例。 📌 核心摘要 本研究旨在评估程序化合成音效在不同类型（动画与真人实拍）视频场景中，相较于传统录音库样本的“可信度”。研究者构建了一个包含8个场景（4个动画，4个真人实拍）的数据集，每个场景制作了三种音效设计版本（全真实样本、混合合成样本、随机错误样本）。客观分析上，使用Essentia库提取了78个低层音频特征，利用XGBoost和Random Forest进行二分类（合成 vs. 真实），并通过SHAP和PCA分析关键特征。主观评估上，邀请了20名音频领域专业人士（最终有效样本18人），通过WebMUSHRA工具对视频的“整体音效设计质量”进行0-100分评分，并使用Google表单收集对不真实合成声音的定性反馈。研究发现：1) 真实音效设计在所有场景中评分均高于混合合成设计；2) 在模拟日常生活的动画场景（如“Drama (C)”）和科幻动画场景中，真实与混合设计的评分差异在统计上最为显著；3) 通过分类结果和用户反馈，识别出如“液体”、“身体击打”等模型需要优化，并关联到“增强低频”、“强调首次冲击”等改进方向及对应的音频特征域（如频率域、时频域）。 🔗 开源详情 代码：论文中未提及作者公开任何分析代码（如特征提取脚本、机器学习训练/评估代码）。 模型权重：论文中未提及公开任何训练好的分类模型。 数据集： 描述：自建了一个包含1616个音频样本的数据集，分为32个类别（16个合成类别，16个库样本类别）。样本格式为单声道、16位、44.1kHz、5秒长度。 来源：合成样本来自Nemisindo在线程序音频引擎；库样本来自BBC Sound Effects Library, Hybrid Sound Library, 50-ESC dataset [16], Soundsnap。 公开状态：论文中未提供该自建数据集的公开下载链接或开源协议。 Demo： 用于主观评估的视频可在作者YouTube频道观看：https://www.youtube.com/@nellyngz/videos （此为内容展示，非可下载数据集）。 用于主观评估的WebMUSHRA在线测试工具链接：论文未提供作者自己的测试实例链接，仅提到了工具名称。 用于收集定性反馈的Google表单链接：https://docs.google.com/forms/d/e/1FAIpQLSd4_IwgM0plWo2ug5Odu89mgm3yYfWCrwwrR1e75-iryGI3aw/viewform 复现材料：论文未提供训练配置、特征提取后的数据文件、模型检查点、或用于复现主观实验的视频包等具体复现材料。复现主要依赖于文本描述的方法和提供的外部工具/数据源链接。 论文中引用的开源项目： Essentia: https://essentia.upf.edu Nemisindo: https://nemisindo.com BBC Sound Effects Library: https://sound-effects.bbcrewind.co.uk Soundsnap: https://www.soundsnap.com WebMUSHRA: 论文未提供其项目主页链接。 XGBoost, Random Forest, SHAP, PCA: 论文仅引用，未提供项目链接。 🏗️ 方法概述和架构 本文研究方法可分为三个相互关联的阶段：数据集构建、客观特征分析和主观用户评估。 ...

📄 UNISON: A Unified Sound Generation and Editing Framework via Deep LLM Fusion #语音合成 #语音转换 #音频生成 🔥 8.2/10 | 前25% | #语音合成 | #语音转换 | #音频生成 | arxiv 学术质量 5.9/7 | 影响力 1.7/2 | 可复现性 0.6/2 | 置信度 高 👥 作者与机构 Zhaoqing Li, Haoning Xu (香港中文大学); Jingran Su (香港理工大学); Yaofang Liu (香港城市大学); Zhefan Rao, Haoxuan Che (香港科技大学); Huimeng Wang, Jiajun Deng, Tianzi Wang, Xunying Liu (香港中文大学); Zengrui Jin (清华大学); Rui Liu (华为香港研究中心)。论文同时列出了六所机构作为合作单位。 ...

📄 Benchmarking Single-Factor Physical Video-to-Audio Generation #音频生成 #多模态模型 🔥 9/10 | 前25% | #音频生成 | #多模态模型 | arxiv 学术质量 6.4/7 | 影响力 1.5/2 | 可复现性 1.1/2 | 置信度 高 👥 作者与机构 作者：Tingle Li (UC Berkeley, NVIDIA), Siddharth Gururani (NVIDIA), Kevin J. Shih (NVIDIA), Gantavya Bhatt (University of Washington), Sang-gil Lee (NVIDIA), Zhifeng Kong (NVIDIA), Arushi Goel (NVIDIA), Gopala Anumanchipalli (UC Berkeley), Ming-Yu Liu (NVIDIA)。注意：Tingle Li, Siddharth Gururani, Kevin J. Shih 为共同第一作者（Equal contribution）。 机构：UC Berkeley, NVIDIA, University of Washington。 项目主页：https://research.nvidia.com/labs/cosmos-lab/flatsounds/ ...

📄 Native Audio-Visual Alignment for Generation #音频生成 #多模态模型 #扩散模型 ✅ 7.8/10 | 前50% | #音频生成 | #多模态模型 | #扩散模型 | arxiv 学术质量 8.0/7 | 影响力 7.0/2 | 可复现性 0.2/2 | 置信度 高 👥 作者与机构 作者：Longbin Ji, Guan Wang, Xuan Wei, Chenye Yang, Xiangrui Liu, Zhenyu Zhang, Shuohuan Wang, Yu Sun, Jingzhou He 单位：ERNIE Team, Baidu Inc. 💡 毒舌点评 这篇论文的工作是扎实的，但在某些关键细节的阐述上如同雾里看花。所谓“原生对齐”和“上下文条件解耦”听起来很美，但具体的模态交互机制（自注意力的具体实现、位置编码的细节）和“对齐”是如何通过优化目标学习到的，描述得不够透明，这让方法的可复现性和理论深度打了折扣。评估部分，尽管指标全面，但自家提出的指标（如IB-Score）和自家模型拿最优，而通用指标（如FD）并非最佳，这种选择性最优需要更审慎的解读。此外，声称“显著优于”基线，但在部分关键指标（如TI2AV任务下的总体质量）上优势并不明显，结论稍显强势。开源方面，除了一个项目主页，代码、权重、数据均未见踪影，这对于一篇声称复现重要性的论文来说是重大减分项。总体而言，这是一篇工程完成度高、有一定启发性的工作，但距离“完美”或“无可辩驳的优越”还有距离，其“严苛”之处在于对技术黑箱和评估话术的审视。 📌 核心摘要 本文针对音视频联合生成中同步性与语义条件控制耦合的问题，提出了NAVA（Native Audio-Visual Alignment）框架。该框架的核心思想是将音频-视频的同步对齐与外部文本/音色条件的注入解耦：首先在一个专用的“对齐空间”内让音频和视频令牌通过自注意力交互，建立原生的事件级对应关系；随后，通过交叉注意力注入文本和音色等上下文条件，指导去噪过程。这一解耦由“Align-then-Fuse MMDiT”架构实现，前10层为分层对齐层（HAL），后20层为统一融合层（UFL）。为实现可控的多说话人生成，论文提出了“Timbre-in-Context Conditioning”机制，将参考音色表示为上下文令牌并绑定到对应的语音片段。训练采用三阶段渐进式多任务策略。实验在Verse-Bench和Seed-TTS基准上进行，结果表明，NAVA以6.3B参数在音视频同步性（Sync-C）和视频质量（IB-Score）上达到了最优水平，并在音色控制任务中取得了最佳的说话人相似度，同时保持了有竞争力的音频质量。 🔗 开源详情 代码：论文中未提供代码仓库链接。仅给出项目主页 ernie-research.github.io/NAVA，通常此类主页会链接到代码，但当前页面未直接提供开源代码地址。 模型权重：论文中未提供模型权重的下载链接。虽提及从Wan2.2-5B初始化，但未说明Wan2.2系列模型的具体获取方式。 数据集：论文中未提供训练数据集的下载链接。详细描述了构建约1500万片段的训练语料库的流程，但未提供这些数据的公开获取地址。 复现材料：附录详细描述了数据构建流程、数据统计信息、提示词工程模板以及训练基础设施与成本（约107，520 H100 GPU小时）。但未提供具体的训练超参数配置文件、中间检查点或最终模型的下载。 🏗️ 方法概述和架构 NAVA框架旨在实现“原生音视频对齐”（Native Audio-Visual Alignment），即在生成过程中直接建立音频和视频的同步对应，同时将外部条件（如文本、音色）作为独立于同步过程的引导信号。 ...

📄 Dasheng AudioGen: A Unified Model for Generating Coherent Audio Scenes from Text #音频生成 #语音合成 #音乐生成 #多模态模型 #扩散模型 #流匹配 #模型评估 #数据增强 🔥 8.6/10 | 前25% | #音频生成 | #数据增强 | #语音合成 #音乐生成 | arxiv 学术质量 6.6/7 | 影响力 1.6/2 | 可复现性 0.4/2 👥 作者与机构 作者: Jiahao Mei (1, 2), Heinrich Dinkel (2), Yadong Niu (2), Xingwei Sun (2), Gang Li (2), Yifan Liao (2), Jiahao Zhou (2), Junbo Zhang (2), Jian Luan (2), Mengyue Wu (1) 机构: 1: X-LANCE Lab, Shanghai Jiao Tong University, Shanghai, China 2: MiLM Plus, Xiaomi Inc., Beijing, China ...

📄 LoSATok: Low-dimensional Semantic-Acoustic Tokenizer for Cross-Domain Audio Understanding and Generation #音频生成 ✅ 7/10 | 前50% | #语音合成 | #音频生成 | arxiv 学术质量 4.5/7 | 影响力 1/2 | 可复现性 1.5/2 | 置信度 高 👥 作者与机构 第一作者 Zhisheng Zhang 及主要作者 Xiang Li 来自清华大学深圳国际研究生院，其中脚注说明Xiang Li的工作是在ModelBest Inc.实习期间完成的（Work conducted while interning at ModelBest.）。所有作者共同隶属于清华大学深圳国际研究生院和ModelBest Inc.。 💡 毒舌点评 论文解决的问题（如何统一音频理解与生成表示）是领域内热点，但核心创新（将高维语义表示压缩至128维）听起来有些“老生常谈”，尽管引入了时间关系损失。 “低维”带来的优势（降低下游DiT模型负担）在理论上合理，但实验部分存在“选择性比较”：与DashengTokenizer对比时，仅展示其512维DiT（215M参数）表现不佳，而自己使用相同配置（208M参数）表现更好，这有点“田忌赛马”。为何不展示DashengTokenizer在更大参数（975M）配置下已经能获得较好甚至更优性能（例如TTS WER 3.652 vs. 3.030）的事实？ 论文声称解决了“理解”与“生成”的统一，但从结果看，LoSATok在理解任务（59.30平均分）上远低于其语义基线（MiDashengLM 75.48）和DashengTokenizer（74.67），也低于Ming-UniAudio（63.27）。这到底是“统一”还是“在理解上妥协以换取生成的微小优势”？结论过于乐观。 消融实验（Table 5）表明去掉低维语义监督（w/o \(\\mathcal{L}_{L}\)）后理解能力几乎崩塌（ESC从91.25降至47.25），这强烈暗示整个框架的成功极其依赖SemBo提供的“教师信号”。这更像是一个“知识蒸馏”应用，而非一个独立、稳健的表示学习方案。 重建质量（Table 4）明显落后于专精重建的模型（如UniFlow-Audio， SeedTTS-EN PESQ 3.833 vs. 3.051）。论文轻描淡写地解释为“有意的权衡”，但在音频领域，重建质量是生成质量的基石，这个牺牲可能被低估了。 📌 核心摘要 现有统一音频分词器将语义与声学信息编码在高维连续潜空间中，增加了下游扩散Transformer（DiT）的建模负担。本文提出LoSATok，一个用于跨域音频理解与生成的低维（128维）语义-声学分词器。首先，通过分析发现预训练高维语义表示（来自MiDashengLM，1280维）存在信息冗余。为此，提出了语义瓶颈（SemBo），通过一个可学习的压缩器-恢复器结构，将高维语义特征压缩到低维空间，并通过重建损失和一种新提出的时间关系损失（对齐高低维特征的时间相似度矩阵）进行监督。基于此低维语义信号，构建了LoSATok分词器，采用双层语义监督策略：使用高维语义表示提供全局监督，同时使用低维语义表示作为直接监督，引导声学编码器学习与语义信息对齐的低维统一表示。实验表明，LoSATok在XARES基准的15个理解任务上取得了有竞争力的平均分（59.30），优于HuBERT和WavLM等SSL模型，但低于高维语义表示。在下游DiT生成任务（TTS, TTM, TTA）上，LoSATok在相同或更小的DiT配置（如512维，208M参数）下，性能持续优于高维DashengTokenizer和纯声学UniFlow-Audio。论文承认其重建保真度不及专精声学分词器，这是为获得更优生成性能与更低维度所做的权衡。 ...

📄 AVBench: Human-Aligned and Automated Evaluation Benchmark for Audio-Video Generative Models #音频生成 #多模态模型 ✅ 7/10 | 前50% | #音频生成 | #多模态模型 | arxiv 学术质量 5.3/7 | 影响力 1/2 | 可复现性 0.7/2 | 置信度 中 👥 作者与机构 论文作者：Jialiang Yang, Bin Xia, Ruihang Chu, Dingdong Wang, Wanke Xia, Zhun Mou, Tianyang Zhong, Yiting Zhao, Wenming Yang。 机构：清华大学，香港中文大学。 💡 毒舌点评 这篇论文试图为快速增长的音频-视频生成领域建立一个“急需”的自动化评估基准，其工程系统性值得肯定。然而，其核心贡献——训练的专用评估器——本质上是用一个大型模型（基于Qwen2.5-Omni）去评估其他生成模型，这引发了关于“用魔法打败魔法”的深层问题。论文声称解决了“粗糙使用通用模型”的痛点，但训练数据严重局限于OpenHumanVid这个以人类为中心的视频库，这无疑为评估器引入了强烈的归纳偏置。当面对非人类主体或更复杂的长视频时，这些评估器可能比它们试图取代的“通用模型”更加“偏科”。此外，论文在关键实验分析（如消融研究、失败案例分析）上的缺失，使其提出的10个维度和“连续分数”机制的优越性论证显得有些单薄，更像是一个精心搭建但内部黑箱的评测流水线。 📌 核心摘要 本文针对人类场景下的文本到音频-视频生成模型，提出了自动化评估基准AVBench。其核心工作包括：1) 设计了涵盖跨模态一致性与单模态质量的10个人类中心细粒度评估维度；2) 通过大规模负样本挖掘（300KK样本），对多模态大语言模型进行监督微调，训练出专门的音频-视频（AV）、音频-文本（AT）、视频-文本（VT）一致性评估器；3) 构建了包含“正常”和“困难”子集的分层测试集。实验表明，专用SFT评估器在检测细粒度不一致方面显著优于零样本基线，其自动评分与人类专家判断展现出强相关性（如AT一致性 \(\rho=0.9488\)）。 🔗 开源详情 代码：未提���。 模型权重：未提供。评估器基于Qwen2.5-Omni和Qwen2-Audio微调，但微调后模型未公开。 数据集：未提供。训练数据来自OpenHumanVid，自行构建的300KK训练集及470条测试集均未公开。 Demo：未提供。 复现材料：未提供。论文描述了训练流程，但未提供代码、配置文件或检查点以支持复现。 论文中引用的开源项目（如VBench, T2AV-Compass, VABench, JointAVBench, CLAP, ViCLIP, ImageBind, SyncNet/LatentSync, Whisper, DF_Arena, NISQAv2, Audiobox-Aesthetics, DOVER++, LAION-Aesthetics, OpenHumanVid, Qwen系列）均未在文中提供具体项目链接。 🏗️ 方法概述和架构 AVBench的整体架构由两个并行支柱构成：基准测试集构建与专用自动化评估器训练。 ...