音频生成

📄 Sensitivity Analysis of Generative Spatial Audio Metrics: A Study on Responsiveness, Smoothness, and Symmetry #空间音频 #音频生成 7.2/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 7.2/10 | 前50% | #音频生成 | #空间音频 | arxiv 👥 作者与机构 Purnima Kamath (New York University, New York, USA) Adrian S Roman (New York University, New York, USA) Koichi Saito (Sony AI, New York, USA; Sony Group Corporation, Tokyo, Japan) Yuki Mitsufuji (Sony AI, New York, USA; Sony Group Corporation, Tokyo, Japan) Juan P Bello (New York University, New York, USA) ...

📄 BareWave: Waveform-Native Flow-Matching Text-to-Speech #语音合成 #音频生成 #自监督学习 7.0/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1.4/1 | 影响 1.2/1.5 | 开源 0.8/1.5 | 复现 1.0/0.5 | 工程 1.2/1.5 ✅ 7.0/10 | 前50% | #语音合成 | #Transformer | #音频生成 #自监督学习 | arxiv 👥 作者与机构 Wei Fan1*, Chao-Hong Tan2†, Qian Chen2†, Wen Wang2, Xiangang Li2, Kejiang Chen1†, Weiming Zhang1, Nenghai Yu1. 1安徽大学，数字安全安徽省重点实验室；2阿里巴巴通义实验室 (Tongyi Fun Team, Alibaba Group)。(*工作在Wei Fan于阿里巴巴通义实验室实习期间完成；†通讯作者)。 ...

📄 HoliDubber: Holistic Video Dubbing for Complex Acoustic Scenes via Text-Guided Audio Synthesis #语音合成 #音频生成 #多模态模型 #扩散模型 #自监督学习 9/10 | 创新 1.6/2 | 严谨 1.4/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 9/10 | 前10% | #语音合成 | #自监督学习 | #音频生成 #多模态模型 | arxiv 👥 作者与机构 Wenhao Guan (厦门大学, 上海创新研究院), Yifan Duan (上海交通大学), Junxi Liu (上海交通大学), Yu Gu (未来工场), Feng Dang (未来工场), Kaidi Wang (厦门大学), Qingyang Hong (厦门大学), Lin Li (厦门大学), Xie Chen (上海交通大学, 上海创新研究院) ...

📄 SMC-ITA: Sequential Monte Carlo Inference-Time Alignment for Video-to-Audio Generation #音频生成 #多模态模型 #流匹配 7/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 7/10 | 前50% | #音频生成 | #多模态模型 | #流匹配 | arxiv 👥 作者与机构 作者：Haoyu Zhang, Yuta Oshima, Xingjian Du, Chunfeng Wang, Irene Li, Yusuke Iwasawa, Yutaka Matsuo 单位：The University of Tokyo, University of Rochester, Independent ...

📄 Audio Imitator: Controlling Timbre and Tempo in Video2Audio Synthesis with Audio Reference #音频生成 6/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 0.6/1.5 ✅ 6/10 | 前50% | #音频生成 | #音频生成 | arxiv 👥 作者与机构 第一作者：Jiahui Zhao；其他作者：Tianrui Wang, Chunyu Qiang, Cheng Gong, Xijuan Zeng, Feng Deng, Longbiao Wang。 机构：天津大学（1），快手科技（2）。 💡 毒舌点评 “创新”稍显保守：把参考音频拆成音色和节奏分别处理，这想法不算石破天惊。说“首次”或“新颖”有点过了，更像是工程上把已知的两个编码器（BEATs和Style Conditioner）合理地拼了一下。真正的挑战和创新点（如果有的话）在于这种拆分在生成任务上到底比“整体条件”好了多少，以及是否真的在“控制”。 实验“充分”但“不惊艳”：VGGSound数据集+MMAudio微调，标准操作。消融实验（表1）逻辑清晰，证明了各模块都有贡献。但和最SOTA的V2A方法比了吗？只和自家MMAudio的几个变体比，说服力打折。风格相似性提升显著（表2），但以牺牲多少生成多样性或引入多少伪影为代价？论文似乎回避了这个问题。 开源“态度”存疑：给个匿名demo链接，代码权重都不给。想复现？自己搭MMAudio环境再“微调”800步？这对社区共享和技术复现非常不友好。作为预印本可以理解，但降低其短期实际影响力。 局限性“轻描淡写”：作者自己提到了在人声上效果弱，归因于节奏编码器的训练偏差。但更根本的问题是：1）这种固定的“音色-节奏”二分法是否真的普适？2）“控制”的程度和边界在哪？能插值吗？能只改节奏不改音色吗？论文没有深入探讨。 部分结论“过度外推”：从“在VGGSound上改善风格相似性”直接跳到“使模型可控”，有点跳跃。这更像是在特定设定下的风格模仿，距离真正的、可交互的“控制”还有距离。标题中的“Controlling”略显激进。 📌 核心摘要 本文提出了AudioIM，一个用于视频到音频（V2A）生成、并能控制生成音频音色和节奏的属性感知框架。现有V2A方法通常将参考音频作为整体条件信号，难以实现对风格属性的细粒度控制。为此，AudioIM采用两项关键技术：1）掩码训练策略：在训练时部分遮蔽音频潜在表示，使模型学习在部分观测条件下进行流匹配推断，从而在推理时能利用提示音频的潜在特征提供细粒度风格信息。2）双风格编码器：使用基于BEATs的音色编码器和基于Style Conditioner的节奏编码器，分别从参考音频中提取音色和节奏特征，并通过全局和帧级条件注入生成骨干网络。在VGGSound数据集上的实验表明，AudioIM在保持语义对齐和时间同步性能的同时，显著提升了生成音频与参考音频的风格相似性（SS-MOS从基线3.22提升至4.06）。消融研究验证了各组件的有效性。论文指出该方法在非人声音效（特别是乐器声）上效果更显著，而对人声的风格控制较弱。 ...

📄 Audio-Oscar: A Multi-Agent System for Complex Audio Scene Generation, Orchestration, and Refinement #音频生成 #语音合成 #音频质量评估 9.9/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.4/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 🔥 9.9/10 | 前10% | #音频生成 | #语音合成 | #音频质量评估 | arxiv 👥 作者与机构 作者：Yifan Duan, Qixiang Xu, Hengtao Wu, Zhanxun Liu, Wenhao Guan, Junxi Liu, Ziyang Ma, Kelu Xu, Xie Chen 机构： ...

📄 Where Rectified Flows Leak: Characterising Membership Signals Along the Interpolation Path #音频生成 #理论分析 8.7/10 | 创新 1.5/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.7/10 | 前25% | #音频生成 | #理论分析 | arxiv 👥 作者与机构 作者：Thomas Sesmat, Gabriel Meseguer-Brocal, Geoffroy Peeters 机构：论文正文未明确列出作者机构，但致谢部分提及工作由法国巴黎萨克雷电信学院提供计算资源支持。 💡 毒舌点评 这篇论文的工作，说好听点是“把显而易见的事情理论化”，说难听点就是“在噪声和数据之间的中间点发现了模型拟合训练数据残差”这一现象，并为其穿上了“钟形曲线”和“闭式解”的理论外衣。其核心创新点——那个看起来很美的闭式解\(\lambda_F^*\)，被其赖以生存的“各向同性高斯”假设牢牢锁死在玩具模型的范畴。一旦遇到现实世界里稍有复杂度的潜在空间（如CelebA），这理论就哑火了，只剩下那个依然普适但不够“性感”的钟形曲线。作者试图用一个在特定假设下才成立的峰值预测来撑起理论贡献的门面，这多少有点“拿着放大镜找金矿”的嫌疑。至于那个作为“概念验证”的成员推理攻击（MIA），用了一个极其简单的MLP分类器，且在最具理论优势的MAESTRO数据集上取得了0.91的AUC，这固然不错，但论文对此攻击的实际威胁模型（白盒、需完整访问插值路径）避而不谈，使其现实意义大打折扣。最后，开源情况的含糊其辞（提到有代码但不提供链接）更是给这篇顶会水准论文的严谨性抹上了一层阴影。整体而言，这是一篇技术细节扎实但格局受限、理论贡献存在“硬伤”、应用价值被高估的论文。 📌 核心摘要 论文研究了Rectified Flow（RF）生成模型在训练过程中如何编码训练数据的成员身份信息（即“成员信号”）。通过分析定义RF训练的线性插值路径 \(X_\lambda = (1-\lambda)X_0 + \lambda X_1\)，作者证明了训练集与测试集在重建误差上存在一个沿插值参数 \(\lambda\) 分布的“钟形”差异。该差异源于模型在特定 \(\lambda\) 处拟合了训练样本特有的残差。在数据噪声和分布均为各向同性高斯的假设下，论文推导出了该差异峰值位置 \(\lambda_F^*\) 的闭式表达式。作者在多个音频和图像数据集上实验验证了理论预测，并展示了将此钟形差异结构作为特征，构建成员推理攻击（MIA）的概念验证方法，其性能优于将扩散模型攻击方法适配到RF的基线方法。 ...

📄 F3-Tokenizer: Taming Audio Autoencoder Latents for Understanding and Generation #语音合成 #音频生成 #语音识别 #自监督学习 #多任务学习 7.2/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 0.8/1 | 影响 0.7/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 ✅ 7.2/10 | 前25% | #语音合成 | #自监督学习 | #音频生成 #语音识别 | arxiv 👥 作者与机构 Dinghao Zhou, Xingchen Song, Di Wu, Pengyu Cheng, Shengfan Shen, Sixiang Lv。第一作者单位为南京大学，第二作者单位为WeNet开源社区。论文标注作者贡献相等。 💡 毒舌点评 这篇论文的工作量扎实，试图解决音频标记器在“理解”与“生成”目标间的固有矛盾，技术路线清晰。但“新颖性”的成色需要仔细考量，其核心组件（归一化瓶颈、RQ-MTP、流匹配头）均为已有技术的组合与适配，缺少原理层面的根本性突破。更令人皱眉的是，作为一篇顶会论文，在“开源”和“可复现性”上的表现堪称“裸奔”——不提供代码、模型权重或详细的训练配置，这让所有令人印象深刻的实验结果都成了“黑箱表演”，极大地削弱了其可验证性和社区贡献度。实验部分虽然全面，但在生成任务上与最新SOTA（如Qwen3-TTS、Ming-Omni系列）的比较略显取巧，Token Rate不统一且SIM分数缺失，难以进行公平对比。总体来说，这是一篇完成度不错、但“诚意”不足的“应用整合式”论文。 ...

📄 FoeGlass: Simple In-Context Learning Is Enough for Red Teaming Audio Deepfake Detectors #大语言模型 #音频生成 #语音合成 #数据增强 7.5/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.5/10 | 前25% | #音频生成 | #数据增强 | #大语言模型 #语音合成 | arxiv 👥 作者与机构 作者：Sepehr Dehdashtian, Jacob H. Seidman, Vishnu Naresh Boddeti, Gaurav Bharaj 机构：未明确说明作者所属机构。 💡 毒舌点评 优点： ...

📄 Channel-Oriented Design for EEG-to-Music Reconstruction #音乐信息检索 #音频生成 #自监督学习 #对比学习 #数据增强 7.7/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.7/10 | 前25% | #音乐生成 | #自监督学习 | #音乐信息检索 #音频生成 | arxiv 👥 作者与机构 Jiaxin Qing (UC Berkeley)， Junwei Lu (Harvard University)， Lexin Li (UC Berkeley) 💡 毒舌点评 这篇论文在脑机接口的细分赛道——EEG-to-Music重建上，精准地抓住了“通道信息早期混合”这个痛点，并提出了一个逻辑自洽、组件清晰的解决方案。理论分析虽简化，但为设计选择提供了合理的数学依据，比单纯喊口号强。实验部分，与当前SOTA基础模型的对比很到位，证明了专用设计优于通用预训练模型在特定任务上的表现。可解释性分析更是点睛之笔，将EEG的通道注意力与听觉处理脑区关联，提升了工作的可信度和价值。不过，其“对齐+固定生成器”的管道设计虽能隔离贡献，但也限制了对生成阶段优化潜力的探索。在通用性方面，模型对电极配置的固定依赖是一个明显的实用化短板。总的来说，这是一篇扎实、聚焦、有洞察力的工作，配得上顶会水准。 📌 核心摘要 本文研究了从EEG信号重建音乐这一具有挑战性的任务。作者指出，现有方法中过早地混合通道信息会破坏EEG中微弱但有区分度的信号。为此，提出了一个“通道导向”的设计框架，其核心包含三个组件：通道级标记化（将每个电极视为独立标记以保留空间局部证据）、通道级多视图自蒸馏（强制模型在不同时间裁剪和随机通道子集之间保持一致性，以学习鲁棒且分布式的表示）和通道级数据增强（通过结构化的通道丢弃提高对噪声和缺失电极的不变性）。这些组件被集成到一个编码-对齐-解码的管道中。从理论上，论文分析了通道级遮蔽相比块级遮蔽在何种条件下能降低跨类重叠。在实验上，通过与多种基线方法（包括专门的EEG2Mel和通用的EEG基础模型LaBraM、EEGPT、CBraMod）进行系统对比，在语义重建（CLAP score 0.683）和嵌入级对齐（50-way 识别准确率0.487）指标上取得了最佳性能。消融研究验证了每个组件的贡献，可解释性分析揭示了与听觉处理相关的通道注意力模式。 ...