音频编辑

📄 Generative Audio Extension and Morphing #音频生成 #扩散模型 #数据集 #音频编辑 ✅ 7.5/10 | 前25% | #音频生成 | #扩散模型 | #数据集 #音频编辑 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：未说明（论文注明Prem Seetharaman⋆, Oriol Nieto⋆为同等贡献） 通讯作者：未说明 作者列表：Prem Seetharaman（Adobe Research, San Francisco, CA, USA）、Oriol Nieto（Adobe Research, San Francisco, CA, USA）、Justin Salamon���Adobe Research, San Francisco, CA, USA） 💡 毒舌点评 论文的亮点在于将技术问题（音频生成）与特定用户群体（音效设计师）的需求紧密结合，并针对性地设计了“噪声底数据集”来解决生成静态声音时的幻觉问题，展现了工程上的巧思。短板则在于，它本质上是将音频修复/填充任务包装成了一个“生成”任务，且缺乏与当前最先进文本到音频模型（如AudioLDM 2, VampNet等）在通用生成能力上的直接对比，其技术壁垒和普适性有待商榷。 📌 核心摘要 要解决什么问题：音效设计师在创作中常需要将现有音频片段进行扩展（向前或向后）或在两个不同音频间进行无缝变形（morphing），传统方法耗时且易产生伪影。 方法核心是什么：使用基于扩散Transformer（DiT）的模型，在音频的潜在空间进行操作。核心是提出了一种音频提示指导（Audio Prompt Guidance, APG） 技术，通过在扩散过程中对已知（被掩码的）音频潜在表示和未知（噪声）部分应用一种变体的分类器自由引导（CFG），使生成结果更好地贴合原始音频提示。此外，为了克服在生成持续/静态声音（如环境音）时模型易产生无关噪声的“幻觉”问题，提出了使用合成的噪声底数据集（Noise Floor Dataset） 对模型进行微调。 与已有方法相比新在哪里：1) 提出APG，首次将CFG变体直接应用于音频模态本身以增强生成音频与输入提示的保真度。2) 设计了专门针对音效设计师需求（处理48kHz立体声、特效/环境声）的端到端扩展/变形框架。3) 创新性地构建大规模合成数据集（1.3M小时）并用于微调，以缓解特定数据分布导致的生成幻觉问题。 主要实验结果如何： 客观质量（FAD↓）：生成变形（GenMorph）的FAD为0.432，与原始音频（0.426）几乎持平，显著优于白噪声（1.358）和卷积噪声匹配（0.599）等基线。 方法 FAD ↓ GenExtend 0.520 GenMorph 0.432 Convolutional Noise Matching 0.599 White Noise 1.358 Noise Floor 0.586 Original Audio (上界) 0.426 - 主观测试（MOS 1-5分）：15名参与者（含专业人士）对音频扩展结果的平滑度、一致性和质量平均评分为3.5，3.8，3.5。中位数评分均为4分（对应“相当无缝”、“相当相关”、“良好”）。 - APG消融：指导强度γ从0增加到5时，FAD持续改善；在γ=5时，变形任务的FAD略有上升，故选定γ=5。 实际意义是什么：为音效设计师提供了一个高效、高质量的音频片段扩展与变形工具，有望减少重复性手动操作，提升创作效率。其提出的APG和数据集微调策略也可能对其他条件音频生成任务有参考价值。 主要局限性是什么：1) 应用范围限定在音效和环境声，明确排除了语音和音乐。2) 未与当前最强的通用音频生成模型（如基于大规模网络文本-音频对训练的模型）进行对比，其生成质量的天花板尚不明确。3) 训练数据（110万样本）和噪声底数据集（合成）的具体内容和质量未详细公开，可复现性依赖于作者未共享的资源。 🏗️ 模型架构 模型整体架构是一个在音频潜在空间进行操作的扩散流程，主要包含编码器、扩散Transformer（DiT）、解码器以及核心的APG和掩码机制。 ...

ICASSP 2026 - 音频编辑 共 1 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 RFM-Editing: Rectified Flow Matching for Text-Guided Audio E 7.5分 前25% 📋 论文详情 🥇 RFM-Editing: Rectified Flow Matching for Text-Guided Audio Editing ✅ 7.5/10 | 前25% | #音频编辑 | #流匹配 | #扩散模型 #数据集 👥 作者与机构 第一作者：Liting Gao（英国萨里大学视觉、语音与信号处理中心） 通讯作者：未说明 作者列表：Liting Gao（英国萨里大学视觉、语音与信号处理中心），Yi Yuan（英国萨里大学视觉、语音与信号处理中心），Yaru Chen（英国萨里大学视觉、语音与信号处理中心），Yuelan Cheng（英国萨里大学视觉、语音与信号处理中心），Zhenbo Li（中国农业大学信息与电气工程学院），Juan Wen（中国农业大学信息与电气工程学院），Shubin Zhang（中国海洋大学水产学院），Wenwu Wang（英国萨里大学视觉、语音与信号处理中心） 💡 毒舌点评 亮点：论文巧妙地利用Rectified Flow Matching的确定性ODE过程，将音频编辑重新定义为学习从噪声到目标音频的“速度场”，并通过对原始音频潜变量的拼接作为条件，实现了一个优雅的、端到端且无需掩码的训练范式。短板：虽然整体表现均衡，但在衡量编辑忠实度的关键指标CLAP分数上，训练完整数据集的RFM-Editingfull（0.4398）仍略低于需要复杂优化的AudioEditor（0.4579），显示出其“效率换精度”的妥协，且编辑时间并非最快。 📌 核心摘要 ...

📄 RFM-Editing: Rectified Flow Matching for Text-Guided Audio Editing #音频编辑 #流匹配 #扩散模型 #数据集 #零样本 ✅ 7.5/10 | 前25% | #音频编辑 | #流匹配 | #扩散模型 #数据集 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Liting Gao（英国萨里大学视觉、语音与信号处理中心） 通讯作者：未说明 作者列表：Liting Gao（英国萨里大学视觉、语音与信号处理中心），Yi Yuan（英国萨里大学视觉、语音与信号处理中心），Yaru Chen（英国萨里大学视觉、语音与信号处理中心），Yuelan Cheng（英国萨里大学视觉、语音与信号处理中心），Zhenbo Li（中国农业大学信息与电气工程学院），Juan Wen（中国农业大学信息与电气工程学院），Shubin Zhang（中国海洋大学水产学院），Wenwu Wang（英国萨里大学视觉、语音与信号处理中心） 💡 毒舌点评 亮点：论文巧妙地利用Rectified Flow Matching的确定性ODE过程，将音频编辑重新定义为学习从噪声到目标音频的“速度场”，并通过对原始音频潜变量的拼接作为条件，实现了一个优雅的、端到端且无需掩码的训练范式。短板：虽然整体表现均衡，但在衡量编辑忠实度的关键指标CLAP分数上，训练完整数据集的RFM-Editingfull（0.4398）仍略低于需要复杂优化的AudioEditor（0.4579），显示出其“效率换精度”的妥协，且编辑时间并非最快。 📌 核心摘要 要解决什么问题：现有的文本引导音频编辑方法要么依赖昂贵的训练时优化（如null-text optimization），要么需要完整的目标描述文本或人工掩码，在复杂重叠声音场景下编辑效果不佳且实用性受限。 方法核心是什么：提出RFM-Editing，一个基于Rectified Flow Matching（RFM）的端到端音频编辑框架。其核心是训练一个U-Net来学习从含噪潜变量指向目标音频潜变量的“速度场”，并以原始音频的潜变量和文本指令为条件，从而直接学习编辑区域，无需显式掩码。 与已有方法相比新在哪里：首次将RFM范式应用于指令引导的音频编辑；实现了纯指令驱动的端到端训练，摒弃了对完整描述或掩码的依赖；同时构建了一个包含复杂重叠声音事件的新音频编辑数据集用于训练和评测。 主要实验结果如何：在自建数据集上，RFM-Editingfull在FD（13.27）和KL（2.77）指标上优于所有基线，表明其分布一致性更好；在CLAP分数（0.4398）上优于AUDIT（0.1113）和Zero-Shot（0.4333），但略低于AudioEditor（0.4579）。编辑速度（约11秒/音频）远快于AudioEditor（约102秒）。 实际意义是什么：提供了一种更高效、更实用的音频编辑方案，用户只需给出简单的编辑指令（如“移除警报声”），无需专业知识或复杂标注，即可完成高质量的音频内容修改，在内容创作和后期制作中有直接应用价值。 主要局限性是什么：在最高精度的CLAP分数上尚未超越最优的免训练方法；新构建的数据集规模虽大但基于AudioCaps2合成，可能与真实世界复杂音频分布存在差距；论文未明确提供代码和模型权重的开源链接。 🏗️ 模型架构 RFM-Editing的完整架构如图1所示，是一个基于潜在扩散模型（LDM）的端到端框架，主要包含以下组件： ...

📄 VoxEffects: A Speech-Oriented Audio Effects Dataset and Benchmark #音频理解 #音频编辑 #基准测试 #数据集 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Zhe Zhang（日本国立信息学研究所，语音与音频研究组） 通讯作者：Junichi Yamagishi（日本国立信息学研究所，语音与音频研究组） 其他作者：Yigitcan Özer（日本国立信息学研究所，语音与音频研究组） 机构：National Institute of Informatics (NII), Tokyo, Japan 💡 毒舌点评 亮点：在语音领域“硬核”填补了一个关键空白——为“音频效果识别”这个被忽视但无处不在的任务，提供了首个标准化的合成数据集和评估基准，还煞有介事地考虑了真实世界的信号损伤（加噪、压缩），这很务实。槽点：数据完全靠“配方”合成，像在无菌实验室里研究野外生存，缺乏真实后期处理的复杂性和“脏数据”；评估子集只有120条音频（60 ID + 60 OOD），规模过小，结论的说服力打了个折扣。 📌 核心摘要 本文旨在解决语音处理中一个基础但被忽视的问题：如何系统化地识别语音音频所经过的后期处理效果及其参数。现实中，语音几乎都经过了降噪、压缩等效果处理，但现有数据集缺乏此类精确标注，阻碍了相关研究。为此，作者提出了VoxEffects，一个从干净语音出发、基于固定效果链和预设库合成的多粒度标注数据集与基准。它支持效果存在性检测、预设分类、效果数量统计和强度回归等多任务评估，并创新性地设计了包含采集端和平台端失真的鲁棒性评估协议。作者提供了一个基于AudioMAE的多任务基线模型（AudioMAE-Fx），实验表明，虽然该任务具有挑战性（尤其是细粒度预设分类），但通过包含失真数据进行鲁棒性训练能显著提升模型在跨语料库和失真条件下的性能。该工作为音频取证、语音理解等应用提供了新的研究方向和评估工具。 🏗️ 模型架构 模型名称：AudioMAE-Fx 整体流程： 输入：原始音频波形（16kHz采样）。 特征提取：将波形转换为对数梅尔滤波器组（log-mel filterbank）特征。 骨干网络：将特征输入预训练的AudioMAE模型。AudioMAE是一个基于Transformer的掩码自编码器，已在大规模音频数据集AudioSet上预训练，用于学习通用的音频表示。 多任务预测头：从AudioMAE输出的共享表示中，并行引出五个轻量级预测头，每个头对应一个子任务： 存在性检测头：一个线性分类器，输出6个效果的二元存在概率（多标签分类）。 预设分类头：一个线性分类器，输出2520个预设组合的分类概率（单标签分类）。 效果数量头：一个线性分类器，预测激活效果的数量（0到6的分类）。 标量强度头：一个线性回归器，预测一个0到1之间的标量强度值。 向量强度头：一个线性回归器，预测一个6维向量，每个维度对应一个效果的强度（0到1）。 输出：五个任务的预测结果。 关键设计理由： 采用预训练AudioMAE：利用在大规模无标注数据上学到的丰富音频特征，缓解了专用数据集（VoxEffects）规模有限的问题，提供了强大的特征提取基础。 多任务学习：所有任务共享同一个AudioMAE骨干，仅使用不同的轻量级头部。这鼓励模型学习对多种效果属性都通用的表示，提高参数效率，并可能通过任务间的正则化效应提升泛化能力。 固定效果链顺序：模型输入是经过固定顺序（DN→DRC→EQ→DS→RVB→LIM）处理后的音频，这简化了问题，符合常见语音后期处理流程。 💡 核心创新点 首个面向语音的音频效果数据集与渲染管线： 是什么：创建了VoxEffects数据集，包含从干净语音合成、带有精确效果链和预设参数标注的音频，并提供了一个可复现的渲染管线。 之前：语音数据集通常不标注后期效果；音乐领域有效果研究，但不针对语音特性，且缺乏标准化基准。 如何解决：基于语音工程知识设计固定效果链和预设库，使用Pedalboard库实现渲染，支持离线合成和在线动态生成。 效果：为“音频效果识别”任务提供了首个标准化的训练和评估数据来源。 多粒度监督与任务定义： 是什么：定义了从粗到细的多个识别任务：效果存在性（多标签）、预设组合（细粒度分类）、效果数量（计数）和效果强度（回归）。 之前：相关研究多集中于单一任务（如存在性检测或参数估计），且未系统化。 如何解决：从效果链配置中自动派生出多粒度标签，构建了全面的评估体系。 效果：更全面地刻画了模型对效果处理的理解层次，从“有没有”到“是什么”再到“多强”。 面向真实部署的鲁棒性评估协议： ...