生成对抗网络

📄 MusicDET: Zero-Shot AI-Generated Music Detection #音频伪造检测 #零样本 #生成对抗网络 6.1/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 1/1.5 | 清晰 0.6/1 | 影响 0.7/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.1/10 | 前50% | #音频伪造检测 | #生成对抗网络 | #零样本 | arxiv 👥 作者与机构 第一作者：Chaolei Han（东南大学网络空间安全学院） 通讯作者：Hongsong Wang（东南大学计算机科学与工程学院，新一代人工智能技术与交叉应用重点实验室（东南大学），教育部）/ Jie Gui（东南大学网络空间安全学院，紫金山实验室，区块链应用监管与管理工程研究中心（东南大学），教育部） 作者列表：Chaolei Han（东南大学网络空间安全学院）、Hongsong Wang（东南大学计算机科学与工程学院，新一代人工智能技术与交叉应用重点实验室（东南大学），教育部）、Jie Gui（东南大学网络空间安全学院，紫金山实验室，区块链应用监管与管理工程研究中心（东南大学），教育部） 💡 毒舌点评 本文将Normalizing Flows首次引入AI生成音乐检测，并构建了一个仅需真实音乐训练的零样本框架，思路简洁且具有实用性。然而，方法的技术深度有限，核心架构基本复用了Glow流程，实验中对真实后处理的鲁棒性极差（如MP3压缩后EER飙升至41.75%），且写作中多处符号与表格排版混乱，影响了可信度和可读性。 📌 核心摘要 本文针对AI生成音乐检测中，现有鉴别器依赖已知生成器训练、跨生成器泛化差的痛点，提出了一种全新的零样本设定（仅用真实音乐训练）。方法核心是基于频率引导的Normalizing Flows（MusicDET）对真实音乐的时频能量谱分布进行概率建模，通过评估样本似然度来判断是否为AI生成。与以往需要生成器样本训练的分类器相比，该框架天然具有生成器无关的泛化能力。实验在FakeMusicCaps和SONICS数据集上进行，零样本MusicDET在FakeMusicCaps上的平均EER为4.51%，显著优于所有非零样本基线（如W2V2-AASIST的11.46%、SpecTTTra-α的17.63%）；当利用少量AI样本引入class-conditional先验后，EER可进一步降至0.89%；在SONICS上class-conditional MusicDET甚至达到0.00%的EER。在ASVspoof 2019 LA和CtrSVDD上的迁移实验也展现出一定通用性。论文还评估了模型在EnCodec重建音乐上的检测能力，并进行了Leave-one-subdomain-out的泛化测试。实际意义在于为音乐鉴伪提供了一种无需持续更新生成器指纹的轻量级检测方案。主要局限是对严重音频后处理（如强压缩、加噪、变调）极为敏感，零样本检测EER在MP3 64kbps压缩下飙升至41.75%，且模型分析局限于时频谱能量，对旋律、和声等高层音乐结构建模不足。 🔗 开源详情 代码：https://github.com/Chaolei98/MusicDET 模型权重：论文中未提及 数据集： FakeMusicCaps (Comanducci et al., 2025)：基于 MusicCaps 提示词，使用 5 个文本到音乐生成器合成的数据集，论文中未提供直接下载链接，可参考原论文获取。 SONICS (Rahman et al., 2025)：包含真实音乐（来自 Genius Lyrics Dataset）和 Suno/Udio 生成的音乐，论文中未提供直接下载链接，可参考原论文获取。 ASVspoof 2019 LA (Todisco et al., 2019)：公开数据集，可通过 https://datashare.ed.ac.uk/handle/10283/3336 获取。 CtrSVDD (Zang et al., 2024)：论文中未提供直接下载链接，可参考原论文获取。 FMA-medium (Defferrard et al., 2017): 用于EnCodec重建评测，可通过 https://github.com/mdeff/fma 获取。 Demo：论文中未提及 复现材料： 预处理：所有音频重采样到 16kHz、单声道，裁剪/填充至 4 秒。 STFT 参数：n_fft=512, hop_length=160, win_length=512。 训练超参数：batch size 64，Adam 优化器，初始学习率 5e-4，训练 10 epoch。 数据增强：使用 SpecAugment 随机遮罩时频区域。 模型结构：频带数=2，每个频带内流步骤数 K=2，真实音乐高斯先验均值为 5，假音乐先验均值为 -5（类条件设置）。 硬件：单卡 NVIDIA RTX 4090（24GB 显存）。 未提供训练检查点。 论文中引用的开源项目： MusicGen：https://github.com/facebookresearch/audiocraft EnCodec：https://github.com/facebookresearch/encodec AASIST：https://github.com/clovaai/aasist MERT：https://github.com/yizhilll/MERT Wav2Vec 2.0 (fairseq)：https://github.com/pytorch/fairseq WavLM：https://github.com/microsoft/unilm/tree/master/wavlm SpecAugment：https://github.com/tensorflow/lingvo ViT (Vision Transformer)：https://github.com/google-research/vision_transformer ConvNeXt：https://github.com/facebookresearch/ConvNeXt Glow：https://github.com/openai/glow 🏗️ 方法概述和架构 MusicDET的整体架构是一个基于Normalizing Flows的单类（真实音乐）密度估计器，其核心流程如下： ...

📄 Query-Based Asymmetric Modeling with Decoupled Input–Output Rates for Speech Restoration #语音增强 #语音超分 #流式处理 #生成对抗网络 7.1/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | #语音增强 | #Transformer | #语音超分 #流式处理 | arxiv 👥 作者与机构 第一作者：Ui-Hyeop Shin (Sogang University, Department of Electronic Engineering) 通讯作者：Hyung-Min Park (Sogang University, Department of Electronic Engineering / Department of Artificial Intelligence) 作者列表：Ui-Hyeop Shin, Jaehyun Ko, Woocheol Jeong, Hyung-Min Park (均来自 Sogang University) 💡 毒舌点评 论文在“解耦输入输出采样率”这一问题上的定义干净，非对称编码器-解码器与频率扩展查询的设计动机清晰，实验覆盖度也属同类工作的上乘。但损失函数的设计（尤其是缩放 log1p）依赖对误差分布的经验观察，缺乏更深入的理论支撑，使得这部分工作显得更像是工程技巧的堆砌。在关键的SOTA声明上较为保守，模型在纯去噪等传统任务上未能超越专用模型，距离真正推动范式迁移尚有距离。未提供代码和模型权重，对社区的直接影响存疑。 ...

📄 OLIVE: View-Augmented Latent Prediction with Waveform Reconstruction for Speech SSL #自监督学习 #生成对抗网络 #语音增强 #语音分离 #语音转换 7.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1.2/1 | 影响 1.3/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 7.5/10 | 前50% | #语音识别 | #自监督学习 | #生成对抗网络 #语音增强 | arxiv 👥 作者与机构 作者：Karl El Hajal (Idiap Research Institute, Switzerland; EPFL, Switzerland), Mathew Magimai.-Doss (Idiap Research Institute, Switzerland) 机构：Idiap Research Institute（瑞士），洛桑联邦理工学院（EPFL，瑞士） ...

📄 Joint Residual Reweighting for Classifier Free Guidance in Flow-Matching Zero-Shot TTS #语音合成 #语音增强 #生成对抗网络 #自监督学习 #生成模型 #多模态模型 7.5/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前50% | #语音合成 | #生成对抗网络 | #语音增强 #自监督学习 | arxiv 👥 作者与机构 作者：Runwu Shi, Yujin Wang, Hongjin Song, Chunxiang Jin 机构：Institute of Science Tokyo, Wuhan University, Beijing Institute of Technology, Ant Group ...

📄 DTT-BSR+: A Generative-Regression Cascade for Music Source Restoration #生成对抗网络 8/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8/10 | 前25% | #生成对抗网络 | #生成对抗网络 | arxiv 👥 作者与机构 Tan, Wang, Huang。隶属于武汉大学电子信息学院和坦佩雷大学信号处理研究中心。 💡 毒舌点评 这篇工作干了件聪明事：把一个难啃的骨头（同时搞定分离和效果反转）拆成两步走，先让它“听起来像”，再让它“波形准”。消融实验做得扎实，FAD的拆分分析有点意思，指出了“像”和“准”可能打架。但问题在于，Percussions声部直接崩盘，暴露了这套“级联手术”对病灶（第一阶段的失真）非常敏感，一旦切歪了，后面再好的缝合技术也救不回来。另外，光说不练假把式，不给代码只给配置，这年头顶会光看论文可不够复现。 📌 核心摘要 本文提出了DTT-BSR+，一个用于音乐源恢复（MSR）的两阶段级联深度学习系统。MSR任务旨在从经过非线性后期处理的混合音轨中恢复干净的原始音轨，比传统的音乐源分离（MSS）更具挑战性。DTT-BSR+的核心思想是“解耦”：第一阶段使用基于GAN的DTT-BSR网络作为生成式分离器，其目标是产生与干净源信号语义分布匹配的估计；第二阶段使用一个名为Demucs-L的回归网络，以第一阶段输出为输入，通过最小化时域L1损失和多分辨率STFT损失，专注于改善波形级别的重建精度。实验在MSRBench基准数据集上进行，结果表明，DTT-BSR+在所有八个声部的多梅尔信噪比（MMSNR）上均优于其单阶段版本DTT-BSR，并在Vocals, Guitars, Synthesizers, Bass, Drums五个声部上超越了当前最优系统X-LANCE-MSR。论文通过FAD-CLAP分解，揭示了在某些声部上存在信号重建精度（MMSNR）与语义分布拟合（FAD）之间的隐式权衡，表现为语义中心的偏移而非分布多样性的改变。研究也指出了该级联设计在Percussions声部上的局限性。 🔗 开源详情 代码：论文中未提及任何代码仓库链接。 模型权重：论文中未提及任何模型权重下载链接。 数据集：论文使用了MSRBench和RawStems数据集。MSRBench是公开基准数据集。RawStems数据集未提供具体下载链接或开源协议。 Demo：论文中未提及。 复现材料：论文未提供预训练模型或完整训练代码。但提供了第二阶段Demucs-L的关键训练配置：网络结构（6层编解码器，核大小8，步长4，起始通道64），优化器（Adam，学习率2e-4），训练轮次（150 epochs），批量大小（16），损失权重（\(\lambda_1=10.0\), \(\lambda_2=1.0\)），以及数据增强策略（随机相位偏移，10%概率替换为真实目标）。 论文中引用的开源项目（未提供具体链接）：DTT-BSR， Demucs， X-LANCE MSR系统， BSRNN， MSG， TF-Locoformer。 🏗️ 方法概述和架构 DTT-BSR+是一个两阶段级联系统，其设计动机源于对MSR任务核心挑战的分析：即如何在生成式模型擅长的语义分布拟合（保证输出“听起来对”）与回归模型擅长的精确波形重建（保证输出“波形准”）之间取得平衡。论文提出将这两项目标解耦到两个独立的阶段中。 ...

📄 Exploiting Neural Audio Codec Latents for Adversarial Audio Attacks #生成对抗网络 #对抗样本 7.2/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.2/10 | 前50% | #生成对抗网络 | #生成对抗网络 | #对抗样本 | arxiv 👥 作者与机构 Sameek Bhattacharya, Bharath Krishnamurthy, Ajita Rattani Dept. of Computer Science and Engineering, University of North Texas, Denton, Texas, USA 💡 毒舌点评 论文核心idea很讨巧：把DAC这个音频领域的“瑞士军刀”（本来是做编解码的）拿来当攻击者的武器，利用其连续的潜空间来生成扰动。这确实比在高维波形上直接“硬碰硬”的迭代优化快了几个数量级，实验数据上速度优势明显。但作者的分析像是急着发新闻稿，深挖不足：为什么这个潜空间就特别适合生成对抗样本？是几何特性还是压缩带来的语义保真？没说清楚。实验只用了一个16kHz的DAC，泛化性存疑。更关键的是，对抗样本的“灵魂”——听不出来（感知质量）和能迁移（黑盒攻击）——完全没验证。论文给人感觉是“我们很快，而且成功率看起来不错”，但距离一篇扎实的、分析透彻的顶会论文还差得远，更像是一个有趣的工程验证。 ...

📄 PhysDrift: Bridging the Embodiment Gap in Humanoid Co-Speech Motion Generation #语音合成 #生成对抗网络 7.4/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.4/10 | 前50% | #语音合成 | #生成对抗网络 | arxiv 👥 作者与机构 华南理工大学（Xiaofen Xing 为通讯作者）、DexForce Technology、佛山大学 💡 毒舌点评 这篇论文动机清晰，把“人形机器人做动作时，如果先按人的身体来生成再‘套’上去会出问题”这个工程直觉，包装成了“体现鸿沟”这个听起来高深的概念。提出的IK-EER和PhysDrift框架在思路上有一定道理，也做了一些实验。但问题在于：1）作为一篇顶会论文，实验的对比基线有点“复古”，很多是几年前的方法（如GMR、PHC），缺乏与最新机器人动作生成工作的直接对比。2）所谓的“机器人原生生成”方法，只是把Flow Matching的输出从人形参数空间换成了机器人关节角空间，核心生成模型（GestureLSM）是别人的，创新点有点像在别人搭好的厨房里换了口锅做饭。3）“真实部署”的展示过于简略，一个顶会论文，连一个定性的视频或更详细的场景描述都吝啬提供，说服力大打折扣。4）MDF的理论性质（如收敛性）只是给了个Proposition，没有证明，略显单薄。总的来说，一篇合格的工作，但离顶尖还有差距，有点“PPT论文”的味道——框架画得漂亮，实操细节模糊。 📌 核心摘要 针对现有人形机器人协同语音动作生成采用的“人类中心”流水线（先在SMPL-X等人类表示空间生成动作，再重定向到机器人），本文指出其存在根本性的“体现鸿沟”——人类动作流形与机器人可执行动作流形不匹配，导致重定向过程会压缩动作多样性并削弱语音-动作同步性。为此，本文提出了两阶段解决方案：首先，提出IK-EER框架，在重定向过程中联合优化运动学可行性和语音-动作时间对齐，构建高质量的机器人原生运动数据集。然后，提出PhysDrift框架，一个体现感知的机器人原生生成模型，它直接从语音预测可执行的机器人关节轨迹，无需中间人类身体表示。PhysDrift引入运动漂移场（MDF）来替代传统的速度场学习，并在损失函数中加入物理约束和语音同步约束。大量实验和真实机器人部署表明，该机器人原生方法在语音对齐、物理合理性、运动平滑度（Jerk显著降低）和实时生成效率（2880 APS）上均优于传统流水线和直接适配的生成模型，证明了体现感知建模对人形机器人的重要性。 🔗 开源详情 代码：论文中未提供代码链接。 模型权重：论文中未提供模型权重。 数据集：BEAT2数据集（获取链接：https://github.com/ICT-Research/BEAT2） Demo：论文中未提及Demo。 复现材料：论文中未提供。仅在实验部分简要说明了训练细节：在单个 NVIDIA A100 上训练 1000 个 epoch，使用 Adam 优化器，学习率为 1e-4，但未提供配置文件、检查点或详细附录等具体复现材料。 论文中引用的开源项目：BEAT2（https://github.com/ICT-Research/BEAT2） 🏗️ 方法概述和架构 本文方法旨在解决人类中心流水线带来的体现鸿沟问题，其核心思想是绕过人类动作表示，直接在机器人关节空间进行动作策划与生成。框架包含两个紧密耦合的模块：数据策划模块IK-EER和生成模型PhysDrift。 ...

📄 Zero-VC: Zero-Lookahead Streaming Voice Conversion via Speaker Anonymization #语音转换 #流式处理 #生成对抗网络 6.1/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.1/10 | 前50% | #语音转换 | #生成对抗网络 | #流式处理 | arxiv 👥 作者与机构 Li Yudong, Fang Zihao, Qiu Junwen, Jing Ruihai, Shen Ruixiang, Wu Zhizheng. 机构：1. 香港中文大学（深圳） 2. 深圳湾区研究院 3. 深圳传音控股股份有限公司 4. Amphion Technology Co.,Ltd. ...

📄 QC-GAN: A Parameter-Efficient Quaternion Conformer GAN for High-Fidelity Speech Enhancement #生成对抗网络 #语音增强 #Conformer 7.1/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | #语音增强 | #生成对抗网络 | #Conformer | arxiv 👥 作者与机构 作者：Shogo Yamauchi, Hideaki Tamori, Makoto Sakai, Yosuke Yamano, Tohru Nitta 机构：The Asahi Shimbun Company, Japan; Tokyo Woman’s Christian University, Japan ...

📄 Unified Audio Generation and Editing via Joint Condition Modeling and Progressive Training #音频生成 #扩散模型 #生成对抗网络 8.7/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.7/10 | 前25% | #音频生成 | #生成对抗网络 | #扩散模型 | arxiv 👥 作者与机构 Haocheng Dong：中国科学技术大学电子工程与信息科学系、中国电信人工智能研究院（TeleAI）。 Yuheng Lu：天津大学人工智能学院认知计算与应用天津市重点实验室、中国电信人工智能研究院（TeleAI）。 Cheng Gong, Shansong Liu, Xiao-Lei Zhang, Xuelong Li：中国电信人工智能研究院（TeleAI）。 💡 毒舌点评 这篇论文瞄准了一个实际痛点：音频生成与编辑模型的碎片化。作者提出的统一框架思路清晰，将扩散Transformer（DiT）适配为统一骨架，并通过联合条件建模与因子化位置嵌入处理不同任务的输入，有一定工程巧思。然而，论文在“统一”的深度上仍有欠缺，更像一个“多任务模型”而非真正的“统一范式”。任务特定注意力掩码这一关键设计被轻描淡写，缺乏原理性论证，令人怀疑其必要性与通用性。实验部分，虽然与SOTA模型对比数据亮眼，但编辑任务数据集是人工合成的，其真实世界泛化能力存疑。此外，论文声称“可扩展性”优势，但并未提供长音频或多参考音频的验证，这一宣称显得空洞。总体而言，这是一项扎实的工程应用研究，但理论洞察和实验验证的深度（尤其在编辑任务）未能匹配其雄心勃勃的标题。 📌 核心摘要 本文针对现有音频生成（如文本到音频，TTA）与编辑任务模型相互独立的现状，提出了一个名为AudioWeave的统一模型。该模型基于扩散Transformer（DiT）骨架，无需引入额外的任务特定模块，即可处理文本到音频生成和基于指令的音频编辑（需参考音频）两大类任务。核心方法包括：1）联合条件建模：将参考音频潜在序列与目标音频潜在序列沿序列维度拼接，形成统一的音频输入流；2）因子化位置嵌入：将位置信息分解为全局序列间位置和局部序列内位置，以区分不同序列（文本、目标音频、参考音频）并保持其内部时序结构；3）渐进式多阶段训练策略：先在纯TTA数据上训练基础模型，再混合TTA与编辑数据进行微调，以缓解任务竞争与灾难性遗忘。实验表明，在TTA任务及六种音频编辑任务上，AudioWeave的性能与多种任务特定模型相当，验证了该统一框架的有效性。 ...