📄 Zero-VC: Zero-Lookahead Streaming Voice Conversion via Speaker Anonymization #语音转换 #流式处理 #生成对抗网络 6.1/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.1/10 | 前50% | #语音转换 | #生成对抗网络 | #流式处理 | arxiv 👥 作者与机构 Li Yudong, Fang Zihao, Qiu Junwen, Jing Ruihai, Shen Ruixiang, Wu Zhizheng. 机构：1. 香港中文大学（深圳） 2. 深圳湾区研究院 3. 深圳传音控股股份有限公司 4. Amphion Technology Co.,Ltd. ...
📄 QC-GAN: A Parameter-Efficient Quaternion Conformer GAN for High-Fidelity Speech Enhancement #生成对抗网络 #语音增强 #Conformer 7.1/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | #语音增强 | #生成对抗网络 | #Conformer | arxiv 👥 作者与机构 作者：Shogo Yamauchi, Hideaki Tamori, Makoto Sakai, Yosuke Yamano, Tohru Nitta 机构：The Asahi Shimbun Company, Japan; Tokyo Woman’s Christian University, Japan ...
📄 Unified Audio Generation and Editing via Joint Condition Modeling and Progressive Training #音频生成 #扩散模型 #生成对抗网络 8.7/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.7/10 | 前25% | #音频生成 | #生成对抗网络 | #扩散模型 | arxiv 👥 作者与机构 Haocheng Dong：中国科学技术大学电子工程与信息科学系、中国电信人工智能研究院（TeleAI）。 Yuheng Lu：天津大学人工智能学院认知计算与应用天津市重点实验室、中国电信人工智能研究院（TeleAI）。 Cheng Gong, Shansong Liu, Xiao-Lei Zhang, Xuelong Li：中国电信人工智能研究院（TeleAI）。 💡 毒舌点评 这篇论文瞄准了一个实际痛点：音频生成与编辑模型的碎片化。作者提出的统一框架思路清晰，将扩散Transformer（DiT）适配为统一骨架，并通过联合条件建模与因子化位置嵌入处理不同任务的输入，有一定工程巧思。然而，论文在“统一”的深度上仍有欠缺，更像一个“多任务模型”而非真正的“统一范式”。任务特定注意力掩码这一关键设计被轻描淡写，缺乏原理性论证，令人怀疑其必要性与通用性。实验部分，虽然与SOTA模型对比数据亮眼，但编辑任务数据集是人工合成的，其真实世界泛化能力存疑。此外，论文声称“可扩展性”优势，但并未提供长音频或多参考音频的验证，这一宣称显得空洞。总体而言，这是一项扎实的工程应用研究，但理论洞察和实验验证的深度（尤其在编辑任务）未能匹配其雄心勃勃的标题。 📌 核心摘要 本文针对现有音频生成（如文本到音频，TTA）与编辑任务模型相互独立的现状，提出了一个名为AudioWeave的统一模型。该模型基于扩散Transformer（DiT）骨架，无需引入额外的任务特定模块，即可处理文本到音频生成和基于指令的音频编辑（需参考音频）两大类任务。核心方法包括：1）联合条件建模：将参考音频潜在序列与目标音频潜在序列沿序列维度拼接，形成统一的音频输入流；2）因子化位置嵌入：将位置信息分解为全局序列间位置和局部序列内位置，以区分不同序列（文本、目标音频、参考音频）并保持其内部时序结构；3）渐进式多阶段训练策略：先在纯TTA数据上训练基础模型，再混合TTA与编辑数据进行微调，以缓解任务竞争与灾难性遗忘。实验表明，在TTA任务及六种音频编辑任务上，AudioWeave的性能与多种任务特定模型相当，验证了该统一框架的有效性。 ...
📄 Feature-Aligned Speech Watermarking for Robustness to Reconstruction Distortions #鲁棒性 #生成对抗网络 7.1/10 | 创新 1.7/2 | 严谨 0/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.4/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.1/10 | 前25% | #鲁棒性 | #生成对抗网络 | arxiv 👥 作者与机构 作者：Haiyun Li (1, 2), Shuhai Peng (1), Zhisheng Zhang (1), Jingran Xie (1), Xiaofeng Xie (3), Hanyang Peng (2), Zhiyong Wu (1, 2) 机构：1. 香港中文大学（深圳）; 2. 深圳大学; 3. 未在摘要中明确列出具体机构（原文中仅标注数字3）。 ...
📄 NüshuVoice: Reviving the Voice of Endangered Nüshu with Pitch-Aware Text-to-Speech #语音合成 #变分自编码器 #生成对抗网络 #低资源 #多任务学习 7/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7/10 | 前50% | #语音合成 | #变分自编码器 | #生成对抗网络 #低资源 | arxiv 👥 作者与机构 Hongkun Yang (1), Xinhui Yi (2), Xiyan Zhao (2), Yibo Meng (3), Lionel Z. Wang (2), Lixu Wang (4), Yaqi Zhang (5), Ruiqi Chen (6), Xuanyue Zhao (4), Lanxin Zhang (4), Yu Zeng (7), Weijia Chu (2), Yiming Ma (8), Chenyu Liu (2), Jianghao Lin (7), Xin Xu (2) ...
📄 A Comparison of Generative and Discriminative Methods for Speech Enhancement: Robustness, Complexity, and Hallucination #语音增强 #生成对抗网络 #扩散模型 #生成模型 8.3/10 | 创新 1.5/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8.3/10 | 前25% | #语音增强 | #生成对抗网络 | #扩散模型 #生成模型 | arxiv 👥 作者与机构 论文作者单位为德国弗劳恩霍夫通信研究所（Fraunhofer IIS）与弗里德里希-亚历山大大学埃尔朗根-纽伦堡分校（FAU）的联合机构。作者未在提供的文本中列出。 💡 毒舌点评 这篇论文本质上是一份“赛马报告”。它不发明新马，而是把市面上几种著名的马（判别式、GAN、扩散、流匹配、一致性模型）拉到同一赛道（低/高信噪比条件，匹配/失配数据），用一套相对公平的规则（统一骨干网络NCSN++，多维度指标）比了一圈。优点是比得够全、够系统，尤其是把计算复杂度（GMACs）和幻觉（WER/CER）这两个工程上的痛点拿到了台面上，这对工业界选型有直接参考价值。但它也有点“水”：所有模型都基于NCSN++这一种骨干网络进行比较，虽然保证了公平性，却也严重限制了结论的普适性——不同的生成模型（如基于U-Net的）性能可能有天壤之别。更致命的是，全文未开源任何代码或模型，对于一篇标榜“比较”和“实践指导”的论文，这简直是“只许州官放火”，让其他人无法复现和验证其结论，也失去了作为基准的最大价值。审稿人对此绝不客气。 📌 核心摘要 本研究对生成式（扩散模型、条件流匹配、一致性模型、GAN）与判别式深度学习方法在语音增强降噪任务中的表现进行了全面的实证比较。研究在多种场景（高/低信噪比、匹配/失配训练条件）下展开，并系统评估了性能、模型复杂度（GMACs、参数量）及生成式方法特有的幻觉特性（WER、CER、LPS）。核心结论如下：1）在低信噪比场景下，GAN方法在多数客观指标（尤其是PESQ、FwSegSNR）上显著优于判别式和扩散式方法；2）扩散式方法因其迭代生成过程导致计算复杂度远高于单步推理的方法（如判别式、GAN），而性能增益通常不足以抵消其高昂成本；3）GAN方法的训练收敛速度和数据效率优于扩散式方法；4）生成式方法在中等信噪比下幻觉有限，但在极低信噪比（低于-7dB）下会产生显著幻觉和虚假频谱内容。论文为研究者和实践者在语音增强方法选型上提供了基于实证的权衡依据。 🔗 开源详情 代码：论文中未提及代码链接 模型权重：论文中未提及 数据集：论文主要使用“Interspeech 2020 DNS Challenge dataset”作为训练和评估数据集，提供了获取链接：https://dns4public.github.io/dns4public/ 。低SNR评估数据集引用自 [shetu2025leveraging]。 Demo：论文中未提及 复现材料：论文中未提供具体的训练配置、检查点或附录等复现材料。 论文中引用的开源项目： Whisper (base) ASR system: 用于评估幻觉效应。链接为：https://github.com/openai/whisper JiWER toolkit: 用于计算WER和CER。链接为：https://github.com/jitsu/jiwer Interspeech 2020 DNS Challenge dataset: 论文核心使用的数据集。链接为：https://dns4public.github.io/dns4public/ SGMSE+：论文中作为扩散模型代表之一。其原始论文链接为：https://arxiv.org/abs/2208.05843，代码仓库链接未提及。 BBED：论文中作为扩散模型代表之一。其原始论文链接为：https://arxiv.org/abs/2309.11124，代码仓库链接未提及。 GALDSE：论文中作为扩散模型代表之一。其原始论文链接为：https://arxiv.org/abs/2405.05565，代码仓库链接未提及。 FlowSE：论文中作为条件流匹配模型代表。其原始论文链接为：https://arxiv.org/abs/2410.01561，代码仓库链接未提及。 SEBridge：论文中作为一致性模型代表。其原始论文链接为：https://arxiv.org/abs/2310.16812，代码仓库链接未提及。 NoCoGAN / DisCoGAN：论文中作为GAN模型代表。其原始论文链接为：https://arxiv.org/abs/2501.17348，代码仓库链接未提及。 CMGAN：论文中作为GAN模型代表。其原始论文链接为：https://arxiv.org/abs/2206.12884，代码仓库链接未提及。 DCCRN：论文中作为判别式模型代表。其原始论文链接为：https://arxiv.org/abs/2008.00264，代码仓库链接未提及。 GCRN：论文中作为判别式模型代表。其原始论文链接为：https://arxiv.org/abs/1811.02771，代码仓库链接未提及。 NCSN++：论文中用作多种方法（扩散、GAN、判别式）的骨干网络。其原始论文链接为：https://arxiv.org/abs/2011.13456，代码仓库链接未提及。 🏗️ 方法概述和架构 本文的核心是进行一项大规模实证研究，其“方法”指的是论文为实现比较目标而设计的实验框架和流程，而非提出一种新的模型架构。具体架构和流程如下： ...
📄 LiveBand: Live Accompaniment Generation in the Audio Domain #对抗训练 #自回归模型 #生成对抗网络 8/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8/10 | 前25% | #音乐生成 | #对抗训练 | #自回归模型 #生成对抗网络 | arxiv 👥 作者与机构 索尼计算机科学实验室（Sony Computer Science Laboratories, SCS Paris） 💡 毒舌点评 这篇论文瞄准了一个非常具体且困难的实际问题：如何在零前瞻（lookahead）的严格实时约束下，根据混合音频流生成伴奏。它提出的解决方案核心思想——用对抗训练替代自回归损失以消除教师强制偏差——是清晰且合理的。然而，论文的评估部分存在显著的漏洞，严重削弱了其结论的可信度。主观测试中，低质量锚点在“一致性”上的得分竟高于基线模型，这一反常结果未得到任何解释或讨论，暴露出实验设计的重大缺陷。此外，FAD等客观指标在部分配置下优于真实音频，这更可能指向评估指标的局限性或生成模式的坍塌，而非模型真的超越了人类水平，但论文对此缺乏批判性分析。在声称解决了“根本性障碍”之前，先得把自家后院的篱笆扎牢。技术细节扎实，但实验论证链条的这一环太薄弱了。 📌 核心摘要 问题背景：解决在严格因果约束和实时延迟要求下，根据实时输入的混合音频（mix）生成高质量音乐伴奏（accompaniment）的任务。传统方法依赖教师强制训练，导致训练与推理间存在分布偏移（暴露偏差），需要未来信息前瞻（lookahead）来维持一致性。 核心方法：提出LiveBand系统，它在一个预训练的因果音频自编码器（CoDiCodec的因果变体）的连续潜在空间中训练一个因果Transformer生成器。生成器每一步仅接收因果可用的混合上下文和独立高斯噪声，不接收之前生成的目标隐状态，从而在训练时即可实现与推理完全匹配的序列生成，消除了暴露偏差。对抗性训练由一个非因果的卷积判别器提供序列级监督，评估完整生成序列的真实性。 主要贡献：1. 提出首个无需未来信息前瞻的严格因果Transformer，用于实时音乐伴奏生成。2. 通过设计实现了训练与推理的完全匹配（平行掩码前向传播与自回归推理等价），无需序列回滚即可消除教师强制带来的暴露偏差。3. 提出一种自适应梯度惩罚权重（AdaGP），通过维持目标判别器优势来稳定对抗训练，减少超参数调整。 实验数据集：主要使用Slakh2100数据集的官方划分。另有一个基于约2万条非合成多轨立体声录音的内部语料库，仅用于训练一个CLAP条件变体（LiveBand_int）。 评估指标：使用Fréchet Audio Distance（FAD，VGGish和CLAP嵌入空间，↓）、节拍对齐F1分数（BA F1，↑）、COCOLA（衡量混合-伴奏一致性，包括full/harm/perc版本，↑）等客观指标，并进行了主观听音测试评估音频质量和混合一致性。同时报告了从第10秒到第20秒生成内容的指标漂移（Δ）。 主要结果：在Slakh2100基准测试上，LiveBand（包括τ=0, 0.1, 1秒前瞻）在所有客观指标上均优于自回归基线模型StreamMusicGen（SMG）。即使在τ=1秒的强前瞻设置下，LiveBand的BA和COCOLA指标仍优于SMG在τ=0（严格同步）下的表现。在20秒生成中，LiveBand表现出极低或有利的指标漂移，而SMG性能随时间下降。主观测试显示LiveBand在质量和混合一致性上显著优于SMG。在消费级硬件（RTX 3090）上，配合torch.compile，系统可实现实时推理（RTF > 1）。 代码与数据：论文提供了演示页面链接：https://sonycslparis.github.io/liveband-companion。未提供训练代码、模型权重或数据集下载链接。 资源需求：在单块RTX 3090 GPU上，使用bfloat16混合精度，训练约75万次迭代（约1周）。生成器和判别器各约1.5亿参数。 局限性：论文承认生成的音频保真度与真实音频相比仍有提升空间。实验设计（如主观测试锚点）存在可讨论的问题。 伦理考量：论文提及了该技术在作者权、对音乐家影响及潜在滥用方面的伦理问题。 🔗 开源详情 代码：论文中未提及代码链接 模型权重：论文中未提及 数据集：主要使用 Slakh2100 数据集（论文中引用了其官方 train/test split [48]）。另有一个基于约20k首非合成多轨立体声录音的内部语料库，用于训练CLAP条件变体，但该内部数据集未公开。Slakh2100 数据集是公开的，可通过其原论文或官方渠道获取。 Demo：https://sonycslparis.github.io/liveband-companion 复现材料：论文中详细描述了模型架构超参数、训练细节（如优化器设置、学习率、批大小、训练迭代次数、硬件等），但未提供具体的训练脚本、配置文件或检查点下载链接。 论文中引用的开源项目： CoDiCodec：论文中引用了其因果音频自编码器变体 [40]（“retraining a causal variant of CoDiCodec”）。未提供直接链接。 R3GAN：论文中引用了该相对论GAN框架 [24]（“We adopt R3GAN”）。未提供直接链接。 BeatThis：用于节拍对齐评估 [52]。 Madmom：用于节拍对齐评估 [53]。 COCOLA：用于衡量mix-accompaniment对齐度 [54]。 （注：论文未提供以上所有引用项目的具体URL。） 🏗️ 方法概述和架构 LiveBand系统旨在解决实时、因果的音乐伴奏生成问题，其方法核心在于消除训练与推理的不匹配，并利用序列级监督。整个系统在预训练的因果音频自编码器的连续隐空间内操作。 ...
📄 FiPA-SR – FiLM-Conditioned Perceptually Informed Audio Super-Resolution #生成对抗网络 🔥 8.1/10 | 前25% | #生成对抗网络 | #生成对抗网络 | arxiv 学术质量 5.6/7 | 影响力 1.6/2 | 可复现性 0.9/2 | 置信度 高 👥 作者与机构 作者：Wallace Abreu (PEE/COPPE, UFRJ), Luiz W. P. Biscainho (DEL/Poli & PEE/COPPE, UFRJ) 机构：巴西里约热内卢联邦大学（UFRJ）PEE/COPPE 和 DEL/Poli 系 资助：CAPES (001), CNPq (306395/2025-80), FAPERJ (E-26/204.092/2022) 💡 毒舌点评 这工作像是给AEROMambaP“打了个补丁”，但补得确实漂亮。最大的卖点不是技术多复杂，而是“效率”和“单一模型多任务”这两个实际部署中非常痛点的解决。实验数据很硬，效率提升两个数量级，这是实打实的工程价值。但作者的野心似乎和贡献有点脱节：声称解决了多带宽问题，但实验只选了三个带宽点，像是为了证明概念而非全面覆盖。最可惜的是，作为一篇强调“感知”的论文，却没有像样的主观听音测试，这就像厨师不让人尝菜只让人看营养成分表一样，说服力打折。另外，和AudioSR比有点“田忌赛马”的意思，人家用大规模数据训练的，你拿自己小数据集上的表现去比，虽然作者声明了，但比较的公平性依然存疑。 📌 核心摘要 本文提出了FiPA-SR，一种基于GAN的音频超分辨率模型，能够通过FiLM（Feature-wise Linear Modulation）条件层，在单一模型框架下处理多种不同输入采样率的带宽扩展任务。该模型在AEROMambaP架构上增加了FiLM层，利用归一化的输入采样频率作为条件向量来调制网络特征，使模型能自适应不同带宽下的重建任务。在MUSDB音乐数据集上的实验表明，FiPA-SR在LSD和ViSQOL指标上一致优于强基线AudioSR（一个扩散模型），同时GPU显存占用减少约3倍，推理速度提升超过60倍。消融研究证明，FiLM层是模型处理多带宽能力的关键，尤其在低采样率（8， 20 kHz）下能有效消除频谱不连续性。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及模型权重链接。 数据集：论文中使用了公开的 MUSDB 数据集。该数据集包含150首完整音乐曲目及其分轨（drums, bass, vocals, other），总时长约10小时，采样率44.1 kHz，格式为WAV立体声。训练集100首，测试集50首。论文未提供直接下载链接，但指出该数据集公开可用。 Demo：论文中未提及在线演示。 复现材料：论文未提供预训练模型或复现脚本。但在表1中详细列出了关键训练参数（窗口大小、跳长、优化器、学习率、损失权重等），为复现训练过程提供了核心信息。 论文中引用的开源项目/工具： MUSDB 数据集：标准音频分离数据集。 AEROMamba_P：本文的前置架构。 Mamba：作为核心序列建模模块。 PAQM：用于损失计算的感知音频质量度量。 ViSQOL：作为主要的客观评估指标。 MelGAN：判别器架构的基础。 🏗️ 方法概述和架构 FiPA-SR是一个端到端的生成对抗网络（GAN），其核心是条件化的U-Net生成器和多尺度判别器。 ...
📄 Archon: A Unified Multimodal Model for Holistic Digital Human Generation #多模态模型 #扩散模型 #无监督学习 #生成对抗网络 #数据增强 #语音识别 ✅ 7.5/10 | 前50% | #语音合成 | #生成对抗网络 | #多模态模型 #扩散模型 | arxiv 学术质量 5.5/7 | 影响力 1.5/2 | 可复现性 0.5/2 | 置信度 中 👥 作者与机构 论文作者: Chong Bao, Shichen Liu, Lijun Yu, David Futschik, Stylianos Moschoglou, Shefali Srivastava, Ziqian Bai, Feitong Tan, Guofeng Zhang, Zhaopeng Cui, Sean Fanello, Yinda Zhang 发表场合/期刊: arXiv: 2605.30311 研究领域: 计算机视觉、多模态学习、数字人生成 💡 毒舌点评 这篇论文的野心足以撑爆一个顶会，试图用一个模型吞下数字人的所有模态——文本、语音、动画、视频。架构图和“模态思维”的概念确实画了一张好饼，让人眼前一亮。然而，现实很骨感。最硬的伤在可复现性：核心组件依赖闭源的PaLM2和未公开的海量私有数据集，这对于绝大多数研究者而言意味着“看得到，摸不着”。其次，实验评估严重偏科，号称支持72个任务，但主要定量评估只集中在语音驱动视频生成这一两个任务上，其他几十个任务的能力更像是“口头支票”。那个听起来高大上的“模态思维”策略，本质上是一种推理时的链式分解，却缺乏理论解释其为何有效，更像是一种工程上的trick。总体而言，这是一篇方向正确、架构有想法的系统论文，但其科学贡献被工程壁垒和不充分的验证所削弱，难以被认定为一个扎实的里程碑工作。 ...
📄 Hidden in Plain Tokens: Simply Robust, Gradient-Free Watermark for Synthetic Audio #语音合成 #语音转换 #生成对抗网络 #对比学习 #扩散模型 #多任务学习 🔥 10/10 | 前25% | #语音合成 | #生成对抗网络 | #语音转换 #对比学习 | arxiv 学术质量 6.5/7 | 影响力 2/2 | 可复现性 1.5/2 | 置信度 高 👥 作者与机构 Georgios Milis, Yubin Qin, Yihan Wu, Heng Huang。论文未明确提及作者所属机构。 💡 毒舌点评 本文提出了一种思路精巧且理论扎实的音频水印方法，其核心贡献在于发现了重标记化错误的结构性并利用图社区检测来缓解，实现了“无梯度训练”下的显著性能提升，这在当前需要白盒微调的解决方案中是一股清流。然而，审稿人认为其评估存在明显偏科和不足：1）对音频质量影响的评估深度不足，仅报告了FAD和预测MOS，缺乏如PESQ、STOI或主观听测（如ABX测试）等更全面的音频质量客观指标和人类评估，尤其是在声称“对生成质量影响微小”时，说服力有限。2）对“语义相邻”的假设和聚类结果缺乏深入分析，论文观察到错误具有结构性，但未提供任何可视化或量化证据（如混淆矩阵热图、聚类可视化）来向读者直观展示这种“语义相邻”到底是什么样子，以及Leiden算法究竟聚出了什么样的集群。3）局限性讨论可以更深入，例如，方法依赖于对特定编解码器进行离线聚类，当编解码器版本更新或部署环境变化时，聚类可能失效，如何维护？此外，将令牌聚类为簇，本质上是降低了水印的“分辨率”和熵，这可能在更长的上下文或更复杂的模型中带来新的、未被探讨的统计特性（如检测p值的分布变化）。4）实验比较的选择性，主要对比了Base和WMAR，但缺少与同属“训练无关”范畴的、其他可能的令牌聚类或特征空间对齐方法的比较，削弱了结论的普适性。 📌 核心摘要 本文针对自回归音频生成模型中令牌级水印因重标记化错误而失效的问题，提出了一种新颖的、梯度无关的解决方案。核心思想是：观察到重标记化错误并非随机，而是将令牌混淆为少量“语义邻居”，这种结构性冗余可以通过图社区检测算法（Leiden）发现并利用。方法将音频编解码器的令牌词表建模为图，边权为混淆概率，然后运行社区检测算法得到“令牌簇”。水印机制（基于KGW）在簇级别而非原始令牌级别上实施，从而对重标记化噪声变得鲁棒。理论分析量化了令牌匹配率\(r\)和簇匹配率\(r_{cl}\)对水印检测统计量\(\mathbb{E}[z|H_1]\)的指数级影响。在Moshi（Mimi编解码器）和MusicGen（EnCodec）上的全面实验表明，该方法在检测性能上比基线（包括微调编解码器的WMAR方法）提高了数个数量级，对常见的音频处理攻击（如滤波、压缩、时移）保持强鲁棒性，且对音频质量（FAD、预测MOS）影响较小。此外，该方法在CosyVoice3和Spark-TTS等基于流匹配的文本转语音模型上也验证了有效性。 🔗 开源详情 代码：提供项目主页链接：https://g-milis.github.io/projects/nograd-audio-wm.html，用于发布音频样本和代码。 模型权重：论文中未提及。 数据集：实验使用了开源数据集LibriSpeech、MusicCaps、Free Music Archive和LibriTTS，但未在论文中提供具体下载链接。 Demo：论文中未提及。 复现材料：论文在附录E (Experimental Details) 中提供了详细的复现信息，包括： 构建词汇缩减所用音频数据集（Mimi/TTS用LibriSpeech开发集，EnCodec用MusicCaps）。 聚类超参数网格搜索过程（分辨率\(\rho\)和噪声阈值\(m\)）。 最终选定的超参数（表8）。 水印参数（\(\gamma, \delta, h\), 生成长度）。 各种鲁棒性攻击的具体设置（滤波器截止频率、噪声标准差、MP3比特率、时移比例、裁剪比例等）。 论文中引用的第三方开源项目（论文正文仅提及名称，未提供具体链接）：Mimi, MusicGen, EnCodec, Leiden, Louvain, Whisper, WMAR, CosyVoice3, Spark-TTS, FaCodec, SpeechTokenizer, DAC, LibriSpeech, MusicCaps, Free Music Archive, LibriTTS。 🏗️ 方法概述和架构 本文方法的核心架构是一个两阶段的离线准备与在线水印方案，其设计动机是解决令牌级水印在连续模态（如音频）中因重标记化（retokenization）不一致导致的鲁棒性崩溃问题，且完全不依赖于梯度信息或对编解码器进行微调。 ...