生成模型

📄 C2GA: A Class-Controllable Generative Augmentation Framework for Respiratory Sound Classification #音频分类 #数据增强 #生成模型 7.3/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.3/10 | 前50% | #音频分类 | #变分自编码器 | #数据增强 #生成模型 | arxiv 👥 作者与机构 作者：Ziqi Ma, Mengyu Han, Anteng Cai, Zhanchong Liu, Bowen Feng, Hang Yu, Sheng Hu 机构：上海大学计算机工程与科学学院；西交利物浦大学创业与技术学院（太仓）人工智能与先进计算学院；大阪大学情报科学研究科 💡 毒舌点评 这篇论文工作量扎实，试图用离散表示和Transformer来解决呼吸音分类这个老大难问题。动机清晰，痛点抓得准，方法设计也算精巧，特别是那个“原型融合”的想法。但作者在讲故事时，有些关键的“证据链”断了。你说你的方法“临床有效”，请问有医生背书吗？生成的湿啰音，是能骗过老中医还是能骗过听诊器？另外，实验都在自家精心清洗过的数据集上，这就像在无尘车间里测试防尘口罩——看起来很美好，但离真实世界的“脏乱差”还有多远？最后，代码、数据、权重，三无产品，让想复现的同行只能对着公式空想。总之，是个不错的工作，但离“临床可用”和“广泛可复现”的终点，还有好几公里的坑要填。 ...

📄 Diffusion-Based Heart Sound Generation: Evaluation with Physiological Signal Metrics, Classifiers, and Expert Listening #语音合成 #扩散模型 #生成模型 7.1/10 | 创新 1/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | #语音合成 | #扩散模型 | #生成模型 | arxiv 👥 作者与机构 Xinqi Bao: KTH Royal Institute of Technology, Stockholm, Sweden; Karolinska Institutet (KI), Stockholm, Sweden Jia Bi: Rutherford Appleton Laboratory, United Kingdom Xin Chen: Peng Cheng Laboratory, China Ernest Nlandu Kamavuako: King’s College London, United Kingdom Saikat Chatterjee: KTH Royal Institute of Technology, Stockholm, Sweden ...

📄 SegTune: Structured and Fine-Grained Control for Song Generation #音乐生成 #生成模型 #多模态模型 #数据增强 #参数高效微调 8.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 8.5/10 | 前25% | #音乐生成 | #数据增强 | #生成模型 #多模态模型 | arxiv 👥 作者与机构 Yuejiao Wang, Zihao Ji, Pengfei Cai, Xu Li, Haorui Zheng, Zewen Song, Zhongliang Liu, Chen Zhang, Pengfei Wan。机构为Kling Team, Kuaishou Technology；University of Science and Technology of China；Peking University。论文在Kuaishou Technology的Kling Team实习期间完成。 ...

📄 Local Diagnostics of Continuous Normalizing Flow for Out-of-Distribution Detection #语音合成 #生成模型 8.1/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1.0/1.5 | 复现 0.5/0.5 | 工程 1.0/1.5 🔥 8.1/10 | 前50% | #语音合成 | #生成模型 | arxiv 👥 作者与机构 Xinwei Cao, Mengxuan Lu, Torbjørn Svendsen, Giampiero Salvi。作者机构包括：挪威科技大学电子系（NTNU）与清华大学。 💡 毒舌点评 这篇论文的“拉格朗日子流”和“运动学密封”概念包装得挺花哨，本质上是在CNF中通过掩码对子空间向量场进行“外科手术式”的截断，以期获得更干净的诊断信号。想法有一定启发性，理论推导也算自圆其说。然而，实验部分堪称“单点支撑”：所有验证都局限在“语音发音错误检测”这一个任务、CMU Kids这一个小数据集上，且与SOTA判别方法（GOP-CTC-SF，AUC=0.915）的性能差距巨大（本文最好AUC=0.738）。论文声称“可与传统判别模型方法相当”，但这仅在与过时的GMM基线对比时成立，在顶会语境下这种claim显得底气不足。方法的核心优势——规避全局耦合——是否在其他领域（如图像）成立，完全是一个未解之谜。此外，论文将流匹配的“直线路径”假设作为几何度量的基础，但未深入分析该假设的普适性。整体而言，这是一篇有初步想法、但验证严重不足的工作，更像一篇领域内的初步探索报告，距离证明一个通用、强大的OOD检测方法还有很长的路要走。 📌 核心摘要 本文针对高维数据中目标观测嵌入子空间的分布外检测问题，提出了一种基于连续归一化流（CNF）的拉格朗日子流（LSF）框架。该框架通过“运动学密封”（Kinematic Sealing）隔离目标子空间的动力学，以分析其局部轨迹，从而规避全局流耦合带来的“维间密度泄漏”（inter-dimensional density leakage）干扰。论文进而定义了基于速度场和子流雅可比矩阵轨迹的几何诊断信号（如DISP, COS），并应用于CNF生成模型的“似然悖论”问题。在基于CNF的语音合成模型（F5-TTS）上的零样本音素级发音错误检测任务中，所提出的几何度量（如GOP-COS）在相对度量下表现出优于传统基于似然度量的性能，并接近但未超越基于判别模型的基线方法。 🔗 开源详情 代码：论文未提供作者代码仓库的链接。 模型权重：使用了公开预训练模型 F5-TTS，具体检查点为 F5TTS_v1_Base/1250000，可在 HuggingFace Hub 获取（https://huggingface.co/F5-TTS）。 数据集：使用了 CMU Kids 数据集（CMU Kids corpus），为公开语音数据集。 复现材料：论文在附录中提供了详细的实验设置： 模型：F5-TTS，检查点 F5TTS_v1_Base/1250000。 强制对齐工具：使用 Kaldi 训练的单音素强制对齐器。 ODE求解器：Euler方法，32步积分。 采样策略：摆动因子 SF=-1，禁用分类器自由引导（CFG）。 硬件环境：AMD Ryzen Threadripper 3960X CPU, 126 GB RAM, 2x NVIDIA GeForce RTX 3090 GPUs。 度量定义：所有MDD指标的数学定义及相对版本计算方法在附录B中给出。 引用的开源项目： F5-TTS：https://github.com/SWivid/F5-TTS Kaldi：https://github.com/kaldi-asr/kaldi PyTorch：https://github.com/pytorch/pytorch diffusions library：https://pypi.org/project/diffusions/ 🏗️ 方法概述和架构 本文提出的“拉格朗日子流（LSF）框架”旨在对预训练CNF生成模型进行事后（post-hoc）的局部诊断分析，以进行子空间OOD检测。其核心架构和组件如下： ...

📄 Audio Pirates: Black-box Audio Watermark Removal via Diffusion Priors #扩散模型 #生成模型 ✅ 7.4/10 | 前25% | #扩散模型 | #生成模型 | arxiv 学术质量 4.3/7 | 影响力 1.5/2 | 可复现性 1.6/2 | 置信度 高 👥 作者与机构 Lingfeng Yao (University of Houston)，Xincong Zhong (University of Houston)，Chenpei Huang (University of Houston)，Xuandong Zhao (Tsinghua University)，Hanqing Guo (University of Houston)，Aohan Li (University of Houston)，Jiang Liu (Nanjing University of Posts and Telecommunications)，Tomoaki Ohtsuki (Keio University)，Miao Pan (Texas A&M University) ...

📄 Unified Synthesis of Compositional Speech and Sound from Free-Form Text Prompts #语音合成 #多任务学习 #自回归模型 #生成模型 #对比学习 #多模态模型 #数据增强 🔥 8/10 | 前25% | #语音合成 | #多任务学习 | #自回归模型 #生成模型 | arxiv 学术质量 6/7 | 影响力 1.5/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 第一作者：Yuyue Wang（中国人民大学） 通讯作者：Xihua Wang（中国人民大学） 机构：中国人民大学 💡 毒舌点评 一篇动机明确、架构清晰的工作，定义了‘自由文本到统一音频生成’这一有潜力的任务，并提出了一个不错的解决方案。然而，如同许多初次尝试定义新任务的工作，其‘统一’的光环在实验部分略显褪色。基线选择过于保守，仅与较早的VoiceLDM和流水线方法对比，对近期涌现的AudioBox、Fugatto等强力竞争对手视而不见，这让其‘优越性’的宣称打了折扣。实验部分更像是精心设计的‘能力展示’而非公平‘竞技场’，尤其是主观评估样本量仅50个，说服力有限。论文的‘未来工作’比‘当前工作’更有吸引力。整体是一篇扎实但不够大胆的论文，创新有余，验证不足。 📌 核心摘要 本文针对“自由文本提示生成统一音频”这一新任务，提出了PlanAudio框架。该任务旨在直接从自然语言提示合成包含语音、音效及其复合交互的统一音频流。PlanAudio是一个基于自回归LLM的统一模型，其核心创新是引入“语义潜在思维链”机制，在连续语义空间进行隐式规划，以桥接高语义理解与低层声学生成。模型采用单一Transformer骨干，直接处理文本，无需外部文本编码器或重写模块。作者还构建了专用的复合音频评估基准PlanAudio-Bench。实验表明，PlanAudio在复合场景下优于基线方法，并在单独音效和语音任务上保持竞争力。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及模型权重的公开链接。 数据集：论文中提及基于以下公开数据集构建训练数据，并合成了新的基准数据集。具体获取方式如下： AudioSet: 论文用于合成复合音频数据，未提供数据集本身的直接链接。 AudioCaps: 论文用于声音生成评估，未提供链接。 WavCaps: 论文用于声音生成，未提供链接。 LibriTTS: 论文用于语音生成评估，未提供链接。 PlanAudio-Bench：论文中提出的新基准测试集，论文中未提及公开获取链接。 Demo：论文中未提及。 复现材料：论文中未提及训练配置、检查点等复现材料的公开链接。 论文中引用的开源项目： Qwen2.5-1.5B: 作为模型初始化的基础LLM。 链接: https://huggingface.co/Qwen/Qwen2.5-1.5B AudioCraft tokenizer: 用于将音频离散化为分层标记。 链接: https://github.com/facebookresearch/audiocraft AF3Encoder (Audio Flamingo 3 Encoder): 用于提取语义表示。 论文中未提供具体链接。 Whisper: 用于生成转录。 论文中未提供具体链接。 Gemini-2.5 Pro: 用于数据标注和文本改写。 论文中未将其列为开源项目。 🏗️ 方法概述和架构 PlanAudio是一个端到端的自回归LLM框架，旨在直接从自由形式文本提示生成包含语音和音效的统一音频波形。其核心架构（如图2所示）基于单一Transformer骨干（初始化自Qwen2.5-1.5B），将文本、潜在规划特征和离散音频token组织成一个统一序列进行处理。 ...

📄 From Scores to Gibbs Correctors: Accelerating Uniform-Rate Discrete Diffusion Models #理论分析 #生成模型 #音乐生成 ✅ 6.9/10 | 前50% | #语音合成 | #理论分析 | #生成模型 #音乐生成 | arxiv 学术质量 5.9/7 | 影响力 0.5/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 Yuchen Liang, Ness Shroff, Yingbin Liang The Ohio State University 💡 毒舌点评 一篇理论野心勃勃但实验相对“保守”的论文。核心贡献——将离散扩散模型的采样复杂度从多项式降至对数多项式——无疑是扎实且漂亮的。GADD算法的设计思路（利用分数函数构建Gibbs后验）确实巧妙。然而，作者似乎将大部分精力倾注于理论证明，而在实验验证上略显吝啬：仅用了\(d=128\)的小模型和有限数据集，便急于宣称“practical advantages”。工程上采用的“并行Gibbs”和“选择性更新”等启发式策略，虽然提升了墙钟时间，却缺乏理论依据，让人质疑在更复杂、更大规模的现实场景（如长文本生成）中是否依然有效。此外，与同期更先进的高阶方法（如[18]的Ψ-samplers）对比不足，使得“SOTA”的宣称略显单薄。总的来说，这是一篇理论漂亮的“半成品”，其工程实践潜力仍需更大规模的实验来证伪或证实。 📌 核心摘要 本文针对均匀速率离散扩散模型采样步骤多的问题，提出了首个达到\(O(\mathrm{polylog}(\varepsilon^{-1}))\)采样复杂度的加速算法——Gibbs加速离散扩散（GADD）。GADD的核心是利用已训练的分数函数直接构建Gibbs校正器所需的条件后验分布，无需额外训练。理论分析引入了一个新的归纳框架，用于分析预测-校正方法中的误差传播。实验在合成数据、文本和音乐生成任务上验证了GADD在相同计算预算（NFE）下样本质量更优、墙钟时间更短的优越性，尤其在处理“尖锐”分布时表现突出。论文同时利用该框架分析了CTMC校正器，证明了其收敛率仅为\(O(\mathrm{poly}(\varepsilon^{-1}))\)。 🔗 开源详情 代码：论文未提及代码开源。 模型权重：论文未提及模型权重开源。 数据集： WikiText-103：用于文本实验，论文未提供直接链接。 Lakh pianoroll 数据集：用于音乐实验，论文引用出处[34]并提供DOI：10.1109/AAAI.2018.00837。 Demo：未提及。 复现材料：论文在附录C中详细提供了实验配置，包括合成数据生成细节、文本模型训练参数（SEDD Uniform，\(d=128\), \(S=50257\), 学习率\(3\times10^{-3}\), 训练111K步）、GADD超参数（\(L_k=40\)）以及音乐实验的预训练模型来源[44]和评估细节。但未提供预训练检查点或复现脚本的下载链接。 论文中引用的开源项目：未提及。 🏗️ 方法概述和架构 GADD算法（Algorithm 1）采用经典的预测-校正（Predictor-Corrector）两阶段循环框架，针对均匀速率离散扩散模型的逆向采样过程进行加速。 ...

📄 Hidden in Plain Tokens: Simply Robust, Gradient-Free Watermark for Synthetic Audio #音频水印 #语音合成 #音乐生成 #鲁棒性 #生成模型 ✅ 6.2/10 | 前25% | #音频水印 | #语音合成 | #音乐生成 #鲁棒性 | arxiv 学术质量 4.1/7 | 影响力 1.6/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 Georgios Milis, Yubin Qin, Yihan Wu, Heng Huang。机构未在提供的原文中明确说明，仅提供项目主页。 💡 毒舌点评 这篇论文的核心idea——用社区检测聚类来对抗重标记化噪声——确实优雅且有效，抓住了问题的本质。作者声称的“Simply Robust”在抵抗重编码噪声和信号处理攻击上得到了有力验证。然而，对于社交媒体上常见的时序修改（裁剪、变速）束手无策，仅给出“线性搜索”等后处理建议，这更像是承认而非解决了一个核心部署短板。理论部分假设条件独立性虽然可理解，但与实际的帧间依赖存在差距，导致理论与经验z分数存在偏差，削弱了理论的普适说服力。超参数(ρ, m)严重依赖网格搜索，谈不上“即插即用”，泛化性存疑。总体而言，它为连续模态的令牌水印提供了一个出色且实用的新范式，但离一个完美的、无短板的解决方案还有距离。 📌 核心摘要 本文针对自回归音频生成模型中，因编解码器重标记化不一致导致的令牌级水印信号衰减问题，提出了一种新颖的、梯度自由的解决方案。核心思想是，将编解码器词汇表中频繁混淆的令牌视为语义相近的邻居，通过构建令牌混淆图并应用Leiden社区检测算法，将原始词汇蒸馏为更鲁棒的集群词汇表。水印的偏差（如KGW中的绿色列表）在集群层面而非令牌层面进行应用。该方法仅需黑盒访问编解码器，在Moshi（对话）、MusicGen（音乐）、CosyVoice3和Spark-TTS（文本到语音）等多种模型与任务上进行了评估。实验表明，该方法将水印的可检测性（\(-\log p\)值）提升了数个数量级，且在信号处理、编解码器转码等多种攻击下表现出显著增强的鲁棒性，同时对生成音频质量的影响与基线方法相比不显著。论文还从统计角度分析了重标记化对检测性的指数衰减影响，并证明了集群匹配率 \(r_{cl} > r\) 能有效缓解此衰减。 🔗 开源详情 代码：论文提供了一个项目主页链接，其中包含实验代码：https://g-milis.github.io/projects/nograd-audio-wm.html 模型权重：未提供。论文使用了现有的开源模型（Moshi, MusicGen, CosyVoice3, Spark-TTS）进行实验，但未提供微调或聚类后的权重下载链接。 数据集：提供了获取链接。 LibriSpeech：https://www.openslr.org/12 (用于Moshi提示和聚类) MusicCaps：https://paperswithcode.com/dataset/musiccaps (用于MusicGen聚类) Free Music Archive & LibriTTS：论文提及但未提供直接链接，可在 https://freemusicarchive.org/ 和 https://openslr.org/60/ 获取 (用于微调MusicGen的编解码器)。 Demo：未提及在线演示链接。 复现材料：论文在附录E (Experimental Details) 中提供了详细的实验设置，包括：用于聚类的音频数量、水印参数 (\(\gamma=0.25\)， \(\delta\) 在不同模型取值)，生成长度，攻击套件的具体参数，以及关键的集群超参数选择表（表8）。 引用的开源项目：Leiden算法， Mimi/EnCodec编解码器， MusicGen/CosyVoice3/Spark-TTS模型， WMAR基线方法， DAC/SpeechTokenizer/FaCodec编解码器， NISQA/DNSMOSPro/FAD等评估工具。 🏗️ 方法概述和架构 该方法的核心目标是提升令牌级水印在音频生成模型中对重标记化噪声的鲁棒性，且无需微调解码器（梯度自由）。整体架构可分为离线词汇蒸馏和在线集群级水印两个阶段。 ...

📄 Ultra-Low-Bitrate Mel-Spectrogram-based Neural Speech Coding with Flow-Matching-based Refinement and Vocoding-driven Reconstruction #语音编码 #条件流匹配 #生成模型 🔥 9.9/10 | 前25% | #语音编码 | #条件流匹配 | #生成模型 | arxiv 学术质量 6.5/7 | 影响力 1.6/2 | 可复现性 1.8/2 | 置信度 高 👥 作者与机构 作者：Hui-Peng Du, Yang Ai, Xiao-Hang Jiang, Yuan Tian, Zhen-Hua Ling 机构：中国科学技术大学，语音及语言信息处理国家工程研究中心 资助：国家自然科学基金 (Grant 62301521) 通讯作者：Yang Ai 💡 毒舌点评 说声码器轻量，但Table IV里HiFi-GAN吃掉了88.7%的GFLOPs。这就像说自己造的发动机省油，但没提整车油耗大头是轮胎摩擦力。 245小时训练数据 vs. FocalCodec的586小时，然后声称公平比较。这好比用校队训练量去挑战省队，赢了也得打个问号。 论文花大量篇幅论证在250 bps下的“优势”，但Table I中BigCodec在16kHz的NMOS（3.74）其实略高于FMelCodec（3.72），SMOS（3.17）则低于FMelCodec（3.51）。所谓“持平或优于”的结论需要更精确的限定。 48kHz实验中，FMelCodec在几乎所有指标上都优于BigCodec，但后者参数量是其6倍。论文对此“效率-质量”权衡的讨论显得轻描淡写，反而用大篇幅对比更弱的基线。 完全忽略流式处理，却大谈“卫星通信”等应用前景。对于实时通信，延迟是硬约束，这个框架目前根本无法满足。 📌 核心摘要 论文主题：提出FMelCodec，一种基于梅尔频谱图的三阶段（编码-精修-重构）超低比特率神经语音编码框架。 核心方法：在梅尔域进行激进压缩（单码本VQ），通过条件流匹配（CFM）精修被量化的梅尔图，最后用HiFi-GAN声码器重建波形。关键技术包括在线聚类VQ（OC-VQ）和自一致性CFM训练。 主要创新：1）将编码目标推向250 bps（16kHz）的极低水平；2）OC-VQ有效解决单码本VQ的码本坍塌问题；3）提出自一致性损失，使CFM推理仅需4步ODE求解。 实验设置：在16kHz的LibriTTS和48kHz的VCTK数据集上，将FMelCodec与多种代表性基线（波形域、谱域、SSL域）在匹配比特率及更高比特率下进行全面对比。 实验结果：在超低比特率下，FMelCodec在重建质量（NMOS, ViSQOL）和说话人相似性（SMOS）方面均优于或持平于大多数基线，同时保持较低的模型复杂度（27M参数）。在48kHz下，其性能接近或优于复杂度高得多的BigCodec。 潜在用途：适用于带宽受限场景（如卫星、物联网）的语音通信与压缩。论文也指出其作为“语音作为智能体通信接口”中音频编解码器的潜力。 计算复杂度：核心编码与精修模块（\(\phi_{\text{cod}}\) 和 \(\phi_{\text{ref}}\)）的总GFLOPs仅占系统约11%，但声码器 \(\phi_{\text{voc}}\) 占据了88.7%的计算量。整体RTF为0.022（约44.8倍实时）。 代码与数据：提供了完整的代码、预训练模型和Demo页面。 🔗 开源详情 代码：https://github.com/redmist328/FMelCodec 模型权重：检查点（Checkpoints）可从上述代码仓库获取。 数据集：LibriTTS（16 kHz）、VCTK（48 kHz）。论文描述了实验中使用的子集和划分方式，但未提供下载链接。 Demo：https://redmist328.github.io/FMelCodec 复现材料：论文中详细描述了三个阶段的模型架构、超参数配置和训练流程（Section III & IV-B），提供了足够的信息进行复现。代码仓库应包含完整实现。 论文中引用的开源项目： HiFi-GAN：https://github.com/jik876/hifi-gan ConvNeXt v2：论文引用文献[44]，未提供独立链接。 DAC：https://github.com/descriptinc/descript-audio-codec BigCodec：https://github.com/Aria-K-Alethia/BigCodec WavTokenizer：https://github.com/jishengpeng/WavTokenizer FlowDec：https://github.com/facebookresearch/FlowDec FocalCodec：https://github.com/lucadellalib/focalcodec SemantiCodec：https://github.com/haoheliu/SemantiCodec-inference 🏗️ 方法概述和架构 FMelCodec采用三阶段“编码-精修-重构”（CRR）框架，所有操作均在梅尔频谱图域进行。 ...

📄 Diffusion Domain Expansion: Learning to Coordinate Pre-trained Diffusion Models #扩散模型 #生成模型 #模型融合 #迁移学习 ✅ 7.4/10 | 前50% | #扩散模型 | #生成模型 | #模型融合 #迁移学习 | arxiv 学术质量 5.4/7 | 影响力 1.2/2 | 可复现性 0.8/2 👥 作者与机构 Egor Lifar, Semyon Savkin, Timur Garipov, Shangyuan Tong, Tommi Jaakkola. 💡 毒舌点评 这篇论文做了一件工程上很“讨巧”的事情：面对预训练扩散模型能力有限的痛点，它没有选择“炼更大力的丹”（训练更大模型），而是“雇了个小工”（轻量协调器）来指挥一堆“小模型”干活。想法直观，实验也算扎实，覆盖了音频和图像。但仔细一想，这个“协调器”本质上是在学一个“如何更好地做拼接”的策略。虽然它展示了从L_train泛化到L_test > L_train的能力，这确实是个亮点，但论文对“为什么能泛化”以及“泛化的边界在哪”缺乏理论层面的探讨，让人感觉有点知其然不知其所以然。此外，实验虽然跨领域，但核心场景（时间轴拼接、空间条件拼接）相对单一，未能展示在更复杂协调任务（如跨模态、异构模型协调）上的威力。开源情况约等于零，给复现带来了不必要的障碍。 📌 核心摘要 本文提出了扩散域扩展（DDE），一种通过训练一个轻量级、参数高效的协调器（基于ViT架构）来扩展预训练扩散模型生成能力的方法。该协调器学习协调多个预训练模型在重叠区域上的去噪输出，生成更大尺寸或更复杂条件的对象。论文的关键贡献在于展示了协调器可以泛化到训练时未见过的更大生成规模。实验在长音轨生成、多条件图像生成和卫星地图条件图像生成三个任务上进行，结果表明DDE在多项指标上优于MultiDiffusion等基线方法。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及。 数据集： Slakh2100（音乐生成）：论文引用了该数据集（Manilow et al., 2019），但未直接提供下载链接。 CLEVR（条件图像生成）：论文引用了该数据集（Johnson et al., 2016），但未直接提供下载链接。 卫星图像数据集：论文中指出该数据集是作者使用 Google Maps API 收集并处理的（见 B.3.1 节），但未公开数据集链接或提供获取方式。 Demo：论文中未提及。 复现材料：论文的附录 B 详细提供了所有实验的配置、模型架���细节、超参数设置以及采样器信息，构成了完整的复现指南。 论文中引用的开源项目： denoising_diffusion_pytorch：论文在 B.2.3 节和 B.3.2 节中提及使用了该库的 UNet 架构（标注为“denoising_diffusion_pytorch (url)”），但未提供具体 URL。 EDM (Karras et al., 2022)：论文在附录开头提及使用 EDM 框架进行训练和采样。其代码通常可在此仓库获取：https://github.com/NVlabs/edm。论文中提到“imported from the code provided by (Karras et al., 2022)”。 RoPE (Rotary Position Embedding, Su et al., 2023)：论文在 3.2 节和 B.3.4 节中描述使用了 RoPE 进行位置编码。原始实现通常与 LLaMA 等模型相关，论文未提供具体代码链接。 🏗️ 方法概述和架构 DDE方法的核心思想是将一个大型生成任务分解为多个小任务，利用现有的预训练扩散模型处理每个小任务，然后通过一个可训练的协调器网络来整合这些独立模型的输出，以生成全局一致的结果。 ...

📄 CounterFlow: A Two-Phase Inference-Time Sampling for Counterfactual Video Foley Generation #音频生成 #流匹配 #音视频 #生成模型 #模型评估 🔥 8.7/10 | 前50% | #音频生成 | #流匹配 | #音视频 #生成模型 | arxiv 学术质量 5.6/7 | 影响力 1.5/2 | 可复现性 1.6/2 | 置信度 高 👥 作者与机构 第一作者：Gyubin Lee（Kim Jaechul Graduate School of AI, KAIST） 通讯作者：未明确说明（论文中作者列表无明确标注，但通常最后一位作者为通讯作者） 作者列表：Gyubin Lee（Kim Jaechul Graduate School of AI, KAIST）、Junwon Lee（Kim Jaechul Graduate School of AI, KAIST）、Juhan Nam（Kim Jaechul Graduate School of AI, KAIST；Graduate School of Cultural Technology, KAIST） 💡 毒舌点评 亮点：论文精准定义了“反事实视频拟音”这一具体且有工业需求的任务，并提出了一个无需重新训练、仅在推理时操作的轻量级解决方案。核心的两阶段采样设计思路清晰，分解引导公式（Eq.1）有效对抗视觉主导问题，实验在精心构建的冲突数据集上明确证明了其优越性。短板：实验的基线对比虽然包含了SOTA方法（CAFA），但本质上仍是现有技术组件的巧妙组合，缺乏在模型架构或训练范式上的根本创新。对“视觉特征如何编码声音身份信息”这一核心假设的分析主要依赖间接证据（消融实验），缺乏更深入的探讨。 ...

📄 Music of Changing Lines: Toward a Culturally Situated Approach to the I-Ching #音乐生成 #大语言模型 #生成模型 #交互设计 #文化计算 📝 5.5/10 | 前50% | #音乐生成 | #生成模型 | #大语言模型 #交互设计 | arxiv 学术质量 4.1/7 | 影响力 0.5/2 | 可复现性 0.8/2 | 置信度 高 👥 作者与机构 第一作者：Ling Qi（未说明机构） 通讯作者：未明确说明 作者列表：Ling Qi（未说明）、Aleksandra Teng Ma（未说明）、Alexandria Smith（未说明） 💡 毒舌点评 亮点：论文提出了一个概念上有趣且具有批判性的框架，旨在纠正西方实验音乐（以Cage为代表）对《易经》的简化利用，通过构建一个将完整占卜仪式转化为参与式声音体验的系统，试图恢复其文化语义与过程性。短板：技术实现严重缺乏原创性和深度，完全依赖Google的商业API（Gemini, Lyria）和简单的规则化音序生成，未提出任何新的算法或模型。更致命的是，全文没有任何形式的用户研究或效果评估实验，使得其“提升参与感与意义感”的核心主张沦为空谈，学术严谨性严重不足。 📌 核心摘要 要解决什么问题：解决西方实验音乐（如John Cage）在借用《易经》时，仅将其作为随机数生成器，而剥离其文化语义、仪式过程和哲学解释的问题。 方法核心是什么：构建一个名为“Music of Changing Lines”的Web交互系统，将《易经》占卜（文王卦）的全流程（提问、投币、解卦）转化为一个参与式声音仪式。系统利用规则化概率音乐伴随投币过程，随后调用大语言模型（Gemini）生成基于用户问题的个性化卦象解读，再将此解读作为提示词，驱动生成式音乐模型（Lyria）创作响应式环境音乐。 与已有方法相比新在哪里：与Cage等将《易经》作为纯粹随机数发生器不同，本系统强调AI作为“文化解释中介”而非“作曲权威”。其创新在于重新将《易经》的本卦、变卦、爻变等语义要素引入音乐生成流程，使音乐成为占卜仪式和意义阐释过程的伴随与体现，而非由卦象直接映射出的固定结构。 主要实验结果如何：论文未提供任何量化实验结果。其结论主要基于系统构建的描述、定性讨论以及一个可访问的在线演示。文中没有用户研究、对比实验、或对生成音乐质量的评估。 实际意义是什么：提出了一种将古老文化实践与现代生成式AI结合的新范式，展示了AI在交互艺术中作为“意义中介”而非“内容生成者”的角色，为文化敏感型交互系统和人机共创提供了案例参考。 主要局限性：系统高度依赖特定商业API（Gemini， Lyria）的稳定性和解释质量，自身技术深度有限；缺乏任何形式的用户研究或效果验证，无法证明其设计是否真正达到了“提升参与感和意义感”的目标；对《易经》本身的复杂性和不同解经传统做了大幅简化。 🔗 开源详情 代码：https://github.com/LingQi000809/iching-sonification 模型权重：论文中未提及模型权重的下载链接。系统使用了通过 API 调用的商业模型（Gemini 2.5 Flash， Lyria）。 数据集：论文中未提及。 Demo：https://vimeo.com/1150693113?share=copy&fl=sv&fe=ci 复现材料：论文详细描述了系统的三个阶段（输入、投掷、解释）、声音引擎的实现方式（使用 Web Audio API 和 Tone.js）、用户界面设计，并提供了系统流程图（图3）。这些描述为复现提供了设计和架构信息，但关键实现细节（如提示词、概率模型）缺失。 论文中引用的开源项目： Tone.js：一个用于Web音频API的框架。 MIDI.js Soundfonts：用于采样传统乐器声音的soundfont库。链接为：https://github.com/gleitz/midi-js-soundfonts 🏗️ 方法概述和架构 整体流程概述：这是一个多阶段的交互式Web系统，端到端流程为：用户输入问题 → 执行文王卦投币模拟（伴随实时概率音乐） → 系统获取原始卦象、变爻与变卦 → 调用LLM生成个性化卦辞解释及音乐关键词 → 调用生成式音乐模型创作环境音乐 → 将音乐与卦象解释一并呈现给用户。 ...

📄 Musical Attention Transformer: Music Generation Using a Music-Specific Attention Model #音乐生成 #生成模型 #自回归模型 #条件生成 📝 5.6/10 | 前50% | #音乐生成 | #自回归模型 | #生成模型 #条件生成 | arxiv 学术质量 4.2/7 | 影响力 0.8/2 | 可复现性 0.6/2 | 置信度 高 👥 作者与机构 作者：Shinnosuke Taksuka（明治大学 理工学部 计算机科学系），Hideo Mukai（明治大学 理工学部 计算机科学系） 注：论文未明确指定通讯作者。所有作者邮箱均为 shin.takasuka@gmail.com 和 mukai@meiji.ac.jp。 💡 毒舌点评 论文提出了一个直观且符合领域直觉的改进：将小节、调性、速度等元信息直接注入Transformer的注意力掩码，以引导生成更符合乐理的音乐。其亮点在于将符号音乐领域的结构化知识（如调性、节拍）显式地编码进了模型的注意力机制。然而，最大的短板在于评估体系严重缺乏对“音乐质量”本身的度量——仅报告了Token/Note/Bar/Key Error等“正确性”指标，却没有任何主观听感评估、多样性度量或与现有SOTA模型在人类偏好评分上的比较，使得“提升音乐生成质量”的核心论点难以被充分证实。 📌 核心摘要 解决的问题：基于Transformer的符号音乐生成模型（如Music Transformer）常出现过度重复、旋律不协调等问题，部分原因在于模型未能充分利用音乐的结构性元信息（如小节数、调号、速度）。 方法核心：提出“Musical Attention”机制，通过设计特定的注意力掩码，在计算注意力分数时，强制当前音符的某些特征（如音高、小节数）能够“看到”与其存在音乐理论依赖关系的特定历史音符或全局元信息（如调号KK、小节总数BB、速度TT）。 与已有方法的区别：与标准Full Attention和Strided Attention不同，Musical Attention不是简单地限制注意力窗口或采用稀疏模式，而是基于音乐理论构建了具有先验知识的、有偏向性的注意力模式，使模型能更直接地学习音乐元素间的依赖关系。 主要实验结果：在单轨和多轨音乐生成任务上，与Full Attention和Strided Attention相比，Musical Attention在保持相近训练精度（约78-81%）的同时，在Bar Error（小节错误）和Key Error（调性错误）上取得了显著更低的平均值和中位数，表明其生成音乐在结构（小节）和调性（和声）上更一致。例如，在单轨任务中，Musical Attention的Key Error均值（1.97）远低于Full Attention（4.69）。详细结果见下表。 Metric Attention Full (base) Strided Musical 单轨 - Accuracy (%) 78.12 77.98 78.07 单轨 - Token (mean) 0.03 0.10 0.04 单轨 - Note (mean) 0.42 0.18 0.25 单轨 - Bar (mean) 1.21 1.12 0.86 单轨 - Key (mean) 4.69 5.07 1.97 多轨 - Accuracy (%) 81.08 81.17 81.09 多轨 - Token (mean) 0.08 0.07 0.04 多轨 - Note (mean) 0.50 0.29 0.50 多轨 - Bar (mean) 1.04 0.80 0.62 多轨 - Key (mean) 5.18 5.56 2.55 实际意义：为符号音乐生成提供了一种简单有效的方法，通过整合音乐领域知识来约束生成过程，可能减少生成结果中的低级错误，使音乐听起来更“合理”。 主要局限性：1）评估仅限于结构正确性指标，缺乏对音乐审美、多样性和流畅性的客观或主观评估；2）论文承认生成的音乐缺乏动态变化，和弦进行有时不自然；3）方法依赖于准确提取和量化元信息（如调性），可能限制其在更复杂或未标注数据上的应用。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及。 数据集：Lakh MIDI Dataset。链接：https://github.com/craffel/midi-dataset。论文指出原始数据集由该外部GitHub仓库提供。 Demo：论文中未提及。 复现材料：论文中提供了详细的实验设置（如模型参数、训练步数、温度参数等）和评估指标，但未提供具体的检查点文件或配置文件链接。论文中提及生成的样本可向通讯作者申请获取（“available from the corresponding author upon reasonable request”）。 论文中引用的开源项目： Lakh MIDI Dataset：https://github.com/craffel/midi-dataset （已在上方数据集条目列出） 论文中提到使用工具“[26]”对MIDI文件进行分析和处理，但未提供该工具的具体名称或链接。 🏗️ 方法概述和架构 本文提出的是一个端到端的符号音乐生成系统。其核心流程为：将原始MIDI文件预处理为包含多个离散事件（音高、小节、起始位置等）的序列，并附加上全局的元信息（总小节数、调性、速度）。该序列被送入一个基于Transformer的自回归模型进行训练，目标是预测下一个事件。关键的创新在于，模型在进行注意力计算时，使用了设计好的“Musical Attention”掩码，以显式地引入音乐结构的先验知识。 ...

📄 MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation #基准测试 #模型评估 #音视频 #生成模型 #多模态模型 ✅ 6.5/10 | 前40% | #基准测试 | #模型评估 | #音视频 #生成模型 | arxiv 学术质量 5.5/8 | 影响力 0.5/1 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 共同第一作者：Yujie Wei（复旦大学），Yujin Han（香港大学），Zhekai Chen（香港大学），Yongming Li（复旦大学） 项目负责人：Shiwei Zhang（阿里巴巴通义实验室） 通讯作者：Hongming Shan（复旦大学），Xihui Liu（香港大学） 作者列表（按原文顺序）： Yujie Wei (1，复旦大学) Yujin Han (2*，香港大学) Zhekai Chen (2*，香港大学) Yongming Li (1*，复旦大学) Kaixun Jiang (1，复旦大学) Zhihang Liu (3，阿里巴巴通义实验室) Quanhao Li (1，复旦大学) Zhiwu Qing (3，阿里巴巴通义实验室) Xiang Wang (3，阿里巴巴通义实验室) Zhen Xing (3，阿里巴巴通义实验室) Ruihang Chu (3，阿里巴巴通义实验室) Lingyi Hong (1，复旦大学) Yefei He (4，浙江大学) Junjie Zhou (3，阿里巴巴通义实验室) Junqiu Yu (1，复旦大学) Yang Shi (5，北京大学) Difan Zou (2，香港大学) Kai Zhu (3，阿里巴巴通义实验室) Shiwei Zhang (3†，阿里巴巴通义实验室，项目负责人) Yingya Zhang (3，阿里巴巴通义实验室) Yu Liu (3，阿里巴巴通义实验室) Xihui Liu (2🖂，香港大学，通讯作者) Hongming Shan (1🖂，复旦大学，通讯作者) 💡 毒舌点评 亮点：论文精准切入“多镜头音视频（MSAV）生成”这一前沿评测空白，提出了首个综合性基准MSAVBench。其数据设计（四维度：视频、音频、镜头、参考）和评估框架（自校正、分层评分、工具增强代理）的系统性与前瞻性值得肯定，对19个模型的评估也提供了有价值的生态诊断。短板：论文的核心贡献在于构建一个评测“系统”和“报告”，而非提出新的生成模型或基础算法。其创新性更偏向工程设计和方法论集成，在追求算法理论突破的顶会中，原创性“硬度”不足。同时，对评估框架自身的深入分析（如不同VLM的影响、成本分析）略显仓促，对评测结果的解读存在过度泛化的风险。 ...

📄 Bridging the Gap: Converting Read Text to Conversational Dialogue #语音转换 #生成模型 #语音合成 📝 3.1/10 | 后50% | #语音转换 | #生成模型 | #语音合成 | arxiv 学术质量 2.6/8 | 影响力 0.5/1 | 可复现性 0/1 | 置信度 高 👥 作者与机构 第一作者：Parshav Singla (Thapar Institute of Engineering and Technology, Patiala, India) 通讯作者：Dr. Shruti Aggarwal, Dr. Anil Kumar Verma (邮箱见原文) 作者列表：Parshav Singla, Agnik Banerjee, Aaditya Arora, Shruti Aggarwal, Anil Kumar Verma (均来自Thapar Institute of Engineering and Technology)， Vikram C M, Raj Prakash Gohil, Gopal Kumar Agarwal (均来自Samsung Research and Development Institute, Bangalore, India) 💡 毒舌点评 亮点：论文选题直接，针对朗读语音单调性这一实际问题，明确应用了高性能的HiFi-GAN声码器进行语音合成，任务目标清晰。文献综述部分对语音转换的挑战和GAN的应用有较好的概述。 短板：论文最大的缺陷是名不副实。标题和摘要声称提出“PACC”这一新颖方法，但全文未提供该方法的任何实质性技术描述、架构设计或实现细节。论文实质上是一篇关于使用标准HiFi-GAN模型进行语音合成的简短应用报告，创新性严重不足。实验部分设计粗糙，基线模糊，缺乏关键细节，导致结论可信度低。 ...

📄 Omni-Customizer: End-to-End MultiModal Customization for Joint Audio-Video Generation #音视频 #多模态模型 #语音克隆 #生成模型 #扩散模型 ✅ 7.3/10 | 前25% | #音视频 | #多模态模型 | #语音克隆 #生成模型 | arxiv 学术质量 6.2/8 | 影响力 0.8/1 | 可复现性 0.3/1 | 置信度 高 👥 作者与机构 第一作者：Yuheng Chen（上海交通大学） 通讯作者：Qingdong He（电子科技大学，论文中标注为对应作者及项目负责人） 作者列表：Yuheng Chen（上海交通大学，等同贡献）、Qingdong He（电子科技大学，等同贡献）、Teng Hu（上海交通大学）、Yuji Wang（上海交通大学）、Yabiao Wang（浙江大学）、Lizhuang Ma（上海交通大学）、Jiangning Zhang（浙江大学，对应作者） 💡 毒舌点评 这篇论文为“多主体联合音视频定制”这一具体问题提出了一套工程实现相对完整的端到端框架，其针对“Caption Vocalization”问题设计的MTP-CA掩码机制简单有效，SA-MRoPE的位置编码设计思路也具启发性。然而，其核心的OCF模块本质上是标准Transformer块对拼接序列的处理，架构创新度有限，且论文在“Caption Vocalization”的成因分析和SA-MRoPE有效性的理论解释上均显薄弱，更像是一次成功的系统工程集成而非深度理论探索。 📌 核心摘要 本文旨在解决在联合音视频生成中，为多个主体同时保持其视觉身份和声音音色，并实现精准绑定的难题。现有方法存在多主体身份混淆、无法有效跨模态绑定，以及基础模型固有的语音合成异常等问题。论文提出了Omni-Customizer，一个端到端框架。其核心方法包括：1) Omni-Context Fusion (OCF) 模块，将文本、视觉参考、音频参考和TTS嵌入拼接成统一序列，通过L层专用Transformer块进行深度跨模态交互，以富化文本表示；2) Semantic-Anchored Multimodal RoPE (SA-MRoPE)，为不同模态的参考token设计了基于其对应文本描述符位置的3D位置编码，实现语义锚定；3) Masked TTS Cross-Attention (MTP-CA)，通过二进制掩码机制，确保TTS语音信息仅注入到提示词中被<S>和<E>标签包裹的对话部分，消除“Caption Vocalization”异常。此外，论文提出了交错式模态解耦训练策略（交替进行联合音视频训练和纯音频训练）和渐进式课程学习（从单主体配对到多主体非配对数据），以在不损害基础模型能力的前提下，让模型适应多语言环境并学习鲁棒的身份特征。论文还详细描述了构建多主体多模态数据集的完整流程，并提出了新的评估基准OC-Bench。实验在OC-Bench上进行，结果表明，Omni-Customizer在视觉身份相似度、音色一致性、音视频同步和整体保真度上均达到了当前最佳水平。 ...

📄 SAME: A Semantically-Aligned Music Autoencoder #音频编码 #Transformer #生成模型 #对比学习 #自监督学习 #开源模型 🔥 8.5/10 | 前25% | #音频编码 | #音频大模型 | #Transformer #生成模型 | arxiv 学术质量 6.8/8 | 影响力 0.8/1 | 可复现性 0.9/1 | 置信度 高 👥 作者与机构 第一作者：Julian D. Parker（Stability AI） 通讯作者：未说明 作者列表：Julian D. Parker（Stability AI）， Zach Evans（Stability AI）， CJ Carr（Stability AI）， Zachary Zukowski（Stability AI）， Josiah Taylor（Stability AI）， Matthew Rice（Stability AI）， Jordi Pons（Stability AI） 💡 毒舌点评 亮点：在实现高达4096倍时域压缩比的同时，通过一系列精心设计的语义对齐损失和改进的架构，在主观听感（MUSHRA）上取得了SOTA，并显著提升了推理速度，展示了在压缩效率与重建质量之间新的平衡点。 短板：消融实验在固定的低预算设置下进行（仅50k步），可能无法完全代表全规模训练下各组件的真实贡献；尽管声称适用于“通用音频”，但评估数据集（SDD）高度偏向音乐，对语音、环境声等其他音频类型的泛化能力验证不足。 📌 核心摘要 要解决什么问题：传统的神经音频编解码器（NACs）通常在较高的时域压缩比下难以兼顾重建音频质量和下游生成模型的性能。现有方法多采用卷积结构，在推理速度和压缩极限上存在瓶颈。 方法核心是什么：提出了SAME，一个基于Transformer的音乐和音频自编码器。核心在于结合了基于查询的Transformer重采样块（TRB） 实现高效时域压缩，一个软归一化瓶颈配合多种辅助损失（生成对齐、语义回归、对比对齐）以优化潜空间几何结构，以及改进的多分辨率STFT损失和判别器设计。 与已有方法相比新在哪里：a) 使用Transformer通过查询机制而非卷积/池化进行时域重采样，实现了极高的压缩比（4096×）和更快的推理速度；b) 提出了一套新颖的语义正则化框架，包括双轴KL约束的软归一化瓶颈、用于流匹配的生成对齐损失（\(\mathcal{L}_{\text{diff}}\)）、多属性语义回归损失（\(\mathcal{L}_{\text{sem}}\)）和跨模态对比对齐损失（\(\mathcal{L}_{\text{con}}\)），共同塑造了更适合生成的潜空间；c) 改进了频谱重构损失（如对称的光谱对比损失、自适应对数幅度损失、基于相量器的IF/GD损失）和判别器架构（引入了Transformer判别器）。 主要实验结果如何： 主实验：在Song Describer Dataset上，SAME-L（852M参数）在MUSHRA主观听感测试中得分最高（82.2），超越了所有基线；同时其推理速度（RTF 561）显著快于其他大模型基线。SAME-S（108M参数）在保持可比质量的同时，RTF达到2069，是速度最快的模型。 消融实验：在固定50k步的轻量级设置下，添加\(\mathcal{L}_{\text{diff}}\)显著提升了生成质量（FAD-CLAP从1.061降至0.593），而加入\(\mathcal{L}_{\text{sem}}\)和\(\mathcal{L}_{\text{con}}\)进一步将FAD-CLAP降至0.576，并将音乐质量评分（MuQEval）从3.340提升至3.870，证明了这些辅助损失对改善下游生成性能的有效性。 主要结果表格（表1）： 模型 \(D_t\) \(d\) RTF ↑ SI-SDR ↑ STFT\(_{\text{log1p}}\) ↓ MEL\(_{\text{log1p}}\) ↓ CCPC ↑ MUSHRA ↑ \(\epsilon\)ar-VAE 1024 64 325 12.0 ±3.9 0.080 ±0.053 0.070 ±0.042 97.2 ±2.2 77.6 ±21.0 ACE-Step 1.5 1920 64 284 7.0 ±3.3 0.084 ±0.051 0.069 ±0.034 93.2 ±4.7 76.5 ±20.0 SAO VAE 2048 64 300 6.2 ±3.3 0.092 ±0.055 0.079 ±0.039 92.2 ±5.2 73.3 ±19.5 CoDiCodec† 4096 64 47 -0.3 ±3.1 0.096 ±0.057 0.096 ±0.044 81.7 ±10.6 — SAME-S 4096 256 2069 9.6 ±3.4 0.088 ±0.055 0.071 ±0.035 95.5 ±3.3 66.1 ±20.5 SAME-L 4096 256 561 11.9 ±4.2 0.081 ±0.053 0.057 ±0.031 96.6 ±3.0 82.2 ±16.6 实际意义是什么：为音乐和通用音频生成提供了一个高效（高压缩比、低延迟）且质量上乘的连续潜空间表示。开源的模型权重（SAME-L和SAME-S）可直接用于后续的音乐/音频生成、编辑或理解任务，降低了相关研究的门槛。 主要局限性是什么：a) 训练和评估主要基于特定的音乐数据集（Audiosparx, SDD），对非音乐类音频（如语音、环境声）的性能验证不充分；b) 消融实验的训练预算（50k步）较小，可能无法完全揭示各模块在完整训练流程中的真实作用；c) 对比基线中缺少一些最新的、同样采用Transformer架构的NAC模型（如Tango等）。 🔗 开源详情 代码：论文中未提及代码仓库链接，但提供了项目主页 https://stability-ai.github.io/SAME，代码信息可能包含其中。 模型权重：模型权重通过项目主页发布：https://stability-ai.github.io/SAME。论文中未提及具体的 HuggingFace 或 ModelScope 链接。 数据集： 训练数据：使用商业数据集 Audiosparx (https://www.audiosparx.com)，论文中未提及公开获取方式。 评估数据：使用了 Song Describer Dataset (SDD) [19] 进行评估。 Demo：在线演示链接为：https://stability-ai.github.io/SAME。 复现材料：论文中提供了详细的模型配置、训练流程和损失函数描述，但未单独提供配置文件或检查点。具体复现信息需参考论文内容。 论文中引用的开源项目： fadtk (用于计算 FAD-CLAP)：https://github.com/sony/sony-audio-eval-tools T5Gemma：论文中提及但未提供具体链接。 论文中作为基线对比提到的开源模型（如 epsilon-ar-VAE、Stable Audio Open、CoDiCodec、ACE-Step 1.5）均为已发表工作，论文中未提供其具体开源仓库链接。 🏗️ 方法概述和架构 整体流程概述 SAME是一个端到端的音频自编码器，遵循经典的编码器-瓶颈-解码器架构。输入为立体声音频波形，首先经过一个无参数的“分块预变换”进行初步的时域下采样，然后通过编码器中的Transformer重采样块（TRB）进一步压缩时间维度，得到一个潜表示序列。该潜表示经过一个轻度约束的“软归一化瓶颈”后，送入解码器。解码器中的TRB负责上采样，最后通过逆分块操作恢复原始波形。整个过程旨在实现极高的时域压缩比（4096×），同时通过大量辅助损失来保持重建质量和优化潜空间。 ...

📄 PresentAgent-2: Towards Generalist Multimodal Presentation Agents #生成模型 #多模态模型 #大语言模型 #视频生成 #基准测试 #智能体 ✅ 6.5/10 | 前25% | #生成模型 | #多模态模型 | #大语言模型 #视频生成 | arxiv 学术质量 5.5/8 | 影响力 0.7/2 | 可复现性 0.3/1 | 置信度 高 👥 作者与机构 第一作者：Wei Wu（北京大学） 通讯作者：Hao Tang（北京大学，邮箱：bjdxtanghao@gmail.com） 作者列表：Wei Wu（北京大学），Ziyang Xu（北京大学），Zeyu Zhang（北京大学，项目负责人），Yang Zhao（La Trobe University），Hao Tang（北京大学） 注：论文明确标注前三位作者（Wei Wu, Ziyang Xu, Zeyu Zhang）贡献相等（Equal contribution）。 💡 毒舌点评 本文的亮点在于清晰地将演示生成任务从“文档到演示”拓展到更具挑战性的“查询到演示”，并设计了一个涵盖“深度研究”、内容生成和三种独立演示模式（单人演讲、多人讨论、交互问答）的完整框架。系统设计的完整性和对动态媒体处理的重视值得肯定。然而，其主要弱点在于核心贡献更偏向系统集成而非底层技术创新，关键模块（如视频合成、语音生成）的技术细节几乎完全依赖于未说明的外部模型，使得论文的“技术深度”存疑。同时，评估体系严重依赖于可能同源的VLM评判者，缺乏人类评估数据的校准，使得其高分结果的说服力大打折扣。 📌 核心摘要 解决的问题：现有演示视频生成系统大多依赖用户提供完整的源文档（如论文、报告），无法处理简短、开放式的用户查询，并主动获取内容和视觉资源来生成演示视频。 方法核心：提出PresentAgent-2，一个端到端的智能体框架。系统接收用户查询和选定的演示模式，首先将查询提炼为主题，并通过“深度研究”主动从互联网检索和筛选适合演示的多模态资源（文本、图片、GIF、视频）。随后，基于这些资源规划演示结构、生成幻灯片和对应模式的脚本（单人演讲为叙述脚本，多人讨论为角色对话脚本，交互问答为基于上下文的回答），合成音频，并将幻灯片、音频和动态媒体（保持GIF/视频的可播放性）合成为最终的演示视频。 与已有方法相比的新颖之处：a) 任务设定开放：首次系统性地研究从开放查询到演示视频的生成，而非从给定文档转换。b) 内容获取主动：集成了针对演示场景优化的“深度研究”模块，主动收集多模态资源。c) 输出模式丰富：在统一框架下支持单人演讲、多人讨论和交互问答三种独立的演示模式。d) 动态媒体处理：在视频合成中保留了检索到的GIF和视频的动态特性，而非将其转换为静态截图。 主要实验结果：论文构建了名为PresentEval的多模态演示基准测试集，包含60个查询-参考视频对（每种模式20对）。使用不同骨干模型（如Qwen3.5-VL-Plus）进行评估，结果显示系统在客观测验（满分5）和主观评估（满分5）上均取得较高分数（例如，使用Qwen3.5-VL-Plus时，客观测验得分均>4.8，主观评估均分均>4.3）。消融实验证明了多模态检索、动态媒体保留、角色感知的对话生成以及交互上下文接地等模块的有效性。 实际意义：为教育、技术讲解、知识传播等场景提供了一种新的内容创作范式，降低了从问题到结构化多媒体演示视频的制作门槛。 主要局限性：a) 生成质量高度依赖检索到的公开网络资源的质量。b) 交互模块的错误可能受上游检索和生成错误的影响。c) 当前基准测试规模有限（60例）。d) 论文中多个关键技术的实现细节未公开说明。 🔗 开源详情 代码：https://github.com/AIGeeksGroup/PresentAgent-2 模型权重：论文中未提及模型权重的具体下载链接（如HuggingFace/ModelScope）。 数据集：论文中未提及公开数据集的下载链接。论文中描述了自行构建的PresentEval基准数据集（60个查询-参考视频对），但未提供其公开获取地址。 Demo：https://aigeeksgroup.github.io/PresentAgent-2 复现材料：论文中未提及提供训练配置、模型检查点、提示模板、评测脚本等复现材料的具体下载链接。 论文中引用的开源项目： Paper2Video、PresentAgent、Paper2Poster、VideoAgent、Doc2PPT, SlideGen, VideoDirectorGPT, VideoStudio, LVD：论文中仅在相关工作或表格中提及项目名称和引用，未提供具体项目链接。 🏗️ 方法概述和架构 PresentAgent-2是一个多阶段、模块化的智能体系统，旨在完成从自然语言查询到演示视频的端到端生成。其核心流程如图4所示：接收用户的自然语言查询q和选定的演示模式m，首先将查询提炼为主题t并执行“深度研究”以检索多模态资源集ℛ，随后基于(q, t, ℛ, m)生成最终的演示视频V_m。整个过程可形式化为两步：q → (t, ℛ) 和 (q, t, ℛ, m) → V_m。演示模式m主要决定了生成的脚本结构和交付风格。 ...

📄 Drum Synthesis from Expressive Drum Grids via Neural Audio Codecs #音乐生成 #生成模型 #音频编码 📝 4.0/10 | 前50% | #音乐生成 | #生成模型 | #音频编码 | arxiv 学术质量 4.0/8 | 影响力 0.6/2 | 可复现性 0.8/1 | 置信度 中 👥 作者与机构 第一作者：Konstantinos Soiledis（University of Ioannina, University of Patras） 通讯作者：未说明 作者列表：Konstantinos Soiledis（University of Ioannina, University of Patras）、Maximos Kaliakatsos-Papakostas（University of Ioannina）、Dimos Makris（University of Ioannina）、Konstantinos Tsamis（University of Ioannina, University of Patras） 💡 毒舌点评 本文系统性地比较了三种神经音频编解码器在鼓网格到音频生成任务中的表现，为后续工作选择目标表示提供了有价值的实证参考，这是其亮点。然而，论文主要贡献是将已有技术（神经编解码器+Transformer）进行组合应用，且核心实验发现（增大模型反而导致性能下降）未能给出深入分析或有效解决方案，显得方法部分的创新深度和工程鲁棒性有所不足。 📌 核心摘要 问题：如何从包含微时值和力度信息的鼓网格（Expressive Drum Grid）生成真实、富有表现力的鼓音频，以捕捉人类演奏的细微感觉（“groove”）。 方法核心：采用“编解码器token预测”范式。系统将鼓网格输入到一个非自回归Transformer编码器中，预测预训练神经音频编解码器（EnCodec, DAC, X-Codec）的离散token序列，然后使用固定的编解码器解码器将token序列转换为波形音频。 创新点：与现有方法相比，本文的主要创新在于： 提出了一个完整的从表达性鼓网格到音频的生成系统（DrumGrid2Audio）。 在一个受控的、统一的建模框架下，首次（原文描述为“one of the first”）对EnCodec、DAC和X-Codec三种主流神经音频编解码器作为中间表示的效能进行了系统比较。 在公开的大规模鼓数据集E-GMD上进行了多方面的客观评估。 主要实验结果： 在Base模型设置下，EnCodec在大多数指标上表现最优：token准确率最高（单套鼓42.7%，全套鼓43.4%），感知距离（FAD）最低（单套鼓0.281，全套鼓0.193）。 DAC在样本级误差（RMSE/MAE）上最低，但token预测难度极大（困惑度高达500+），感知质量最差（FAD最高，全套鼓0.405）。 X-Codec性能介于两者之间。 反常发现：将模型容量从Base增大到Large后，所有编解码器的性能均显著下降，表明训练过程不稳定。 实际意义：为音乐制作和音频生成领域提供了一种新的从符号化鼓谱（MIDI+表情信息）渲染逼真音频的途径，并为如何选择神经音频编解码器作为生成目标提供了实践指导。 主要局限性：论文明确承认缺乏主观听感评估和正式统计检验；Large模型训练不稳定，原因未深究；研究仅限于鼓音频，结论的泛化性未验证。 🔗 开源详情 代码：https://github.com/kostantinos-soiledis/midigroove_poc 模型权重： EnCodec: facebook/encodec_32khz (HuggingFace预训练检查点) DAC: descript/dac_44khz (HuggingFace预训练检查点) X-Codec: hf-audio/xcodec-hubert-general (HuggingFace预训练检查点，配置为2.0 kbps带宽) 数据集：Expanded Groove MIDI Dataset (E-GMD)。论文中未提供该数据集的具体下载链接。 Demo：论文中未提及在线演示链接。 复现材料： 项目页面：https://github.com/kostantinos-soiledis/midigroove_poc（包含生成的音频示例和扩展结果/图表，如所有套件的完整评估细分）。 训练配置：Base模型 (d_model=768, L=6, H=8) 和 Large模型 (d_model=1536, L=10, H=12) 的详细架构参数；优化器为AdamW，学习率 6×10^{-5}，全局梯度裁剪1.0，最大200,000步，早停5000步。 训练硬件：所有模型均在单个NVIDIA GeForce RTX 3080 GPU (10 GB VRAM)上训练。 评估协议：具体评估指标（NLL, PPL, Acc, RMSE, MAE, MR-STFT SC, Env RMS corr, TTER MAE, Onset P/R/F1, FAD）的定义和计算方法。 论文中引用的开源项目： EnCodec (神经音频编解码器): https://github.com/facebookresearch/encodec （论文引用 [4]） DAC (神经音频编解码器): https://github.com/descriptinc/descript-audio-codec （论文引用 [6]） X-Codec (神经音频编解码器): https://github.com/zhangzwfcn/xcodec （论文引用 [5]） AudioLM (基于编解码器令牌的语言模型): https://github.com/google-research/audioLM （论文引用 [1]） MusicLM (文本到音乐生成): https://github.com/google-research/musiclm （论文引用 [2]） SoundStream (神经音频编解码器): https://arxiv.org/abs/2107.10759 （论文引用 [11]） GrooVAE (表达性节奏建模): https://github.com/wayne391/beat-dance-datasets （论文引用 [8]，数据集链接） CRASH (基于分数的扩散模型): https://github.com/hugoflorentino/CRASH （论文引用 [10]） MIDI-VALLE (符号到音频合成): https://github.com/yangdongchao/MIDI-VALLE （论文引用 [12]） STAGE (伴奏生成): https://github.com/facebookresearch/audiocraft （论文引用 [13]） DARC (鼓生成): https://github.com/DARG/darc （论文引用 [14]） TRIA (基于令牌的鼓合成): https://github.com/ZiyueXu77/TRIA （论文引用 [15]） madmom (用于起点检测): https://github.com/CPJKU/madmom （论文引用 [16]，隐含） fadtk (用于计算FAD): https://github.com/AudioLDM/fadtk （论文引用 [17]，隐含） 🏗️ 方法概述和架构 本文提出的方法（命名为DrumGrid2Audio）是一个条件生成系统，旨在将输入的表达性鼓网格转换为对应的鼓音频波形。整个系统可以看作一个两阶段流水线：首先是一个由Transformer构成的“网格到token”预测器，然后是一个固定的神经音频编解码器解码器。 ...

📄 PoDAR: Power-Disentangled Audio Representation for Generative Modeling #语音合成 #自监督学习 #音频编码 #表示解耦 #生成模型 ✅ 7.3/10 | 前25% | #语音合成 | #自监督学习 #表示学习 #扩散模型 | #自监督学习 #音频编码 | arxiv 置信度 高 👥 作者与机构 第一作者：Alejandro Luebs（Descript） 通讯作者：未明确指定（所有作者均来自Descript并提供了邮箱） 作者列表：Alejandro Luebs, Mithilesh Vaidya, Ishaan Kumar, Sumukh Badam, Stephen W. Bailey, Matthew Bendel, Jose Sotelo, Xingzhe He (所有作者均来自 Descript) 💡 毒舌点评 论文的核心思路——通过简单的功率扰动和一致性损失来“强迫”自编码器学会解耦——方法设计直接且有效，在下游生成任务上取得了令人信服的收敛速度与性能提升，这本身就是一个扎实的工程化insight。不过，其理论深度有限，对于“为何这种简单的功率解耦能如此显著提升模型可建模性”的解释更多停留在实证层面，且对解耦后各通道的物理意义与信息流分析不足，使得方法在学术创新性上略显平实。 📌 核心摘要 问题：音频潜扩散模型的性能受生成器表达力和潜空间“可建模性”（modelability）双重制约。现有工作多聚焦于提升重建保真度，但高保真重建并不必然带来易于建模的潜空间。例如，信号功率等与语义内容无关的扰动因素在潜空间中的纠缠，会增加下游生成器学习分布的复杂度。 方法核心：提出PoDAR框架，通过在自编码器（如VAE）训练中引入随机功率增强（在[-6, +6] dB范围内随机调整增益）和潜空间一致性损失（惩罚内容通道对功率增强的敏感度），显式地将音频表示分解为“功率子空间”（前k个通道）和“功率不变语义子空间”（剩余通道）。 创新性：与当前主流的表示对齐（如REPA，使用预训练编码器）方法正交，PoDAR提供了一条自监督的、针对特定干扰因素的解耦路径来提升潜空间模型性，无需外部预训练模型。 主要实验结果：在LibriSpeech-PC等数据集上，使用F5-TTS作为生成器，PoDAR表示相比基线（相同架构的VAE）显著提升了生成性能。例如，在VAE1上，收敛到基线最佳性能所需训练步数减少约2倍；说话人相似度（Speaker SIM）提升0.055；语音质量（UTMOS）提升0.22。具体结果见表2。 模型 WER ↓ Speaker SIM ↑ UTMOS ↑ LibriSpeech-PC VAE1-Baseline 0.023±0.003 0.592±0.005 3.75±0.03 VAE1-PoDAR 0.023±0.003 0.647±0.005 3.97±0.02 VAE2-Baseline 0.024±0.003 0.559±0.005 4.10±0.02 VAE2-PoDAR 0.025±0.003 0.595±0.005 4.17±0.01 Seed-TTS (EN) VAE1-Baseline 0.017±0.003 0.613±0.006 3.69±0.02 VAE1-PoDAR 0.017±0.003 0.660±0.005 3.72±0.02 VAE2-Baseline 0.017±0.003 0.594±0.006 3.87±0.02 VAE2-PoDAR 0.019±0.003 0.615±0.006 3.89±0.02 Seed-TTS (ZH) VAE1-Baseline 0.016±0.002 0.713±0.003 2.79±0.02 VAE1-PoDAR 0.017±0.002 0.761±0.002 2.87±0.02 VAE2-Baseline 0.020±0.002 0.688±0.003 2.98±0.02 VAE2-PoDAR 0.018±0.002 0.701±0.003 2.96±0.02 图1（论文Fig. 1）展示了训练过程中，基于PoDAR的生成器在Speaker SIM和UTMOS指标上持续优于基线，且收敛更快。 5. 实际意义：该方法提供了一种即插即用的框架，可加速音频生成模型训练并提升最终性能。其解耦特性还催生了Partial CFG，允许仅对语义内容通道进行引导，增强了在高引导尺度下的生成鲁棒性。 6. 主要局限性：自编码器训练计算开销增加（需双前向传播）；有效性仅在语音域验证；解耦主要针对功率因素，未探讨其他声学因素。 ...