生成模型

📄 Diffusion-Based Heart Sound Generation: Evaluation with Physiological Signal Metrics, Classifiers, and Expert Listening #语音合成 #扩散模型 #生成模型 7.1/10 | 创新 1/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | #语音合成 | #扩散模型 | #生成模型 | arxiv 👥 作者与机构 Xinqi Bao: KTH Royal Institute of Technology, Stockholm, Sweden; Karolinska Institutet (KI), Stockholm, Sweden Jia Bi: Rutherford Appleton Laboratory, United Kingdom Xin Chen: Peng Cheng Laboratory, China Ernest Nlandu Kamavuako: King’s College London, United Kingdom Saikat Chatterjee: KTH Royal Institute of Technology, Stockholm, Sweden ...

📄 SegTune: Structured and Fine-Grained Control for Song Generation #音乐生成 #生成模型 #多模态模型 #数据增强 #参数高效微调 8.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 8.5/10 | 前25% | #音乐生成 | #数据增强 | #生成模型 #多模态模型 | arxiv 👥 作者与机构 Yuejiao Wang, Zihao Ji, Pengfei Cai, Xu Li, Haorui Zheng, Zewen Song, Zhongliang Liu, Chen Zhang, Pengfei Wan。机构为Kling Team, Kuaishou Technology；University of Science and Technology of China；Peking University。论文在Kuaishou Technology的Kling Team实习期间完成。 ...

📄 Local Diagnostics of Continuous Normalizing Flow for Out-of-Distribution Detection #语音合成 #生成模型 8.1/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1.0/1.5 | 复现 0.5/0.5 | 工程 1.0/1.5 🔥 8.1/10 | 前50% | #语音合成 | #生成模型 | arxiv 👥 作者与机构 Xinwei Cao, Mengxuan Lu, Torbjørn Svendsen, Giampiero Salvi。作者机构包括：挪威科技大学电子系（NTNU）与清华大学。 💡 毒舌点评 这篇论文的“拉格朗日子流”和“运动学密封”概念包装得挺花哨，本质上是在CNF中通过掩码对子空间向量场进行“外科手术式”的截断，以期获得更干净的诊断信号。想法有一定启发性，理论推导也算自圆其说。然而，实验部分堪称“单点支撑”：所有验证都局限在“语音发音错误检测”这一个任务、CMU Kids这一个小数据集上，且与SOTA判别方法（GOP-CTC-SF，AUC=0.915）的性能差距巨大（本文最好AUC=0.738）。论文声称“可与传统判别模型方法相当”，但这仅在与过时的GMM基线对比时成立，在顶会语境下这种claim显得底气不足。方法的核心优势——规避全局耦合——是否在其他领域（如图像）成立，完全是一个未解之谜。此外，论文将流匹配的“直线路径”假设作为几何度量的基础，但未深入分析该假设的普适性。整体而言，这是一篇有初步想法、但验证严重不足的工作，更像一篇领域内的初步探索报告，距离证明一个通用、强大的OOD检测方法还有很长的路要走。 📌 核心摘要 本文针对高维数据中目标观测嵌入子空间的分布外检测问题，提出了一种基于连续归一化流（CNF）的拉格朗日子流（LSF）框架。该框架通过“运动学密封”（Kinematic Sealing）隔离目标子空间的动力学，以分析其局部轨迹，从而规避全局流耦合带来的“维间密度泄漏”（inter-dimensional density leakage）干扰。论文进而定义了基于速度场和子流雅可比矩阵轨迹的几何诊断信号（如DISP, COS），并应用于CNF生成模型的“似然悖论”问题。在基于CNF的语音合成模型（F5-TTS）上的零样本音素级发音错误检测任务中，所提出的几何度量（如GOP-COS）在相对度量下表现出优于传统基于似然度量的性能，并接近但未超越基于判别模型的基线方法。 🔗 开源详情 代码：论文未提供作者代码仓库的链接。 模型权重：使用了公开预训练模型 F5-TTS，具体检查点为 F5TTS_v1_Base/1250000，可在 HuggingFace Hub 获取（https://huggingface.co/F5-TTS）。 数据集：使用了 CMU Kids 数据集（CMU Kids corpus），为公开语音数据集。 复现材料：论文在附录中提供了详细的实验设置： 模型：F5-TTS，检查点 F5TTS_v1_Base/1250000。 强制对齐工具：使用 Kaldi 训练的单音素强制对齐器。 ODE求解器：Euler方法，32步积分。 采样策略：摆动因子 SF=-1，禁用分类器自由引导（CFG）。 硬件环境：AMD Ryzen Threadripper 3960X CPU, 126 GB RAM, 2x NVIDIA GeForce RTX 3090 GPUs。 度量定义：所有MDD指标的数学定义及相对版本计算方法在附录B中给出。 引用的开源项目： F5-TTS：https://github.com/SWivid/F5-TTS Kaldi：https://github.com/kaldi-asr/kaldi PyTorch：https://github.com/pytorch/pytorch diffusions library：https://pypi.org/project/diffusions/ 🏗️ 方法概述和架构 本文提出的“拉格朗日子流（LSF）框架”旨在对预训练CNF生成模型进行事后（post-hoc）的局部诊断分析，以进行子空间OOD检测。其核心架构和组件如下： ...

📄 Audio Pirates: Black-box Audio Watermark Removal via Diffusion Priors #扩散模型 #生成模型 ✅ 7.4/10 | 前25% | #扩散模型 | #生成模型 | arxiv 学术质量 4.3/7 | 影响力 1.5/2 | 可复现性 1.6/2 | 置信度 高 👥 作者与机构 Lingfeng Yao (University of Houston)，Xincong Zhong (University of Houston)，Chenpei Huang (University of Houston)，Xuandong Zhao (Tsinghua University)，Hanqing Guo (University of Houston)，Aohan Li (University of Houston)，Jiang Liu (Nanjing University of Posts and Telecommunications)，Tomoaki Ohtsuki (Keio University)，Miao Pan (Texas A&M University) ...

📄 Unified Synthesis of Compositional Speech and Sound from Free-Form Text Prompts #语音合成 #多任务学习 #自回归模型 #生成模型 #对比学习 #多模态模型 #数据增强 🔥 8/10 | 前25% | #语音合成 | #多任务学习 | #自回归模型 #生成模型 | arxiv 学术质量 6/7 | 影响力 1.5/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 第一作者：Yuyue Wang（中国人民大学） 通讯作者：Xihua Wang（中国人民大学） 机构：中国人民大学 💡 毒舌点评 一篇动机明确、架构清晰的工作，定义了‘自由文本到统一音频生成’这一有潜力的任务，并提出了一个不错的解决方案。然而，如同许多初次尝试定义新任务的工作，其‘统一’的光环在实验部分略显褪色。基线选择过于保守，仅与较早的VoiceLDM和流水线方法对比，对近期涌现的AudioBox、Fugatto等强力竞争对手视而不见，这让其‘优越性’的宣称打了折扣。实验部分更像是精心设计的‘能力展示’而非公平‘竞技场’，尤其是主观评估样本量仅50个，说服力有限。论文的‘未来工作’比‘当前工作’更有吸引力。整体是一篇扎实但不够大胆的论文，创新有余，验证不足。 📌 核心摘要 本文针对“自由文本提示生成统一音频”这一新任务，提出了PlanAudio框架。该任务旨在直接从自然语言提示合成包含语音、音效及其复合交互的统一音频流。PlanAudio是一个基于自回归LLM的统一模型，其核心创新是引入“语义潜在思维链”机制，在连续语义空间进行隐式规划，以桥接高语义理解与低层声学生成。模型采用单一Transformer骨干，直接处理文本，无需外部文本编码器或重写模块。作者还构建了专用的复合音频评估基准PlanAudio-Bench。实验表明，PlanAudio在复合场景下优于基线方法，并在单独音效和语音任务上保持竞争力。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及模型权重的公开链接。 数据集：论文中提及基于以下公开数据集构建训练数据，并合成了新的基准数据集。具体获取方式如下： AudioSet: 论文用于合成复合音频数据，未提供数据集本身的直接链接。 AudioCaps: 论文用于声音生成评估，未提供链接。 WavCaps: 论文用于声音生成，未提供链接。 LibriTTS: 论文用于语音生成评估，未提供链接。 PlanAudio-Bench：论文中提出的新基准测试集，论文中未提及公开获取链接。 Demo：论文中未提及。 复现材料：论文中未提及训练配置、检查点等复现材料的公开链接。 论文中引用的开源项目： Qwen2.5-1.5B: 作为模型初始化的基础LLM。 链接: https://huggingface.co/Qwen/Qwen2.5-1.5B AudioCraft tokenizer: 用于将音频离散化为分层标记。 链接: https://github.com/facebookresearch/audiocraft AF3Encoder (Audio Flamingo 3 Encoder): 用于提取语义表示。 论文中未提供具体链接。 Whisper: 用于生成转录。 论文中未提供具体链接。 Gemini-2.5 Pro: 用于数据标注和文本改写。 论文中未将其列为开源项目。 🏗️ 方法概述和架构 PlanAudio是一个端到端的自回归LLM框架，旨在直接从自由形式文本提示生成包含语音和音效的统一音频波形。其核心架构（如图2所示）基于单一Transformer骨干（初始化自Qwen2.5-1.5B），将文本、潜在规划特征和离散音频token组织成一个统一序列进行处理。 ...

📄 From Scores to Gibbs Correctors: Accelerating Uniform-Rate Discrete Diffusion Models #理论分析 #生成模型 #音乐生成 ✅ 6.9/10 | 前50% | #语音合成 | #理论分析 | #生成模型 #音乐生成 | arxiv 学术质量 5.9/7 | 影响力 0.5/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 Yuchen Liang, Ness Shroff, Yingbin Liang The Ohio State University 💡 毒舌点评 一篇理论野心勃勃但实验相对“保守”的论文。核心贡献——将离散扩散模型的采样复杂度从多项式降至对数多项式——无疑是扎实且漂亮的。GADD算法的设计思路（利用分数函数构建Gibbs后验）确实巧妙。然而，作者似乎将大部分精力倾注于理论证明，而在实验验证上略显吝啬：仅用了\(d=128\)的小模型和有限数据集，便急于宣称“practical advantages”。工程上采用的“并行Gibbs”和“选择性更新”等启发式策略，虽然提升了墙钟时间，却缺乏理论依据，让人质疑在更复杂、更大规模的现实场景（如长文本生成）中是否依然有效。此外，与同期更先进的高阶方法（如[18]的Ψ-samplers）对比不足，使得“SOTA”的宣称略显单薄。总的来说，这是一篇理论漂亮的“半成品”，其工程实践潜力仍需更大规模的实验来证伪或证实。 📌 核心摘要 本文针对均匀速率离散扩散模型采样步骤多的问题，提出了首个达到\(O(\mathrm{polylog}(\varepsilon^{-1}))\)采样复杂度的加速算法——Gibbs加速离散扩散（GADD）。GADD的核心是利用已训练的分数函数直接构建Gibbs校正器所需的条件后验分布，无需额外训练。理论分析引入了一个新的归纳框架，用于分析预测-校正方法中的误差传播。实验在合成数据、文本和音乐生成任务上验证了GADD在相同计算预算（NFE）下样本质量更优、墙钟时间更短的优越性，尤其在处理“尖锐”分布时表现突出。论文同时利用该框架分析了CTMC校正器，证明了其收敛率仅为\(O(\mathrm{poly}(\varepsilon^{-1}))\)。 🔗 开源详情 代码：论文未提及代码开源。 模型权重：论文未提及模型权重开源。 数据集： WikiText-103：用于文本实验，论文未提供直接链接。 Lakh pianoroll 数据集：用于音乐实验，论文引用出处[34]并提供DOI：10.1109/AAAI.2018.00837。 Demo：未提及。 复现材料：论文在附录C中详细提供了实验配置，包括合成数据生成细节、文本模型训练参数（SEDD Uniform，\(d=128\), \(S=50257\), 学习率\(3\times10^{-3}\), 训练111K步）、GADD超参数（\(L_k=40\)）以及音乐实验的预训练模型来源[44]和评估细节。但未提供预训练检查点或复现脚本的下载链接。 论文中引用的开源项目：未提及。 🏗️ 方法概述和架构 GADD算法（Algorithm 1）采用经典的预测-校正（Predictor-Corrector）两阶段循环框架，针对均匀速率离散扩散模型的逆向采样过程进行加速。 ...

📄 Hidden in Plain Tokens: Simply Robust, Gradient-Free Watermark for Synthetic Audio #音频水印 #语音合成 #音乐生成 #鲁棒性 #生成模型 ✅ 6.2/10 | 前25% | #音频水印 | #语音合成 | #音乐生成 #鲁棒性 | arxiv 学术质量 4.1/7 | 影响力 1.6/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 Georgios Milis, Yubin Qin, Yihan Wu, Heng Huang。机构未在提供的原文中明确说明，仅提供项目主页。 💡 毒舌点评 这篇论文的核心idea——用社区检测聚类来对抗重标记化噪声——确实优雅且有效，抓住了问题的本质。作者声称的“Simply Robust”在抵抗重编码噪声和信号处理攻击上得到了有力验证。然而，对于社交媒体上常见的时序修改（裁剪、变速）束手无策，仅给出“线性搜索”等后处理建议，这更像是承认而非解决了一个核心部署短板。理论部分假设条件独立性虽然可理解，但与实际的帧间依赖存在差距，导致理论与经验z分数存在偏差，削弱了理论的普适说服力。超参数(ρ, m)严重依赖网格搜索，谈不上“即插即用”，泛化性存疑。总体而言，它为连续模态的令牌水印提供了一个出色且实用的新范式，但离一个完美的、无短板的解决方案还有距离。 📌 核心摘要 本文针对自回归音频生成模型中，因编解码器重标记化不一致导致的令牌级水印信号衰减问题，提出了一种新颖的、梯度自由的解决方案。核心思想是，将编解码器词汇表中频繁混淆的令牌视为语义相近的邻居，通过构建令牌混淆图并应用Leiden社区检测算法，将原始词汇蒸馏为更鲁棒的集群词汇表。水印的偏差（如KGW中的绿色列表）在集群层面而非令牌层面进行应用。该方法仅需黑盒访问编解码器，在Moshi（对话）、MusicGen（音乐）、CosyVoice3和Spark-TTS（文本到语音）等多种模型与任务上进行了评估。实验表明，该方法将水印的可检测性（\(-\log p\)值）提升了数个数量级，且在信号处理、编解码器转码等多种攻击下表现出显著增强的鲁棒性，同时对生成音频质量的影响与基线方法相比不显著。论文还从统计角度分析了重标记化对检测性的指数衰减影响，并证明了集群匹配率 \(r_{cl} > r\) 能有效缓解此衰减。 🔗 开源详情 代码：论文提供了一个项目主页链接，其中包含实验代码：https://g-milis.github.io/projects/nograd-audio-wm.html 模型权重：未提供。论文使用了现有的开源模型（Moshi, MusicGen, CosyVoice3, Spark-TTS）进行实验，但未提供微调或聚类后的权重下载链接。 数据集：提供了获取链接。 LibriSpeech：https://www.openslr.org/12 (用于Moshi提示和聚类) MusicCaps：https://paperswithcode.com/dataset/musiccaps (用于MusicGen聚类) Free Music Archive & LibriTTS：论文提及但未提供直接链接，可在 https://freemusicarchive.org/ 和 https://openslr.org/60/ 获取 (用于微调MusicGen的编解码器)。 Demo：未提及在线演示链接。 复现材料：论文在附录E (Experimental Details) 中提供了详细的实验设置，包括：用于聚类的音频数量、水印参数 (\(\gamma=0.25\)， \(\delta\) 在不同模型取值)，生成长度，攻击套件的具体参数，以及关键的集群超参数选择表（表8）。 引用的开源项目：Leiden算法， Mimi/EnCodec编解码器， MusicGen/CosyVoice3/Spark-TTS模型， WMAR基线方法， DAC/SpeechTokenizer/FaCodec编解码器， NISQA/DNSMOSPro/FAD等评估工具。 🏗️ 方法概述和架构 该方法的核心目标是提升令牌级水印在音频生成模型中对重标记化噪声的鲁棒性，且无需微调解码器（梯度自由）。整体架构可分为离线词汇蒸馏和在线集群级水印两个阶段。 ...

📄 Ultra-Low-Bitrate Mel-Spectrogram-based Neural Speech Coding with Flow-Matching-based Refinement and Vocoding-driven Reconstruction #语音编码 #条件流匹配 #生成模型 🔥 9.9/10 | 前25% | #语音编码 | #条件流匹配 | #生成模型 | arxiv 学术质量 6.5/7 | 影响力 1.6/2 | 可复现性 1.8/2 | 置信度 高 👥 作者与机构 作者：Hui-Peng Du, Yang Ai, Xiao-Hang Jiang, Yuan Tian, Zhen-Hua Ling 机构：中国科学技术大学，语音及语言信息处理国家工程研究中心 资助：国家自然科学基金 (Grant 62301521) 通讯作者：Yang Ai 💡 毒舌点评 说声码器轻量，但Table IV里HiFi-GAN吃掉了88.7%的GFLOPs。这就像说自己造的发动机省油，但没提整车油耗大头是轮胎摩擦力。 245小时训练数据 vs. FocalCodec的586小时，然后声称公平比较。这好比用校队训练量去挑战省队，赢了也得打个问号。 论文花大量篇幅论证在250 bps下的“优势”，但Table I中BigCodec在16kHz的NMOS（3.74）其实略高于FMelCodec（3.72），SMOS（3.17）则低于FMelCodec（3.51）。所谓“持平或优于”的结论需要更精确的限定。 48kHz实验中，FMelCodec在几乎所有指标上都优于BigCodec，但后者参数量是其6倍。论文对此“效率-质量”权衡的讨论显得轻描淡写，反而用大篇幅对比更弱的基线。 完全忽略流式处理，却大谈“卫星通信”等应用前景。对于实时通信，延迟是硬约束，这个框架目前根本无法满足。 📌 核心摘要 论文主题：提出FMelCodec，一种基于梅尔频谱图的三阶段（编码-精修-重构）超低比特率神经语音编码框架。 核心方法：在梅尔域进行激进压缩（单码本VQ），通过条件流匹配（CFM）精修被量化的梅尔图，最后用HiFi-GAN声码器重建波形。关键技术包括在线聚类VQ（OC-VQ）和自一致性CFM训练。 主要创新：1）将编码目标推向250 bps（16kHz）的极低水平；2）OC-VQ有效解决单码本VQ的码本坍塌问题；3）提出自一致性损失，使CFM推理仅需4步ODE求解。 实验设置：在16kHz的LibriTTS和48kHz的VCTK数据集上，将FMelCodec与多种代表性基线（波形域、谱域、SSL域）在匹配比特率及更高比特率下进行全面对比。 实验结果：在超低比特率下，FMelCodec在重建质量（NMOS, ViSQOL）和说话人相似性（SMOS）方面均优于或持平于大多数基线，同时保持较低的模型复杂度（27M参数）。在48kHz下，其性能接近或优于复杂度高得多的BigCodec。 潜在用途：适用于带宽受限场景（如卫星、物联网）的语音通信与压缩。论文也指出其作为“语音作为智能体通信接口”中音频编解码器的潜力。 计算复杂度：核心编码与精修模块（\(\phi_{\text{cod}}\) 和 \(\phi_{\text{ref}}\)）的总GFLOPs仅占系统约11%，但声码器 \(\phi_{\text{voc}}\) 占据了88.7%的计算量。整体RTF为0.022（约44.8倍实时）。 代码与数据：提供了完整的代码、预训练模型和Demo页面。 🔗 开源详情 代码：https://github.com/redmist328/FMelCodec 模型权重：检查点（Checkpoints）可从上述代码仓库获取。 数据集：LibriTTS（16 kHz）、VCTK（48 kHz）。论文描述了实验中使用的子集和划分方式，但未提供下载链接。 Demo：https://redmist328.github.io/FMelCodec 复现材料：论文中详细描述了三个阶段的模型架构、超参数配置和训练流程（Section III & IV-B），提供了足够的信息进行复现。代码仓库应包含完整实现。 论文中引用的开源项目： HiFi-GAN：https://github.com/jik876/hifi-gan ConvNeXt v2：论文引用文献[44]，未提供独立链接。 DAC：https://github.com/descriptinc/descript-audio-codec BigCodec：https://github.com/Aria-K-Alethia/BigCodec WavTokenizer：https://github.com/jishengpeng/WavTokenizer FlowDec：https://github.com/facebookresearch/FlowDec FocalCodec：https://github.com/lucadellalib/focalcodec SemantiCodec：https://github.com/haoheliu/SemantiCodec-inference 🏗️ 方法概述和架构 FMelCodec采用三阶段“编码-精修-重构”（CRR）框架，所有操作均在梅尔频谱图域进行。 ...

📄 Diffusion Domain Expansion: Learning to Coordinate Pre-trained Diffusion Models #扩散模型 #生成模型 #模型融合 #迁移学习 ✅ 7.4/10 | 前50% | #扩散模型 | #生成模型 | #模型融合 #迁移学习 | arxiv 学术质量 5.4/7 | 影响力 1.2/2 | 可复现性 0.8/2 👥 作者与机构 Egor Lifar, Semyon Savkin, Timur Garipov, Shangyuan Tong, Tommi Jaakkola. 💡 毒舌点评 这篇论文做了一件工程上很“讨巧”的事情：面对预训练扩散模型能力有限的痛点，它没有选择“炼更大力的丹”（训练更大模型），而是“雇了个小工”（轻量协调器）来指挥一堆“小模型”干活。想法直观，实验也算扎实，覆盖了音频和图像。但仔细一想，这个“协调器”本质上是在学一个“如何更好地做拼接”的策略。虽然它展示了从L_train泛化到L_test > L_train的能力，这确实是个亮点，但论文对“为什么能泛化”以及“泛化的边界在哪”缺乏理论层面的探讨，让人感觉有点知其然不知其所以然。此外，实验虽然跨领域，但核心场景（时间轴拼接、空间条件拼接）相对单一，未能展示在更复杂协调任务（如跨模态、异构模型协调）上的威力。开源情况约等于零，给复现带来了不必要的障碍。 📌 核心摘要 本文提出了扩散域扩展（DDE），一种通过训练一个轻量级、参数高效的协调器（基于ViT架构）来扩展预训练扩散模型生成能力的方法。该协调器学习协调多个预训练模型在重叠区域上的去噪输出，生成更大尺寸或更复杂条件的对象。论文的关键贡献在于展示了协调器可以泛化到训练时未见过的更大生成规模。实验在长音轨生成、多条件图像生成和卫星地图条件图像生成三个任务上进行，结果表明DDE在多项指标上优于MultiDiffusion等基线方法。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及。 数据集： Slakh2100（音乐生成）：论文引用了该数据集（Manilow et al., 2019），但未直接提供下载链接。 CLEVR（条件图像生成）：论文引用了该数据集（Johnson et al., 2016），但未直接提供下载链接。 卫星图像数据集：论文中指出该数据集是作者使用 Google Maps API 收集并处理的（见 B.3.1 节），但未公开数据集链接或提供获取方式。 Demo：论文中未提及。 复现材料：论文的附录 B 详细提供了所有实验的配置、模型架���细节、超参数设置以及采样器信息，构成了完整的复现指南。 论文中引用的开源项目： denoising_diffusion_pytorch：论文在 B.2.3 节和 B.3.2 节中提及使用了该库的 UNet 架构（标注为“denoising_diffusion_pytorch (url)”），但未提供具体 URL。 EDM (Karras et al., 2022)：论文在附录开头提及使用 EDM 框架进行训练和采样。其代码通常可在此仓库获取：https://github.com/NVlabs/edm。论文中提到“imported from the code provided by (Karras et al., 2022)”。 RoPE (Rotary Position Embedding, Su et al., 2023)：论文在 3.2 节和 B.3.4 节中描述使用了 RoPE 进行位置编码。原始实现通常与 LLaMA 等模型相关，论文未提供具体代码链接。 🏗️ 方法概述和架构 DDE方法的核心思想是将一个大型生成任务分解为多个小任务，利用现有的预训练扩散模型处理每个小任务，然后通过一个可训练的协调器网络来整合这些独立模型的输出，以生成全局一致的结果。 ...

📄 CounterFlow: A Two-Phase Inference-Time Sampling for Counterfactual Video Foley Generation #音频生成 #流匹配 #音视频 #生成模型 #模型评估 🔥 8.7/10 | 前50% | #音频生成 | #流匹配 | #音视频 #生成模型 | arxiv 学术质量 5.6/7 | 影响力 1.5/2 | 可复现性 1.6/2 | 置信度 高 👥 作者与机构 第一作者：Gyubin Lee（Kim Jaechul Graduate School of AI, KAIST） 通讯作者：未明确说明（论文中作者列表无明确标注，但通常最后一位作者为通讯作者） 作者列表：Gyubin Lee（Kim Jaechul Graduate School of AI, KAIST）、Junwon Lee（Kim Jaechul Graduate School of AI, KAIST）、Juhan Nam（Kim Jaechul Graduate School of AI, KAIST；Graduate School of Cultural Technology, KAIST） 💡 毒舌点评 亮点：论文精准定义了“反事实视频拟音”这一具体且有工业需求的任务，并提出了一个无需重新训练、仅在推理时操作的轻量级解决方案。核心的两阶段采样设计思路清晰，分解引导公式（Eq.1）有效对抗视觉主导问题，实验在精心构建的冲突数据集上明确证明了其优越性。短板：实验的基线对比虽然包含了SOTA方法（CAFA），但本质上仍是现有技术组件的巧妙组合，缺乏在模型架构或训练范式上的根本创新。对“视觉特征如何编码声音身份信息”这一核心假设的分析主要依赖间接证据（消融实验），缺乏更深入的探讨。 ...