扩散模型

共分析 137 篇 ICML 2026 论文

BridgeCodec 要解决冻结的 8 kHz 源编码器与 48 kHz 目标解码器无法直接通信的问题，用 Schrödinger Bridge 在潜在空间做最优传输并以 Mamba 增强的 U-Net 建模长时依赖，在 1 kbps 传输下实现 48 kHz 重建，代价是需要两阶段训练且高频内容带有生成性幻觉。

针对扩散式情感合成只强化目标情绪而缺少对竞争情绪建模的问题，Emo-BPO 用同文本倒序情绪对联合学习对齐与对比两个分数分支并在推理时做对比引导，在 ESD 与 EmoVoiceDB 条件下提升了情绪与韵律相似度和主客观情绪准确率，而可懂度保持接近但未超过自回归大模型基线。

Diffuplex 用自回归策略决定何时说话、用语音条件离散扩散并行生成说什么，在 VoiceBench 上以思考模式达到 86.9 分并实现每前向 13.0 词元、1872 词元每秒的解码速度，代价是需要三阶段训练与提前固定前缀带来的延迟质量折中。

论文把图像、语音、文本、蛋白质序列与结构都写成固定二进制码，用同一套高斯加噪、按比特预测和部分去噪流程训练一个去噪器，通过控制哪些比特可见来切换联合生成与不同条件生成，并在受控加法、语音文本与蛋白质三组实验中验证一致性与主要代价。

论文针对视频条件下的符号音乐生成中扩散模型内部表示质量不足的问题，提出用高噪声下浅层表示向低噪声下深层表示对齐的 U-SRA 方法，在 BGM909 上以检索精度和接近真实数据的音高节奏指标超过 Diff-BGM，代价是需要额外的教师分支与对齐投影计算。

该文研究把多步扩散与流模型压缩到 4 次函数求值的问题，提出只做在轨速度回归并加上训练期残差代理与弱预测排斥的 SMD 框架，在图像、编辑、3D、视频与 33B 音频视频联合模型上验证了对齐与质量表现，但结论依赖同网格评测与原文报告的基线配置。

TASTE 把文字拆成标签、段落计划和意象三路条件，用三层弱监督数据和两类模型实现可控钢琴生成，在情感与结构对齐上提升明显，但伴奏与演奏风格仍受标签可靠性限制。

论文用 42.5 小时历史古琴独奏适配 Stable Audio 3 Medium 的 DoRA 小参数，以一位专家的七轮盲听驱动决策，最终续弹和场景生成得分最高，但样本小且随机性大，只能作探索性记录。

论文指出隐音频生成中解码器训练用编码器隐变量而推理用生成器隐变量的不一致，用加噪再经冻结扩散模型去噪构造的中间隐变量只微调解码器，在 AudioCaps 和 MusicCaps 上降低 FD 和 FAD，代价是原 AudioX 训练的少量音频小时和单卡时间。

论文用只在训练加替换、采样只用掩码的 DeMaR 检验零样本语音合成，发现字错率下降在不再改写已定词元时依然保留，而两种解码运行方式不同且原文未报告延迟对比。

针对伪造语音加微小扰动即可骗过检测器的问题，该文用轻净化前后检测分数的变化来判断风险，只对高风险输入做强扩散净化，在三个检测器和三种攻击下取得最优综合误差，而干净输入几乎不受影响，代价是每次都要做轻探针净化且自适应攻击下存在绕门风险。

针对每 80 ms 都要唤醒主干的全双工对话开销，DiffuPlex 一次预测 16 帧未来并只消费可信前缀，在保持打断与轮转行为的条件下把主干调用降到约一半，代价是单次唤醒更贵且激进消费语音未来会损失自然度。

DMAD 针对少步学生需要拟合自身演化分布的高成本问题，用两个判别器头的对数密度比分类代替辅助分数拟合，在 ImageNet 单步 1.04、COCO 四步 14.47、Wan14B 四步 85.15 上取得对照内最优，但每步一次判别器更新与缓存教师样本等条件不可去掉。

论文把冻结的分类、对齐与重建类音频嵌入接到同一个预训练扩散解码器上做配对音乐重建，用声学距离、生成空间相似度、配对检索与标签重合度量保留了多少源信息，并发现接口越细恢复越好但压缩嵌入仍保留可测的源特异性与高层音乐内容，代价是每种接口约 36 小时的微调与重建失败不能等同于信息不存在。

论文要解决文本生成 5 秒有声视频时的语义与时间对齐问题，采用视频流加音频流的双流扩散结构加联合训练，在语音质量与同步指标上给出证据，代价是两阶段蒸馏与超分带来的额外训练和推理开销。

论文把分块序号与去噪步看成一张二维格子，用两个可叠缩的权重恒等式决定何时重采样，在相同去噪器调用预算下用块边界打分提升长序列奖励，并用奖励到达时机与集合内可预测性解释何时该果断提交、何时值得前瞻。

论文用同一组掩码扩散编解码器语音模型只在推理时增加细化步数，发现可懂度接近可达上限而音色相似度只走了一半路程，相同计算量下用说话人编码器做候选选择才能继续提升音色，但要付出词错误率和编解码器上限的代价。

在冻结说话人 backbone、训练时能直接看到干净目标的前提下，用球面上的冯米塞斯-费希尔轮廓似然得到按残差自适应加权的对数损失，在保持标准集基线的同时改善失配集，但结论只在原文的配对增强流程和评测条件下成立。

Smorph 用共享的结构信号锚定时间组织、再用插值权重混合音色端点，在三类渐变任务上以更保守的目标偏移为代价换来更稳的节奏与音高保持，并通过预计算音色网格实现可演奏的实时控制。