扩散模型

共分析 137 篇 ICML 2026 论文

针对不知道水印方案、不能查询检测器的黑盒条件，ScrambleMark 用分频段谐波扰动破坏水印结构一致性，在七种学术水印和三种商用水印上实现约 0.97 的逃避成功率并保持语音可懂度和主观听感，同时能抵抗知道算法的自适应恢复。

论文针对现有零样本语音转换在阿拉伯语上发音失真的问题，用阿拉伯语数据适配 EZ-VC 得到 EZ-Ar-VC，在保持说话人不可辨认的同时保留可懂度、自然度和口音，并在方言和语码切换上做了客观与主观验证。

Rel2Traj 针对多声源相对运动约束问题，把描述解析为关系图与锚点后联合生成轨迹再渲染双耳音频，在未见过的运动与关系组合上关系满足率达到 0.983，代价是轨迹抖动较大且依赖受控语言与合成数据。

论文把理想高阶 Ambisonics 重建写成一个从传声器观测出发的逆问题，用只在理想信号上训练的扩散先验加物理前向算子在推理时做后验采样，并以阶数掩蔽和分数混合解决可观测分量校正与不可观测高阶生成之间的矛盾，代价是 90 步约 150 次网络求值的迭代推理开销。

EmpDPO 用现成重读检测器先给真实语音打伪标签做监督微调，再用同一检测器从模型采样中挑出好坏偏好对做扩散模型偏好优化，只用 5171 对和 1 万步就在六种语言上让目标词的重读更明显，同时保持自然度和音质。

MiDiff 要解决严重混响与话筒染色下鼓瞬态难恢复的问题，用对齐钢琴卷帘直接条件化复数 STFT 域的分数网络，在 StemGMD 上把测试 FAD 从 1.268 降到 0.233，而无真值 MIDI 时的混合转录采样只能降到 0.676 且切换点是在测试集上选出的。

ChoreoStudio 针对群舞队形演变不足的问题，用编排计划先决定队形、切换时机与舞者分工再生成动作，在 AIOZ-GDance 上提升群组真实感与队形动态，但结论只在 150 帧统一评测与所用指标下成立，且长序列与多人时优势会变化。

该文把旋律控制写成以可微基频估计为观测算子的逆问题，用扩散后验采样加三角波暖启动引导无条件模型，在钢琴、吉他和人声上达到接近专用条件模型的旋律准确率，但音色、咬字等不受控细节仍由先验决定。

SORD 只用干净信号的扩散先验加已知污染位置，通过修复初始化与信号污染交替精炼恢复被局部结构污染的图像与音频，在未知污染类型上更稳，但依赖掩膜准确且计算代价来自多样本多轮扩散采样。

TIMUSE 把通用增强拆成语义恢复与声学重建两步，用文本扩散语言模型补内容、用流匹配模型保音色，在重度缺失下内容保持更好，但结论只在原文的双基准与配对训练条件下成立。

Modaliff 把条件和目标拼成一条统一令牌序列做去噪，只用双模态对子训练就支持任意方向生成，在多数任务上取得较好的保真度，但结论依赖紧凑语义隐空间和固定评测集。

针对移动声源的双耳音频驱动人体动作生成问题，MOMO 用声源定位网络估计头中心方向加 CLAP 理解音频内容再做扩散生成，在 DySAM 测试集上取得更好的对齐和物理合理性，但结论只在室内单声源采集条件下成立。

UniAVC 先在单模态数据上练好视频和音频各自的生成与编辑能力再冻结主干、只用少量配对数据训练跨模态桥，并用两条不对称噪声轨迹加干净分支子任务支持联合生成、跨模态生成与指令编辑，最强证据来自联合编辑与跨模态基准上的可比结果，代价是两阶段大算量与双流全轨迹推理开销。

针对多人混合语音中只提取目标说话人的问题，PromptSep-Speaker 用潜在扩散一次生成目标语音并支持四种可互换提示，在多组异域评测上提高分离准确率与听感，而去掉对齐损失后目标选择可靠性大幅下降。

针对视频中发声线索细小且分散的问题，SCR-V2A 先定位与声音事件判别相关的图像区域再做双路视觉条件去控制音频扩散模型，在 VGGSound 上分布匹配最好、在 CountixAV 上保持泛化，但跨模态对齐并非全面最优且依赖定位质量。

针对掩码扩散模型一旦提交预测就不能修改而累积错误的问题，论文用分层二进制量化提供由粗到细的语音表示，并用生成式精修网络以真假混合输入训练和随机丢弃重预测的迭代方式修正错误，在匹配码本下优于有限标量量化，中文可懂度有优势但说话人相似度仍有代价。

BridgeCodec 要解决冻结的 8 kHz 源编码器与 48 kHz 目标解码器无法直接通信的问题，用 Schrödinger Bridge 在潜在空间做最优传输并以 Mamba 增强的 U-Net 建模长时依赖，在 1 kbps 传输下实现 48 kHz 重建，代价是需要两阶段训练且高频内容带有生成性幻觉。

针对扩散式情感合成只强化目标情绪而缺少对竞争情绪建模的问题，Emo-BPO 用同文本倒序情绪对联合学习对齐与对比两个分数分支并在推理时做对比引导，在 ESD 与 EmoVoiceDB 条件下提升了情绪与韵律相似度和主客观情绪准确率，而可懂度保持接近但未超过自回归大模型基线。

Diffuplex 用自回归策略决定何时说话、用语音条件离散扩散并行生成说什么，在 VoiceBench 上以思考模式达到 86.9 分并实现每前向 13.0 词元、1872 词元每秒的解码速度，代价是需要三阶段训练与提前固定前缀带来的延迟质量折中。