扩散模型

论文把图像、语音、文本、蛋白质序列与结构都写成固定二进制码，用同一套高斯加噪、按比特预测和部分去噪流程训练一个去噪器，通过控制哪些比特可见来切换联合生成与不同条件生成，并在受控加法、语音文本与蛋白质三组实验中验证一致性与主要代价。

论文针对视频条件下的符号音乐生成中扩散模型内部表示质量不足的问题，提出用高噪声下浅层表示向低噪声下深层表示对齐的 U-SRA 方法，在 BGM909 上以检索精度和接近真实数据的音高节奏指标超过 Diff-BGM，代价是需要额外的教师分支与对齐投影计算。

该文研究把多步扩散与流模型压缩到 4 次函数求值的问题，提出只做在轨速度回归并加上训练期残差代理与弱预测排斥的 SMD 框架，在图像、编辑、3D、视频与 33B 音频视频联合模型上验证了对齐与质量表现，但结论依赖同网格评测与原文报告的基线配置。

TASTE 把文字拆成标签、段落计划和意象三路条件，用三层弱监督数据和两类模型实现可控钢琴生成，在情感与结构对齐上提升明显，但伴奏与演奏风格仍受标签可靠性限制。

论文用 42.5 小时历史古琴独奏适配 Stable Audio 3 Medium 的 DoRA 小参数，以一位专家的七轮盲听驱动决策，最终续弹和场景生成得分最高，但样本小且随机性大，只能作探索性记录。

论文指出隐音频生成中解码器训练用编码器隐变量而推理用生成器隐变量的不一致，用加噪再经冻结扩散模型去噪构造的中间隐变量只微调解码器，在 AudioCaps 和 MusicCaps 上降低 FD 和 FAD，代价是原 AudioX 训练的少量音频小时和单卡时间。

论文用只在训练加替换、采样只用掩码的 DeMaR 检验零样本语音合成，发现字错率下降在不再改写已定词元时依然保留，而两种解码运行方式不同且原文未报告延迟对比。

针对伪造语音加微小扰动即可骗过检测器的问题，该文用轻净化前后检测分数的变化来判断风险，只对高风险输入做强扩散净化，在三个检测器和三种攻击下取得最优综合误差，而干净输入几乎不受影响，代价是每次都要做轻探针净化且自适应攻击下存在绕门风险。

针对每 80 ms 都要唤醒主干的全双工对话开销，DiffuPlex 一次预测 16 帧未来并只消费可信前缀，在保持打断与轮转行为的条件下把主干调用降到约一半，代价是单次唤醒更贵且激进消费语音未来会损失自然度。

DMAD 针对少步学生需要拟合自身演化分布的高成本问题，用两个判别器头的对数密度比分类代替辅助分数拟合，在 ImageNet 单步 1.04、COCO 四步 14.47、Wan14B 四步 85.15 上取得对照内最优，但每步一次判别器更新与缓存教师样本等条件不可去掉。

论文把冻结的分类、对齐与重建类音频嵌入接到同一个预训练扩散解码器上做配对音乐重建，用声学距离、生成空间相似度、配对检索与标签重合度量保留了多少源信息，并发现接口越细恢复越好但压缩嵌入仍保留可测的源特异性与高层音乐内容，代价是每种接口约 36 小时的微调与重建失败不能等同于信息不存在。

论文要解决文本生成 5 秒有声视频时的语义与时间对齐问题，采用视频流加音频流的双流扩散结构加联合训练，在语音质量与同步指标上给出证据，代价是两阶段蒸馏与超分带来的额外训练和推理开销。

论文把分块序号与去噪步看成一张二维格子，用两个可叠缩的权重恒等式决定何时重采样，在相同去噪器调用预算下用块边界打分提升长序列奖励，并用奖励到达时机与集合内可预测性解释何时该果断提交、何时值得前瞻。

论文用同一组掩码扩散编解码器语音模型只在推理时增加细化步数，发现可懂度接近可达上限而音色相似度只走了一半路程，相同计算量下用说话人编码器做候选选择才能继续提升音色，但要付出词错误率和编解码器上限的代价。

在冻结说话人 backbone、训练时能直接看到干净目标的前提下，用球面上的冯米塞斯-费希尔轮廓似然得到按残差自适应加权的对数损失，在保持标准集基线的同时改善失配集，但结论只在原文的配对增强流程和评测条件下成立。

Smorph 用共享的结构信号锚定时间组织、再用插值权重混合音色端点，在三类渐变任务上以更保守的目标偏移为代价换来更稳的节奏与音高保持，并通过预计算音色网格实现可演奏的实时控制。

针对少麦克风、低信噪比下盲语音分离观测约束不足的问题，VM-ArrayDPS 把独立向量分析输出当作虚拟麦克风与物理麦克风一起做多通道一致性引导，在 SMS-WSJ 二人和三人混响分离上一致超过 ArrayDPS，代价是每步要多做虚拟通道的前向卷积预测与梯度计算。

针对联合音视频扩散后训练中跨模态作用位置与多奖励冲突随训练漂移的问题，该工作用双向跨注意力预门响应做 token 与层级路由，并用分支内冲突系数对先验权重做残差修正，在 LTX-2 与 LTX-2.3 上以更均衡的多奖励轨迹提升质量、对齐与同步，但统一奖励与跨架构泛化仍未解决。

PLACE 面向文本、视频、可选音频任意组合到双耳波形的生成问题，选择冻结 AudioX 与 SAO 解码器并外挂空间对齐与低秩潜适配器，在 MRSAudio 上小规模微调并用解码音频的 ILD 与 ITD 监督方向，在 FAIR-Play 多数客观指标上优于 ViSAGe 且在 BEWO-1M 上保持部分竞争力，代价是在部分文本到音频指标与分布内主观评分上 …

针对直接图像到语音中图像可多述且与语音单元无单调对应的问题，MGSA 用语义语音单元统一多说话人内容目标、以单调查询对齐器生成位置相关条件再做块级掩码扩散生成，在 Flickr8k-Audio 上达到与单说话人基线可比的字幕指标并支持未见说话人的零样本合成，代价是内容准确性仍是主要局限。