扩散模型

针对前向加噪加反向去噪带来的旋律失真问题，论文用增量去噪分数直接在数据空间优化音频，并用个性化增量分数加分布偏移正则与时序对比损失引入用户自定义风格，报告显示在内容保持与偏好率上占优，但强风格迁移与原曲保持之间仍需权衡。

针对潜扩散文本生成音频的归属问题，该文把水印映射为初始隐向量这一支点锚，用无引导扩散生成锚序列并以软动态时间规整优化反演轨迹，在保持生成流程不变下报告了更强的鲁棒性，但每步多轮优化带来了可观的提取时间代价。

针对已有视频音轨需随画面增删替换音效的问题，AV-Edit 先用细粒度对比掩码预训练学到音画对齐表示，再用相关门控加多模态扩散重生成，在 VGG-Edit 三类编辑与 VGGSound 生成上报告最优距离与质量，代价是原文承认不能无失真保留原音。

ConsistTalk 针对音频驱动说话头视频的闪烁、身份漂移与音画失同步，用面部光流时间模块解耦运动、用音频到强度蒸馏建模帧级运动幅度、用强度引导的噪声束搜索做推理初始化，在 HDTF 上报告 FVD 171.7 与更低闪烁，但推理束搜索带来约 B 倍的计算代价。

DialoGen 针对双人对话手势同时生成问题，用权重共享的双路扩散加互交互估计保持同步，用监督对比学习的身份解耦风格引导保留个人风格，在 TWH 上报告了 FDg 1.18 与 FDk 2.33 的主结果，代价是仍依赖长风格样本与对话语音内容特征。

针对通用视频背景音乐在时间对齐与多视角特征融合上的困难，Diff-V2M 用节奏预测器从视频估计低分辨率起音检测函数并以情感先行、语义与节奏并行融合的分层交叉注意力约束音频潜在扩散，在域内混合测试与域外 V2M-Bench 上取得更优的客观指标与主观偏好，代价是依赖场景切分与帧差等粗粒度视觉动态且缺乏显式风格控制。

DIFFA 针对语音理解仍依赖自回归解码的问题，选择冻结 Whisper-small 与 LLaDA-8B-Instruct、只训练语义与声学双适配器的两阶段路线，在 960 小时 ASR 加 127 小时合成指令数据下 MMAU 平均 49.71% 与 MMSU 平均 56.04%，代价是音系与副语言细粒度感知仍弱于语义推理。

针对半监督歌声旋律提取中频域增强敏感与一致性正则化丢弃约半数无标注数据的问题，论文提出分频带扩散增强、全局-类别置信筛选与通道交叉注意力三模块组合，在 ADC2004 等四套测试上相对 MCSSME 的 OA 提升 0.9% 至 7.7%，代价是引入扩散迭代与记忆库等额外结构与调参面。

针对音频驱动人像动画中动作自然度、唇同步、视觉质量互相冲突的问题，该工作用 Talking-Critic 学三维奖励并自动构建 410K 偏好对，再用 TLPO 分专家独立优化后做时步-层自适应融合，报告显示主指标和用户评分全面提升，代价是两阶段训练与多专家推理融合的额外复杂度。

HQ-SVC 针对无目标说话人数据、无微调的零样本歌声转换，用冻结的解耦编解码同时取内容与音色特征，再经 EVA 模块融合音高能量并用 DDSP 加扩散两级重建 44.1 kHz 梅尔谱，在不足 80 小时数据与单张消费级 GPU 条件下取得比大资源基线更高的自然度与音高准确性，代价是音色相似度客观指标未全面领先且重建引入可接受的发音音高误差。

针对扩散音频超分一次采样方差大、关键属性易丢失的问题，论文用冻结 AudioSR 加验证器打分与随机/零阶搜索选优，在 4 kHz 到 24 kHz 语音上报告最高约 9.70% 美学、15.20% 词错误率与 46.98% 频谱距离改善，代价是 120 路候选的成倍推理开销与单验证器过拟合风险。

针对自然混合音频直接生成图像会丢失多源语义的问题，MACS 采用先用 UNet 分离再用解耦交叉注意力生成图像的两阶段路线，在 LLP-multi 等多任务上报告了多项指标领先，但分离数固定与文本标签依赖仍是主要代价与边界。

针对改乐器风格情绪时旋律节奏易丢失的问题，Melodia 在冻结的 AudioLDM 2 上做部分逆向并只替换 8 到 14 层自注意力图来保结构，探测分类与三数据集主客观实验支持其在文本贴合和结构保持间的平衡，但综合分依赖跨方法归一化且未报告延迟与误改成本。

针对只有音乐输入而缺乏动机控制的问题，MotivDance 用文本生成关键姿态作动机、自适应定位到音乐节拍再做扩散补间，在 AIST++ 稀疏关键帧上取得 FIDk 64.36 与关键帧误差 0.1211，但无关键帧时节拍对齐仍弱于部分基线。

针对扩散说话头推理慢与长视频接缝断裂问题，READ 用 32×32×8 时空压缩加 SpeechAE 对齐音频与 A2V-DiT 生成，并在 HDTF 上以 4.421 骨干耗时取得 Sync-C 8.658 的竞争精度，代价是需 8 步采样与 Split-CFG 增加约 50% 耗时。

该文把配对干净与带噪语音之间的流匹配与扩散桥统一为均值方差不同的高斯概率路径，论证数据预测训练下每步采样等价于预测式增强，并用时频主干与改进损失在更少参数和更少步数下超过已有生成式基线，但提升上限仍受预测本质约束。

针对唇到语音中视觉到声学一对多映射难保留细节的问题，SLD-L2S 用层次子空间潜流匹配直写预训练音频编解码器连续潜向量并辅以语义与语音语言模型损失，在 LRS3 上以 10 步函数求值取得 UTMOS 4.2096 等质量领先，代价是可懂度仍受视觉信息瓶颈与辅助损失权衡约束。

该文把随语音手势生成改成随音频推进的滚动扩散窗口，用逐帧递增的噪声排布和一次性解码多帧的梯子加速，在 ZEGGS 与 BEAT 上提升连贯性与多样性，代价是梯子步长增大时在表现力强的数据上会出现平滑与抖动问题。

针对整序列扩散在超长语音上泛化下降与延迟随长度增长的问题，该文用固定窗口历史运动加当前音频生成动态条件，再用单层扩散头逐帧去噪，在 BIWI 长序列与消融对照上显示出同步与稳定优势，但短序列口型开合仍有可比基线。

该工作以 Wan2.1 为基座，先用 LoRA 适配长视频，再只更新音频交叉注意力并用自动构造的 DPO 偏好对提升口型与表情，最后在推理侧用空间掩码加权的 Mask-CFG 实现三人以上多人音频驱动，最强证据是 HDTF 与 CelebV-HQ 上的 FID 与 FVD 领先，代价是三阶段大算力训练与推理时多路条件前向的额外开销。