扩散模型

HQ-SVC 针对无目标说话人数据、无微调的零样本歌声转换，用冻结的解耦编解码同时取内容与音色特征，再经 EVA 模块融合音高能量并用 DDSP 加扩散两级重建 44.1 kHz 梅尔谱，在不足 80 小时数据与单张消费级 GPU 条件下取得比大资源基线更高的自然度与音高准确性，代价是音色相似度客观指标未全面领先且重建引入可接受的发音音高误差。

针对扩散音频超分一次采样方差大、关键属性易丢失的问题，论文用冻结 AudioSR 加验证器打分与随机/零阶搜索选优，在 4 kHz 到 24 kHz 语音上报告最高约 9.70% 美学、15.20% 词错误率与 46.98% 频谱距离改善，代价是 120 路候选的成倍推理开销与单验证器过拟合风险。

针对自然混合音频直接生成图像会丢失多源语义的问题，MACS 采用先用 UNet 分离再用解耦交叉注意力生成图像的两阶段路线，在 LLP-multi 等多任务上报告了多项指标领先，但分离数固定与文本标签依赖仍是主要代价与边界。

针对改乐器风格情绪时旋律节奏易丢失的问题，Melodia 在冻结的 AudioLDM 2 上做部分逆向并只替换 8 到 14 层自注意力图来保结构，探测分类与三数据集主客观实验支持其在文本贴合和结构保持间的平衡，但综合分依赖跨方法归一化且未报告延迟与误改成本。

针对只有音乐输入而缺乏动机控制的问题，MotivDance 用文本生成关键姿态作动机、自适应定位到音乐节拍再做扩散补间，在 AIST++ 稀疏关键帧上取得 FIDk 64.36 与关键帧误差 0.1211，但无关键帧时节拍对齐仍弱于部分基线。

针对扩散说话头推理慢与长视频接缝断裂问题，READ 用 32×32×8 时空压缩加 SpeechAE 对齐音频与 A2V-DiT 生成，并在 HDTF 上以 4.421 骨干耗时取得 Sync-C 8.658 的竞争精度，代价是需 8 步采样与 Split-CFG 增加约 50% 耗时。

该文把配对干净与带噪语音之间的流匹配与扩散桥统一为均值方差不同的高斯概率路径，论证数据预测训练下每步采样等价于预测式增强，并用时频主干与改进损失在更少参数和更少步数下超过已有生成式基线，但提升上限仍受预测本质约束。

针对唇到语音中视觉到声学一对多映射难保留细节的问题，SLD-L2S 用层次子空间潜流匹配直写预训练音频编解码器连续潜向量并辅以语义与语音语言模型损失，在 LRS3 上以 10 步函数求值取得 UTMOS 4.2096 等质量领先，代价是可懂度仍受视觉信息瓶颈与辅助损失权衡约束。

该文把随语音手势生成改成随音频推进的滚动扩散窗口，用逐帧递增的噪声排布和一次性解码多帧的梯子加速，在 ZEGGS 与 BEAT 上提升连贯性与多样性，代价是梯子步长增大时在表现力强的数据上会出现平滑与抖动问题。

针对整序列扩散在超长语音上泛化下降与延迟随长度增长的问题，该文用固定窗口历史运动加当前音频生成动态条件，再用单层扩散头逐帧去噪，在 BIWI 长序列与消融对照上显示出同步与稳定优势，但短序列口型开合仍有可比基线。

该工作以 Wan2.1 为基座，先用 LoRA 适配长视频，再只更新音频交叉注意力并用自动构造的 DPO 偏好对提升口型与表情，最后在推理侧用空间掩码加权的 Mask-CFG 实现三人以上多人音频驱动，最强证据是 HDTF 与 CelebV-HQ 上的 FID 与 FVD 领先，代价是三阶段大算力训练与推理时多路条件前向的额外开销。

针对中文唇读辅以手编码的视频到语音任务，UniCUE 用姿态感知的识别通路提供细粒度视觉语义并经适配器条件化潜在扩散语音生成，在统一听障语料上报告了识别与生成的词错率下降，但训练只用健听者数据且推理开销未量化。

该文把单通道分离写成已知加性混合的逆问题，只用单源扩散先验加迭代重建引导完成分离，并用混合加噪初始化、三重注意力骨干与混合引导强度解决梯度冲突，代价是 200 步迭代采样的计算开销与同质语音的排列不确定性。

针对视频配乐中视频细节刻画不全与转场对拍不准的问题，VeM 用分层视频解析作指挥家组织多模态条件，以故事板引导交叉注意力和转场节拍对齐适配器生成波形音乐，在 TB-Match 上报告了语义与节奏指标的提升，但强转场对拍假设与评测阈值限制了其适用边界。

针对 Stable Audio Open 的 VAE 潜空间可解码音高类别这一可验证性质，论文用冻结的微型卷积探针在去噪后 40% 窗口内以 RMS 归一化梯度轻推潜变量，在 27 次配对试验中将旋律一致性从 0.112 提升至 0.274 且未报告音质代价。

论文研究文本到音频视频联合生成中的语义泄漏与声源归属错误，提出只在推理时对文本-视频、文本-音频、音频-视频三条交叉注意力边加偏置的转向方法，在 100 个挑战提示上把 Qwen 声源归属分从 0.1216 提高到 0.1349，代价是约 2.5 倍推理开销。

语音合成 | 8.2/10

音视频生成 | 7.2/10

扩散模型 | 5.9/10

音频生成 | 6.6/10