扩散模型

论文研究无任务微调的说话脸生成，用冻结的稳定扩散加图像适配器做骨干并配三个无可训练参数的模块，在 CREMA 和 HDTF 上报告了最低的口型几何误差和最高的口型相关性，代价是依赖外部人脸先验与逐帧重绘加后滤波的推理链路。

问题是从音乐生成对拍对风的舞蹈视频，方法选择是冻结预训练文本到视频扩散模型并只在精选层注入零初始化音频交叉注意力，最强证据是舞蹈质量与视频质量上超过从零训练的音视频基线，代价是依赖有限舞蹈数据混合与单卡约 20 小时的适配训练。

该工作针对统一视频文本到音频生成中音频歧义导致的数据语义冲突与跨任务和任务内竞争，用高对齐的 SoundAtlas 数据做语义桥并以三阶段渐进训练解耦竞争，在 VGGSound-Omni 上实现三任务统一最优，但强依赖数据流水线质量与分阶段训练成本。

该文研究只测到部分房间脉冲响应时能否用扩散修复补齐缺失通道并用于阵列处理，最强证据是在仿真与 MeshRIR 实测上重建误差低于样条插值且掩膜 0 和 1 下波束形成接近全阵列，但掩膜 3 等极端缺测下 SI-SDR 下降约 4 dB。

针对视频生音频只学外观关联而忽视撞击轻重的问题，PAVAS 用估计出的物体质量与速度去调制潜在扩散模型，在 VGGSound 与 VGG-Impact 上同时报告了分布、感知与物理一致性证据，但依赖多组冻结视觉模块且未验证延迟与成本。

该文用带噪潜变量微调一致性音频自编码器加感知损失来学习由粗到细的感知层次，并用自回归整流流估计音高惊奇度，在重建保真、与 IDyOM 相关性和 EEG 预测上报告了提升，但干净重建略有损失且高噪声机制仍待验证。

Soul 针对单帧人物图加文本加音频的人体动画任务，在 Wan2.2-5B 上新增音频注意力并用关键帧表示、段间重叠与阈值码本维持长时一致，再用步数蒸馏与轻量 VAE 加速，在 Soul-Bench 的开源对比与商用人评中取得优势，代价是复杂全身大动作仍可能出现伪影。

该文把声场重建写成从稀疏测点集合到任意查询点幅值的算子学习，用分支网编码麦克风坐标与幅值、主干网编码查询坐标并以交叉注意力聚合，在 32×32 训练网格上训练后可直接查询 64×64 细网格，并在 64 或 128 个测点时报告优于扩散基线，代价是 256 个测点时基线反超且本文只重建幅值不重建相位。

论文把问题定为地理上下文的声音景到景观生成，用声景加可选场景词生成街景级图像，以 SounDiT 三模块注入地理条件，在自建两套大数据集上以通用指标和三层地点相似度验证，代价是依赖预训练编码器与场景标注并需较多算力训练。

SyncDreamer 针对只有离散情绪标签和依赖姿态中间表示导致动作僵硬的问题，用视觉适配器保身份、音频动态编码器抓节奏能量、跨模态提示增强器把文本变成动作指令，在 HDTF、AVSpeech 人像和 EMTD 半身基准上报告了最优的真实感与同步指标，代价是两阶段扩散训练与更长的提示构造链路。

该研究用一路混合音频同时生成同处一室的双人 3D 表情、头姿、位移和眼球注视，以共享权重的双流扩散加跨说话人注意力解耦轮流，用两阶段数据策略兼顾交互与口型，并在用户研究中获得约 73 至 78% 的偏好，但推理依赖声纹分离出的说话概率与首帧空间条件。

针对以人为中心联合生成中唇同步偏差与语义情绪脱节，UniAVGen 采用对称双分支加不对称跨模态交互、面部感知调制与模态感知引导实现单模型多任务生成，论文报告在更少联合样本下取得音色与情绪一致性优势，同时存在主体一致性未胜出与大模型打分客观性不足等边界。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对符号音乐中音符属性被强加固定单向顺序的问题，Amadeus 采用音符级自回归加属性级双向离散扩散的两级架构并引入 CIEM，在 AMD 大规模数据上以 16.23 notes/s 实现文本条件与可控生成的提升，代价是扩散步数与速度需权衡且数据存在风格偏置。

针对反转式音频编辑必须用密集固定步数导致计算昂贵的问题，论文提出免训练的自适应轨迹外推框架 AdaTE，只在高曲率与高信息增益处做神经网络评估，其余用线性外推跳过，在 AudioLDM2 上以 12.8 次评估达到 3.9 倍加速且保真度基本不降，但激进阈值与极端不稳定轨迹仍会带来退化。

ControlAudio 把定时可控与可懂语音生成拆成文本、定时、音素三级条件，用结构化提示、三阶段训练和两段采样实现统一控制，在 AudioCondition 与 AC-Filtered 上提升时间精度与可懂度，代价是更依赖标注与仿真数据的分布假设和更长的多阶段训练。

DIFFA-2 针对自回归音频大模型数据贵、串行解码慢的问题，选择冻结 Whisper-Large-V3 加语义与声学双适配器加 LLaDA-8B 扩散主干与四阶段课程，在 MMSU 总体 60.45 分等公开基准上追平同级自回归模型，代价是第一阶段词错误率略高于自回归对照且三元混合音频仍偏弱。

针对基于扩散变换器的语音合成推理太慢的问题，论文用时间跳过与分支跳过复用已算结果，并经三阶段校准在保持可懂度和相似度下把计算量与实时率明显压低，而代价是阈值过高后音质会退化。

针对全局提示无法刻画配器情绪能量随段落演变的问题，SegTune 用全局加分段层级条件与大模型句级时长预测做非自回归扩散生成，在 15 首中文流行歌测试中把音素错误率降到 14.5% 并把音乐性主观分做到 4.57，代价是偏好优化后性别年龄跟随出现下滑。