扩散模型

论文把多乐器音乐合成的注意力扩散模型改造为语音与歌声转换，用音素后验、基频与演唱者嵌入做条件，在自然度与演唱者相似度上追平专用转换模型，但音素保真下降且加入器乐数据会拉低人声质量。

Archon 针对文本音频动作视觉碎片化问题，用统一离散词表加自回归语言模型统一七种模态，以语义视频实现约 4 倍 token 压缩并用语义驱动扩散恢复高清视频，最强证据是语音驱动视频与图条件语音任务上与专用模型相当或更优，代价是两阶段训练与推理链更长且本次未能确认代码模型公开。

论文用暖初始化把预训练音频扩散模型的逆向过程从引导信号中途启动，以双簧管转钢琴等实验研究初始化时间与噪声比例的取舍，报告在杰卡德距离低于 0.6 且弗雷歇音频距离低于 0.7 附近存在可用工作点，代价是对人声与强打击乐等成分处理不稳定且依赖高引导强度等超参数。

针对单图全身会话化身中音频到姿态再到渲染的误差累积与口手细节丢失问题，论文用音频直接调制三维高斯粒子变形场并蒸馏大视频扩散先验，消融显示轨迹对齐与分数蒸馏分别控制同步与平滑，但自建评测与合成监督带来泛化边界。

针对单张图像对应多种合理声音的一对多图像到音频生成问题，AudioSketch 用轻量图像到音频映射复用预训练文本到音频扩散模型并以 ControlNet 注入能量轨迹，再用语义条件能量调制器把简单时间戳转换为精炼能量，在 VisualSound 上无控制时以 16.21 的 FD 与 12.41 的 IS 领先同类，而代价是对平滑归一化选择敏感且客观起振对 …

针对长时叙事音频的时间连贯与组合推理难题，AudioStory 用大语言模型做分段规划加扩散模型逐段合成，在自建 AudioStory-10K 上以显式推理和语义加残差双桥接实现更强的指令遵循，但多段拼接与长时一致性仍受训练数据和评估条件的限制。

针对双人对话头像需要实时响应用户语音与动作、且倾听表情难以标注的问题，论文用因果扩散强迫在动作隐空间逐块生成并用丢用户条件的合成负样本做偏好优化，报告约 500 ms 延迟、6.8 倍加速与超 80% 人工偏好，代价是口型与画质只保持可比而非全面领先。

针对对话情感识别中随机缺失模态导致语义不一致与模态冲突，论文用掩码超图注意力为扩散恢复提供条件并用特征源与判别双通道估计不确定性做证据融合，在缺失率 0.0 至 0.7 下保持最高准确率，代价是两阶段训练与 300 步扩散采样开销。

针对手势数据缺描述文本导致的语义先验缺口与音频加描述难以协调控制的问题，CoordSpeaker 先用动作语言模型离线生成多粒度手势字幕，再用统一表示的潜在扩散加分层去噪器实现语音节奏与字幕语义的联合生成，最强证据是推理耗时大幅下降与文本对齐指标领先，代价是部分重建指标未占优且长序列时序感知仍有限。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读

针对和声乐器混合难以分声部精确编辑的问题，该演示系统用乐谱对齐加可微混合合成器做分析合成，再用合成参数域扩散模型约束参数轨迹，在双长笛混合上展示单声部乐器转换与乐句改写的定性例子，但未报告定量指标与可运行代码。

论文把音乐与语音当作隐式风格控制信号，用音频-动作对齐加残差混合专家教师与内容加风格扩散学生实现免重定向的音频到关节动作映射，在 FineDance 与 BEAT2 上报告了检索与跟踪指标，但跨仿真与真机泛化仍受数据集与物理条件限制。

DyaDiT 针对双人对话中两路语音互相干扰和社会上下文缺失的问题，用正交化交叉注意力分离双路音频并以关系与人格为条件做扩散生成，在 Seamless Interaction 子集上报告了更低的 FD 和更高偏好度，但人格可控性仍受音频隐含线索干扰。

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

针对无声电影片段生成与画面帧级对齐的立体声拟音问题，FoleyDesigner 选择先分解为分层拟音脚本再用视觉轨迹条件扩散逐事件生成并做多智能体混音，最强证据是时空对齐表上 IoU 达 32.2 与 GCC 最低 48.79，代价是密集重叠并发事件仍会出现定位误差且依赖仿真数据与多阶段流水线。

针对 FSD50K 存在背景干扰、重叠与稀疏标注的问题，该工作用扩散模型生成干净单源样本再构造受控混合来训练 BEATs 加 Bi-LSTM 判别器，在专家整理的 BSE 集上报告 95.51% 准确率与 98.58% 精确率，并据此筛选出 32,880 条的 FSD50K-Solo，代价是未验证对未见类别的泛化。

针对联合扩散中双路噪声导致的对齐漂移，Harmony 用音频驱动与视频驱动辅助任务提供干净锚点，并以全局局部解耦交互与同步增强引导提升细粒度同步，主结果报告 Sync-C 为 5.61、Sync-D 为 7.53，代价是三阶段训练与双分支推理开销。

针对无声视频生成语音时视觉稀疏而语音稠密的不对称问题，HiCoDiT 用残差向量量化的 12 层离散 token 层级先验把唇动身份与表情解耦注入低层和高层扩散块，在未训练的 LRS3 与 LRS2 上以 A/B 偏好 57.0% 对 38.1% 胜过 AlignDiT 等基线，代价是身份多样性受限且部分客观指标未全面领先。

针对音视频单侧与异步伪造在对称融合中互相污染边界的问题，IaMSB 用粗桥提候选、见证桥估一致性并分配步数与事件数、精炼桥做步数可调融合，在 LAV-DF 上 AP@0.95 达到 55.92、AV-Deepfake1M 上 AP@0.95 达到 23.01，代价是需要维护跨模态耦合统计与两级步数预算。