扩散模型

针对离散扩散语音克隆中词正确性与说话人保持未被直接优化的问题，RAWD-TTS 用识别与说话人波形奖励算组内优势并加权前向掩码重建，在 500 条俄语克隆提示上把词错误率从 3.18% 降到 2.42% 并把说话人余弦从 0.733 提到 0.748，代价是单奖励会损伤另一属性且训练奖励上升不等于评测单调变好。

针对免提通话需要因果低延迟联合回声噪声控制的问题，DiffVQE2 用因果卷积加单向 GRU 改造混合扩散框架并辅以有限前视，在 ICASSP 2023 AEC 盲测上以更低算力取得更高的主观 MOS，但客观双讲指标仍有代价。

FlowAct-R2 要解决长时间直播中边播边换参考仍保持身份与连续的问题，用流式多模态参考扩散变换器实现连续视频生成、用离线规划加在线调度的主动交互智能体决定演什么与何时演，在与 Vidu-S1 的人评中取得视频质量 +54.76% 与实时交互 +40.48% 的 GSB 分，代价是原文未公开训练数据、定量协议与延迟成本细节。

论文把文本到音乐拆成 25 Hz 语义规划加扩散声学渲染，用固定接口、三级语料和全链路产物清单重建 Qwen-Music 范式，最强证据是标注审计与量化误差的固定协议测量，代价是自动监督误差、离散信息损失与端到端人声不稳定仍未解决。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

ADDSE 把语音增强转写为以带噪码为条件生成干净神经音频编解码码的条件分布，用吸收式离散扩散和 RQDiT 并行解码，在两套跨语料噪声测试上以非侵入指标取得可比质量，尤其在低信噪比和少采样步数下保持稳定，代价是侵入式指标和相位重建能力明显弱于判别式基线。

该文在视觉条件扩散语音先验的去噪分数匹配损失上并联对称 InfoNCE 对齐损失，在匹配与跨数据集失配测试中提升干扰抑制与重建，代价是对视觉输入依赖更强且对比权重需仔细平衡。

针对扩散语音增强缺语言约束的问题，该工作用冻结 wav2vec 2.0 特征经 FiLM 在 U-Net 瓶颈调制并做指数平滑，在 VoiceBank-DEMAND 上 PESQ 比同宽 StoRM 提升约 0.4，代价是 SI-SDR 略降且 128 通道仍非实时。

CtrlSpeech 针对整句级控制难以修改局部韵律的问题，在 DiTAR 连续声学建模上叠加全局说话人条件与音素对齐的音高、响度和时长信号，零-shot 可懂度和相似度与复现 DiTAR 相当，而显式控制使音高、响度和时长误差大幅下降，代价是纯文本时局部韵律仍不准且依赖基频提取与强制对齐质量。

针对韵律同时承载表达力和身份线索的矛盾，DiffAnon 在语音分词器的语义嵌入上做扩散精修并用无分类器引导连续控制韵律保留度，在同一模型上实现可调的效用隐私权衡，但韵律保留越强则等错误率越低且词错误率与情感召回随之变化。

针对扩散情感语音只推高目标情感而缺少对竞争情感建模的问题，Emo-BPO 用同文本倒序情感对联合学习对齐与对比两个分数分支并在推理以后段增强的对比引导组合它们，在 ESD 与 EmoVoiceDB 上把情感相似度做到 99.23、平均自动情感识别准确率做到 0.87，代价是可懂度仍略逊于自回归大模型基线。

针对视频生成音频中时间对齐、多模态控制与细粒度语义难以兼得的问题，FoleyGenEx 在多模态扩散变换器上加入参考音频注入与多模态动态掩码并配副词增强数据，在 AudioCaps、VGGSound 与 Greatest Hits 上保持同步的同时扩展了文本控制、音频控制与续写能力，代价是更复杂的训练配比与推理条件构造。

针对无声视角视频直接生成一阶 Ambisonics 时内容与几何纠缠的问题，该文用第一阶段生成单声道 W 保语义、第二阶段残差空间化生成 XYZ 保方向的选择，在 YT-AmbiSem 上同时取得最优语义与空间指标，但强空间化仍受能量预算约束且复杂声场景泛化待验证。

针对舞蹈到音乐生成中节奏表示过粗与舞蹈音乐时间长度错位的问题，GACA-DiT 用多尺度时空节奏提取加上下文对齐查询的扩散变换器建模，在 AIST++ 与 TikTok 上取得最高的节拍与质量指标，代价是依赖姿态与预训练编解码器且演示链接当前不可用。

该研究把固定零向量换成每个条件独立可学习的空嵌入并解耦说话人与文本引导，在相同模型与训练条件下提升说话人相似性与稳定性且在大引导权重下更稳，代价是绝对感知质量分数略降且需在推理时手工权衡相似性与自然度。

针对自回归解码慢、非自回归精度差的矛盾，该文用音频条件掩码扩散解码器加两步自我纠正训练与位置偏置采样，在多英语基准上达到 1.8%/3.6% 等词错误率并保持并行加速，代价是仍需多步迭代且未覆盖更广泛语言域。

NaVo 针对只需数秒语音即可克隆的威胁，用文本到音频扩散模型加性别与场景分组的 LoRA 模块生成可直接混合的环境声，在 17 dB 混合条件下报告了对商用克隆系统 76% 的防御成功率与跨编码器的迁移效果，代价是依赖性别分布假设与固定信噪比混合。

OmniVoice 针对两阶段文本到语义再到声学管线的误差传播与信息瓶颈问题，选择单阶段双向 Transformer 直接由文本预测多码本声学词元，并以全码本随机掩码与大语言模型初始化为关键手段，在 581k 小时开源多语数据上实现覆盖 600 余种语言，最强证据是中英文与 102 语可懂度接近真值，代价是长尾低资源语言仍依赖重采样与修复流水线且推理需 32 …

针对用低阶镜像声源法早期反射补全完整房间脉冲响应时会出现不连续的问题，该文采用以信号预测为目标并以模拟早期反射为条件的扩散模型，结合能量衰减曲线损失与分类器无关引导，在混合训练下改善了早期补全与衰减曲线重建，但推理需要完整 200 步反向扩散而慢于单次前向基线。

论文要解决文本相同但语气不同时图像该如何变化的问题，用 ProsodyCLIP 加解耦适配器把韵律信号单独注入 280M 蒸馏 U-Net，在 RAVDESS 上报告 71.3% ECA 但 FID 落后于大模型且只限面部表情评价。