扩散模型

NaVo 针对只需数秒语音即可克隆的威胁，用文本到音频扩散模型加性别与场景分组的 LoRA 模块生成可直接混合的环境声，在 17 dB 混合条件下报告了对商用克隆系统 76% 的防御成功率与跨编码器的迁移效果，代价是依赖性别分布假设与固定信噪比混合。

OmniVoice 针对两阶段文本到语义再到声学管线的误差传播与信息瓶颈问题，选择单阶段双向 Transformer 直接由文本预测多码本声学词元，并以全码本随机掩码与大语言模型初始化为关键手段，在 581k 小时开源多语数据上实现覆盖 600 余种语言，最强证据是中英文与 102 语可懂度接近真值，代价是长尾低资源语言仍依赖重采样与修复流水线且推理需 32 …

针对用低阶镜像声源法早期反射补全完整房间脉冲响应时会出现不连续的问题，该文采用以信号预测为目标并以模拟早期反射为条件的扩散模型，结合能量衰减曲线损失与分类器无关引导，在混合训练下改善了早期补全与衰减曲线重建，但推理需要完整 200 步反向扩散而慢于单次前向基线。

论文要解决文本相同但语气不同时图像该如何变化的问题，用 ProsodyCLIP 加解耦适配器把韵律信号单独注入 280M 蒸馏 U-Net，在 RAVDESS 上报告 71.3% ECA 但 FID 落后于大模型且只限面部表情评价。

论文以连续扩散直接建模对数梅尔谱研究无文本语音语言模型的可扩展性，用音素 JSD 度量语言性并在十档算力上拟合验证损失与下游指标的扩展律，发现最优词元参数比随算力下降且等损失带变宽，但把模型推到 16B 参数与数千万小时对话数据后长程连贯仍是主要代价。

针对联合去噪去混响，论文用薛定谔桥中间状态训练 Mamba 主干并在退化端单步推理，在真实录音与混响集上取得多项领先，代价是干净对照集上部分语义指标未胜出且需补流式与统计验证。

针对加性噪声、混响与非线性失真同时出现的语音增强问题，SLICE 把退化表征加到时间步嵌入以逐层传播，在受控多退化测试上 ESTOI 达 0.80、SI-SDR 达 3.7 dB，而同编码器只做输入层相加时反而跌到 0.73 与 1.4 dB，代价是混响类样本的 SI-SDR 仍为负且野外数据的编码器增益变小。

论文把含噪观测插值的条件扩散统一为插值随机微分方程并给出指数龙格库塔求解器 iSDE-2S-κ，在去噪等五项语音恢复任务上用 10 次网络评估达到自适应 RK45 数十次评估的水平，而 κ 过大则残留噪声需要更多步数消除。

针对源乐器表情细节与目标音色冲突导致的音色模糊，AdaTT 在冻结的 Stable Audio Open 加 ControlNet 上用文本引导的帧级缩放调节 f0 与 RMS 控制，并在半自动构造的 1321 对迁移数据上微调，以 F1MIDI 0.302 的轻微代价实现 CLAP 0.490 与主观音色保真度 3.582。

该文在 VPC2024 B3 重合成框架下研究 128 维 GST 说话人向量的可控合成，用条件 WGAN-QC 和分类器引导扩散实现性别控制，在保持 EER 与 WER 基本相当的同时把性别准确率做到 90% 以上，但男性引导尺度增大时会出现 WER 明显上升的代价。

针对跨语言语音情感识别中编码器过拟合语料特异线索的问题，该文用类原型锚定的条件扩散学习样本-原型双向变换，在英日互测中欠拟合侧分别提升 6.42 和 4.00 个百分点，代价是需联合训练去噪器与分类器并调节成对与循环约束权重。

该文在 LibriSpeech 上用 CTC 声学模型加扩散语言模型做重打分与逐词元联合解码，最强可运行证据是 MDLM 重打分把 dev-other 从 5.08% 降到 4.47%，而单步 CTC-USDM 联合解码以接近 CTC 的实时率做到 4.66%，代价是扩散重打分需要大量蒙特卡洛采样且仍弱于自回归语言模型。

DiffVQE 针对免提通话中声回声加背景噪声，用条件判别网络先估计近端语音再用单步分数扩散精修，在受控合成验证集与公开盲测集上多数质量与可懂度指标超过同数据重训的 DeepVQE，代价是回声单项略低且系统仍为非因果。

针对自回归编解码语言模型串行解码慢、非自回归模型文本对齐弱的矛盾，DLLM-TTS 在 X-Codec2 单码流上做条件块离散扩散，以 0.6B 参数和 20K 小时数据在 Seed-TTS-eval 上报告 WER 2.25% 与 SIM 0.750，代价是块串行与多步去噪仍需权衡速度与质量。

针对多声混合中同一类事件多次出现时难定点修改的问题，论文在稳定音频开放模型上加入参考区间与编辑区间加源事件掩码，用在线合成三元组训练加、删、换、移、延五类编辑，区域级 0.1 秒事件分数超过 80% 但搬移目标区波形失真仍更大。

针对音频超分辨率中扩散模型参数大、训练久、推理步数多的问题，FastWave 沿 NU-Wave 2 引入 EDM 去噪范式与 ConvNeXtV2 轻量化结构，在 VCTK 任意到 48 kHz 基准上以 1.3M 参数和更少训练资源达到可比重建质量，代价是低频谱距离仍弱于充分训练的 NU-Wave 2 与 FlowHigh。

针对静音肌电信号欠定导致可懂度低的问题，GETS 用肌电条件扩散保留韵律并在推理时引入静音语音识别文本的分类器引导，在静音测试集上报告 11.89% 词错误率，代价是依赖预训练识别与调制权重选择。

针对非自回归合成依赖准确时长预测导致语速和韵律失真的问题，论文用可学习的扩展与删除标记配合分段伸缩训练与分层置信推理，在 Seed 测试上把初始长度错误纠正回来，代价是引入块大小与阈值等新超参数。

针对单人姿态特征覆盖不了多人与非人类舞者、AIST++ 仅 60 首曲目易过拟合的问题，PF-D2M 用 Synchformer 视频视觉特征加 DiT 扩散模型与两阶段渐进训练，在 AIST++ 客观节拍指标 F1 达 94.3 与 20 人主观听测中领先，但生成仅约 8 秒且缺乏大型客观基准仍待验证。

论文研究能否把噪声条件语音分类器冻结为多尺度主干、只训练轻量解码子网来预测扩散分数，在 SC09 上以 4.4M 可训练参数达到与 16.6M 全量 U-Net 相当或略优的质量，但条件生成仍依赖同一分类器做分类器引导且梯度抽头带来额外计算。