扩散模型

论文以连续扩散直接建模对数梅尔谱研究无文本语音语言模型的可扩展性，用音素 JSD 度量语言性并在十档算力上拟合验证损失与下游指标的扩展律，发现最优词元参数比随算力下降且等损失带变宽，但把模型推到 16B 参数与数千万小时对话数据后长程连贯仍是主要代价。

针对联合去噪去混响，论文用薛定谔桥中间状态训练 Mamba 主干并在退化端单步推理，在真实录音与混响集上取得多项领先，代价是干净对照集上部分语义指标未胜出且需补流式与统计验证。

针对加性噪声、混响与非线性失真同时出现的语音增强问题，SLICE 把退化表征加到时间步嵌入以逐层传播，在受控多退化测试上 ESTOI 达 0.80、SI-SDR 达 3.7 dB，而同编码器只做输入层相加时反而跌到 0.73 与 1.4 dB，代价是混响类样本的 SI-SDR 仍为负且野外数据的编码器增益变小。

论文把含噪观测插值的条件扩散统一为插值随机微分方程并给出指数龙格库塔求解器 iSDE-2S-κ，在去噪等五项语音恢复任务上用 10 次网络评估达到自适应 RK45 数十次评估的水平，而 κ 过大则残留噪声需要更多步数消除。

针对源乐器表情细节与目标音色冲突导致的音色模糊，AdaTT 在冻结的 Stable Audio Open 加 ControlNet 上用文本引导的帧级缩放调节 f0 与 RMS 控制，并在半自动构造的 1321 对迁移数据上微调，以 F1MIDI 0.302 的轻微代价实现 CLAP 0.490 与主观音色保真度 3.582。

该文在 VPC2024 B3 重合成框架下研究 128 维 GST 说话人向量的可控合成，用条件 WGAN-QC 和分类器引导扩散实现性别控制，在保持 EER 与 WER 基本相当的同时把性别准确率做到 90% 以上，但男性引导尺度增大时会出现 WER 明显上升的代价。

针对跨语言语音情感识别中编码器过拟合语料特异线索的问题，该文用类原型锚定的条件扩散学习样本-原型双向变换，在英日互测中欠拟合侧分别提升 6.42 和 4.00 个百分点，代价是需联合训练去噪器与分类器并调节成对与循环约束权重。

该文在 LibriSpeech 上用 CTC 声学模型加扩散语言模型做重打分与逐词元联合解码，最强可运行证据是 MDLM 重打分把 dev-other 从 5.08% 降到 4.47%，而单步 CTC-USDM 联合解码以接近 CTC 的实时率做到 4.66%，代价是扩散重打分需要大量蒙特卡洛采样且仍弱于自回归语言模型。

DiffVQE 针对免提通话中声回声加背景噪声，用条件判别网络先估计近端语音再用单步分数扩散精修，在受控合成验证集与公开盲测集上多数质量与可懂度指标超过同数据重训的 DeepVQE，代价是回声单项略低且系统仍为非因果。

针对自回归编解码语言模型串行解码慢、非自回归模型文本对齐弱的矛盾，DLLM-TTS 在 X-Codec2 单码流上做条件块离散扩散，以 0.6B 参数和 20K 小时数据在 Seed-TTS-eval 上报告 WER 2.25% 与 SIM 0.750，代价是块串行与多步去噪仍需权衡速度与质量。

针对多声混合中同一类事件多次出现时难定点修改的问题，论文在稳定音频开放模型上加入参考区间与编辑区间加源事件掩码，用在线合成三元组训练加、删、换、移、延五类编辑，区域级 0.1 秒事件分数超过 80% 但搬移目标区波形失真仍更大。

针对音频超分辨率中扩散模型参数大、训练久、推理步数多的问题，FastWave 沿 NU-Wave 2 引入 EDM 去噪范式与 ConvNeXtV2 轻量化结构，在 VCTK 任意到 48 kHz 基准上以 1.3M 参数和更少训练资源达到可比重建质量，代价是低频谱距离仍弱于充分训练的 NU-Wave 2 与 FlowHigh。

针对静音肌电信号欠定导致可懂度低的问题，GETS 用肌电条件扩散保留韵律并在推理时引入静音语音识别文本的分类器引导，在静音测试集上报告 11.89% 词错误率，代价是依赖预训练识别与调制权重选择。

针对非自回归合成依赖准确时长预测导致语速和韵律失真的问题，论文用可学习的扩展与删除标记配合分段伸缩训练与分层置信推理，在 Seed 测试上把初始长度错误纠正回来，代价是引入块大小与阈值等新超参数。

针对单人姿态特征覆盖不了多人与非人类舞者、AIST++ 仅 60 首曲目易过拟合的问题，PF-D2M 用 Synchformer 视频视觉特征加 DiT 扩散模型与两阶段渐进训练，在 AIST++ 客观节拍指标 F1 达 94.3 与 20 人主观听测中领先，但生成仅约 8 秒且缺乏大型客观基准仍待验证。

论文研究能否把噪声条件语音分类器冻结为多尺度主干、只训练轻量解码子网来预测扩散分数，在 SC09 上以 4.4M 可训练参数达到与 16.6M 全量 U-Net 相当或略优的质量，但条件生成仍依赖同一分类器做分类器引导且梯度抽头带来额外计算。

该文把五种粗化或缺失的韵律输入统一为线性退化求逆，用有监督扩散与无监督逆问题采样两条路线恢复帧级韵律，主观上无监督方法在严重退化下接近真值韵律，但盲估计与推理代价仍是限制。

该研究以单通道去混响为对象，先证实扩散式与判别式 NCSN++ 深层都学到房间脉冲响应可分的表示，再用对比预训练房间编码器经 FiLM 注入扩散模型，在 N=15 到 100 上提升 PESQ 与 DNSMOS 并加快收敛，代价是需要额外编码器与关闭 EMA 才能稳定训练。

论文用盲扩散去混响处理两库弱混响与强混响录音再经 35 个治疗室脉冲响应卷积，报告连续语音的嗓音排序与电平得到恢复而延持元音恢复有限，代价是第二次去混响对连续语音出现轻微高估且元音等效性不成立。

针对扩散语音增强多步反向采样计算量大的问题，论文用条件网络预增强替代干净语音构造桥分布、用辅助网络自适应估计桥权重与方差并只做单步桥接，在 URGENT 2024 数据上以 9.40M 参数和 3.84 GMAC/s 取得 PESQ 2.58 与主观 MOS 3.95 的顶排名。