扩散模型

该文把五种粗化或缺失的韵律输入统一为线性退化求逆，用有监督扩散与无监督逆问题采样两条路线恢复帧级韵律，主观上无监督方法在严重退化下接近真值韵律，但盲估计与推理代价仍是限制。

该研究以单通道去混响为对象，先证实扩散式与判别式 NCSN++ 深层都学到房间脉冲响应可分的表示，再用对比预训练房间编码器经 FiLM 注入扩散模型，在 N=15 到 100 上提升 PESQ 与 DNSMOS 并加快收敛，代价是需要额外编码器与关闭 EMA 才能稳定训练。

论文用盲扩散去混响处理两库弱混响与强混响录音再经 35 个治疗室脉冲响应卷积，报告连续语音的嗓音排序与电平得到恢复而延持元音恢复有限，代价是第二次去混响对连续语音出现轻微高估且元音等效性不成立。

针对扩散语音增强多步反向采样计算量大的问题，论文用条件网络预增强替代干净语音构造桥分布、用辅助网络自适应估计桥权重与方差并只做单步桥接，在 URGENT 2024 数据上以 9.40M 参数和 3.84 GMAC/s 取得 PESQ 2.58 与主观 MOS 3.95 的顶排名。

针对异常声音检测中一机一模型部署成本高的问题，UD-ASD 用条件投影器加条件扩散重建加高斯混合打分实现统一建模，在 DCASE2022 Task2 上报告了相对基线的 AUC 与 pAUC 提升，但仍依赖准确机器标签且推理需要多步采样。

针对保留原旋律重唱改写后歌词的编辑任务，YingMusic-Singer 用旋律片段加目标歌词直接合成，并以课程学习加组相对策略优化同时提升歌词准确率与旋律相关性，代价是单阶段联合建模在音色相似度上不及多阶段基线且依赖大规模内部演唱数据。

针对富有表现力语音中音高与能量突变难以建模的问题，该工作在 StyleTTS2 解码器中把固定周期激活换成 x+tanh(αsin2(x)) 的可自适应振荡激活，在 LJSpeech 上主观质量达 86.67、MCD 降至 6.59，并在 ESD 三种情感上保持韵律相似度和可懂度提升，代价是仅验证单说话人与有限情感且未报告延迟与算力开销。

论文发现联合视频生成中视频到伴随模态的对应强而反向弱，提出以停止梯度的强方向分布为目标的 KL 正则 RecCAR，在视频-动作上把人体解剖学得分从 0.69 提升到 0.75，在视频-音频上把绝对失同步从 0.804 降到 0.752，代价是只微调 LoRA 且需保留原生成损失权重。

针对联合音视频生成中混合奖励难归因与双塔联合更新成本高的问题，AV-GRPO 用模态锚定分组、轨迹锁定加冻结对方塔、交替更新来解耦学习，基座 LTX-2.3 22B 上的 JavisBench 与 VABench 报告显示质量、对齐与同步多项提升，但不同训练方式与指标间仍存在权衡。

针对两阶段扩散语音合成中固定对齐导致平均化韵律与单阶段对齐不稳的矛盾，该文用离散插入跳变管时长结构、用连续扩散修频谱内容，最强证据是单发变体在相同总时长下以 3.37% 词错率优于 Grad-TTS 的 4.38%，代价是需要冻结的编码器与扩散主干并增加位置与内容两个预测器及变长迭代开销。

针对口音归一化缺少口音强度控制的问题，论文用掩码离散扩散重写自监督语音单元，并以公共单元预测器复用源端单元实现可控保留，实验报告显示自由时长下词错误率为 11.19% 且随复用阈值降低口音度单调回升，但重度口音下的内容保持仍受识别与合成链路限制。

针对未知语音伪造泛化难的问题，该研究用包含扩散重建在内的重建样本构造难样本，并结合多层特征聚合与正则化辅助对比学习提升泛化，最强证据是五集平均等错误率从基线 15.789% 降到 8.247%，代价是在个别集上出现小幅回退且依赖重建与增强配置。

针对声音转换要换音色但留住原文内容与韵律的问题，ProsoCodec 以文本与说话人嵌入为条件让离散瓶颈只编码残差韵律，并用双话语训练与低频输入减轻提示风格泄露，在合并评测上报告了更低的词错误率与基频误差，但高码率仍会带来源音色泄露的代价。

论文把语音编码器和大模型都冻结、只训练适配器做语音到文本对齐，在 LibriSpeech 上用扩散解码取得 test-clean 词错误率 2.807% 和约 12.3 倍实时因子，代价是仍依赖 960 小时数据规模和固定解码超参数才能拉开与自回归基线的差距。

该研究把固定零向量换成每个条件各学一个无条件嵌入，并在相同训练步数与数据下比较固定与可学习两种做法，最强证据是可学习基线在大引导权重下更稳定，代价是说话人保真提升时绝对质量分可能下降且需要分别调节两个权重。

SE-MSB 用扩散薛定谔桥在干净与退化语音分布之间学习双向随机输运，并以端到端 Mamba 波形模型实现，在去混响与混合退化上报告可比拟配对方法的效果，同时保持少步采样与低计算量。

针对解析训练态与自生 rollout 态的暴露偏差，纠正性强制用动态 rollout 纠正加反事实转移一致性统一后训练 SB-VE 与 OT-CFM，在 VoiceBank 上把 SB-VE 的 PESQ 从 3.07 提升到 3.21 并稳定多步 SI-SDR，代价是 UTMOS 提升有限且需额外 rollout 开销。

该文把一阶到三阶上采样定义为给定低阶信号生成缺失高阶通道的条件分布，用流匹配与得分扩散同骨干对比，在混响语音上流匹配信号与听感占优但参数与采样代价明显更大。

针对对话语音只看文本历史会漏掉听者即时非言语线索的问题，用回应前 1 秒听者人脸时序做显式回应规划，在严格双人 MELD 协议上时序模型宏平均 F1 和 VAD 一致性略高于纯文本而准确率基本不变，合成阶段仅证明可端到端连通而未改善可懂度。

针对和声乐器混合的逐帧合成参数估计易出现时间抖动的问题，该文用乐谱条件扩散模型学习参数轨迹分布并以多尺度频谱重构误差引导逆扩散，在木管与弦乐合奏上改善了响度与音色特征并保留可复述的实验条件。