论文解读
不用中间文本转写：以识别语义直接约束唇手到语音的统一生成
针对中文唇读辅以手编码的视频到语音任务，UniCUE 用姿态感知的识别通路提供细粒度视觉语义并经适配器条件化潜在扩散语音生成，在统一听障语料上报告了识别与生成的词错率下降，但训练只用健听者数据且推理开销未量化。
扩散模型
论文解读
不用成对混合也能分离：扩散先验与重建引导如何分开又合上声音
该文把单通道分离写成已知加性混合的逆问题，只用单源扩散先验加迭代重建引导完成分离，并用混合加噪初始化、三重注意力骨干与混合引导强度解决梯度冲突，代价是 200 步迭代采样的计算开销与同质语音的排列不确定性。
论文解读
视频回声成乐：以分层解析同时约束语义、时间与转场对拍
针对视频配乐中视频细节刻画不全与转场对拍不准的问题，VeM 用分层视频解析作指挥家组织多模态条件，以故事板引导交叉注意力和转场节拍对齐适配器生成波形音乐，在 TB-Match 上报告了语义与节奏指标的提升，但强转场对拍假设与评测阈值限制了其适用边界。
论文解读
用 125k 探针在 VAE 潜空间里拨动音高：扩散音乐生成的可控性不在自回归独占
针对 Stable Audio Open 的 VAE 潜空间可解码音高类别这一可验证性质，论文用冻结的微型卷积探针在去噪后 40% 窗口内以 RMS 归一化梯度轻推潜变量，在 27 次配对试验中将旋律一致性从 0.112 提升至 0.274 且未报告音质代价。
论文解读
注意力三角：当音频-视频边把鹦鹉的话转给海盗
论文研究文本到音频视频联合生成中的语义泄漏与声源归属错误，提出只在推理时对文本-视频、文本-音频、音频-视频三条交叉注意力边加偏置的转向方法，在 100 个挑战提示上把 Qwen 声源归属分从 0.1216 提高到 0.1349，代价是约 2.5 倍推理开销。
论文解读
一句里换一种口音：用帧级掩码把全局引导切开
语音合成 | 8.2/10
论文解读
掐点说话：TimeSteer 把联合音视频扩散模型的隐式时间搬到明处
音视频生成 | 7.2/10
论文解读
7B 做原生音画同步：用门控与路由把对齐做轻，而不是把参数做大
扩散模型 | 5.9/10
论文解读
把声学公式写进损失：PhysWave 如何让扩散模型不再猜方向
音频生成 | 6.6/10
论文解读
同一音高多条路：用扩散与可演奏约束把吉他谱写对、写得能弹
音乐转录 | 8.2/10
论文解读
当视频自己听不见节拍：VIBE 如何让背景音乐既对上画面，又听懂文字指令
音乐生成 | 7.1/10
论文解读
Array-Agnostic Ambisonics Encoding via Diffusion Posterior Sampling
空间音频 | 7.5/10
论文解读
Building and Evaluating a Synthetic Bengali Speech Resource for Telecom Customer Care
语音合成 | 7.6/10
论文解读
SlimDiffuSE: Towards Efficient Diffusion-Based Speech Enhancement using Slimmable Networks
语音增强 | 7.6/10
论文解读
Generalized Audio-Driven Synthesis of Precise Drummer Motion
音视频生成 | 7.8/10
论文解读
DynaForcing: Overcoming Dynamic Collapse in Self-Forcing Distillation for Streaming Avatar Generation
音视频生成 | 8.0/10
论文解读
Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer
语音克隆 | 6.4/10
论文解读
AnyTalk: Speech Animation for Arbitrary Characters Leveraging a Video Generation Model
音视频语音合成 | 6.7/10
论文解读
CineDub: Scaling End-to-End Video Dubbing to Multi-Speaker Dialogues with Coherent Sound Effects
音视频语音合成 | 7.3/10
论文解读
Geometry-adaptive Ambisonic encoding for sparse microphone arrays of variable topology using physics-informed diffusion
空间音频 | 6.2/10