扩散模型

📄 Ambisonics Encoding of Room Impulse Responses using a Device-Agnostic Diffusion Mode 标签：#音频生成 #扩散模型 #空间音频 #多通道 #零样本 6.3/10 | 创新 1.4/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1/1.5 ✅ 6.3/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音频生成 | #扩散模型 | #空间音频 #多通道 | arxiv 👥 作者与机构 第一作者：Eloi Moliner（Meta Reality Labs Research；Aalto University, Acoustics Lab, DICE, Espoo, Finland） 通讯作者：未说明 作者列表：Eloi Moliner（Meta Reality Labs Research；Aalto University, Acoustics Lab, DICE）、Christoph Hold（Meta Reality Labs Research）、Juan Azcarreta Ortiz（Meta Reality Labs Research）、Sebastian Prepeliţă（Meta Reality Labs Research）、Ishwarya Ananthabhotla（Meta Reality Labs Research）、Daniel Wong（Meta Reality Labs Research）、Sanjeel Parekh（Meta Reality Labs Research）、Sanha Lee（Meta Reality Labs Research） 💡 毒舌点评 本文首次将无条件扩散先验与 diffusion posterior sampling 结合用于高阶 Ambisonics RIR 编码，并通过 range-projected 压缩频谱距离显著压制弱高阶分量误差，这是一个有价值的组合洞察。但“设备无关”的核心卖点只在一个 7 麦克风阵列上实证，训练数据、ATF 与权重全部闭源，听音测试仅 13 人且无统计检验，让人很难判断这到底是通用方法还是内部数据工程能力。 ...

📄 Omni-LiveAvatar: Minute-Level Real-Time Streaming Joint Audio-Visual Avatar Generation 标签：#音视频生成 #知识蒸馏 #自回归模型 #扩散模型 #实时处理 7.7/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.7/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音视频生成 | #知识蒸馏 | #自回归模型 #扩散模型 | arxiv 👥 作者与机构 第一作者：Lunjie Zhu（未说明） 通讯作者：Jun Zhang（未说明） 作者列表：Lunjie Zhu（未说明）、Xingtong Ge（未说明）、Fangyu Lin（未说明）、Yi Zhang（未说明）、Zhening Liu（未说明）、Mengfei Li（未说明）、Yumeng Zhang（未说明）、Guanglu Song（未说明）、Yu Liu（未说明）、Jun Zhang（未说明） 💡 毒舌点评 亮点在于作者抓住了关键病理：DMD 蒸馏会改变逐点去噪轨迹，因此用 few-step teacher 重新生成 ODE 对来初始化 causal student，这一 insight 比单纯叠加音频 sink token 或奖励模型更有解释力。短板也很明显：实验完全建立在内部 35K prompt 上，模型权重与推理 delay 均未公开；所谓“实时”只给了 FPS 吞吐，并未给出端到端延迟或播放帧率假设。60 秒下部分消融增益较小，尤其是 async LTM 与同步 LTM 的 Sync-C 差距仅 0.15，且无方差或多次运行报告。整体上，这是一篇有明确训练洞察、但可复现性与实时边界仍未闭合的工作。 ...

📄 HybridSB-MoE: Dual-Domain Schrödinger Bridges with Scene-Adaptive Expert Routing for Speech Enhancement 标签：#语音增强 #扩散模型 #模型评估 5.9/10 | 创新 1.2/2 | 严谨 0.9/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 📝 5.9/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音增强 | #扩散模型 | #模型评估 | arxiv 👥 作者与机构 第一作者：Zhengyi Lu（Oakland University, Department of Computer Science and Engineering） 通讯作者：未说明 作者列表：Zhengyi Lu、Aswini Sivakumar、Jie Hu、Yao Qiang，均来自 Oakland University, Department of Computer Science and Engineering, Rochester, MI 48309 邮箱：{zhengyilu, aswinisivakumar, jiehu, qiang}@oakland.edu 💡 毒舌点评 这篇论文有一个较有洞察力的设计：把谱域 MoE 的认知不确定性 u_epi 与波形 Schrödinger Bridge 的偶然不确定性 u_ale 设为非对称路由信号，让融合机制在“哪种误差更可信”之间切换，而不是对两个预测做对称平均。与此配套的效率主张也有一定价值：路径一致性与轨迹正则被写入 K 步离散误差的 2-Wasserstein 界，为小步数推理提供了训练目标层面的解释。 ...

📄 Luna-TTS Family Technical Report 标签：#语音合成 #扩散模型 #预训练 #流式处理 #强化学习 6.9/10 | 创新 1.4/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1.3/1.5 ✅ 6.9/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #语音合成 | #扩散模型 | #预训练 #流式处理 | arxiv 👥 作者与机构 第一作者：论文标注 Feng Yin、Shuai Shi、Junjie Zheng、Kechenying Zhou 为共同第一作者 通讯作者：Yanmin Qian 作者列表：Feng Yin（VUI Labs Research）、Shuai Shi（VUI Labs Research）、Junjie Zheng（VUI Labs Research）、Kechenying Zhou（VUI Labs Research）、Yiqiu Wang（VUI Labs Research）、Chenyang He（VUI Labs Research）、Qiuhua Jiang（VUI Labs Research）、Mengxiao Bi（VUI Labs Research）、Yanmin Qian（VUI Labs Research）；其余贡献者 Mingxin Chen、Xun Gong、Tianteng Gu、Bing Han、Peng Jiang、Chenda Li、Haiyang Sun、Han Wang、Wei Wang、Yi Wang、Leying Zhang、Wangyou Zhang、Chushu Zhou（均标注 VUI Labs Research，论文按姓氏字母顺序列出，未给出更细部门信息） 💡 毒舌点评 这个报告最亮眼的地方是把 masked discrete diffusion 从学术方案推到了 1M 小时、四语言的 TTS 生产系统，并给出 41.6ms 首块延迟和极低 RTF 的清晰部署画像。但它更像一份产品技术报告：没有开源权重/代码，也没有 RL、annealing、duration predictor、block adaptation 等关键阶段的可控消融，读者很难判断 SOTA 数字究竟来自架构，还是来自数据与后训练的堆叠。 ...

📄 Rethinking Language Model-Based Generative Speech Enhancement in the Latent Space of a Neural Audio Codec 标签：#语音增强 #语音大模型 #扩散模型 #流匹配 #自监督学习 7.1/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音增强 | #语音大模型 | #扩散模型 #流匹配 | arxiv 👥 作者与机构 论文文本未提供作者与机构信息；需从 arXiv 页面另行确认。 💡 毒舌点评 这篇论文最有价值的地方是把六种 LM-based 语音增强范式放进同一个框架里做了一次难得的公平比较，并用侵入式指标补足了该方向常被忽略的评估盲区。但它更像一份高质量的系统化 benchmark，而非方法创新；缺少与外部 URgent 挑战系统的直接对比，也让“CNAR 最优”的结论略显内部化。 ...

📄 UniSwap: Streaming Audio-Visual Identity Swapping for Talking Videos 标签：#音视频生成 #扩散模型 #知识蒸馏 #参数高效微调 7.8/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 7.8/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音视频生成 | #扩散模型 | #知识蒸馏 #参数高效微调 | arxiv 👥 作者与机构 第一作者：Yuxuan Zhang（The Chinese University of Hong Kong；Qwen Applications Business Group of Alibaba） 通讯作者：Liwei Wang（The Chinese University of Hong Kong） 作者列表：Yuxuan Zhang（The Chinese University of Hong Kong；Qwen Applications Business Group of Alibaba）、Haozhong Xiong（Qwen Applications Business Group of Alibaba）、Jiayi Song（Qwen Applications Business Group of Alibaba）、Jinpeng Yu（Qwen Applications Business Group of Alibaba）、Yang Shi（Qwen Applications Business Group of Alibaba）、Jiaming Liu（Qwen Applications Business Group of Alibaba）、Ruihua Huang（Qwen Applications Business Group of Alibaba）、Liwei Wang（The Chinese University of Hong Kong） 💡 毒舌点评 这项工作把换脸、语音转换、流式扩散蒸馏和 RoPE 缓存管理拼成了一个工程上相当完整的统一框架，长视频一致性消融也做得比多数 demo 论文扎实。但核心贡献更接近系统集成而非方法突破，且 Stage 3 蒸馏后在音画同步、视频美学和图像质量上反而低于 Stage 1/Stage 2；作者更多强调身份与语音质量改善，对蒸馏带来的同步和视觉质量回退解释不足。代码仓库仅通过项目主页提供，权重、训练数据和数据合成管线未公开，让“首个联合替换框架”的复现与检验仍受限。 ...

📄 Ex-Omni-2D: Expressive Omni-Modal Dialogue Models with Native Visual Presence 标签：#音视频生成 #多模态模型 #语音合成 #扩散模型 6.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.5/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音视频生成 | #多模态模型 | #语音合成 #扩散模型 | arxiv 👥 作者与机构 第一作者：Haoyu Zhang（The Chinese University of Hong Kong, Shenzhen；脚注说明工作完成于 LIGHTSPEED 实习期间） 通讯作者：Tianshu Yu（The Chinese University of Hong Kong, Shenzhen）、Yiwen Guo（Independent Researcher） 作者列表：Haoyu Zhang（The Chinese University of Hong Kong, Shenzhen）、Zhipeng Li（LIGHTSPEED）、Xiaoying Tang（The Chinese University of Hong Kong, Shenzhen）、Tianshu Yu（The Chinese University of Hong Kong, Shenzhen）、Yiwen Guo（Independent Researcher） 💡 毒舌点评 VTP+多码本语音单元+Prefix Streaming 的组合在系统层面确实打通了“对话→语音→视频”的完整链路，工程完整度明显高于同类工作，这是值得肯定的。但审稿人最想追问的是：所有关键视频条件都是自动标注或教师模型生成的，VTP first-frame grounding 只有 43%，你如何保证这个“视觉规划”不是模型自圆其说的幻觉？E2E RTF 1.293、首个视频块 3.14 秒后才出，恐怕只能叫“增量生成”而非“实时交互”，这个表达上的克制是聪明的，但离真正的交互体验还很远。 ...

📄 TimeRoute: Time-Aware Modality Routing and Diffusion for Multi-Modal Recommendation 标签：#扩散模型 #端到端 #模型评估 6.5/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.6/1 | 影响 0.4/1.5 | 开源 1/1.5 | 复现 0.1/0.5 | 工程 0.8/1.5 ✅ 6.5/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #扩散模型 | #端到端 | #模型评估 | arxiv 👥 作者与机构 第一作者：Pengyu Zhang（University of Amsterdam, Amsterdam, The Netherlands） 通讯作者：未说明 作者列表：Pengyu Zhang（University of Amsterdam）、Yangqin Jiang（University of Hong Kong）、Klim Zaporojets（Aarhus University）、Congfeng Cao（University of Amsterdam）、Paul Groth（University of Amsterdam） 💡 毒舌点评 这篇工作的核心卖点是“模态时间尺度不匹配”——不同模态的相关性随时间以不同速率漂移，同一用户在不同时间上下文需要不同的模态融合比例。这个观察有真实场景支撑，且把时间信号同时注入模态级路由和扩散图重构，形成双层互补机制，比简单给DiffMM加时间特征更有想法。实验证据链在推荐论文中算比较完整：10种子配对t检验、时间输入vs噪声输入对照、用户分层路由分析、组件消融和噪声鲁棒性都做了。但短板也明显：时间切分实验只对比DiffMM一个基线，无法支撑“对时间分布漂移特别稳健”的强结论；关键超参数、权重取值和更多配置被放到匿名仓库和附录，正文复现信息不独立；此外本文核心是电商/短视频多模态推荐，与语音、音乐、音频方向读者的直接相关性有限。 ...

📄 A Unifying Perspective on Audio Generative Modeling: Latent Representations and Modeling Strategies 标签：#音频生成 #生成模型 #自回归模型 #扩散模型 6.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.4/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 1.5/1.5 | 复现 0.1/0.5 | 工程 0.6/1.5 ✅ 6.5/10 | 前50% | 文档类型：理论研究 | 评分置信度：中 | #音频生成 | #生成模型 | #自回归模型 #扩散模型 | arxiv 👥 作者与机构 第一作者：Dongchao Yang（The Chinese University of Hong Kong，dcyang@se.cuhk.edu.hk） 通讯作者：论文未明确标注通讯作者；由于论文仅有一名作者，该唯一作者承担通讯角色。 作者列表：Dongchao Yang（The Chinese University of Hong Kong） 💡 毒舌点评 这篇立场论文最聪明的地方是拆掉“离散 vs 连续”这堵假墙：它指出真正决定架构选择的是依赖时域与条件歧义，而不是输出接口的类别；RVQ“残差有序但语义无序”的澄清，也比常见综述里“低层语义、高层声学”的说法准确得多。然而，这个“统一视角”的骨架几乎全是信息论恒等式——恒等式没有错，但它们本身不产生预测。全文没有给出任何一个可证伪的量化声明：依赖时域怎么测、条件歧义怎么算、式 (2) 的经验可建模性剖面具体长什么样，统统没有。概念框架像一张精美的地图，但没有标出任何一条实际走过的路。作为观点文章，清晰度够格；作为可检验的“框架”，验证基本缺位。 ...

📄 CtrlSpeech: Coarse-to-Fine Control for Expressive Speech Synthesis 标签：#语音合成 #扩散模型 #语音克隆 #自回归模型 #零样本 6.4/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.4/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音合成 | #扩散模型 | #语音克隆 #自回归模型 | arxiv 👥 作者与机构 第一作者：Zhisheng Zheng（德克萨斯大学奥斯汀分校，由邮箱 zszheng@utexas.edu 确认） 通讯作者：未说明（论文正文未标注通讯作者；David Harwath 提供邮箱 harwath@utexas.edu，但未被明确指定为通讯作者） 作者列表：Zhisheng Zheng、Xiaohang Sun、Zhu Liu、Caren Chen、Rohith Kumar、Manoj Aggarwal、Gerard Medioni、David Harwath 机构信息：论文页脚标注两个单位——1. The University of Texas at Austin，2. Amazon；各作者与机构的对应关系未逐人标出。除上述两位由邮箱确认外，其余作者的机构归属无法确认。 💡 毒舌点评 把 DiTAR 的连续潜空间、CAM++ 声纹和逐音素韵律控制信号整合成一套可用的可控 TTS，工程上确实完整，0.6B 在零样本克隆上也略优于复现的 DiTAR。但“可控性”全程只拿对 GT 的 RMSE/MAE 说话，既没有验证对任意给定非 GT 目标韵律的跟随能力，也没有对 pitch/loudness 逐项消融，更没有控制效果的主观听感测试；0.1B 模型在零样本合成中 WER 明显退化也完全未解释。以顶会标准看，这只能证明“显式控制信号能降低与 GT 的声学误差”，还不足以支撑“用户可控表达性语音合成”的强声明。 ...