变分推断

📄 MELD: Mel-Spectrogram-Based Speech Language Modeling with Discrete Latent Variables #语音合成 #语音识别 #变分推断 ✅ 7.3/10 | 前50% | #语音合成 | #变分推断 | #语音识别 | arxiv 学术质量 5.9/7 | 影响力 1.4/2 | 可复现性 0/2 | 置信度 中 👥 作者与机构 Sung-Lin Yeh\(^{1}\), Wei Zhou\(^{2}\), Gil Keren\(^{3}\), Duc Le\(^{3}\), Zhong Meng\(^{3}\), Hao Tang\(^{3}\), Jay Mahadeokar\(^{3}\), Ozlem Kalinli\(^{3}\), Alexandre Mourachko\(^{3}\) (\(^{1}\)University of Edinburgh, \(^{2}\)Google DeepMind, \(^{3}\)Meta Superintelligence Labs) 📌 核心摘要 本文提出了MELD（Mel-Spectrogram-Based Discrete Latent Language Model），一种基于梅尔频谱图和离散潜变量的语音语言模型框架。其核心创新在于联合优化一个量化编码器和一个自回归语言模型，直接对连续的梅尔频谱帧进行建模，从而避免了传统两阶段方法（先训练独立的编码器/编解码器，再训练语言模型）中编码器无法感知下游任务目标的问题。MELD通过引入离散潜变量空间进行采样，有效缓解了直接自回归建模梅尔频谱时常见的静音延长和单词遗漏问题。模型在单一框架内通过不同的控制令牌（<TTS> 和 <STT>）支持零样本文本到语音（TTS）合成和语音到文本（STT）识别任务，并在LibriSpeech数据集上展示了相比基线方法（如Codec-LM、MELLE、dMel）的优势，特别是在STT性能和联合TTS-STT建模方面。 ...

语音/音乐/音频论文速递 2026-05-29 共分析 20 篇论文 ⚡ 今日概览 📥 抓取 20 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 5篇 █████ #语音识别 5篇 █████ #音频生成 2篇 ██ #基准测试 1篇 █ #多模态模型 1篇 █ #音频分类 1篇 █ #音频深度伪造检测 1篇 █ #语音情感识别 1篇 █ 📊 论文评分排行榜（20 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 DirectorBench: Diagnosing Long-Form Video Generation wi 9.8分 前25% #基准测试 🥈 Benchmarking Single-Factor Physical Video-to-Audio Gene 9.0分 前25% #音频生成 🥉 Audio Jailbreaks in Large Audio-Language Models: Taxono 8.9分 前25% #多模态模型 4. HoliTok:A Coutinuous Holistic Tokenization with Robust 8.6分 前25% #语音合成 5. Dial HEALTHDIAL for Advice: A Multilingual and Multi-Pa 8.6分 前25% #语音合成 6. Mitigating Stethoscope-Induced Shortcuts in Respiratory 8.5分 前25% #音频分类 7. Audio Deepfake Detection with Half-Truth Localisation U 8.4分 前50% #音频深度伪造检测 8. ChildVox: A Speech, Audio, and Large Audio-Language Mod 8.0分 前25% #语音识别 9. State-Anchored Complete-View Distillation for Robust Co 8.0分 前50% #语音情感识别 10. VideoFDB: Evaluating Full-Duplex Vision-Speech Capabili 7.9分 前25% #语音合成 11. Native Audio-Visual Alignment for Generation 7.8分 前50% #音频生成 12. OmniInteract: Benchmarking Real-World Streaming Interac 7.8分 前50% #语音识别 13. MusTBENCH: Benchmarking and Advancing Temporal Groundin 7.5分 前50% #音乐生成 14. Archon: A Unified Multimodal Model for Holistic Digital 7.5分 前50% #语音合成 15. MELD: Mel-Spectrogram-Based Speech Language Modeling wi 7.3分 前50% #语音合成 16. The WER Trap: Shattering the Illusion of Unified Tokens 7.0分 前50% #语音识别 17. Decoding Strategies for Diffusion-Based ASR: A Systemat 6.8分 前50% #语音识别 18. COMET: Concept Space Dissection of the Modality Gap in 6.5分 前50% #音频检索 19. AgentHijack: Benchmarking Computer Use Agent Robustness 5.6分 前50% - 20. Data-Efficient On-Policy Distillation for Automatic Spe 5.1分 前50% #语音识别 📋 论文列表 🥇 DirectorBench: Diagnosing Long-Form Video Generation with Personalized Multi-Agent Evaluation 🔥 9.8/10 | 前25% | #音视频 | #多智能体评估 | #视频生成 #多模态生成评估 | arxiv ...

📄 Fitting Large Nonlinear Mixed Effects Models Using Variational Expectation Maximization #统计计算 #变分推断 #生物统计 #计算药理学 ✅ 6.5/10 | 前50% | #统计计算 | #变分推断 | #生物统计 #计算药理学 | arxiv 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：未说明 通讯作者：未说明 作者列表：Mohamed Tarek（未说明），Pedro Afonso（未说明） 💡 毒舌点评 这篇论文将一种在机器学习中已成熟的变分推断方法（VEM）引入到传统上由EM和数值积分主导的药代动力学（NLME）建模领域，展现了处理超大规模（1.5万参数）模型的潜力，这是一个有价值的工程化探索。然而，其摘要缺乏与现有主流NLME拟合算法（如NONMEM中的FOCE）在相同问题上的直接性能对比，仅用两个案例演示，说服力不足，让人怀疑其宣称的“可扩展性”是否具有普遍性而非仅针对特定实验设置。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及。 数据集：未提及。 Demo：未提及。 复现材料：摘要中未提供训练细节、配置文件、检查点或附录说明以支持复现。 论文中引用的开源项目：提到了Pumas统计软件（是一个用于药代动力学建模和模拟的开源/商业平台），但未明确说明是作为依赖还是作为实现平台。 📌 核心摘要 本文旨在解决非线性混合效应（NLME）模型在参数和随机效应数量增多时，传统极大边际似然计算方法面临的计算瓶颈问题。方法核心是采用变分期望最大化（VEM）算法，利用灵活的变分分布族近似难以计算的真实后验，并通过反向模式自动微分高效优化目标函数。与传统方法相比，其新颖之处在于首次将VEM系统性地应用于NLME建模，并声称能扩展到拥有超过15,000个群体参数的超大模型。实验上，论文使用Pumas软件构建并初步测试了两个模型：一个用于验证算法正确性的标准华法林模型（未提供具体拟合数值），以及一个用于展示计算可扩展性的DeepNLME Friberg模型（具有15,410个群体参数和16个随机效应），后者仅进行了有限次迭代以测量单次迭代时间。实际意义是为药学研究和临床药理学中日益复杂的层级纵向数据建模提供了一种新的、潜在可扩展的计算工具。主要局限性在于摘要中缺乏详尽的计算效率对比（如与FOCE等方法的实际耗时对比），且对VEM在统计准确性和偏差方面的讨论深度未知。 🏗️ 模型架构 论文摘要未提供模型架构图或详细描述。根据方法描述，VEM的整体架构可概括为迭代优化过程： E步（变分推断）：为每个个体（或群组）的随机效应指定一个参数化的变分分布族（例如，高斯分布）。目标是调整该分布的参数，使其尽可能接近难以计算的、给定观测数据下的真实随机效应后验分布。这通常通过最大化证据下界（ELBO）来完成。 M步（参数更新）：固定所有个体的变分分布近似，然后调整模型中的固定效应（群体参数）。这一步可以通过对ELBO关于群体参数的期望进行最大化来实现，并可利用自动微分高效计算梯度。 迭代：重复E步和M步，直到模型收敛（如ELBO不再显著变化）。 关键设计选择是使用灵活的变分分布和自动微分，这使得算法可以处理传统数值积分方法难以应对的高维随机效应空间。 💡 核心创新点 将VEM算法引入NLME建模：这是本文的主要方法论贡献。VEM在概率图模型和变分自编码器中常见，但在经典的药代动力学NLME领域应用尚不广泛，本文旨在填补这一空白。 针对超大规模NLME模型的可扩展性验证：通过构建一个包含15,410个群体参数和16个随机效应的DeepNLME Friberg模型，展示了VEM算法在参数规模上突破传统方法瓶颈的潜力。这表明该方法可能适用于更复杂、更精细的生理模型。 利用现代计算工具（自动微分）：强调通过反向模式自动微分来实现目标函数的高效梯度计算，这是VEM能够扩展到大模型的关键技术支撑。 🔬 细节详述 训练数据：论文未说明具体使用了哪些公开数据集或临床数据。提到的“华法林模型”和“Friberg模型”是药代动力学领域的标准/示例模型，但具体数据来源、规模、预处理方式均未说明。 损失函数：核心优化目标是边际似然（或其近似）。在VEM框架中，具体优化的是证据下界（ELBO），它是真实边际对数似然的一个下界。ELBO由两部分组成：对数似然的期望和变分后验与先验的KL散度。未提供具体公式。 训练策略：学习率、优化器、batch size、总训练步数等关键训练超参数在摘要中未提供。 关键超参数：变分分布族的具体选择（如均值场、全协方差高斯等）、自动微分库的具体配置等未说明。唯一给出的模型规模参数是DeepNLME Friberg模型的15,410个群体参数和16个随机效应。 训练硬件：进行计算实验所使用的GPU/CPU型号、数量、内存等硬件配置未提供。 推理细节：在NLME上下文中，“推理”通常指拟合后的个体参数预测（Empirical Bayes Estimates）。VEM的变分分布本身即可提供随机效应的近似后验，其均值可作为EBE。具体如何提取和使用未说明。 正则化或稳定训练技巧：未说明。可能涉及变分下界的稳定性技巧或对固定效应施加的先验约束。 📊 实验结果 由于摘要未提供具体的性能对比表格或数字，以下仅根据文字描述总结： ...

语音/音乐/音频论文速递 2026-04-30 共分析 25 篇论文 ⚡ 今日概览 📥 抓取 25 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 4篇 ████ #音频深度伪造检测 2篇 ██ #声源定位 2篇 ██ #音视频 1篇 █ #语音克隆 1篇 █ #说话人验证 1篇 █ #语音匿名化 1篇 █ #语音情感识别 1篇 █ 📊 论文评分排行榜（25 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 PSP: An Interpretable Per-Dimension Accent Benchmark fo 9.0分 前25% #语音合成 🥈 Hallo-Live: Real-Time Streaming Joint Audio-Video Avata 8.5分 前25% #音视频 🥉 One Voice, Many Tongues: Cross-Lingual Voice Cloning fo 8.0分 前25% #语音克隆 4. Similarity Choice and Negative Scaling in Supervised Co 8.0分 前25% #音频深度伪造检测 5. Praxy Voice: Voice-Prompt Recovery + BUPS for Commercia 8.0分 前25% #语音合成 6. Dual-LoRA: Parameter-Efficient Adversarial Disentanglem 7.5分 前25% #说话人验证 7. SPG-Codec: Exploring the Role and Boundaries of Semanti 7.5分 前25% #语音合成 8. DiffAnon: Diffusion-based Prosody Control for Voice Ano 7.5分 前25% #语音匿名化 9. Diffusion Reconstruction towards Generalizable Audio De 7.5分 前25% #音频深度伪造检测 10. EmoTransCap: Dataset and Pipeline for Emotion Transitio 7.5分 前25% #语音情感识别 11. Hankel and Toeplitz Rank-1 Decomposition of Arbitrary M 7.5分 前50% #声源定位 12. A New Location Estimator for Mixed LOS & NLOS scena 7.5分 前25% #声源定位 13. Multimodal LLMs are not all you need for Pediatric Spee 7.5分 前25% #语音分类 14. StarDrinks: An English and Korean Test Set for SLU Eval 7.5分 前25% #数据集 15. Tatemae: Detecting Alignment Faking via Tool Selection 7.5分 前25% #大语言模型 16. Step-Audio-R1.5 Technical Report 7.5分 前25% #语音对话系统 17. Preferences of a Voice-First Nation: Large-Scale Pairwi 7.5分 前25% #语音合成 18. The False Resonance: A Critical Examination of Emotion 7.0分 前25% #语音情感识别 #模型评估 19. A Toolkit for Detecting Spurious Correlations in Speech 7.0分 前50% #模型评估 20. Multiple Additive Neural Networks for Structured and Un 7.0分 前50% #表格数据预测 21. Random Cloud: Finding Minimal Neural Architectures With 7.0分 前50% #模型架构搜索 22. Recurrence-Based Nonlinear Vocal Dynamics as Digital Bi 6.5分 前50% #语音生物标志物 23. Full band denoising of room impulse response in the wav 6.5分 前50% #音频信号处理 24. Text-Utilization for Encoder-dominated Speech Recogniti 6.5分 前50% #语音识别 25. Fitting Large Nonlinear Mixed Effects Models Using Vari 6.5分 前50% #统计计算 📋 论文列表 🥇 PSP: An Interpretable Per-Dimension Accent Benchmark for Indic Text-to-Speech 🔥 9.0/10 | 前25% | #语音合成 | #模型评估 | #自监督学习 #多语言 | arxiv ...

📄 Improving Audio Question Answering with Variational Inference #音频问答 #变分推断 #音频大模型 #模型校准 #选择性预测 ✅ 7.5/10 | 前25% | #音频问答 | #变分推断 | #音频大模型 #模型校准 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Haolin Chen（Idiap Research Institute, Martigny, Switzerland; EPFL, Lausanne, Switzerland） 通讯作者：未说明 作者列表：Haolin Chen（Idiap Research Institute, EPFL） 💡 毒舌点评 论文亮点在于成功地将高效的变分推断优化器（IVON）应用于音频问答任务，不仅略微提升了准确率，更显著改善了模型的校准特性和选择性预测能力，这对构建可信赖的AI系统非常实用。但略显单薄的是，其核心贡献本质上是“把一个已知的好工具用在一个新场景”，而非提出针对音频问答特性设计的新方法，创新维度稍显单一。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及公开的模型权重（包括基线模型和微调后模型）。基线模型Qwen2.5-Omni本身可能是开源的（论文未确认）。 数据集：使用了DCASE 2025 AQA数据集，论文未明确说明其是否公开以及如何获取，但DCASE挑战赛数据集通常公开。 Demo：未提及。 复现材料：提供了非常充分的训练细节、配置和超参数设置，有利于复现。 论文中引用的开源项目：主要引用了作为基础模型的 Qwen2.5-Omni [6] 和作为微调方法的 LoRA [25]。优化器 IVON [14] 本身也是一项开源工作。 📌 核心摘要 要解决的问题：多模态大模型（如音频问答模型）在微调后常常过于自信（overconfident），预测置信度不能反映真实准确率（校准差），导致在需要可靠判断的风险敏感应用中不可信。 方法核心：采用变分推断（VI）框架，使用高效的优化器IVON替代传统的AdamW，对大型音频语言模型Qwen2.5-Omni进行参数高效微调（LoRA）。IVON在训练中对模型权重的后验分布进行建模，从而捕获参数不确定性。 与已有方法相比新在哪里：区别于传统优化器（如Adam）提供点估计，以及Monte Carlo Dropout等事后不确定性估计方法，IVON在训练过程中即内建了不确定性建模，且计算成本接近Adam。本文首次将其系统地应用于多模态音频问答任务。 主要实验结果：在DCASE 2025 AQA数据集（BQA, TSQA, CQA三个子集）上，与AdamW基线相比： 准确率（ACC）：IVON（均值或MC-8）平均从80.45%提升至80.97%。 校准：ECE（越低越好）从16.2显著降至10.0（IVON MC-8），NLL和Brier分数同样改善。 选择性预测：在拒答1%最不确定样本时（C@1%），覆盖准确率从3.8%（AdamW）大幅提升至19.5%（IVON MC-8），风险-覆盖曲线下面积（AUC）从7.4降至5.8。 消融实验表明，增加蒙特卡洛（MC）采样数能持续改善校准，而调整后验分布的温度则在准确率和校准间存在权衡。 实际意义：为多模态模型提供了更可靠的置信度估计，使其能在不确定时主动拒绝回答（选择性预测），从而提升系统在医疗、安防等风险敏感领域的应用安全性。 主要局限性：研究仅限于多选题形式的音频问答（单次令牌预测），未验证在开放式生成任务（如自由问答、语音合成）中的效果。 🏗️ 模型架构 本文未提出新的模型架构，而是将变分推断优化器应用于现有的大型音频语言模型（LALM）进行微调。 ...