多模态模型

语音/音乐/音频论文速递 2026-06-25 共分析 27 篇论文 ⚡ 今日概览 📥 抓取 27 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 6篇 ██████ #语音合成 5篇 █████ #语音增强 2篇 ██ #音乐生成 1篇 █ #语音翻译 1篇 █ #语音伪造检测 1篇 █ #自监督学习 1篇 █ #端到端 1篇 █ 📊 论文评分排行榜（27 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Fully Differentiable Neural Forced Alignment via Soft D 8.3分 前25% - 🥈 Attractive and Repulsive Pattern Control in Sequence Ge 8.1分 前25% #音乐生成 🥉 STEB: A Speech-to-Speech Translation Expressiveness Ben 7.8分 前50% #语音翻译 4. Supervised Post-training of Speech Foundation Models fo 7.6分 前50% #语音伪造检测 5. Joint Residual Reweighting for Classifier Free Guidance 7.5分 前50% #语音合成 6. Velocity Prediction in Automatic Guitar Transcription 7.5分 前25% - 7. SE-AGCNet: An End-to-End Framework for Joint Speech Enh 7.4分 前50% #语音增强 8. MJEPA: A Simple and Scalable Joint-Embedding Predictive 7.4分 前25% #自监督学习 9. Sarashina2.2-TTS: Tackling Kanji Polyphony in Japanese 7.3分 前50% #语音合成 10. One Model, Many Latencies: Universal Speech Enhancement 7.2分 前50% #语音增强 11. From Sounds to Scenes: A Benchmark for Evaluating Conte 7.2分 前50% #语音识别 12. Wan-Streamer v0.1: End-to-end Real-time Interactive Fou 7.2分 前25% #语音合成 13. Does Translation-Enhanced Speech Encoder Pre-training A 7.1分 前50% #语音识别 14. Adaptive Oscillatory Inductive Bias for Modeling Sharp 7.0分 前50% #语音合成 15. End-to-End Voice Intent Recognition for Spontaneous Hum 7.0分 前50% #端到端 16. Real-Time Voice AI Hears but Does Not Listen 7.0分 前50% - 17. FoleySet: A Multi-Level Human-Annotated Foley Sound Dat 7.0分 前50% #音频分类 18. EmotionAI: A Privacy-Preserving Computational Intellige 6.9分 前50% #语音情感识别 19. Frequency-Aware Self-Supervised Music Representation Le 6.8分 前50% #音乐信息检索 20. BCoughBench: Benchmarking Respiratory Acoustic Foundati 6.7分 前50% #基准测试 21. SpeechEQ: Benchmarking Emotional Intelligence Quotient 6.7分 前25% #语音对话系统 22. Graph-Based Phonetic Error Correction of Noisy ASR 6.7分 前50% #语音识别 23. What Does a Pathological Speech Assessment Model Know a 6.4分 前50% #语音可懂度评估 24. Phoneme-Level Mispronunciation Screening in Polish-Spea 6.2分 前50% #语音识别 25. Error-Aware TF-IDF Retrieval-Augmented Generation for A 6.1分 前50% #语音识别 26. Evaluating Japanese Dialect Robustness Across Speech an 5.8分 前50% #语音识别 27. CrossAccent-TTS: Cross-Lingual Accent-Intensity Control 5.5分 前50% #语音合成 📋 论文列表 🥇 Fully Differentiable Neural Forced Alignment via Soft Dynamic Programming 8.3/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ...

📄 Audio–Image Alignment as a Continued-Pretraining Stage Improves Low-Resource ASR #语音识别 #自监督学习 #对比学习 #低资源 #多模态模型 6.2/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.2/1.5 | 复现 0.4/0.5 | 工程 0.6/1.5 ✅ 6.2/10 | 前50% | #语音识别 | #自监督学习 | #对比学习 #低资源 | arxiv 👥 作者与机构 作者：Sujith Pulikodan, Nihar Desai, Prasanta Kumar Ghosh。 机构：论文中未明确说明作者所属机构。根据作者姓名和研究领域推测，可能来自印度的相关研究机构（例如印度科学研究所 IISc Bangalore）。 💡 毒舌点评 改进幅度的“相对性”：论文在FLEURS上的21.26%相对WER降低听起来很惊人，但这主要是因为基线模型在FLEURS（未见语言）上表现极差（WER 67.78%）。从绝对数值看，最佳模型将WER从0.68降到0.53，仍属于“不可用”到“勉强可读”的范畴。在资源更丰富的Vaani上，改进仅在1-2%之间，这种“蚊子腿”级别的增益在实际部署中几乎无感。 数据集依赖性过强：核心假设——易获取的音频-图像对——严重依赖于Vaani这个特定收集范式（图片提示说话）。在绝大多数真实低资源场景中，这种精心配对的多模态数据并不存在。方法泛化能力存疑。 成本转嫁而非消除：声称“无需转录”，但获取数十万小时高质量且配对的音频-图像数据，其成本真的远低于获取转录文本吗？Vaani数据集本身的收集就是一项巨大的工程。这更像是将一种稀缺资源（转录文本）的成本转嫁到了另一种稀缺资源（配对多模态数据）上。 消融不足：声称改进来自“对齐阶段”而非更多数据，但对比实验仅用了三个检查点的微小差异。更彻底的消融应包括：a) 使用相同音频但随机配对图像的模型；b) 使用相同音频但无图像（纯文本描述）的模型。现有证据链不够强。 工程细节模糊：虽然描述了架构，但关键超参数（如对齐阶段各组件的学习率缩放因子0.05的具体依据）未解释。三种对齐配置的对比更像是超参搜索，而非对不同模态交互机制的深度分析。 📌 核心摘要 本文针对低资源语音识别问题，提出了一种在自监督音频预训练和监督微调之间引入“音频-图像对齐”的中间适应阶段。该方法利用预先冻结的视觉编码器（如SigLIP2、Qwen3-VL）提取图像语义特征，通过对比学习（SigLIP损失）训练音频编码器，使其输出表示与图像特征对齐，全程无需转录文本。实验在Vaani（48种语言）和FLEURS（14种南亚语言）数据集上进行。结果表明，经过对齐的模型在两个基准上均优于直接微调的基线，尤其是在FLEURS这种更极端低资源场景下，最佳模型的词错误率（WER）实现了21.26%的相对下降，且统计检验显示该提升具有显著性。论文认为，此对齐阶段有效提升了音频表示的鲁棒性和泛化能力。 ...

📄 Audio-visual Contrastive Alignment for Diffusion-based Visual-conditioned Speech Enhancement #扩散模型 #对比学习 #多模态模型 #语音增强 8.1/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8.1/10 | 前25% | #语音增强 | #对比学习 | #扩散模型 #多模态模型 | arxiv 👥 作者与机构 Colombe Mboungou, Mostafa Sadeghi, Jean-Eudes Ayilo, Romain Serizel Université de Lorraine, CNRS, Inria, Loria, Nancy, France 💡 毒舌点评 这篇论文做了一件相对简单但合理的“缝合”工作：在一个现有的扩散式无监督视听语音增强（AV-UDiffSE+/DiffUSEEN）框架上，增加了一个训练时的对比损失来强化视听对齐。想法直接，实验也显示了收益。但作者似乎对这项工作的定位过于乐观。它本质上是一个模块化改进，而非架构或范式上的突破。论文在讨论中声称“明确研究了跨模态对齐的作用”，但其实验主要展示了“增加对比损失能提升性能”，对于“为何现有交叉注意力机制不够”以及“对比损失具体如何改善表示空间”的深层机制探讨不足。将这样一个相对增量的工作发表在顶会，需要更强的洞察力和更全面的分析来支撑。 ...

📄 AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression #多模态模型 #模型压缩 8.4/10 | 创新 1.6/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.4/10 | 前25% | #多模态模型 | #模型压缩 | arxiv 👥 作者与机构 作者：Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song 机构：中国人民大学高瓴人工智能学院，华为技术有限公司 ...

📄 NeuroSonic: Conditional Flow Matching for EEG-to-Speech Reconstruction #条件流匹配 #Transformer #多模态模型 7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 7/10 | 前50% | #语音生成 | #条件流匹配 | #Transformer #多模态模型 | arxiv 👥 作者与机构 Wenhao Gao (Equal contribution)， Stony Brook University Yifan Wang (Equal contribution)， University of Texas Health Center at Houston Yijia Ma, Carl Yang, Wen Li, Chenyu You (Corresponding author)， Emory University ...

📄 video-SALMONN-R\(^3\): Learning to ReWatch, ReAsk, and ReAnswer for Efficient Video Understanding #多模态模型 #强化学习 #参数高效微调 8.2/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.2/10 | 前10% | #多模态模型 | #强化学习 | #参数高效微调 | arxiv 👥 作者与机构 一作：Yixuan Li (清华大学 liyixuan25@mails.tsinghua.edu.cn)；通讯作者：Chao Zhang (清华大学 czhang1@tsinghua.edu.cn)；其他作者：Guangzhi Sun (剑桥大学)， Yudong Yang (清华大学)， Wei Li (字节跳动)， Zejun Ma (字节跳动)。机构包括清华大学、字节跳动和剑桥大学。 💡 毒舌点评 这篇论文抓住了“视频LLM推理时算力分配不均”这个痛点，提出了一个“先粗后精”的重看范式，核心卖点是跳过了昂贵且可能有害的“链式思维”冷启动，直接通过强化学习（RL）从指令微调基座模型上训练重看策略，这确实是个讨巧且有效的工程思路。重答和重问两个机制设计简单但作用关键，实验也充分证明了其有效性。不过，论文的“首提”声称需要谨慎看待，相关工作已很丰富。整体看是一篇扎实、工程优化到位的工作，但理论新颖性有提升空间，且其成功严重依赖高质量的基座模型和精心设计的奖励函数。 ...

语音/音乐/音频论文速递 2026-06-24 共分析 39 篇论文 ⚡ 今日概览 📥 抓取 39 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 6篇 ██████ #语音增强 6篇 ██████ #语音合成 2篇 ██ #多模态模型 2篇 ██ #音乐生成 2篇 ██ #信号处理基础 2篇 ██ #音频深度伪造检测 1篇 █ #对比学习 1篇 █ 📊 论文评分排行榜（39 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 ZONOS2 Technical Report 10.0分 前25% #语音合成 🥈 Layer-wise Probing of wav2vec 2.0 and Whisper for Conso 9.5分 前50% #语音识别 🥉 CN-NewsTTS Bench: a target-level automatic benchmark fo 9.2分 前10% #语音合成 4. BanglaFake: Constructing and Evaluating a Specialized B 9.0分 后50% #音频深度伪造检测 5. Data Scale, Not Latency, Shapes Cross-Lingual Encoder T 9.0分 前25% #语音识别 6. Breaking Shortcut Learning for Cross-Trial EEG-Guided T 8.6分 前50% #对比学习 7. AVOC: Enhancing Hour-Level Audio-Video Understanding in 8.4分 前25% #多模态模型 8. SphereVBx: Spherical Variational Bayes Clustering for S 8.3分 前50% #无监督学习 9. ParaPairAudioBench: Paralinguistic Pairwise Audio Bench 8.2分 前50% #语音质量评估 10. video-SALMONN-R\(^3\): Learning to ReWatch, ReAsk, and Re 8.2分 前10% #多模态模型 11. Audio-visual Contrastive Alignment for Diffusion-based 8.1分 前25% #语音增强 12. Perceptual Evaluation of Higher-Order Ambisonic Codecs 8.0分 前50% #音频编码 13. DTT-BSR+: A Generative-Regression Cascade for Music Sou 8.0分 前25% #生成对抗网络 14. Heterogeneous 2D/1D Signal Representation Fusion for Un 7.6分 前50% - 15. Selective Capability Unlearning in End-to-End Spoken La 7.6分 前25% - 16. A Multi-Stage Separation-and-Classification Framework G 7.5分 前50% #音频分类 17. Progressive Alignment Objectives for Aligner-Encoder ba 7.5分 前25% #语音识别 18. Comparative Reasoning: Making an Audio Language Model B 7.5分 前25% #语音情感识别 19. VieSpeaker: A Large-Scale Vietnamese Speaker Recognitio 7.5分 前25% #说话人识别 20. Suppressing spectral edge effects in Schroeder Harmonic 7.3分 前50% #语音增强 21. Real-Time Interactive Music Generation via Data-Free St 7.1分 前50% #音乐生成 22. A Methodology for Characterizing Underwater Radiated No 7.0分 前50% #信号处理基础 23. A Fusion-Aware Two-Stage Framework for Mispronunciation 7.0分 前25% #语音识别 24. Neuromorphic Speech Enhancement with Dual-Branch Spikin 7.0分 前50% #语音增强 25. NeuroSonic: Conditional Flow Matching for EEG-to-Speech 7.0分 前50% #语音生成 26. The effect of micro-changes in the pluck trajectory on 6.8分 前50% #信号处理基础 27. Evaluation of Headrest-Integrated Loudspeakers for Enha 6.8分 前50% - 28. Statistical validation and full-sphere extension of a B 6.7分 前50% #音频质量评估 29. Beyond U-Net: A Latent-Representation-Aligned Skip-Free 6.6分 前50% #语音增强 30. Measuring User's Mental Models of Speech Translatio 6.6分 前50% #语音翻译 31. Audio–Image Alignment as a Continued-Pretraining Stage 6.2分 前50% #语音识别 32. Poster: Exploring the Limits of Audio-Based Detection o 6.2分 前50% - 33. Joint Learning of Covariance Estimation and White Noise 5.8分 前50% #语音增强 34. Sonus Health: Calibrated Heart-Murmur Detection from Sm 5.7分 前50% #音频事件检测 35. Autoencoder based optimized SSL representations: Comple 5.5分 前50% #语音识别 36. It's Complicated: On the Design and Evaluation of A 5.5分 前50% #大语言模型 37. Digital Revival: Acoustic Documentation and Digital Rea 5.3分 后50% #音乐生成 38. Aligning MusicLLM with Emotion using Instruction Tuning 4.9分 后50% #音乐情感识别 39. A Variational-Flow Analysis of StoRM under Noise-Power 4.4分 前50% #语音增强 📋 论文列表 🥇 ZONOS2 Technical Report 10.0/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.4/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ...

📄 AOR-Bench: Do Large Audio Language Models Over-Refuse Pseudo-Harmful Queries? #语音识别 #音频问答 #多模态模型 7.9/10 | 创新 1.8/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 7.9/10 | 前50% | #音频问答 | #语音识别 | #多模态模型 | arxiv 👥 作者与机构 Jiaxi Yang, Chaewan Chun, Jason Lucas, Yuchen Yang, Dongwon Lee Penn State University 💡 毒舌点评 优点：精准切中了多模态大模型安全对齐领域的一个新兴盲点——音频模态下的“过度拒绝”。作为首个专门为此设计的基准，AOR-Bench的提出本身就具有显著的开创性和实用价值，填补了从文本到视觉再到音频的过度拒绝研究链条中缺失的一环。论文的实验设计覆盖了主流的闭源与开源模型，发现（尤其是系统提示的影响）也具有启发性。 缺点：研究的深度和严谨性未能完全匹配其开创性的标题。基准构建流程存在明显的“合成痕迹”，依赖Sora-2生成视频再提取音频，其产生的背景音与真实世界复杂声学环境的生态效度（ecological validity）存疑，可能使得实验结论过于“干净”。方法论上，核心指标MB-Score将TRR（在独立有害样本上测试）与ORR（在伪有害样本上测试）进行调和平均，但这两类测试集并非严格的配对对比，其组合的意义需要更仔细的论证。此外，缓解策略（链式思考和激活引导）的实验规模过小（仅3个模型），且激活引导的结果实际显示了安全性能的下降，论文对此的解读略显乐观。整体而言，这是一篇扎实的“开坑”之作，但在方法论创新和结论的坚实程度上，距离顶会的最高标准仍有差距。 📌 核心摘要 本文首次提出了针对大型音频语言模型（LALMs）过度拒绝问题的专用基准AOR-Bench。该基准的核心在于构造“伪有害”音频：其语音内容在脱离背景时听起来有害，但结合背景音轨（如应急响应、游戏场景）后，意图则为良善。通过在12个LALMs上进行评估，研究发现过度拒绝现象普遍存在，且模型未能充分理解背景语义。此外，系统提示对拒绝行为有显著影响。论文初步探索了链式思考和激活引导两种缓解方法，为改善模型安全对齐提供了方向。 ...

📄 Bridging the Age Gap: Towards Detecting Neural Audio Codec Synthesized Elderly Speech Deepfake #语音伪造检测 #多模态模型 #自监督学习 #数据集 8.6/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 🔥 8.6/10 | 前50% | #语音伪造检测 | #自监督学习 | #多模态模型 #数据集 | arxiv 👥 作者与机构 作者: Chetia Phukan, Mujtaba Akhtar, Orchid Girish, Mohd Lee, Chi-Chun Lee 机构: 1 BIIC Lab, NTHU, Taiwan, 2 UPES, India, 3 VBSPU, India 邮箱: orchidchetiaphukan1@gmail.com, cclee@ee.nthu.edu.tw ...

📄 CAAD: Contrastive Audio-Aware Distillation for Efficient Speech Language Models #语音识别 #模型压缩 #多模态模型 #语音情感识别 #对比学习 8.9/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 🔥 8.9/10 | 前25% | #语音识别 | #知识蒸馏 | #模型压缩 #多模态模型 | arxiv 👥 作者与机构 第一作者：Chun-Wei Chen，第二作者：Tzu-Quan Lin，第三作者：Ke-Han Lu，第四作者：Wei-Ping Huang，第五作者：Hung-Yi Lee。机构：台湾大学电机工程学研究所、台湾大学通讯工程学研究所、台湾大学人工智能卓越研究中心（NTU AI-CoRE）。 💡 毒舌点评 本文直击了语音语言模型蒸馏中“继承偏差而非克服偏差”的痛点，并提出了一个巧妙且高效的解决方案。其核心洞察——将推理时的对比解码（CD）逻辑训练时内化到学生权重——是清晰且有价值的。同步教师强制策略的设计也确实解决了传统对比蒸馏训练开销大的瓶颈。然而，这种巧妙设计严重依赖一个核心假设：由LLM基于元数据生成的“伪真实标签（Pseudo-GT）”是高质量且无偏的锚点。论文对此论证不足，这使得整个框架的上限存疑。实验虽然扎实，但仅在单一架构和压缩比上验证，普适性存疑。更关键的是，CAAD学生模型性能虽优于Std. KD，但仍不及教师模型的CD解码，这一差距的原因分析缺失。这像是一位学生学会了老师的“内功心法”（对比逻辑），但“内力”（模型容量）仍不及老师本人施展的威力。总的来说，这是一篇技术实现巧妙、实验导向明确的工作，但其核心组件的可靠性和结论的普适性需要更严格的审视。 📌 核心摘要 本文针对语音语言模型参数庞大且标准蒸馏会继承语言先验偏差的问题，提出了对比音频感知蒸馏（CAAD）。CAAD的核心是通过同步教师强制策略，利用文本元数据生成的伪真实标签（Pseudo-GT）作为锚点，使教师模型能高效计算“音频感知”和“仅文本”两条路径的对比分布。学生模型通过优化与“音频感知目标”的KL散度，将这种对比推理能力内化到单路径模型中，从而在不增加推理延迟的前提下，提升模型对音频信息的依赖并减轻语言偏差。实验在DeSTA2（8B教师到3B学生）上表明，CAAD在通用任务（Dynamic-SUPERB）上相比标准蒸馏有约8%的性能提升，在模态冲突任务（MCR-BENCH）上显著降低了语言偏见（Shift值从100%降至79.03%）。 🔗 开源详情 代码：https://github.com/ChenWils/Contrastive_Audio-Aware_Distillation.git 模型权重：论文中未提及具体链接。 数据集：论文中提及了AccentDB、DailyTalk、IEMOCAP、PromptTTS、VCTK、VoxCeleb以及MCR-BENCH中的MELD子集，但未提供具体下载链接。 Demo：论文中未提及。 复现材料：论文中提及了训练配置（使用RTX A6000 GPU训练70小时，优化器为FusedAdam，学习率 \(1 \times 10^{-4}\)，\(\lambda=0.7\)，\(\tau=2.0\)），但未提供具体检查点或附录。 论文中引用的开源项目：未提及具体开源项目链接。 🏗️ 方法概述和架构 CAAD框架旨在将教师模型在推理时使用的对比解码（CD）能力，高效地蒸馏到单路径的学生模型中，避免推理时双路径计算带来的延迟。该框架分为两个阶段，如图1所示。 阶段1：伪真实标签（Pseudo-GT）生成 此阶段为后续的同步蒸馏准备统一的锚点序列。给定音频输入 \(X^{A}\)，首先提取文本元数据 \(M\)（如性别、情绪、声学环境等）。然后，利用教师模型的LLM骨干（如Llama3-8B-Instruct），以元数据 \(M\) 为条件，自回归生成一个结构化的描述性文本序列 \(Y^{pseudo} = \{y_1, y_2, ..., y_L\}\)。这个序列 \(Y^{pseudo}\) 被视为一个高质量的、与音频内容对齐的伪真实标签，将作为阶段2中教师模型双路径生成的固定输入序列，以实现训练过程的并行化。论文还探索了另一种直接从连续音频嵌入生成 \(Y^{pseudo}\) 的基线，但消融实验（表3）表明，基于文本元数据的锚点具有更高的保真度。 阶段2：对比音频感知蒸馏 在此阶段，教师模型 \(\mathcal{T}\) 和学生模型 \(\mathcal{S}\) 同时使用阶段1生成的 \(Y^{pseudo}\) 作为输入序列的一部分，进行同步计算。 ...