音频大模型

📄 Incentivizing Consistent, Effective and Scalable Reasoning Capability in Audio LLMs via Reasoning Process Rewards #音频问答 #强化学习 #音频大模型 #推理 #数据增强 🔥 8.5/10 | 前25% | #音频问答 | #强化学习 | #音频大模型 #推理 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jiajun Fan (伊利诺伊大学厄巴纳-香槟分校 Siebel计算机与数据科学学院；实习于亚马逊) 通讯作者：未明确说明（论文提供了多位作者的邮箱，但未明确指定通讯作者） 作者列表： Jiajun Fan (伊利诺伊大学厄巴纳-香槟分校；亚马逊) Roger Ren (亚马逊) Jingyuan Li (亚马逊) Rahul Pandey (亚马逊) Prashanth Gurunath Shivakumar (亚马逊) Ivan Bulyko (亚马逊) Ankur Gandhe (亚马逊) Ge Liu (伊利诺伊大学厄巴纳-香槟分校) Yile Gu (亚马逊) 💡 毒舌点评 本文最大的亮点在于精准诊断并命名了“测试时反向扩展”这一音频大模型推理的顽疾，并为此开出了“过程奖励”这剂对症良药，将强化学习的应用从粗放的结果监督提升到了精细的思维过程雕琢。然而，其方法的计算开销（需要多次采样）和奖励函数设计的复杂性，使其对资源有限的团队并不友好，且最终性能天花板仍受制于基础音频感知器的短板，这提醒我们“会思考”之前，得先“听清楚”。 ...

📄 Measuring Audio’s Impact on Correctness: Audio-Contribution-Aware Post-Training of Large Audio Language Models #音频大模型 #强化学习 #数据集 #音频问答 #模型评估 ✅ 7.5/10 | 前25% | #音频问答 | #强化学习 | #音频大模型 #数据集 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Haolin He（香港中文大学、蚂蚁集团） 通讯作者：Jian Liu（蚂蚁集团， rex.lj@antgroup.com）、Qiuqiang Kong（香港中文大学， qqkong@ee.cuhk.edu.hk） 作者列表：Haolin He（香港中文大学、蚂蚁集团）、Xingjian Du（罗切斯特大学）、Renhe Sun（蚂蚁集团）、Zheqi Dai（香港中文大学）、Yujia Xiao（香港中文大学）、Mingru Yang（蚂蚁集团）、Jiayi Zhou（蚂蚁集团）、Xiquan Li（上海交通大学）、Zhengxi Liu（香港中文大学）、Zining Liang（香港中文大学）、Chunyat Wu（香港中文大学）、Qianhua He（华南理工大学）、Tan Lee（香港中文大学）、Xie Chen（上海交通大学）、Wei-Long Zheng（上海交通大学）、Weiqiang Wang（蚂蚁集团）、Mark Plumbley（伦敦国王学院）、Jian Liu（蚂蚁集团）、Qiuqiang Kong（香港中文大学） 💡 毒舌点评 亮点在于敏锐地抓住了音频问答模型“偷懒”不听音频的“零音频贡献”问题，并巧妙地将此“缺陷”转化为训练策略设计的依据（Weak-to-Strong），结果亮眼。短板则是整个方法链条严重依赖强大的生成式AI（Qwen3-235B）来构建数据集和进行质量过滤，这多少有点“用魔法打败魔法”，其生成质量的天花板可能直接决定了本方法的天花板。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：论文未提及是否公开本次实验微调后的模型权重。所使用的基础模型（Qwen2.5-Omni）和评估模型（A-Flamingo2, R1-AQA, Kimi-Audio）均为已公开的模型。 数据集：AudioMCQ是本文构建的数据集，论文中描述了构建方法和组成，但未明确提供数据集的公开下载链接或获取方式。 Demo：论文中未提及在线演示。 复现材料：提供了详细的超参数配置表（表6，表7）、训练策略说明、评估提示模板（附录B）和质量验证流程（附录C），复现细节较为充分。 论文中引用的开源项目：Qwen3-235B（用于数据生成）、Qwen2.5-Omni（骨干模型）、A-Flamingo2、R1-AQA、Kimi-Audio（用于ACF评估）、GRPO（训练方法）、DeepSpeed ZeRO-2（优化器）。 开源计划：论文中未提及明确的开源计划。 📌 核心摘要 解决的问题：大型音频语言模型（LALMs）的多阶段后训练（如SFT后接RL）效果不佳，缺乏针对性的高质量数据集，且普遍存在“零音频贡献”现象（模型仅凭文本信息即可答对，无需听音频）。 方法核心：首先构建了大规模音频选择题数据集AudioMCQ（571k样本）。其次，提出音频贡献过滤（ACF）方法，利用多个模型在“静音”输入下的正确率，将数据分为“弱音频贡献”和“强音频贡献”子集。最后，基于此提出两种训练范式：Weak-to-Strong（SFT用弱音频贡献数据，GRPO用强音频贡献数据）和Mixed-to-Strong（SFT用混合数据，GRPO用强音频贡献数据）。 创新性：1) 构建了首个大规模、带思维链注释的音频选择题数据集；2) 系统性地量化并分析了LALMs中的零音频贡献现象及其类型（显式逻辑推理与隐式知识检索）；3) 基于音频贡献度提出了简单有效的后训练数据分配策略。 实验结果：使用Weak-to-Strong策略，在MMAU-test-mini和MMAU上分别达到78.2%和75.6%；使用Mixed-to-Strong策略，在MMAR和MMSU上分别达到67.0%和71.7%，均为开源模型SOTA。具体结果见表5及下表： 方法 MMAU-test-mini MMAU MMAR MMSU Weak-to-Strong 78.2% 75.6% 65.3% 69.3% Mixed-to-Strong 76.4% 75.1% 67.0% 71.7% 所有数据 SFT 75.2% 75.0% 64.6% 64.0% 所有数据 GRPO 78.1% 75.4% 63.0% 70.2% GPT4o-Audio (基线) 62.5% 60.8% 63.5% 56.4% 实际意义：为音频大模型后训练提供了可复现的数据构建方案和高效的数据分配策略，揭示了当前评估基准中可能存在的“伪音频理解”问题。 主要局限性：数据集构建完全依赖一个强大的大语言模型（Qwen3-235B），可能引入偏差；ACF方法依赖三个特定的现成模型；Weak-to-Strong范式在MMAR/MMSU上弱于Mixed-to-Strong，表明其普适性有待验证。 🏗️ 模型架构 本文不提出新的模型架构，而是以现有的 Qwen2.5-Omni 作为基础模型进行后训练。其核心贡献在于数据构建与训练策略。因此，其“架构”体现在数据处理与训练流程上。 图1展示了AudioMCQ数据集的构建流程。流程始于多个音频描述/问答数据集，经过问题生成、选择题构建、结构化与非结构化思维链生成，以及最后的质量评分与过滤。这是一个多阶段、依赖LLM的生成与筛选管线，最终产出高质量的选择题数据集。 ...

📄 OWL : Geometry-Aware Spatial Reasoning for Audio Large Language Models #空间音频 #声源定位 #音频大模型 #链式思维 #数据集 ✅ 7.0/10 | 前25% | #空间音频 | #音频大模型 | #声源定位 #链式思维 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Subrata Biswas（Worcester Polytechnic Institute 电气与计算机工程系） 通讯作者：未说明 作者列表：Subrata Biswas（Worcester Polytechnic Institute 电气与计算机工程系）、Mohammad Nur Hossain Khan（Worcester Polytechnic Institute 电气与计算机工程系）、Bashima Islam（Worcester Polytechnic Institute 电气与计算机工程系） 💡 毒舌点评 这篇论文在音频大语言模型的空间推理能力上迈出了重要一步，其核心亮点在于巧妙地将环境几何信息作为辅助监督注入到音频编码器中，从而在推理时无需几何输入就能获得几何感知的表征，这是一个既实用又优雅的设计。然而，整个系统的基石——BiDepth数据集完全依赖于合成数据，尽管论文通过在真实世界数据集上的零样本测试部分缓解了这一担忧，但模拟环境与复杂真实声场之间的鸿沟仍是其走向大规模应用的首要挑战。 🔗 开源详情 代码：提供代码仓库链接：https://github.com/BASHLab/OWL。 模型权重：论文中未提及公开已训练好的模型权重。 数据集：论文宣布将发布BiDepth数据集，但当前提供的文本中未说明具体发布平台和获取方式。 Demo：论文中未提及在线演示。 复现材料：论文在附录中详细提供了SAGE和OWL的训练超参数、硬件配置、优化器设置等复现所需的关键信息。明确指出使用了LLaMA-2-7B和AudioMAE作为初始化。 引用的开源项目：论文中明确使用了SoundSpaces v2.0、Matterport3D、AudioSet、LLaMA-2-7B、AudioMAE、Q-Former等开源工具或模型。 📌 核心摘要 问题：现有的音频大语言模型在空间推理上能力不足，主要依赖粗糙的二元线索（左/右）和单步推理，缺乏对声学环境几何结构（如房间布局、混响）的显式建模，导致方向和距离估计精度低，且推理过程不可解释。 方法核心：提出OWL模型，它由一个几何感知的音频编码器SAGE和一个集成了空间感知链式思维（CoT） 的大语言模型组成。SAGE在训练时利用全景深度图和模拟房间冲激响应（RIR）来学习声学-几何对齐特征，但推理时仅需音频。OWL则通过从感知QA到多步推理的课程学习，支持细粒度的12扇区方向（DoA）估计和可解释的推理。 新意：与之前的工作（如BAT）相比，OWL的创新在于：a) SAGE编码器首次引入几何感知监督，将音频特征与3D空间结构对齐；b) 空间感知CoT，使中间推理步骤锚定于声源位置，提供可解释的推理路径；c) 构建并发布了首个大规模、包含{双耳音频、RIR、深度图、QA}四元组的BiDepth数据集（约110万个QA对）。 主要结果：在BiDepth和SpatialSoundQA两个基准上，SAGE将平均DoA误差降低了11°，OWL在空间推理QA准确率上比BAT最高提升了25%。具体地，在BiDepth上，OWL w CoT在单源/双源事件检测mAP为33.37/17.26，12扇区DoA准确率为46.17，空间推理（Type III）二分类准确率（BA）为77.89，CoT推理（Type IV）BA为76.53，全面超越包括Gemini在内的基线。 实际意义：为构建能理解三维声学场景、进行细粒度空间推理的AI听觉智能体奠定了基础，对机器人导航、智能家居、人机交互等应用有潜在价值。 主要局限性：核心训练数据集BiDepth是合成的，虽然通过了部分真实世界数据的零样本验证，但其在极端混响、复杂遮挡等真实场景下的泛化能力仍需进一步验证。推理任务目前限于单轮QA。 🏗️ 模型架构 OWL系统包含两个核心模块：SAGE编码器和OWL语言模型管道。 ...

📄 UALM: Unified Audio Language Model for Understanding, Generation and Reasoning #音频大模型 #统一音频模型 #音频生成 #多模态模型 🔥 8.5/10 | 前25% | #音频生成 | #统一音频模型 | #音频大模型 #多模态模型 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jinchuan Tian (卡内基梅隆大学，CMU) 通讯作者：未明确指定，但根据作者排序和邮箱，Sang-gil Lee, Zhifeng Kong, Wei Ping (NVIDIA) 为关键联系人。 作者列表：Jinchuan Tian (CMU)，Sang-gil Lee (NVIDIA)，Zhifeng Kong (NVIDIA)，Sreyan Ghosh (NVIDIA, 马里兰大学)，Arushi Goel (NVIDIA)，Chao-Han Huck Yang (NVIDIA)，Wenliang Dai (NVIDIA)，Zihan Liu (NVIDIA)，Hanrong Ye (NVIDIA)，Shinji Watanabe (CMU)，Mohammad Shoeybi (NVIDIA)，Bryan Catanzaro (NVIDIA)，Rafael Valle (NVIDIA)，Wei Ping (NVIDIA)。 💡 毒舌点评 亮点：这篇论文成功证明了一个基于LLM的单一模型，在经过精心设计的数据混合和训练后，不仅能在音频生成上媲美甚至超越扩散模型，还能同时保持强大的音频理解与文本推理能力，这是音频领域迈向“大一统”模型的重要一步。 短板：虽然提出了极具前景的“多模态推理”范式（如自我反思），但对其效果的评估几乎完全依赖主观听感测试，缺乏客观、可复现的自动指标来衡量推理链的质量和生成结果的可控性，使得这部分贡献的科学严谨性打了折扣。 ...

📄 Listening with Time: Precise Temporal Awareness for Long-Form Audio Understanding #音频大模型 #音频场景理解 #基准测试 #强化学习 #数据集 🔥 8.0/10 | 前25% | #音频场景理解 | #音频大模型 | #基准测试 #强化学习 | arxiv 学术质量 5.8/7 | 选题价值 1.5/2 | 复现加成 0.7 | 置信度 高 👥 作者与机构 第一作者：Mingchen Shao（西北工业大学） 通讯作者：Lei Xie（西北工业大学） 作者列表：Mingchen Shao（西北工业大学）、Hang Su（独立研究者）、Wenjie Tian（西北工业大学）、Bingshen Mu（西北工业大学）、Zhennan Lin（西北工业大学）、Lichun Fan（独立研究者）、Zhenbo Luo（独立研究者，清华大学相关）、Jian Luan（独立研究者）、Lei Xie（西北工业大学） 💡 毒舌点评 这篇论文的亮点在于其“庖丁解牛”式的系统设计：面对长音频时间感知这一老大难问题，没有硬磕模型本身，而是从数据、评测、推理范式三个层面给出了一套“组合拳”，尤其是构建全球-局部时间线的TWA-CoT思路清晰有效。然而，其短板也很明显：框架的计算开销和多轮推理的延迟使其在实时或流式场景下的应用面临挑战，且最终性能的天花板依然受限于所采用的骨干模型（Qwen3-Omni）的基础能力。 🔗 开源详情 代码：论文承诺开源，并提供了GitHub仓库链接：https://github.com/alanshaoTT/LAT-Audio-Repo。 模型权重：论文提及基于Qwen3-Omni-30B进行训练，但未明确说明最终模型权重是否开源。根据仓库名推测，模型权重可能也会开源。 数据集：LAT-Chronicle数据集和LAT-Bench基准承诺开源，但未说明具体获取方式（如需申请或直接下载）。 Demo：论文中未提及提供在线演示。 复现材料：论文提供了详细的三阶段训练策略、关键超参数（学习率、批大小、组大小）、奖励函数设计以及数据集的构成统计，复现材料较为充分。 引用的开源项目/工具： 骨干模型：Qwen3-Omni-30B-A3B-Instruct (Team, 2025c) 训练框架：Swift (Zhao et al., 2025) 对比模型/工具：Audio-Flamingo3 (Goel et al., 2025)、Gemini系列 (Team, 2025a)、Step-Audio-R1.1 (Tian et al., 2025)、Time-Audio (Wang et al., 2026) 评估指标：FENSE (Zhou et al., 2022; Dinkel et al., 2025) 原子标注中使用的模型：Gemini-2.5-Pro、LLM-ForceAligner (Mu et al., 2026) 强化学习算法：Group Relative Policy Optimization (Shao et al., 2024) 📌 核心摘要 本文针对大型音频语言模型在长音频理解任务（尤其是需要精确时间感知的任务）中性能显著下降的问题，提出了一套综合解决方案。 ...

📄 A Generative-First Neural Audio Autoencoder #音乐生成 #音频大模型 #生成模型 #流式处理 #多语言 🔥 8.5/10 | 前25% | #音乐生成 | #生成模型 | #音频大模型 #流式处理 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jonah Casebeer（Adobe Research） 通讯作者：未说明 作者列表：Jonah Casebeer（Adobe Research），Ge Zhu（Adobe Research），Zhepei Wang（Adobe Research），Nicholas J. Bryan（Adobe Research） 💡 毒舌点评 亮点在于其“生成优先”的设计哲学非常务实，通过一系列巧妙的工程优化（如SnakeLite、下采样策略）实现了编码速度一个数量级的提升，这对大规模生成模型训练是关键杠杆。短板是论文作为ICASSP 2026投稿，其声称的SOTA对比基线（如CoDiCodec）虽然最新，但缺乏更广泛的跨领域音频编解码器（如面向语音的极低比特率模型）对比，其“统一模型”的普适性边界尚待更多下游任务验证。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开模型权重。 数据集：使用25K小时经许可的音乐，但论文中未公开此数据集或提供获取方式。 Demo：未提及在线演示。 复现材料：提供了非常详细的训练细节、模型超参数配置、架构描述和消融实验设置，但未提供预训练检查点或具体配置文件。 论文中引用的开源项目：未在文中明确列出依赖的开源项目/模型。基线模型（DAC, EnCodec, SAO, CoDiCodec）本身是开源项目，但论文未说明是否基于其代码进行实验。 总结：论文中未提及开源计划（代码、模型、数据均未提供）。 📌 核心摘要 问题：现有的神经音频自编码器（如SoundStream, EnCodec, DAC）主要针对“重建优先”设计，存在潜变量率高、编码速度慢、需要针对不同音频格式（单声道、立体声、中侧声道）维护不同模型等问题，这阻碍了它们在需要大规模、快速编码的生成模型（如扩散模型、语言模型）中的高效应用。 方法核心：提出“生成优先自编码器”（GenAE），这是一个单一的编码器-瓶颈-解码器架构。通过一系列架构优化（高效激活函数SnakeLite、早期下采样、可分离卷积、激进的时间下采样、梅尔谱融合、窗口化自注意力）和训练优化（多��式数据增强、辅助梅尔损失、互质多分辨率损失），在压缩率、重建质量和处理速度之间取得更佳平衡。 创新点：1) 提出了一种统一的架构，支持连续（KL）和离散（VQ）潜变量，以及单声道、立体声、中侧声道等多种音频格式，无需单独变体；2) 通过架构修改，将时间下采样率从2048倍提升至3360倍，并实现了10倍更快的编码速度；3) 提出了一种后训练离散化步骤，允许在训练好的连续模型上添加RVQ瓶颈以支持离散潜变量，无需重训骨干网络。 实验结果：GenAE（13.125 Hz）在SI-SDR、多分辨率STFT损失、梅尔谱L1距离等指标上，以仅60%的基线（SAO）潜变量率达到了更优的重建质量；编码速度比SAO快12倍，内存占用仅为SAO的1/3。一个60秒的单声道信号仅压缩为788个令牌。具体数值见下表。 模型 潜变量率 (Hz) 上下文长度 (秒) ↑ L/R 梅尔↓ M/S 梅尔↓ EnCodec-48 150 73 0.5485 0.6602 DAC 86 127 0.5144 0.5114 CoDiCodec-FSQ 11 993 0.9586 1.0553 GenAE-VQ (ours) 13.125 832 0.5956 0.5943 SAO 21.5 106 0.6863 0.7506 CoDiCodec 11 206 0.9252 1.0218 GenAE-KL (ours) 13.125 173 0.5384 0.5369 GenAE-KL (ours) 36.75 62 0.4005 0.4054 实际意义：显著降低了使用神经音频编解码器进行生成模型训练和推理的计算成本（时间和内存），使得在有限资源下处理长音频上下文成为可能，从而能够开发更强大、更高效的音频/音乐生成与理解应用。 主要局限性：论文未提供代码、预训练模型或训练数据集，阻碍了立即复现；评估主要集中在44.1kHz音乐音频上，在其他音频类型（如语音、环境声）上的性能未充分验证；与CoDiCodec相比，在极高压缩率下（11Hz）的重建质量仍有差距。 🏗️ 模型架构 GenAE是一个编码器-瓶颈-解码器结构的自编码器，整体架构如下图所示。其输入为原始音频波形，输出为重构的波形。 ...

📄 AR&D: A Framework for Retrieving and Describing Concepts for Interpreting AudioLLMs #音频大模型 #自监督学习 #模型评估 ✅ 6.5/10 | 前50% | #音频大模型 | #自监督学习 | #模型评估 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Townim Faisal（澳大利亚机器学习研究所，阿德莱德大学；杜比实验室） 通讯作者：未说明（论文中未明确标注通讯作者） 作者列表： Townim Faisal（澳大利亚机器学习研究所，阿德莱德大学；杜比实验室） Ta Duc Huy（澳大利亚机器学习研究所，阿德莱德大学；杜比实验室） Siqi Pan（杜比实验室） Jeremy Stoddard（杜比实验室） Zhibin Liao（澳大利亚机器学习研究所，阿德莱德大学；计算机与数学科学学院） 💡 毒舌点评 亮点：这篇论文首次为音频大模型（AudioLLM）的“黑箱”问题提供了系统性的机械化解释工具链，将稀疏自编码器与音频时序特性巧妙结合，方法设计完整且逻辑自洽。短板：实验验证仅在单一模型（Qwen2-Audio-7B）和有限数据集上进行，其结论的普适性和在更大规模模型上的效果存疑，且缺乏对实际应用场景的深入探索，更像一个“方法论展示”而非“问题解决”。 🔗 开源详情 代码：论文提供了一个代码仓库链接：https://bit.ly/autointerpret-audiollm。 模型权重：未提及是否开源训练好的SAE模型或中间表示。 数据集：所使用的WavCaps， IEMOCAP， FSD50k， VoxCeleb1等均为公开数据集，论文未提供其修改版本或私有数据。 Demo：未提及。 复现材料：论文提供了一些关键超参数（如K=250， e=8， lr=1e-5）和训练步数，但缺少详细的训练硬件、完整的配置文件、评估脚本和附录说明。复现细节不充分。 论文中引用的开源项目：TopK-SAE [17]， CLAP [19]， SeaLLM-Audio-7B [20]， Qwen2-Audio-7B-Instruct [1]， Llama-3-70B-Instruct。 📌 核心摘要 问题：音频大模型（AudioLLM）性能强大但内部决策机制不透明，神经元呈现多义性，限制了其在高风险领域的可信部署。 方法核心：提出首个针对AudioLLM的机械可解释性框架AR&D。该框架包含三个阶段：1）使用TopK稀疏自编码器（SAE）将模型中间层激活解耦为稀疏、单义的特征；2）提出结合平均激活强度和覆盖率的“代表性评分”，自动检索最能代表每个特征的音频片段；3）利用单义性得分筛选最可靠的特征，并通过另一个AudioLLM生成描述，最后用大语言模型为这些特征自动命名，形成可解释的“概念”。 创新点：1）首次将SAE方法系统应用于AudioLLM；2）针对音频时序性，设计了新的代表性评分机制（优于仅用平均激活）；3）构建了从特征检索、评估到自动命名的完整流水线；4）通过人工评估和特征引导（Steering）验证了概念的有效性。 主要实验结果：在FSD50k数据集的可解释性评估中，AR&D（第26层）相比最强基线（Coverage），F1提升33%，mAP提升49%；在IEMOCAP和VoxCeleb1的情绪/性别引导任务中，AR&D的敏感度（如中性→快乐：0.75）远高于直接使用原始多义特征的方法（0.13）。消融实验证明深层（层26）和适中扩展因子（e=8）效果最佳。 实际意义：为理解和控制AudioLLM的行为提供了基础工具，有望提升模型在医疗、辅助技术等敏感领域的透明度和可信度。 主要局限性：框架仅在Qwen2-Audio-7B-Instruct上验证，普适性未证明；探针数据集规模中等；自动命名的质量仍依赖生成模型；未展示在具体下游任务（如音频分类）中提升性能的案例。 🏗️ 模型架构 AR&D是一个多阶段的分析流水线，而非一个新的端到端模型。其整体架构如图1所示。 AR&D 框架概览图 图1：AR&D框架概览（注：此为示意图，论文原文图1描述了三阶段流程）。 核心组件与数据流： ...

📄 Auditory Illusion Benchmark for Large Audio Language Models #模型评估 #基准测试 #音频大模型 #听觉认知 ✅ 7.0/10 | 前50% | #模型评估 | #基准测试 | #音频大模型 #听觉认知 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Hayoon Kim（首尔大学音乐与音频研究组，首尔大学智能信息学系） 通讯作者：Kyogu Lee（首尔大学音乐与音频研究组，首尔大学智能信息学系，AIIS，IPAI） 作者列表：Hayoon Kim（首尔大学音乐与音频研究组，首尔大学智能信息学系）、Eunice Hong（首尔大学音乐与音频研究组，首尔大学智能信息学系）、Kyogu Lee（首尔大学音乐与音频研究组，首尔大学智能信息学系，AIIS，IPAI） 💡 毒舌点评 亮点：论文首次将认知科学中的“听觉错觉”概念系统化为评估大型音频语言模型（LALMs）的基准，方法严谨（包含对照组和人类基线），指出了模型在“感知”层面与人类的关键差距，角度新颖且具有启发性。短板：所有评估任务被压缩为简单的二选一或三选一，这种简化可能无法充分捕捉复杂听觉错觉的微妙体验和动态过程；对模型内部为何产生差异的分析停留在表面，缺乏更深入的机理解释。 🔗 开源详情 代码：提供了生成AIB错觉刺激的开源代码仓库：https://github.com/gillosae/aib。 模型权重：未提及。论文评估的是已公开的模型（如Qwen2-Audio, MuLLaMa等），未提出或开源新的模型权重。 数据集：是，已公开。论文声明AIB基准数据集已通过上述GitHub仓库公开发布。 Demo：未提及。 复现材料：提供了数据集和刺激生成代码，复现评估结果需要访问被评估的模型及其权重（这些通常是公开的）。论文未提供详细的评估脚本或配置文件。 论文中引用的开源项目：引用了多个被评估模型的开源项目，如Pengi、Audio Flamingo、MuLLaMa、Qwen-Audio等。 📌 核心摘要 要解决什么问题：当前对大型音频语言模型（LALMs）的评估主要集中在识别准确性等客观任务上，缺乏评估其是否内化了人类特有的感知偏差（如对听觉错觉的易感性）的方法。本文旨在填补这一空白。 方法核心是什么：提出了首个听觉错觉基准（AIB），包含10种代表性听觉错觉（分为基于物理和基于物理+知识两类），涵盖音乐、声音和语音领域。将每个错觉的感知判断转化为多项选择题，并与控制刺激一起，对多款LALMs和人类被试（20名绝对音感者）进行平行测试。 与已有方法相比新在哪里：AIB是首个专门为LALMs设计的听觉错觉评估基准。与主要关注准确率或推理的现有音频基准不同，AIB的核心目标是衡量模型的“人类感知对齐度”（通过ISI等指标），即模型是否像人类一样“犯错”。 主要实验结果如何：人类被试在各类错觉上均表现出极高的易感性（ISI≈0.8-0.9）。LALMs的表现则系统性地分化：在“基音缺失”等低级声学错觉上，Qwen2-Audio表现出近人类易感性（ISI>0.9）；在需要结合知识的错觉（如谢泼德音调）上，大模型（如MuLLaMa）显示出部分对齐，但整体仍弱于人类；在语音相关错觉（语音转歌曲、音素恢复）上差距最大，仅Qwen2-Audio在音素恢复上达到完美人类对齐，但所有模型在语音转歌曲上均失败。详细结果见下表。 实际意义是什么：为评估和开发更具“人感”的音频AI模型提供了新的诊断维度和工具。有助于推动模型从追求信号保真度向模拟人类认知特性发展，并为认知科学提供对比人类与机器感知的实验平台。 主要局限性是什么：评估任务被简化为固定的多项选择题，可能无法全面评估错觉感知的丰富性。许多模型在控制条件下性能也不稳定，表明其基础音频理解能力仍有不足。论文未深入探讨模型架构或训练方式导致差异的具体原因。 实验结果表格： 模型 参数量 Physics (幻觉) HLA/RA/ISI Physics (控制) HLA/RA/ISI Physics+Knowledge (幻觉) HLA/RA/ISI Physics+Knowledge (控制) HLA/RA/ISI 总体平均 HLA/RA/ISI Human - 1.000/0.000/1.000 1.000/1.000/0.000 1.000/0.000/1.000 1.000/1.000/0.000 1.000/0.000/1.000 Pengi 323M 0.677/0.323/0.355 0.333/0.389/-0.056 0.715/0.285/0.430 0.083/0.224/0.141 0.408/0.296/0.112 Audio Flamingo Chat 2.2B 0.925/0.075/0.875 0.120/0.139/-0.019 0.963/0.037/0.926 0.245/0.217/0.028 0.901/0.056/0.845 MuLLaMa 7B 0.535/0.465/0.070 0.155/0.167/-0.012 0.856/0.144/0.711 0.084/0.217/0.133 0.519/0.240/0.279 Qwen-Audio-Chat 8.4B 0.305/0.695/-0.389 0.267/0.222/0.045 0.567/0.433/0.133 0.083/0.217/0.134 -0.023/0.512/-0.535 Qwen2-Audio 8.4B 0.985/0.015/0.971 0.015/0.111/-0.096 0.744/0.256/0.489 0.083/0.217/0.134 0.633/0.183/0.450 Qwen2-Audio-Instruct 8.4B 0.182/0.818/-0.636 0.314/0.222/0.092 0.470/0.530/-0.059 0.088/0.217/0.129 -0.232/0.616/-0.848 图1展示了AIB中三个错觉刺激（基音缺失、Zwicker音调、Tartini音调）及其对照刺激的示例，以及用于查询人类和AI模型的提示格式。这直观地说明了如何将听觉错觉感知转化为可评估的任务。 ...

📄 Can Large Audio Language Models Understand Audio Well? Speech, Scene and Events Understanding Benchmark for LALMs #音频大模型 #基准测试 #音频场景理解 #语音识别 #链式推理 ✅ 7.0/10 | 前25% | #基准测试 | #链式推理 | #音频大模型 #音频场景理解 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Han Yin（KAIST 电气工程学院） 通讯作者：Jung-Woo Choi（KAIST 电气工程学院） 作者列表：Han Yin（KAIST 电气工程学院）、Jung-Woo Choi（KAIST 电气工程学院） 💡 毒舌点评 亮点： 论文精准切中了当前LALM评估的一个盲区——现实世界音频中“人声”与“环境声”的能量博弈及其联合理解，提出了首个明确建模SNR差异的综合基准，这个问题的提出本身就比很多论文更有价值。 短板： 实验部分主要依赖一个通用的文本嵌入模型来“迂回”评估模型对场景和事件的分类能力，这更像是一个工程上的权宜之计，而非严谨的评估范式；此外，只选了4个模型做评测，结论的普遍性略显不足。 🔗 开源详情 代码： 论文承诺公开代码，项目主页为 https://sites.google.com/view/sseu-bench。论文中未直接提供具体代码仓库链接。 模型权重： 论文评估的是已有开源LALM，未提及提供新的模型权重。 数据集： 论文核心贡献之一SSEU-Bench数据集将公开，可通过项目主页获取。 Demo： 论文未提及在线演示。 复现材料： 论文提供了详细的评估方法描述、CoT推理步骤说明，并声称将公开所有Prompt模板。 论文中引用的开源项目： 依赖DESED、MAESTRO-Real数据集，VCTK语料库，以及被评估的开源模型（LTU-AS, Qwen2-Audio, Kimi-Audio, Step-Audio）和CLAP模型。评估中使用了OpenAI的文本嵌入模型API。 📌 核心摘要 要解决什么问题： 现有大型音频语言模型（LALM）的评估基准忽略了两个关键现实特征：a) 音频信号通常混合了前景语音和背景非语音声音，且两者能量（信噪比）差异显著；b) 缺乏对同一音频片段中语音、场景和事件的联合理解评估。 方法核心是什么： 作者提出了SSEU-Bench，一个全新的音频理解基准。该基准通过混合纯净语音（来自VCTK）和真实环境背景音（来自DESED和MAESTRO-Real），并设置不同的信噪比（SNR），构建了21.72小时的测试音频。评估任务包括三个：自动语音识别（ASR）、声学场景分类（ASC）和音频事件标记（AT），并设计了“独立理解”和“联合理解”两种评估范式。此外，引入了链式思维（CoT）引导的推理方法来提升联合理解性能。 与已有方法相比新在哪里： 这是首个显式建模语音与非语音能量差异，并在同一音频上联合评估语音、场景、事件理解能力的基准。它超越了以往基准（如OpenAQA、AudioBench）多任务独立评估的模式，更贴近真实交互场景。 主要实验结果如何： 独立理解： CLAP系列模型在ASC和AT任务上显著优于LALM。在ASR上，Kimi-Audio表现最鲁棒（平均WER 8.78%），而LTU-AS因依赖外部ASR而表现极差（平均WER 89.29%）。 联合理解影响： 联合任务对不同LALM影响不一。例如，Qwen2-Audio-Instruct在联合模式下性能全面下降（WER从16.59升至22.16，mACC从31.24降至21.86）。Step-Audio 2 Mini则倾向于优先完成ASR，导致ASC和AT性能下降。 CoT效果： CoT能有效提升联合理解性能。例如，对Step-Audio 2 Mini，CoT使平均AT mAP提升了约4%。 模型 模式 WER ↓ (ASR) mACC ↑ (ASC) mAP ↑ (AT) Qwen2-Audio-Instruct 独立 16.59±0.1 31.24±0.1 33.42±0.1 联合 22.16±0.4 21.86±0.1 16.52±1.1 Kimi-Audio 独立 10.19±0.1 22.01±0.2 24.20±0.3 联合 17.84±0.6 22.80±0.2 26.91±0.4 Step-Audio 2 Mini 独立 22.27±0.5 35.73±0.3 36.73±0.5 联合 19.01±0.2 24.39±0.4 30.22±0.2 实际意义是什么： 推动LALM在更真实、更复杂的声学场景下进行评估和优化，为开发具备全面音频感知能力（听清说什么、听出在哪、听懂周围有什么）的下一代音频AI提供了关键的测试平台和初步改进思路（CoT）。 主要局限性是什么： a) 评估ASC和AT时，依赖外部文本嵌入模型计算相似度作为分类依据，可能无法完全反映LALM自身的分类能力；b) 仅评估了4个开源LALM，结论的普适性有待更多模型验证；c) CoT提示需要额外的推理步骤，增加了推理成本。 🏗️ 模型架构 本文的核心贡献不是提出新的LALM架构，而是提出一个评估框架（SSEU-Bench）和一种推理增强方法（CoT）。 ...

📄 Deepaq: A Perceptual Audio Quality Metric Based on Foundational Models and Weakly Supervised Learning #音频质量评估 #弱监督学习 #度量学习 #音频大模型 #LoRA微调 ✅ 7.5/10 | 前25% | #音频质量评估 | #弱监督学习 | #度量学习 #音频大模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Guanxin Jiang (International Audio Laboratories Erlangen†, Germany) 通讯作者：Andreas Brendel* (Fraunhofer Institute for Integrated Circuits IIS, Erlangen, Germany) 作者列表：Guanxin Jiang (International Audio Laboratories Erlangen†, Germany)、Andreas Brendel* (Fraunhofer Institute for Integrated Circuits IIS, Erlangen, Germany)、Pablo M. Delgado (Fraunhofer Institute for Integrated Circuits IIS, Erlangen, Germany)、Jürgen Herre (International Audio Laboratories Erlangen†, Germany; Fraunhofer Institute for Integrated Circuits IIS, Erlangen, Germany) （†注：International Audio Laboratories Erlangen是Friedrich-Alexander University Erlangen-Nürnberg (FAU)与Fraunhofer IIS的联合机构） 💡 毒舌点评 亮点：成功地将大规模音乐基础模型MERT“跨界”应用到质量评估任务，并证明了其在泛化到音源分离等未见过失真上的强大潜力，结果表明确实比ViSQOL、PEAQ等传统指标更接近人类感知。 短板：整个训练完全依赖非公开的内部音乐数据集，复现难度极高；虽然使用了弱监督标签，但核心标签仍来自ViSQOL，本质上是在“蒸馏”一个已有指标的判断，其能否真正超越“老师”在未见场景的极限存疑。 ...

📄 DisContSE: Single-Step Diffusion Speech Enhancement based on Joint Discrete and Continuous Embeddings #语音增强 #扩散模型 #音频大模型 #自回归模型 #预训练 🔥 8.5/10 | 前10% | #语音增强 | #扩散模型 | #音频大模型 #自回归模型 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yihui Fu（德国布伦瑞克工业大学通信技术研究所） 通讯作者：未说明 作者列表：Yihui Fu（德国布伦瑞克工业大学通信技术研究所）、Tim Fingscheidt（德国布伦瑞克工业大学通信技术研究所） 💡 毒舌点评 这篇论文的亮点在于它巧妙地将离散token的保真度与连续嵌入的phonetic精度结合起来，并且通过“量化误差掩码初始化”这一小巧思，成功地将扩散过程的反向步骤压缩到一步，实现了性能与效率的双赢。不过，论文通篇没有提及代码和模型开源的具体计划，对于想要立刻复现或应用其技术的同行来说，这无疑是一个不小的障碍。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：论文使用的是公开的URGENT 2024挑战赛数据集，但未提供直接的下载链接或获取方式说明。 Demo：未提及。 复现材料：提供了非常详细的训练细节（见“详细分析”部分），包括数据处理、网络参数、损失函数、训练配置等，有利于复现。但未提供具体的配置文件、启动脚本或检查点。 论文中引用的开源项目：引用了以下开源项目作为依赖： Descript Audio Codec (DAC): https://github.com/descriptinc/descript-audio-codec WavLM: https://huggingface.co/docs/transformers/model_doc/wavlm URGENT 2024 Challenge 工具包: https://github.com/urgent-challenge/urgent2024_challenge MaskGIT: [13] Chang et al., CVPR 2022. 📌 核心摘要 问题：现有基于离散音频编解码器的扩散语音增强方法虽然保真度好，但推理时需要多次迭代，计算复杂度高；且在恢复正确音素（phoneme）方面表现不佳，导致其侵入式指标分数较低。 方法核心：本文提出DisContSE，一个混合判别/生成模型。它联合处理离散的音频编解码器token和连续嵌入，分别通过离散增强模块和连续增强模块进行优化，并引入语义增强模块提升音素准确性。其关键创新是提出“量化误差掩码初始化”策略，使得在推理时仅需一步扩散过程即可生成结果。 与已有方法相比新在哪里：首次实现了基于音频编解码器的单步扩散语音增强；提出了联合离散与连续表征的统一框架，并明确设计了三个功能互补的增强模块；通过量化误差指导初始化，优化了单步推理的质量。 主要实验结果：在URGENT 2024挑战赛数据集上进行评估，DisContSE在PESQ、POLQA、UTMOS等关键指标和主观MOS测试中均排名第一，总体排名（2.36，越低越好）显著优于所有对比的基线扩散模型。消融实验证明了每个模块及单步策略的有效性。关键结果对比如下： 方法 类型 PESQ POLQA UTMOS ESTOI 总体排名 SGMSE+ [1] G30 2.75 2.98 2.74 0.78 6.27 CRP [15] G1 3.10 3.01 3.04 0.81 3.36 StoRM [17] D+G50 2.94 3.02 2.95 0.79 4.82 Universe++ [18] D+G8 3.09 3.23 3.04 0.80 4.18 DisContSE (prop.) D+G1 3.14 3.25 3.13 0.80 2.36 实际意义：该工作为语音增强领域提供了一种高效且高质量的解决方案，单步推理特性使其更适合部署在实时或资源受限的应用场景中。 主要局限性：论文未明确开源代码和模型权重，限制了即时复现；尽管提出了单步扩散，但模型本身结构相对复杂，结合了多个预训练模型（DAC, WavLM）和独立的增强模块，总参数量较大。 🏗️ 模型架构 DisContSE是一个由三个主要模块和一个共享的离散扩散解码器构成的混合架构。 ...

📄 DSpAST: Disentangled Representations for Spatial Audio Reasoning with Large Language Models #音频问答 #多任务学习 #音频大模型 #空间音频 #音频场景理解 🔥 8.0/10 | 前25% | #音频问答 | #多任务学习 | #音频大模型 #空间音频 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Kevin Wilkinghoff（奥尔堡大学电子系统系， Pioneer Centre for AI） 通讯作者：论文中未明确标注通讯作者（基于作者列表，通常可认为两位作者共同负责） 作者列表：Kevin Wilkinghoff（奥尔堡大学电子系统系， Pioneer Centre for AI）， Zheng-Hua Tan（奥尔堡大学电子系统系， Pioneer Centre for AI） 💡 毒舌点评 亮点：用0.2%的额外参数实现了多任务性能的大幅提升，证明了解耦表示在空间音频任务中的巨大潜力。短板：训练和评估高度依赖SoundSpaces 2.0合成的仿真数据，其与真实世界声学环境的差距可能限制了结论的普适性。 🔗 开源详情 代码：论文中提供了代码仓库链接：https://github.com/wilkinghoff/DSpAST/。 模型权重：在提供的论文文本片段中，未明确提及是否公开发布训练好的模型权重文件。 数据集：训练和评估使用的双耳音频数据集基于AudioSet和SoundSpaces 2.0合成，但论文未明确说明是否单独公开该合成数据集。SpatialSoundQA为公开数据集，但获取方式需参考原文。 Demo：论文中未提及提供在线演示。 复现材料：提供了详细的训练课程（三阶段）、关键超参数（学习率、批次大小、损失权重）、模型参数量对比，以及特征注意力模块的具体公式，复现细节较为充分。 论文中引用的开源项目：依赖了AudioMAE（用于初始化）、BAT系统（作为下游推理模型）、AudioSet数据集、SoundSpaces 2.0仿真平台。 📌 核心摘要 问题：使用单一音频编码器（如SpatialAST）处理空间音频推理任务（声音事件检测SED、距离预测DP、方向估计DoAE）时，由于各任务所需信息（事件类型、距离、方向）大多相互独立，导致表征纠缠，单一任务的优化可能损害其他任务的性能。 方法核心：提出DSpAST，一种基于SpatialAST的解耦空间音频编码器。主要创新包括：(a) 引入特征注意力模块，允许模型为每个任务动态选择最相关的音频特征（log-mel, IPD, ILD, GCC-PHAT）；(b) 设计任务特定分支，将信息流分离到SED、DP和DoAE三个独立分支中，每个分支包含自己的特征注意力模块、骨干网络和投影头。 新意：在单一模型架构内实现了任务表征的解耦，而非使用多个独立编码器。通过共享骨干网络参数，以极低的参数开销（0.2%）解决了多任务表征冲突问题，并提供了可解释的注意力权重。 主要实验结果： 表1 (消融研究)：DSpAST（stage 3）在模拟双耳音频数据集上显著优于基线SpatialAST。具体数值如下： 音频编码器 mAP (↑) ER20○(↓) MAE (↓) DER (↓) SpatialAST (官方检查点) 49.90 24.43 17.87 32.50 DSpAST (stage 3) 54.53 20.28 14.44 28.03 表2 (SpatialSoundQA任务)：使用DSpAST作为BAT系统的编码器，在SpatialSoundQA的所有问题类型上均优于使用SpatialAST。例如，在需要联合SED、DoAE和DP的类型D问题上，DSpAST（单阶段）的距离预测DER为47.89%，而SpatialAST（单阶段）为53.40%；在需要空间推理的类型E问题上，DSpAST（单阶段）的二元准确率为77.71%，高于SpatialAST（单阶段）的74.04%。 实际意义：为构建更强大的空间音频推理系统提供了一个高效且性能更优的音频编码器前端，其解耦设计有助于理解和分析不同空间特征对各任务的重要性。 主要局限性：性能仍不完美，依赖合成数据进行训练和评估，未来需在更多真实场景和更复杂声学条件下验证和改进。 🏗️ 模型架构 DSpAST的架构图（如图1所示）展示了从双耳音频输入到最终表示的完整流程。该架构是SpatialAST的扩展，主要增加了特征注意力模块和任务特定分支。 ...

📄 ECHO: Frequency-Aware Hierarchical Encoding for Variable-Length Signals #音频大模型 #音频分类 #自监督学习 #工业应用 #开源工具 🔥 9.5/10 | 前10% | #音频分类 | #自监督学习 | #音频大模型 #工业应用 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Yucong Zhang（武汉大学计算机学院；苏州昆山杜克大学多模态智能系统苏州市重点实验室） 通讯作者：Juan Liu（武汉大学人工智能学院）， Ming Li（武汉大学人工智能学院；苏州昆山杜克大学） 作者列表：Yucong Zhang（武汉大学计算机学院；苏州昆山杜克大学多模态智能系统苏州市重点实验室）， Juan Liu†（武汉大学人工智能学院）， Ming Li†（武汉大学人工智能学院；苏州昆山杜克大学）。†表示共同通讯作者。 💡 毒舌点评 亮点： 该论文成功地将频率感知和滑动窗口两大思想结合，构建了一个能优雅处理现实世界工业信号（采样率可变、长度可变）的通用基础模型，并通过一个前所未有的全面基准（SIREN）证明了其优越性，做到了“设计解决实际问题”和“实验证明设计有效”的闭环。 短板： 论文的实验全部基于离线、干净的学术数据集，对于工业界最关心的实时流式推理性能、计算资源消耗以及在嘈杂、非理想工况下的鲁棒性缺乏深入探讨，这使得其“工业应用”的宣称在现阶段更偏向于技术展示而非经过实战检验的方案。 🔗 开源详情 代码：提供了完整的代码仓库链接：https://github.com/yucongzh/ECHO。 模型权重：论文未明确提及是否公开了预训练模型权重，但提供了代码仓库，权重很可能在其中或后续发布。 数据集：公开了SIREN评估基准工具包：https://github.com/yucongzh/SIREN，并说明包含了多个数据集，获取方式应在该仓库中说明。 Demo：论文中未提及在线演示。 复现材料：提供了详尽的训练细节（学习率、batch size、优化器、步数、硬件、调度策略等），足以支持复现。训练细节见论文第5.1节。 论文中引用的开源项目：论文引用了其对比的多个基础模型（BEATs, CED, EAT, Dasheng, FISHER）的开源实现或论文。此外，SIREN基准中使用的数据集（如DCASE, MAFAULDA, CWRU, IIEE, IICA）均为公开数据集。 📌 核心摘要 问题：现有的音频/信号基础模型大多基于视觉Transformer，依赖固定尺寸的频谱图输入和固定的预设采样率。处理可变长度信号需要截断/插值，破坏时序连续性；处理不同采样率信号需要重采样，导致信息损失。这限制了它们在通用机器信号监测（涵盖声学、振动等多模态、多采样率数据）中的应用。 方法核心：提出ECHO模型，其核心是“频率感知层级编码”。首先，将频谱图沿频率轴均匀分割为多个子带，并为每个子带计算基于其中心频率的相对位置编码，以适配任意采样率。其次，在每个子带上应用滑动窗口提取重叠的时间补丁，以处理任意长度的输入，无需填充或裁剪。最后，将每个子带的序列送入独立的ViT编码器，再将所有子带的分类令牌拼接成最终的层级化嵌入。 新意：与已有的频率分割模型（如FISHER）相比，ECHO创新性地引入了频率位置编码，使模型能显式地感知子带在全频谱中的相对位置，而非独立处理。与传统的固定补丁模型（如BEATs， EAT）相比，滑动补丁设计能更好地保留时序连续性，适应可变长度输入。ECHO旨在统一支持可变长度和可变采样率信号。 实验结果：在论文提出的统一评估基准SIREN上，ECHO（Small版）取得了77.65%的整体平均分，超过了最强基线FISHER（76.86%）和Dasheng（76.04%）。在故障分类任务平均准确率达到93.19%，位居第一；在DCASE异常检测任务平均得分62.11%，也达到最佳。相比FISHER，ECHO在所有DCASE年份和大部分故障分类数据集上均有提升。 模型 规模 参数量 SIREN总均分 DCASE任务均分 故障分类任务均分 ECHO Small 22M 77.65 62.11 93.19 FISHER Small 22M 76.86 61.00 92.73 Dasheng Base 86M 76.04 59.95 92.12 EAT Base 86M 74.23 60.84 87.62 BEATs Base 90M 71.86 61.86 81.86 实际意义：ECHO为工业设备的状态监测提供了一个强大的通用前端特征提取器。其处理可变采样率和长度的能力，使其能无缝集成来自不同传感器、不同工况的数据，无需预处理重采样或裁剪，简化了部署流程。开源代码和SIREN基准为社区提供了公平比较和推进该领域研究的平台。 主要局限：模型虽在学术数据集上表现优异，但缺乏在真实工业场景（高噪声、数据不平衡、极端故障模式）下的验证。论文未探讨模型的推理效率（如延迟、吞吐量），这对实时监测至关重要。此外，滑动窗口带来的计算量增加及其优化策略未做深入分析。 🏗️ 模型架构 ECHO的整体架构如图1所示，是一个端到端的处理流程，包含四个核心组件： ...

📄 Emo-TTA: Improving Test-Time Adaptation of Audio-Language Models for Speech Emotion Recognition #语音情感识别 #音频大模型 #领域适应 #零样本 ✅ 7.0/10 | 前25% | #语音情感识别 | #领域适应 | #音频大模型 #零样本 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jiacheng Shi（College of William & Mary） 通讯作者：未说明 作者列表：Jiacheng Shi（College of William & Mary）、Hongfei Du（College of William & Mary）、Y. Alicia Hong（George Mason University）、Ye Gao（College of William & Mary） 💡 毒舌点评 亮点在于其“测试时适配”思路非常务实，无需访问源数据或更新模型权重，仅靠维护一个轻量的统计量就能持续改善模型在陌生口音或录音环境下的表现，这在工业部署中极具吸引力。短板是其底层假设（特征服从高斯分布且共享协方差）可能过于简化，对于情感这种高度复杂且非线性的概念，长期来看，这种静态分布模型可能无法捕捉更细微的适应需求。 ...

📄 Emotional Damage: Investigating Safety Vulnerabilities of Large Audio-Language Models Under Speaker Emotional Variations #音频大模型 #音频安全 #对抗样本 #语音合成 ✅ 7.5/10 | 前25% | #音频安全 | #对抗样本 | #音频大模型 #语音合成 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Bo-Han Feng（台湾大学）、Chien-Feng Liu（台湾大学）、Yu-Hsuan Li Liang（台湾大学）（注：论文标明三位为共同第一作者） 通讯作者：Hung-yi Lee（台湾大学）（注：论文未明确标注通讯作者，Hung-yi Lee为资深作者，按惯例推断） 作者列表：Bo-Han Feng（台湾大学）、Chien-Feng Liu（台湾大学）、Yu-Hsuan Li Liang（台湾大学）、Chih-Kai Yang（台湾大学）、Szu-Wei Fu（NVIDIA）、Zhehuai Chen（NVIDIA）、Ke-Han Lu（台湾大学）、Sung-Feng Huang（NVIDIA）、Chao-Han Huck Yang（NVIDIA）、Yu-Chiang Frank Wang（NVIDIA）、Yun-Nung Chen（台湾大学）、Hung-yi Lee（台湾大学） 💡 毒舌点评 这篇论文的“问题嗅觉”非常灵敏，精准地抓住了大型音频语言模型在“情绪化表达”这一软肋上的安全漏洞，并用一套严谨的控制变量实验（同一指令、同一说话人、不同情绪与强度）给出了令人信服的实证证据，这是其最大亮点。然而，论文在揭示问题后戛然而止，未能进一步探索漏洞产生的原因（如数据偏差、模型架构缺陷）或提出任何防御/改进方案，使其研究深度略显不足，更像是一个扎实的“安全审计报告”，而非一个完整的“攻防研究”。此外，模型评估的全面性可以进一步加强。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：论文明确提供数据集获取链接：https://huggingface.co/LALM-emotional-vulnerability。 Demo：未提及。 复现材料：论文描述了数据集构建流程和评估指标，但未提供完整的训练细节、配置或检查点。 论文中引用的开源项目：主要依赖AdvBench（文本有害查询）、CREMA-D（情感语音参考）和CosyVoice 2（TTS模型）。 📌 核心摘要 问题：大型音频语言模型（LALMs）的安全对齐在面对说话人情感（副语言信息）变化时，存在尚未被系统研究的脆弱性。 ...

📄 Evaluating Compositional Structure in Audio Representations #模型评估 #自监督学习 #音频大模型 #基准测试 #数据集 ✅ 7.0/10 | 前50% | #模型评估 | #自监督学习 | #音频大模型 #基准测试 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Chuyang Chen（纽约大学音乐与音频研究实验室） 通讯作者：未说明 作者列表：Chuyang Chen（纽约大学音乐与音频研究实验室）、Bea Steers（纽约大学音乐与音频研究实验室）、Brian McFee（纽约大学音乐与音频研究实验室）、Juan Bello（纽约大学音乐与音频研究实验室） 💡 毒舌点评 亮点：论文敏锐地抓住了音频表示评估中“组合性”这一缺失的关键维度，并借鉴视觉与语言领域的思想，设计了A-COAT和A-TRE两个互补任务，首次为该领域提供了系统化的诊断工具。短板：所有评估均在精心控制的合成数据集（FM合成音）上进行，虽然保证了变量的纯净，但由此得出的结论能否平滑迁移到充满噪声、混响和复杂语义的真实声学场景，是一个巨大的问号。 🔗 开源详情 代码：论文明确提供了代码仓库链接：https://github.com/chuyangchencd/audio-compositionality。 模型权重：论文中未提及提供作者训练的组合模型 g_θ 的权重。评估的是现有的预训练音频编码器（如PANNs， AudioMAE等），这些模型的官方权重需从各自原项目获取。 数据集：根据论文描述，合成数据集已随代码仓库一同发布。 Demo：论文中未提及在线演示。 复现材料：论文详细提供了数据生成流程、属性定义、平衡算法（Entrofy）、A-TRE模型训练的所有超参数（优化器、学习率、批大小、早停策略等），复现信息非常充分。 论文中引用的开源项目：learnfm (FM合成器)， Entrofy (数据平衡算法)。 📌 核心摘要 问题：现有的音频表示评估主要关注下游任务（如分类）的性能或少数泛化属性（如等变性），但忽略了与人类听觉感知密切相关的“组合性”（即用部分和组合规则表示复杂声景的能力）。 方法核心：提出首个评估音频表示组合性的基准框架，包含两个任务：A-COAT（测试嵌入在声源加法变换下的代数一致性）和A-TRE（测试嵌入是否可由属性级的原始单元重构）。配套提供了大规模、受控的合成音频场景数据集。 与已有方法相比新在哪里：这是首个专门针对音频表示组合性进行系统评估的工作。与现有的DCASE、HEAR等下游任务基准不同，它不直接测量任务性能，而是诊断表示的内在结构属性。 主要实验结果： 论文对比了多个主流音频编码器（如PANNs， CLAP， Whisper， AudioMAE， BEATs）。关键发现如Table 1所示： 模型 (检查点) 架构 训练目标 参数量 A-COAT ↑ A-TRE ↑ PANNs (Cnn14) CNN 有监督分类(AudioSet) 81M 0.27 ± 0.24 0.93 ± 0.04 PaSST (PaSST-S) Transformer 有监督分类(AudioSet) 86M 0.26 ± 0.19 0.87 ± 0.05 CLAP (630k-AS-best) Transformer 对比音-文预训练 31M 0.39 ± 0.20 0.90 ± 0.05 Whisper (large-v2) Hybrid ASR 635M 0.32 ± 0.22 0.98 ± 0.01 AF-Whisper (AF3) Hybrid 对齐到LLM 635M 0.28 ± 0.16 0.89 ± 0.03 AudioMAE (AS-2M) Transformer 掩码自编码(自监督) 86M 0.41 ± 0.24 0.99 ± 0.01 BEATs (iter3) Transformer 迭代掩码预测(自监督) 90M 0.40 ± 0.21 0.97 ± 0.02 自监督模型（AudioMAE， BEATs）在两项任务上均表现强劲。BEATs在A-COAT任务中随着数据多样性（H_quad）增加性能反而提升，展现出独特的鲁棒性。模型间表现差异显著，证明两个任务能有效区分模型特性。 实际意义：为音频表示学习研究提供了新的评估维度和基准工具，有助于理解和改进音频模型如何分解与组合声学信息，可能推动未来更鲁棒、可解释的音频模型的发展。 主要局限性：评估完全基于合成数据集，缺乏在真实世界数据上的验证；合成属性的离散化（8类）可能无法捕捉连续声学空间的复杂性；任务设计聚焦于特定的加法和重构组合形式，可能未涵盖组合性的全部方面。 🏗️ 模型架构 本文并非提出一个新的编码器模型，而是提出一个评估框架。其核心架构是两个评估任务（A-COAT和A-TRE）的设计。 ...

📄 Exploring How Audio Effects Alter Emotion with Foundation Models #音乐理解 #情感计算 #音频大模型 #模型评估 #预训练 ✅ 7.0/10 | 前50% | #音乐理解 | #预训练 | #情感计算 #音频大模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Stelios Katsis（stelioskatsis12@gmail.com） 通讯作者：未说明（论文提供了多位作者的邮箱，但未明确指定通讯作者） 作者列表：Stelios Katsis（雅典国立技术大学），Vassilis Lyberatos（雅典国立技术大学），Spyridon Kantarelis（雅典国立技术大学），Edmund Dervakos（雅典国立技术大学），Giorgos Stamou（雅典国立技术大学） 💡 毒舌点评 亮点在于研究设计的系统性和全面性，将音频效果的影响拆解为性能、预测、嵌入和真实场景四个层面进行剖析，堪称“模型听觉效应”领域的标准化审计流程。短板则是“浅层分类器探针”方法略显保守，更像是用一个简单模型去“问”复杂模型“你看到了什么”，难以挖掘基础模型内部更深层、更复杂的非线性表征变化。 🔗 开源详情 代码：提供代码仓库链接：https://github.com/stelioskt/audioFX。论文明确声明代码、分析细节和完整实验结果均已公开。 模型权重：未提及公开任何经过微调的模型权重或探针模型权重。 数据集：论文使用的数据集（EMOPIA, DEAM, witheFlow）均为已公开的学术数据集。 Demo：未提及提供在线演示。 复现材料：论文中提及GitHub仓库包含“完整实验结果”，但未详细说明是否包含训练脚本、环境配置文件（如requirements.txt）、预训练模型下载指南或详细的复现步骤文档。 论文中引用的开源项目：主要引用了pedalboard库（用于应用音频效果），以及三个基础模型（MERT, CLAP, Qwen2-Audio）对应的官方开源实现。 📌 核心摘要 问题：音乐制作中常用的音频效果（如混响、失真、调制）会如何系统性地影响人类（或AI）对音乐情感的感知？这一系统性联系尚存研究空白。 方法核心：采用三个音频/音乐基础模型（MERT, CLAP, Qwen2-Audio）作为特征提取器，冻结其参数，后接可解释的浅层分类器（XGBoost）进行情感预测。通过施加不同程度的音频效果，探测模型性能、预测结果和嵌入空间的变化。 新意：首次大规模、系统性地利用多种基础模型，结合控制实验（六种效果、多强度）与真实场景（艺术家效果链），探究音频效果对模型情感感知的“黑箱”影响，填补了从信号处理到情感计算链路中的关键一环。 主要实验结果：如表1所示，随着效果强度增加，模型性能普遍下降。失真（Distortion）和相位器（Phaser）影响最大，例如在witheFlow数据集上，CLAP模型的F1分数因高强度失真下降了0.488。如图1所示，高失真会一致增加“愤怒”预测、减少“平静”预测。嵌入空间分析（图2）显示，CLAP和Qwen的嵌入随效果变化产生大位移，而MERT相对稳定。真实场景效果链（图3）引发更大、更连贯的嵌入偏移。 实际意义：为音乐制作人、情感计算研究者提供了关于不同音频效果“情感倾向”的实证参考，并揭示了不同基础模型在音频鲁棒性和情感表征上的差异。 主要局限性：研究仅针对三个特定基础模型，结论的普适性有待验证；嵌入空间分析主要依赖UMAP可视化，缺乏更定量的度量；所训练的浅层探针可能无法完全捕捉基础模型的全部复杂性。 🏗️ 模型架构 本论文并非提出一个新的端到端架构，而是构建了一个探测性研究框架。其整体流程如下： ...

📄 From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-Modal Understanding in Multimodal LLMS #音频场景理解 #跨模态 #多任务学习 #音频大模型 ✅ 7.5/10 | 前25% | #音频场景理解 | #多任务学习 | #跨模态 #音频大模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Yuhang Jia（南开大学计算机学院TMCC） 通讯作者：Shiwan Zhao（南开大学计算机学院TMCC，Email: zhaosw@gmail.com） 作者列表：Yuhang Jia（南开大学计算机学院TMCC）、Xu Zhang（南开大学计算机学院TMCC）、Yujie Guo（南开大学计算机学院TMCC）、Yang Chen（南开大学计算机学院TMCC）、Shiwan Zhao（南开大学计算机学院TMCC） 💡 毒舌点评 这篇论文用一个直觉上更“温和”、更符合预训练目标的共性描述任务，漂亮地“击败”了看似更具挑战性但可能“用力过猛”的差异描述任务，证明在多模态大模型微调中，“顺毛捋”有时比“找不同”更有效且稳健。不过，其共性描述的生成规则（尤其是替换操作）依赖于简单的字面重叠，可能在面对更复杂、语义更抽象的音频对时显得脆弱，这限制了该方法向更通用方向发展的潜力。 🔗 开源详情 代码：论文中未提及代码链接。 模型权���：未提及是否公开微调后的模型权重。 数据集：论文中提及构建了148，500对训练数据，但未提供数据集下载链接或公开计划。 Demo：未提及。 复现材料：论文给出了训练的关键超参数（LoRA参数、优化器设置、批次大小等），但未提供完整的训练配置文件、数据样本或更详细的生成脚本。 论文中引用的开源项目： Qwen2-Audio：作为基座模型（https://huggingface.co/Qwen/Qwen2-Audio-7B）。 Audit：用于数据构造的参考框架。 ms-swift：用于实现LoRA微调的工具库。 论文中未提及完整的开源计划。 📌 核心摘要 这篇论文旨在解决多模态大语言模型（MLLM）在采用音频差异描述（ADC）任务进行微调时，因输出与预训练目标不匹配而导致的语义差距和灾难性遗忘问题。为此，作者提出了一种新的训练范式——音频共性描述（ACC），该任务引导模型学习并描述成对音频之间的共享语义，而非差异。与基于音频混合的数据构建方法（源自音频编辑任务）相结合，ACC提供了一个与标准音频描述（AC）更一致的训练目标。主要实验结果表明，在Qwen2-Audio模型上，ACC在AudioCaps和Clotho基准测试上的多个指标（如CIDEr-D， SPIDEr）均显著优于仅用AC或ADC微调的方法。同时，ACC在下游语音和音乐任务（如人声分类、情感识别、乐器分类）上表现出更强的通用能力保留，避免了ADC导致的性能下降。该工作的核心意义在于，提出了一个更鲁棒的音频文本跨模态对齐训练策略，平衡了任务专用性能与模型通用性。其主要局限性在于，用于构建共性描述的规则（如替换操作中提取最长连续重叠短语）可能过于简单，无法处理所有复杂的语义对齐情况，且实验评估主要集中在描述任务，对更细粒度的跨模态推理能力验证不足。 ...

ICASSP 2026 - 音频大模型 共 1 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 AR&D: A Framework for Retrieving and Describing Concepts for 6.5分 前50% 📋 论文详情 🥇 AR&D: A Framework for Retrieving and Describing Concepts for Interpreting AudioLLMs ✅ 6.5/10 | 前50% | #音频大模型 | #自监督学习 | #模型评估 👥 作者与机构 第一作者：Townim Faisal（澳大利亚机器学习研究所，阿德莱德大学；杜比实验室） 通讯作者：未说明（论文中未明确标注通讯作者） 作者列表： Townim Faisal（澳大利亚机器学习研究所，阿德莱德大学；杜比实验室） Ta Duc Huy（澳大利亚机器学习研究所，阿德莱德大学；杜比实验室） Siqi Pan（杜比实验室） Jeremy Stoddard（杜比实验室） Zhibin Liao（澳大利亚机器学习研究所，阿德莱德大学；计算机与数学科学学院） 💡 毒舌点评 ...

📄 Improving Audio Question Answering with Variational Inference #音频问答 #变分推断 #音频大模型 #模型校准 #选择性预测 ✅ 7.5/10 | 前25% | #音频问答 | #变分推断 | #音频大模型 #模型校准 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Haolin Chen（Idiap Research Institute, Martigny, Switzerland; EPFL, Lausanne, Switzerland） 通讯作者：未说明 作者列表：Haolin Chen（Idiap Research Institute, EPFL） 💡 毒舌点评 论文亮点在于成功地将高效的变分推断优化器（IVON）应用于音频问答任务，不仅略微提升了准确率，更显著改善了模型的校准特性和选择性预测能力，这对构建可信赖的AI系统非常实用。但略显单薄的是，其核心贡献本质上是“把一个已知的好工具用在一个新场景”，而非提出针对音频问答特性设计的新方法，创新维度稍显单一。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及公开的模型权重（包括基线模型和微调后模型）。基线模型Qwen2.5-Omni本身可能是开源的（论文未确认）。 数据集：使用了DCASE 2025 AQA数据集，论文未明确说明其是否公开以及如何获取，但DCASE挑战赛数据集通常公开。 Demo：未提及。 复现材料：提供了非常充分的训练细节、配置和超参数设置，有利于复现。 论文中引用的开源项目：主要引用了作为基础模型的 Qwen2.5-Omni [6] 和作为微调方法的 LoRA [25]。优化器 IVON [14] 本身也是一项开源工作。 📌 核心摘要 要解决的问题：多模态大模型（如音频问答模型）在微调后常常过于自信（overconfident），预测置信度不能反映真实准确率（校准差），导致在需要可靠判断的风险敏感应用中不可信。 方法核心：采用变分推断（VI）框架，使用高效的优化器IVON替代传统的AdamW，对大型音频语言模型Qwen2.5-Omni进行参数高效微调（LoRA）。IVON在训练中对模型权重的后验分布进行建模，从而捕获参数不确定性。 与已有方法相比新在哪里：区别于传统优化器（如Adam）提供点估计，以及Monte Carlo Dropout等事后不确定性估计方法，IVON在训练过程中即内建了不确定性建模，且计算成本接近Adam。本文首次将其系统地应用于多模态音频问答任务。 主要实验结果：在DCASE 2025 AQA数据集（BQA, TSQA, CQA三个子集）上，与AdamW基线相比： 准确率（ACC）：IVON（均值或MC-8）平均从80.45%提升至80.97%。 校准：ECE（越低越好）从16.2显著降至10.0（IVON MC-8），NLL和Brier分数同样改善。 选择性预测：在拒答1%最不确定样本时（C@1%），覆盖准确率从3.8%（AdamW）大幅提升至19.5%（IVON MC-8），风险-覆盖曲线下面积（AUC）从7.4降至5.8。 消融实验表明，增加蒙特卡洛（MC）采样数能持续改善校准，而调整后验分布的温度则在准确率和校准间存在权衡。 实际意义：为多模态模型提供了更可靠的置信度估计，使其能在不确定时主动拒绝回答（选择性预测），从而提升系统在医疗、安防等风险敏感领域的应用安全性。 主要局限性：研究仅限于多选题形式的音频问答（单次令牌预测），未验证在开放式生成任务（如自由问答、语音合成）中的效果。 🏗️ 模型架构 本文未提出新的模型架构，而是将变分推断优化器应用于现有的大型音频语言模型（LALM）进行微调。 ...