音频问答

📄 Benchmarking Humans And Machines On Complex Multilingual Speech Understanding Tasks #音频问答 #语音大模型 #多语言 #模型评估 ✅ 7.5/10 | 前25% | #音频问答 | #语音大模型 | #多语言 #模型评估 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Sai Samrat Kankanala（印度科学研究院，电气工程系，LEAP Lab） 通讯作者：未说明 作者列表：Sai Samrat Kankanala（印度科学研究院，电气工程系，LEAP Lab）、Ram Chandra（印度科学研究院，电气工程系，LEAP Lab）、Sriram Ganapathy（印度科学研究院，电气工程系，LEAP Lab） 💡 毒舌点评 本文设计了一个精巧的跨人机实验范式，首次系统量化了多语言母语者在混合语音中选择性注意力的“母语优势”现象，同时揭示了顶尖语音大模型在并行信息提取上展现出的“超人类”能力，这一对比本身极具洞察力。然而，论文在得出“模型是并行处理”这一关键结论时，更多是基于性能表现的推测，缺乏对模型内部工作机制的探查，使得这一深刻论断略显武断。 🔗 开源详情 论文中未提及任何开源计划。 代码：未提及代码仓库链接。 模型权重：未提及（评估使用的模型为现有闭源模型及一个开源模型AF-3，但未提供本研究特有的权重）。 数据集：未提及公开。论文明确说明是为本研究录制的数据。 Demo：未提供在线演示。 复现材料：未给出详细的训练细节、配置、检查点或附录说明。 论文中引用的开源项目：引用了Audio-Flamingo模型，并提到了其开源性质。 📌 核心摘要 问题：如何系统地量化人类在多语言环境（特别是母语与第二语言）中处理混合通道（鸡尾酒会）语音的听觉注意力能力，并与当前先进的语音大模型（Speech LLMs）进行基准比较。 方法核心：构建一个包含印度英语、印地语和卡纳达语的长篇故事朗读语料库（单声道和两/三路混合声道），设计基于内容的问答题，招募人类受试者并测试多个语音大模型（Audio-Flamingo, Gemini, GPT-4o系列），对比其在单声道和混合声道条件下的准确率。 新在哪里：1） 创建了首个针对印度多语言环境的长上下文语音问答基准；2） 首次在受控实验中量化了人类在混合语音中选择性注意力的“L1（母语）优势”差距；3） 通过大规模对比，揭示了人类与AI在听觉注意力机制上的根本差异：人类依赖流畅的、针对L1优化的选择性注意，而大型AI模型则依赖更强大的并行信息提取能力。 主要实验结果：人类在母语中的表现显著优于第二语言（例如，印地语单声道：95.0% vs 英语：81.3%；混合声道注意力侧：60.4% vs 45.0%）。所有模型在单声道下表现良好（>88%），但在混合声道性能下降。关键发现是，在混合语音的非注意侧（干扰语音），模型（如Gemini-Pro）的准确率远高于人类（例如，英语两路混合：79.5% vs 人类72.5%），显示出模型“同时听”多路的能力，但这也导致其根据指令选择性关注目标说话人的能力（即注意力差距）远小于人类。 实际意义：为评估语音交互系统在复杂、多语言真实场景中的理解能力提供了新基准；揭示了人机信息处理机制的差异，为开发更具“人性化”注意力的AI提供参考；也指出了当前开源模型在多语言复杂场景下的不足。 主要局限性：1） 评估任务限于问答准确率，未分析模型如何实现“超人类”的并行处理；2） 数据集完全自建且未公开，可复现性差；3） 模型评估是黑盒的，无法区分性能差异是源于语音编码、注意力机制还是语言理解能力。 🏗️ 模型架构 本文不是提出新模型，而是评估现有的语音大模型。因此，架构分析部分主要说明评估框架。 论文提出的评估框架（图1）包含三个阶段： ...

📄 DSpAST: Disentangled Representations for Spatial Audio Reasoning with Large Language Models #音频问答 #多任务学习 #音频大模型 #空间音频 #音频场景理解 🔥 8.0/10 | 前25% | #音频问答 | #多任务学习 | #音频大模型 #空间音频 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Kevin Wilkinghoff（奥尔堡大学电子系统系， Pioneer Centre for AI） 通讯作者：论文中未明确标注通讯作者（基于作者列表，通常可认为两位作者共同负责） 作者列表：Kevin Wilkinghoff（奥尔堡大学电子系统系， Pioneer Centre for AI）， Zheng-Hua Tan（奥尔堡大学电子系统系， Pioneer Centre for AI） 💡 毒舌点评 亮点：用0.2%的额外参数实现了多任务性能的大幅提升，证明了解耦表示在空间音频任务中的巨大潜力。短板：训练和评估高度依赖SoundSpaces 2.0合成的仿真数据，其与真实世界声学环境的差距可能限制了结论的普适性。 🔗 开源详情 代码：论文中提供了代码仓库链接：https://github.com/wilkinghoff/DSpAST/。 模型权重：在提供的论文文本片段中，未明确提及是否公开发布训练好的模型权重文件。 数据集：训练和评估使用的双耳音频数据集基于AudioSet和SoundSpaces 2.0合成，但论文未明确说明是否单独公开该合成数据集。SpatialSoundQA为公开数据集，但获取方式需参考原文。 Demo：论文中未提及提供在线演示。 复现材料：提供了详细的训练课程（三阶段）、关键超参数（学习率、批次大小、损失权重）、模型参数量对比，以及特征注意力模块的具体公式，复现细节较为充分。 论文中引用的开源项目：依赖了AudioMAE（用于初始化）、BAT系统（作为下游推理模型）、AudioSet数据集、SoundSpaces 2.0仿真平台。 📌 核心摘要 问题：使用单一音频编码器（如SpatialAST）处理空间音频推理任务（声音事件检测SED、距离预测DP、方向估计DoAE）时，由于各任务所需信息（事件类型、距离、方向）大多相互独立，导致表征纠缠，单一任务的优化可能损害其他任务的性能。 方法核心：提出DSpAST，一种基于SpatialAST的解耦空间音频编码器。主要创新包括：(a) 引入特征注意力模块，允许模型为每个任务动态选择最相关的音频特征（log-mel, IPD, ILD, GCC-PHAT）；(b) 设计任务特定分支，将信息流分离到SED、DP和DoAE三个独立分支中，每个分支包含自己的特征注意力模块、骨干网络和投影头。 新意：在单一模型架构内实现了任务表征的解耦，而非使用多个独立编码器。通过共享骨干网络参数，以极低的参数开销（0.2%）解决了多任务表征冲突问题，并提供了可解释的注意力权重。 主要实验结果： 表1 (消融研究)：DSpAST（stage 3）在模拟双耳音频数据集上显著优于基线SpatialAST。具体数值如下： 音频编码器 mAP (↑) ER20○(↓) MAE (↓) DER (↓) SpatialAST (官方检查点) 49.90 24.43 17.87 32.50 DSpAST (stage 3) 54.53 20.28 14.44 28.03 表2 (SpatialSoundQA任务)：使用DSpAST作为BAT系统的编码器，在SpatialSoundQA的所有问题类型上均优于使用SpatialAST。例如，在需要联合SED、DoAE和DP的类型D问题上，DSpAST（单阶段）的距离预测DER为47.89%，而SpatialAST（单阶段）为53.40%；在需要空间推理的类型E问题上，DSpAST（单阶段）的二元准确率为77.71%，高于SpatialAST（单阶段）的74.04%。 实际意义：为构建更强大的空间音频推理系统提供了一个高效且性能更优的音频编码器前端，其解耦设计有助于理解和分析不同空间特征对各任务的重要性。 主要局限性：性能仍不完美，依赖合成数据进行训练和评估，未来需在更多真实场景和更复杂声学条件下验证和改进。 🏗️ 模型架构 DSpAST的架构图（如图1所示）展示了从双耳音频输入到最终表示的完整流程。该架构是SpatialAST的扩展，主要增加了特征注意力模块和任务特定分支。 ...

📄 Efficient Audio-Visual Inference Via Token Clustering And Modality Fusion #音频问答 #音视频 #多模态模型 #预训练 #模型评估 ✅ 7.5/10 | 前25% | #音频问答 | #音频大模型 #多模态模型 | #音视频 #多模态模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Chenjie Pan（华南师范大学） 通讯作者：Chenyou Fan（华南师范大学） 作者列表：Chenjie Pan（华南师范大学）、Yi Zhu（华南师范大学）、Songkai Ning（华南师范大学）、Xiangyang Liu（华南师范大学）、Weiping Zheng（华南师范大学）、Chenyou Fan（华南师范大学） 💡 毒舌点评 亮点：论文精准地抓住了当前音视频LLM中音频模态token冗余这一关键痛点，提出的无参动态聚类压缩策略（ATCC）在大幅削减token数量（96%）和计算量（54%）的同时，性能不降反升，这证明其压缩确实保留了有效信息，而非简单丢弃。 短板：创新性更多体现在“组合”与“针对特定场景的优化”上，其核心的聚类算法和双向交叉注意力融合均为成熟技术的直接应用；此外，论文声称的性能提升幅度（0.6%-3.7%）相对有限，且绝对数值并未显著超越表中列出的所有最强基线（如PAVE在Music-AVQA上仍略高）。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及是否公开训练好的模型权重。 数据集：论文中使用了多个公开数据集（Music-AVQA， VGGSound， AVSD等），但未提供额外的数据处理或获取方式。 Demo：未提供在线演示。 复现材料：论文提供了详细的模型架构描述、训练超参数（学习率、批次大小）、硬件环境（4x RTX 3090）以及算法伪代码（算法1），这些是重要的复现信息。但未提供完整的配置文件、检查点或更细致的训练日志。 论文中引用的开源项目：明确提到了作为基础架构的VideoLLaMA2，并引用了其使用的组件：视觉编码器SigLIP [22]， 音频编码器BEATs [23]， 以及语言模型Qwen2-7B [24]。也引用了LoRA [14]等训练技术。 📌 核心摘要 解决的问题：多模态大语言模型在处理音视频问答任务时，因音频和视觉token数量庞大导致计算和内存开销高，且现有的融合方法往往忽略了音频token的冗余问题，影响了效率和跨模态对齐效果。 方法核心：提出高效音视频推理框架（EAVI），包含两个核心组件：(1) 音频token聚类压缩（ATCC），通过动态阈值聚类在保留时序结构的前提下压缩音频token；(2) 双向模态融合模块，通过交叉注意力让压缩后的音频特征与视觉特征相互增强。 与已有方法的新颖之处：不同于以往工作主要压缩视觉token或进行简单拼接，EAVI首次专门针对音频模态设计了一种无需额外训练参数的动态聚类压缩方法，并引入了双向的跨模态注意力机制，使融合更加充分。 主要实验结果：在三个AVQA基准数据集上，EAVI相比强基线VideoLLaMA2，准确率提升了0.6%-3.7%。效率方面，音频token数量平均减少96%，总token减少66%，导致FLOPs降低54%，KV缓存使用减少65%，推理延迟降低15%。 主要对比结果： 模型 Music-AVQA VGGSound AVSD CREMA (2025) 75.6 67 - VideoLLaMA2 (2024) 80.9 71.4 57.2 PAVE (2025) 82.3 - 42.5 EAVI (Ours) 81.5 (+0.6) 75.1 (+3.7) 58.7 (+1.5) 效率对比： 模型 Tokens (Audio / Total) FLOPs (T) Latency (S) KV cache (MB) VideoLLaMA2 1496 / 2172 40.3 1.13 120 EAVI (Ours) 66 / 742 15.4 0.96 42 实际意义：为在资源受限的设备上部署实时、高效的音视频问答模型提供了可行的技术路径，通过压缩减少了对计算和内存资源的需求。 主要局限性：聚类压缩可能导致细微语义信息的丢失；模型的最终性能仍强依赖于底层预训练的视觉和音频编码器；在对话理解（AVSD）等任务上的提升幅度相对较小。 🏗️ 模型架构 EAVI框架的整体架构如图2（左）所示。它建立在类似VideoLLaMA2的架构之上，主要改进了音频处理和跨模态融合部分。 ...

📄 Enhancing Audio Question-Answering Performance Through Log-Likelihood Guided Reward Functions #音频问答 #强化学习 #多模态模型 #基准测试 🔥 8.5/10 | 前25% | #音频问答 | #强化学习 | #多模态模型 #基准测试 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Sam Blouir (Amazon) 通讯作者：未说明 作者列表：Sam Blouir (Amazon), Ganesh Ramachandra Kini (Amazon), Qingming Tang (Amazon), Raphael Petegrosso (Amazon), Chieh-Chi Kao (Amazon), Ankur Gandhe (Amazon), Chao Wang (Amazon) 💡 毒舌点评 亮点：论文提出的“概率比奖励”设计巧妙，将传统RLVR中非黑即白的准确率信号转化为一个能反映模型对正确答案相对置信度的连续信号，为“接近正确”但未得分的样本提供了有效学习信号，这在奖励稀疏的强化学习微调中至关重要。 短板：所有实验仅在单一的MMAU基准上完成，且基础模型固定为Qwen2.5-Omni-7B，该方法在其他音频任务（如开放式QA、不同声源类型）或不同规模的模型上的效果和泛化能力有待验证。 🔗 开源详情 代码：论文中���提及代码仓库链接。 模型权重：未提及公开的微调模型权重。 数据集：使用了公开的数据集（EchoInk-R1基于AVQA，MMAU），但未说明如何获取其特定版本。 Demo：未提及。 复现材料：提供了非常详细的复现信息，包括：基础模型（Qwen2.5-Omni-7B）、训练数据（EchoInk-R1）、评估数据集（MMAU test-mini）、生成长度（64 tokens）、采样温度（1.0）、评估协议（8次采样多数投票）、奖励函数完整公式。这为复现其核心实验提供了充分指导。 论文中引用的开源项目：引用了多个开源模型和数据集，如Qwen2.5-Omni, AVQA, MMAU, EchoInk-R1。 开源计划：论文中未提及开源计划。 📌 核心摘要 要解决什么问题：现有的强化学习与验证奖励（RLVR）方法在训练音频问答系统时，通常只使用格式是否正确和答案是否完全匹配的二元奖励信号，这种稀疏的信号对模型几乎正确但未得分的样本无法提供有效的学习指导。 方法核心是什么：提出了一种新的基于对数几率（log-odds）的奖励函数。该函数在生成推理链（）之后、答案文本生成之前，计算模型对正确答案选项与最可能的错误答案选项的标准化对数似然之差，以此作为奖励信号。这鼓励模型通过推理链增加正确答案相对于最强干扰项的概率优势。 与已有方法相比新在哪里：新在将音频问答的RL训练奖励从简单的二元正确性/格式惩罚，升级为利用模型自身策略分布的“软”概率比奖励。这提供了更密集、更有方向性的梯度信号。 主要实验结果如何：在MMAU测试集（mini版）上，使用所提方法微调的模型平均准确率达到78.3%，优于使用传统“准确率+格式”奖励的基线（76.3%）和未微调的Qwen2.5-Omni-7B基础模型（70.4%）。消融实验表明，“log-odds”奖励变体优于“概率”奖励和“提升”奖励。 关键实验结果表格： 模型/方法 基础模型 Sound (%) Music (%) Speech (%) 平均准确率 (%) log-odds (ours) Qwen2.5-Omni 83.4 73.3 78.2 78.3 accuracy + format (our setup) Qwen2.5-Omni 81.6 70.9 76.4 76.3 Omni-R1 [9] Qwen2.5-Omni 81.7 73.4 76.0 77.0 Qwen2.5-Omni-7B (base) – 77.8 61.1 72.4 70.4 Step-Audio-2 [17] – 84.0 73.6 75.1 77.6 消融实验表格： 奖励变体 平均准确率 (%) — — log-odds (ours) 78.3 (从主表) prob 77.2 lift 77.0 实际意义是什么：为训练更有效的多选题音频问答系统提供了一种新的、更优的强化学习奖励设计范式，证明了在RLVR框架下，超越二元信号的似然度引导能提升模型的音频推理能力。 主要局限性是什么：1) 验证实验仅限于MMAU这一个复杂的音频问答基准；2) 方法的核心组件（对数似然计算）依赖于一个具有较强基础能力的预训练多模态大模型（如Qwen2.5-Omni），在更小的模型上是否有效未知；3) 论文未讨论该奖励函数对开放式生成任务（如音频描述）的适用性。 🏗️ 模型架构 论文并未提出一个新的端到端模型架构，而是设计了一个针对现有多模态大模型（M-LLM）进行强化学习微调的训练框架。 ...

📄 FastAV: Efficient Token Pruning for Audio-Visual Large Language Model Inference #音频问答 #大语言模型的压缩与加速 #音视频 #多模态模型 ✅ 7.0/10 | 前25% | #音频问答 | #大语言模型的压缩与加速 | #音视频 #多模态模型 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Chaeyoung Jung（韩国科学技术院，Korea Advanced Institute of Science and Technology, South Korea） 通讯作者：未说明 作者列表：Chaeyoung Jung（韩国科学技术院）、Youngjoon Jang（韩国科学技术院）、Seungwoo Lee（韩国科学技术院）、Joon Son Chung（韩国科学技术院） 💡 毒舌点评 亮点：本文敏锐地发现了现有token剪枝研究在音视频大语言模型领域的空白，并首次提出了系统性的解决方案，其两阶段剪枝策略（全局剪枝+精细剪枝）在实验上取得了显著且一致的效率提升（>40% FLOPs降低），且不损害甚至能提升性能，这对于推动此类昂贵模型的实际部署具有明确的工程价��。 短板：技术路线本质上是对视觉token剪枝方法的“移植”和“拼接”（全局剪枝基于视觉工作常见的注意力回溯，精细剪枝基于LLM剪枝中常见的最后token分析），在剪枝机制本身上创新有限。此外，实验对比集中在自身设定的不同剪枝策略上，缺乏与更多元、更强的基线方法（如其他可能适用于多模态的剪枝或加速技术）的横向比较。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：论文中使用的AVQA、MUSIC-AVQA、AVHBench为公开数据集，但论文未说明具体获取或预处理方式。 Demo：未提及。 复现材料：论文给出了关键超参数（剪枝层选择、P=20%、保留的token数量），描述了剪枝算法的公式和步骤，但未提供完整的配置文件、脚本或检查点。 论文中引用的开源项目：引用了VideoLLaMA2和video-SALMONN2作为基线模型，并链接了VideoLLaMA2的GitHub仓库（https://github.com/DAMO-NLP-SG/VideoLLaMA2/tree/audio_visual），但这是基线模型的仓库，而非FastAV的实现。 📌 核心摘要 要解决的问题：音视频大语言模型在处理包含音频、视频、文本的多模态输入时，token数量巨大，导致推理时内存消耗和计算成本剧增，限制了其实际应用。 方法核心：提出FastAV，一个两阶段的推理时token剪枝框架。第一阶段在中间层进行“全局剪枝”，利用注意力回溯机制分析token重要性，移除位置靠后、影响力较弱的大部分token（如2/3）；第二阶段在后续层进行“精细剪枝”，基于最后一个查询token的注意力权重，逐层迭代移除最不重要的20% token。 与已有方法相比新在哪里：这是首个专门为音视频大语言模型设计的token剪枝框架。不同于直接应用在纯文本LLM或视觉-语言模型上的方法，FastAV综合考虑了音视频模态的特点，并通过注意力回溯揭示了此类模型在中间层后注意力集中于早期token的“锚定”模式，从而设计了针对性的剪枝策略。 主要实验结果：在VideoLLaMA2和video-SALMONN2两个模型上，FastAV将理论FLOPs降低了40%以上（见表1），同时推理速度提升约30%，内存占用降低。在AVQA, MUSIC-AVQA, AVHBench三个基准测试上，性能保持持平甚至有所提升（例如在AVHBench的AV匹配任务上，VideoLLaMA2的准确率从57.8%提升至69.0%）。消融实验表明，基于注意力回溯的全局剪枝策略优于随机剪枝和基于原始注意力权重的策略（表2），精细剪枝的剪枝比例P=20%为最优（表4）。 实际意义：使音视频大语言模型能够更高效地处理长视频、复杂音频等多模态长上下文输入，降低了部署的硬件门槛和延迟，有助于推动其在实时交互、边缘设备等场景的应用。 主要局限性：剪枝策略的有效性依赖于“注意力在中间层后集中于早期token”这一观察，该模式是否在所有音视频大语言模型和任务中普遍存在尚不明确。此外，论文未探讨该剪枝框架对模型训练或微调阶段的影响，也未提供理论保证证明性能不会在更极端的压缩下下降。 🏗️ 模型架构 FastAV本身并非一个独立的音视频大语言模型，而是一个应用于现有模型（如VideoLLaMA2、video-SALMONN2）推理阶段的加速框架。其整体流程如图3所示。 图3：FastAV框架概览。输入序列包含视频（X_vis）、音频（X_aud）和文本（X_lang）token。整体推理过程（a）在中间层（L/2）进行全局剪枝，在后续层进行精细剪枝。剪枝机制（b）展示了全局剪枝依据注意力回溯，精细剪枝依据最后查询token的注意力分析。 ...

ICASSP 2026 - 音频问答 共 15 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 Enhancing Audio Question-Answering Performance Through Log-L 8.5分 前25% 🥈 DSpAST: Disentangled Representations for Spatial Audio Reaso 8.0分 前25% 🥉 Improving Audio Question Answering with Variational Inferenc 7.5分 前25% 4. TAU: A Benchmark for Cultural Sound Understanding Beyond Sem 7.5分 前25% 5. Efficient Audio-Visual Inference Via Token Clustering And Mo 7.5分 前25% 6. SightSound-R1: Cross-Modal Reasoning Distillation from Visio 7.5分 前25% 7. Keeping Models Listening: Segment- and time-aware attention 7.5分 前25% 8. Benchmarking Humans And Machines On Complex Multilingual Spe 7.5分 前25% 9. FastAV: Efficient Token Pruning for Audio-Visual Large Langu 7.0分 前25% 10. AUDIOGENIE-Reasoner: A Training-Free Multi-Agent Framework f 7.0分 前25% 11. Segmentwise Pruning in Audio-Language Models 7.0分 前50% 12. Teaching Audio Models to Reason: A Unified Framework for Sou 7.0分 前25% 13. AQUA-Bench: Beyond finding answers to knowing when there are 7.0分 前50% 14. Test-Time Scaling for Auditory Cognition in Audio Language M 7.0分 前25% 15. Advancing Speech Summarization in Multi-Modal LLMs with Rein 7.0分 前50% 📋 论文详情 🥇 Enhancing Audio Question-Answering Performance Through Log-Likelihood Guided Reward Functions 🔥 8.5/10 | 前25% | #音频问答 | #强化学习 | #多模态模型 #基准测试 ...

📄 Improving Audio Question Answering with Variational Inference #音频问答 #变分推断 #音频大模型 #模型校准 #选择性预测 ✅ 7.5/10 | 前25% | #音频问答 | #变分推断 | #音频大模型 #模型校准 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Haolin Chen（Idiap Research Institute, Martigny, Switzerland; EPFL, Lausanne, Switzerland） 通讯作者：未说明 作者列表：Haolin Chen（Idiap Research Institute, EPFL） 💡 毒舌点评 论文亮点在于成功地将高效的变分推断优化器（IVON）应用于音频问答任务，不仅略微提升了准确率，更显著改善了模型的校准特性和选择性预测能力，这对构建可信赖的AI系统非常实用。但略显单薄的是，其核心贡献本质上是“把一个已知的好工具用在一个新场景”，而非提出针对音频问答特性设计的新方法，创新维度稍显单一。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及公开的模型权重（包括基线模型和微调后模型）。基线模型Qwen2.5-Omni本身可能是开源的（论文未确认）。 数据集：使用了DCASE 2025 AQA数据集，论文未明确说明其是否公开以及如何获取，但DCASE挑战赛数据集通常公开。 Demo：未提及。 复现材料：提供了非常充分的训练细节、配置和超参数设置，有利于复现。 论文中引用的开源项目：主要引用了作为基础模型的 Qwen2.5-Omni [6] 和作为微调方法的 LoRA [25]。优化器 IVON [14] 本身也是一项开源工作。 📌 核心摘要 要解决的问题：多模态大模型（如音频问答模型）在微调后常常过于自信（overconfident），预测置信度不能反映真实准确率（校准差），导致在需要可靠判断的风险敏感应用中不可信。 方法核心：采用变分推断（VI）框架，使用高效的优化器IVON替代传统的AdamW，对大型音频语言模型Qwen2.5-Omni进行参数高效微调（LoRA）。IVON在训练中对模型权重的后验分布进行建模，从而捕获参数不确定性。 与已有方法相比新在哪里：区别于传统优化器（如Adam）提供点估计，以及Monte Carlo Dropout等事后不确定性估计方法，IVON在训练过程中即内建了不确定性建模，且计算成本接近Adam。本文首次将其系统地应用于多模态音频问答任务。 主要实验结果：在DCASE 2025 AQA数据集（BQA, TSQA, CQA三个子集）上，与AdamW基线相比： 准确率（ACC）：IVON（均值或MC-8）平均从80.45%提升至80.97%。 校准：ECE（越低越好）从16.2显著降至10.0（IVON MC-8），NLL和Brier分数同样改善。 选择性预测：在拒答1%最不确定样本时（C@1%），覆盖准确率从3.8%（AdamW）大幅提升至19.5%（IVON MC-8），风险-覆盖曲线下面积（AUC）从7.4降至5.8。 消融实验表明，增加蒙特卡洛（MC）采样数能持续改善校准，而调整后验分布的温度则在准确率和校准间存在权衡。 实际意义：为多模态模型提供了更可靠的置信度估计，使其能在不确定时主动拒绝回答（选择性预测），从而提升系统在医疗、安防等风险敏感领域的应用安全性。 主要局限性：研究仅限于多选题形式的音频问答（单次令牌预测），未验证在开放式生成任务（如自由问答、语音合成）中的效果。 🏗️ 模型架构 本文未提出新的模型架构，而是将变分推断优化器应用于现有的大型音频语言模型（LALM）进行微调。 ...

📄 Keeping Models Listening: Segment- and time-aware attention rescaling at decoding time #音频问答 #音频分类 #音频大模型 #推理时调整 ✅ 7.5/10 | 前25% | #音频问答 | #推理时调整 | #音频分类 #音频大模型 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Hangyu Du（新加坡国立大学，设计与工程学院） 通讯作者：Jingxing Zhong（福州大学，明智国际工程学院） 作者列表：Hangyu Du（新加坡国立大学，设计与工程学院），Jingxing Zhong（福州大学，明智国际工程学院）（论文注明两位作者贡献相等）。 💡 毒舌点评 亮点：精准地诊断出ALLMs解码时“听着听着就忘了音频”的顽疾，并用一个免训练、近乎零开销的“解码时注意力微调”插件（AttnAdapter）显著缓解了这个问题，效果立竿见影，实用性很强。 短板：方法更像是对症下药的“经验性工程”，虽然能“work”，但对于注意力漂移的根本原因（为何系统令牌会成为sink？为何音频注意力会衰减？）缺乏更深层次的理论或神经机制层面的剖析，略显“知其然而不知其所以然”。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：实验使用公开的MMAU-mini和AIR-Bench数据集，但论文中未提及数据集获取方式或自有数据。 Demo：未提及。 复现材料：提供了Algorithm 1伪代码和完整的超参数设置，足以复现核心方法。但缺乏具体代码实现和运行脚本。 引用的开源项目：论文未提及直接依赖的开源项目代码。 📌 核心摘要 要解决什么问题：本文发现并研究了音频大语言模型（ALLMs）在自回归解码过程中普遍存在的“注意力路由退化”现象。随着解码进行，模型对音频输入（Audio Tokens）的注意力会系统性衰减，转而过度依赖语言先验和早期生成的“汇聚”令牌，导致回答偏离输入音频，产生幻觉。 方法核心是什么：提出AttnAdapter，一个训练无关、可插拔的模块。它在解码的每一步，对注意力计算中的原始对数几率（logits）进行分段、时间感知的乘性重缩放。具体包含三个组件：(1) 系统令牌汇聚抑制，(2) 音频关键点时序增强，(3) 局部输出窗口稳定。 与已有方法相比新在哪里：与现有方法（如EAH、MemVR）相比，AttnAdapter的特点是：完全在解码时操作，无需训练或修改模型架构；设计上明确针对音频模态的序列性、密集性特点，提出时间感知的增强策略；并且组合了多种干预（抑制、增强、稳定）以协同工作。 主要实验结果如何：在MMAU-mini和AIR-Bench两个基准上，AttnAdapter为LLaMa-Omni、Qwen-Omni和Audio Flamingo 3三个模型带来了稳定的性能提升。 在LLaMa-Omni上，MMAU-mini平均准确率从0.71提升至0.85（+14%），AIR-Bench平均准确率从0.69提升至0.82（+13%）。 在Qwen-Omni上，MMAU-mini平均准确率从0.73提升至0.87（+14%），AIR-Bench平均准确率从0.71提升至0.84（+13%）。 在Audio Flamingo 3上，MMAU-mini平均准确率从0.73提升至0.87（+14%），AIR-Bench平均准确率从0.70提升至0.83（+13%）。 所有方法中，AttnAdapter均取得了最高的分数，尤其在“混合音频”子任务上改进明显。 实际意义是什么：提供了一个即插即用、计算开销极低（延迟增加<2%）的解决方案，可以增强现有ALLMs的音频接地能力，使其在长序列对话和推理中能持续“听”音频，减少基于文本先验的幻觉，提升在音频问答、分析等实际应用中的可靠性和准确性。 主要局限性是什么：(1) 方法的有效性依赖于经验调优的超参数（σ, η, g, w, β），对于新模型或任务可能需要重新搜索。(2) 论文主要关注准确率提升，对模型生成文本的流畅性、连贯性等质量指标的详细分析不足。(3) 机制解释偏经验性，缺乏对ALLMs内部信息流动的深层理论分析。 🏗️ 模型架构 本文提出的AttnAdapter并非一个完整的端到端模型，而是一个推理时的插件模块，旨在修改现有基于解码器的音频大语言模型（ALLMs）在解码阶段的注意力计算过程。 ...

📄 Mitigating Language Prior-Induced Hallucinations via Bi-Level Contrastive Decoding #多模态模型 #音频问答 #对比学习 #模型评估 ✅ 7.5/10 | 前25% | #多模态模型 | #对比学习 | #音频问答 #模型评估 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Tianze Xia†， Hongcheng Liu† （上海交通大学） 通讯作者：Yu Wang* （上海交通大学） 作者列表：Tianze Xia†（上海交通大学）， Hongcheng Liu†（上海交通大学）， Lina Yang（上海交通大学）， Yu Wang*（上海交通大学） 💡 毒舌点评 这篇论文的亮点在于清晰地识别出语言先验在“输入层”和“层间”的两个不同作用机制，并设计了一个优雅、即插即用的统一解码公式来同时抑制它们，在多个视觉和音频基准上取得了稳健提升。短板在于其核心论证“动态层选择”策略的理论基础和普适性略显薄弱（为何选择最大差异度层作为先验代表？），且缺少对失败案例的深入分析，使得方法更像一个“work well”的工程方案而非深刻揭示机制。 🔗 开源详情 代码：论文中未提及代码链���。 模型权重：未提及。 数据集：使用了公开基准（POPE， MSCOCO 2014， MMAU， MMAR），但论文未提及BCD方法本身是否附带新的数据集。 Demo：未提及。 复现材料：论文详细给出了BCD的算法流程（公式1-3）和关键超参数（k, n, α, β），但未提供完整的配置文件或训练/评估日志。 论文中引用的开源项目：实验基于以下开源模型：LLaVA-1.5-7B， Qwen2.5-VL-7B， Qwen2-Audio-7B-Instruct， MU-LLaMA-7B。 论文中未提及开源计划。 📌 核心摘要 要解决什么问题：多模态大语言模型（MLLM）在生成时严重依赖语言先验（文本提示和模型内部的统计规律），导致输出与视觉/音频证据不符的幻觉现象。 方法核心是什么：提出双层对比解码（BCD），一种无需训练的即插即用解码策略。它在每个解码步骤同时进行两项修正：a) 输入层修正：对比完整多模态输入和纯文本输入的输出分布，以强化多模态证据的引导；b) 层间修正：对比模型最终层输出和通过动态策略选择的中间层输出，以抑制信息在层间传播中累积的语言先验。 与已有方法相比新在哪里：现有对比解码方法（如VCD， SID）通常只关注单一来源的先验（如图像扰动或内部状态），而BCD首次将输入层和层间这两个关键阶段的先验抑制统一到一个框架内，并通过动态层选择策略自适应地定位内部先验的最强表征层。 主要实验结果如何：BCD在多个主流模型（LLaVA-1.5， Qwen2.5-VL， Qwen2-Audio， MU-LLaMA）和基准上均提升了性能。具体地，在POPE（视觉幻觉）基准上，LLaVA-1.5模型的平均准确率从83.01%提升至87.32%；在MMAR（音频理解）基准上，Qwen2-Audio模型的平均准确率从30.00%提升至36.90%。消融实验证实了两个修正组件的互补性。 模型 基准 设置 基线 Greedy (Acc./F1) BCD (Acc./F1) LLaVA-1.5 POPE Rand. 87.17 / 85.64 90.57 / 90.33 LLaVA-1.5 POPE Pop. 82.76 / 83.36 87.83 / 87.87 LLaVA-1.5 POPE Adv. 79.11 / 80.92 83.57 / 84.28 Qwen2.5-VL POPE Adv. 84.20 / 81.63 86.27 / 84.67 实际意义是什么：提供了一种实用、有效、无需额外训练的解码改进方案，可直接应用于现有MLLM，增强其输出的可靠性和可信度，对部署在医疗、安防等关键领域的多模态AI系统具有重要价值。 主要局限性是什么：a) 方法引入了额外的推理计算开销（需要运行前向传播以获取L_text和L_inter）；b) 动态层选择策略的有效性可能依赖于模型结构，其普适性有待更多验证；c) 超参数α和β需要针对不同任务/模态进行调整，缺乏自动化的选择机制。 🏗️ 模型架构 本文提出的BCD并非一个新的多模态模型架构，而是一种应用于现有MLLM（如LLaVA， Qwen-VL/Audio）的解码策略。其核心架构是统一的对比解码框架，流程如下： ...

📄 Segmentwise Pruning in Audio-Language Models #音频问答 #音频场景理解 #token剪枝 #音频大模型 #模型评估 ✅ 7.0/10 | 前50% | #音频问答 | #token剪枝 | #音频场景理解 #音频大模型 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：未说明（根据作者列表顺序推测为Marcel Gibier，但未明确标注） 通讯作者：未说明 作者列表：Marcel Gibier（Inria Paris），Pierre Serrano（Inria Paris），Olivier Boeffard（Inria Paris），Raphaël Duroselle（AMIAD），Jean-François Bonastre（AMIAD） 💡 毒舌点评 亮点：方法设计巧妙且实用，通过简单的“分段再选Top-K”约束，显著缓解了标准Top-K可能导致的token时间聚集问题，在保持甚至提升性能的同时大幅降低计算开销，为ALM的推理加速提供了一个即插即用的轻量级方案。 短板：方法本质是启发式规则，并未深入探究“为什么分段有效”背后的表征理论，例如分段大小如何与音频内容的时长、节奏特性相匹配。实验仅展示了推理加速，未涉及训练成本或对模型微调的潜在影响。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：使用了公开的预训练模型权重（Whisper-large-v3, Qwen2-Audio-7B-Instruct, Audio Flamingo 3），但未提及本次研究产生的新模型权重。 数据集：使用了公开的标准基准数据集（Clotho v2, AudioCaps, ClothoAQA, MMAU）。 Demo：论文中未提及在线演示。 复现材料：论文详细描述了实验设置（模型版本、音频处理参数、解码方式、关键超参数S=10），这为复现提供了良好基础。但未提供具体的脚本、配置文件或结果检查点。 论文中引用的开源项目：Whisper-large-v3 (语音识别模型), Qwen2-Audio (音频语言模型), Audio Flamingo 3 (音频语言模型), Sentence-BERT (句子嵌入模型), VisionZip (视觉token剪枝方法)。 📌 核心摘要 要解决什么问题：音频-语言模型（ALMs）通常将长序列的音频编码与文本嵌入拼接后送入Transformer，导致注意力机制的计算复杂度随序列长度平方增长，造成巨大的计算开销，限制了模型在长音频任务中的效率。 方法核心是什么：提出一种名为“分段Top-K（Segmentwise Top-K）”的轻量级推理时token剪枝方法。该方法将音频编码器的输出序列划分为S个时间片段，在每个片段内独立选择注意力得分最高的若干token，从而保证剪枝后的token在时间维度上分布均匀。 与已有方法相比新在哪里：不同于仅依赖注意力分数的全局Top-K（可能导致选中的token在时间上聚集）或基于相似度的合并方法（如VisionZip），本文方法显式地利用了音频信号的时序结构，通过分段约束在剪枝时促进了token的时间多样性，能更好地覆盖音频全程信息。 主要实验结果如何：在Audio Flamingo 3和Qwen2-Audio-7B两个模型上进行的实验表明，仅保留25%的音频token，模型在音频描述（CIDEr）和音频问答（准确率）等任务上的性能下降通常小于2%（相对最大下降）。例如，在Audio Flamingo 3上保留25% token时，在ClothoAQA和MMAU-total上甚至比原始模型性能略高。同时，推理预填充阶段速度提升显著（从162.54ms降至29.55ms，提速约5.5倍）。 实际意义是什么：该方法为部署和实时运行大型音频-语言模型提供了一种简单高效的优化途径，能大幅减少推理延迟和内存占用，而对核心任务性能影响极小，有助于推动ALM在边缘设备或低延迟场景的应用。 主要局限性是什么：分段数量S=10是启发式选择，对不同长度或特性的音频可能非最优；方法仅在推理时应用，未探索与训练结合是否能带来更大收益；未深入分析剪枝后丢失的信息类型以及对极长或复杂音频的鲁棒性。 🏗️ 模型架构 本文主要评估的是现有的音频-语言模型（Qwen2-Audio-7B-Instruct和Audio Flamingo 3），并提出应用于这些模型的剪枝方法。其架构（以所研究的模型为依据）如下： ...