音频问答

📄 SightSound-R1: Cross-Modal Reasoning Distillation from Vision to Audio Language Models #音频问答 #知识蒸馏 #多模态模型 #迁移学习 #音视频 ✅ 7.5/10 | 前25% | #音频问答 | #知识蒸馏 | #多模态模型 #迁移学习 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：未说明（论文中作者列表排序未明确指定第一作者） 通讯作者：未说明 作者列表：Qiaolin Wang（Columbia University, New York, NY, USA）、Xilin Jiang（Columbia University, New York, NY, USA）、Linyang He（Columbia University, New York, NY, USA）、Junkai Wu（University of Washington, Seattle, WA, USA）、Nima Mesgarani（Columbia University, New York, NY, USA） 💡 毒舌点评 亮点在于巧妙地利用“视觉可听”的假设，将强大的视觉语言模型（LVLM）作为“免费的”教师来生成音频推理数据，从而绕过了音频链式思考（CoT）数据稀缺的瓶颈，思路清晰且实用。短板则是这一核心假设存在天然局限，导致生成的推理链可能基于视觉臆测而非真实音频内容（论文中也承认了语音、音乐任务性能下降），且方法的最终效果高度依赖外部强大LVLM和验证模型的能力，并非完全独立。 ...

📄 TAU: A Benchmark for Cultural Sound Understanding Beyond Semantics #音频问答 #基准测试 #数据集 #模型评估 ✅ 7.5/10 | 前25% | #音频问答 | #基准测试 | #数据集 #模型评估 学术质量 0.85/7 | 选题价值 0.75/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Yi-Cheng Lin (National Taiwan University) 通讯作者：论文中未明确指定通讯作者 作者列表：Yi-Cheng Lin¹, Yu-Hua Chen², Jia-Kai Dong¹, Yueh-Hsuan Huang¹, Szu-Chi Chen¹, Yu-Chen Chen¹, Chih-Yao Chen¹, Yu-Jung Lin¹, Yu-Ling Chen¹, Zih-Yu Chen¹, I-Ning Tsai¹, Hsiu-Hsuan Wang¹, Ho-Lam Chung¹, Ke-Han Lu¹, Hung-yi Lee¹ (¹National Taiwan University, ²University of Toronto) 💡 毒舌点评 该论文的亮点在于它敏锐地指出了当前音频-语言模型评估体系中一个被忽视的“文化盲区”，并为此提供了一个设计精巧、收集过程透明的高质量本地化基准，为推动更公平的多模态评估铺了路。短板则在于，它本质上是一个评估工具（Benchmark），而非解决该问题的算法或模型，因此其影响力高度依赖于后续研究社区的采纳程度，且论文本身未对“如何提升模型的文化理解能力”给出更深入的方案探索。 ...

📄 Teaching Audio Models to Reason: A Unified Framework for Source- and Layer-Wise Distillation #音频大模型 #知识蒸馏 #音频问答 #音频场景理解 ✅ 7.0/10 | 前25% | #音频问答 | #知识蒸馏 | #音频大模型 #音频场景理解 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Runyan Yang、Yuke Si、Yingying Gao（三人并列第一作者，论文中标注† Equal contribution） 通讯作者：Shilei Zhang（论文中标注* Corresponding author） 作者列表：Runyan Yang（JIUTIAN Research, China Mobile & 北京大学多媒体信息处理国家重点实验室）、Yuke Si（JIUTIAN Research, China Mobile & 北京大学多媒体信息处理国家重点实验室）、Yingying Gao（JIUTIAN Research, China Mobile & 北京大学多媒体信息处理国家重点实验室）、Junlan Feng（JIUTIAN Research, China Mobile & 北京大学多媒体信息处理国家重点实验室）、Chao Deng（JIUTIAN Research, China Mobile & 北京大学多媒体信息处理国家重点实验室）、Shilei Zhang（JIUTIAN Research, China Mobile & 北京大学多媒体信息处理国家重点实验室） 💡 毒舌点评 该论文提出的“源维度”与“层维度”双轨蒸馏框架，在理论上为跨模态推理能力的迁移提供了一个清晰且有一定新意的视角，特别是将声学教师作为冻结快照来保持音频能力的做法有巧思。然而，实验规模和范围严重受限，仅在Qwen系列模型的师生配置下进行了验证，缺乏跨架构、跨数据规模的普适性证明，其“统一框架”的宣称说服力因此大打折扣。 ...

📄 Test-Time Scaling for Auditory Cognition in Audio Language Models #音频问答 #测试时扩展 #音频大模型 #大语言模型 #模型评估 ✅ 7.0/10 | 前25% | #音频问答 | #测试时扩展 | #音频大模型 #大语言模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Ting Dang (墨尔本大学，澳大利亚) 通讯作者：未说明 作者列表：Ting Dang（墨尔本大学，澳大利亚）、Yan Gao（剑桥大学，英国）、Hong Jia（奥克兰大学，新西兰；墨尔本大学，澳大利亚） 💡 毒舌点评 这篇论文首次系统性地探索了测试时扩展（TTS）策略在音频语言模型（ALM）听觉认知任务上的应用，填补了一个明显的空白。然而，其自建数据集仅包含10名参与者，样本规模偏小，这使得论文声称的“揭示ALM的局限性”和“TTS显著提升性能”的结论在泛化性上略显薄弱。 🔗 开源详情 代码：论文中提到“Code will be made publicly available upon acceptance.”（代码将在论文接收后公开），但未提供具体代码仓库链接。 模型权重：论文中评估的开源模型（Qwen2-Audio， Audio-Flamingo 2）是公开的，但本文未提及发布新的模型权重。闭源模型（GPT-4o， Gemini系列）为API调用。 数据集：本文构建的听觉认知评估数据集未提及公开或获取方式。 Demo：未提及。 复现材料：论文给出了TTS策略的文字描述和图表，但未提供完整的训练/评估配置文件、超参数列表或复现脚本。 论文中引用的开源项目：论文引用了QwenLM、Flamingo等模型架构作为开源模型的基础。 📌 核心摘要 问题：现有的音频语言模型（ALM）在训练数据和基本能力上关注语音转录与感知，但在应对真实世界复杂听觉认知场景（如鸡尾酒会问题）时，其推理能力和适应性不足。 方法核心：本文的核心在于评估ALM的认知能力并探索提升其推理能力的方法。作者设计了三个难度递增的听觉认知任务（自然声识别、单说话人数字序列、双说话人重叠数字序列），收集了相应的人类回答数据集。随后，系统评估了五款主流ALM在无额外处理下的表现，并首次尝试应用五种源自文本大模型的测试时扩展（TTS）策略（包括Chain-of-Thought提示、自一致性解码、束搜索加权、LLM验证器打分等）来增强模型的推理能力。 创新点：相较于已有工作，本文的创新在于：(1) 首次针对ALM设计并评估了听觉认知任务；(2) 首次将多种TTS策略迁移到ALM的音频推理任务中，证明了其有效性；(3) 揭示了当前ALM在复杂听觉场景下的显著不足，并指出了提升方向。 主要实验结果：所有测试的ALM（包括开源和闭源）在听觉认知任务上的表现均低于人类。其中GPT-4o表现最佳，在某些复杂场景甚至超越人类。引入TTS策略后，性能获得显著提升（相对提升幅度从9%到150%不等）。具体结果见表2。 实际意义：该研究为提升ALM在复杂、真实听觉环境中的理解和推理能力提供了新思路，验证了TTS作为一种无需额外训练即可增强模型推理能力的方法在多模态领域的潜力。 主要局限性：研究构建的数据集规模较小（10名参与者，180条音频事件），可能限制结论的普遍性；实验仅在有限的五个模型和三种任务上进行；缺乏为音频任务专门设计的奖励模型，验证器方案（使用GPT-4o）较为通用。 表2：使用TTS的准确率对比（括号内为相对百分比提升） ...

📄 TinyMU: A Compact Audio-Language Model for Music Understanding #音乐理解 #多模态模型 #自监督学习 #数据集 #音频问答 ✅ 7.5/10 | 前25% | #音乐理解 | #多模态模型 | #自监督学习 #数据集 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xiquan Li（LTCI, Télécom Paris, Institut Polytechnique de Paris；上海交通大学） 通讯作者：未说明（论文未明确标注通讯作者） 作者列表：Xiquan Li（LTCI, Télécom Paris, Institut Polytechnique de Paris；上海交通大学），Aurian Quelennec（LTCI, Télécom Paris, Institut Polytechnique de Paris），Slim Essid（LTCI, Télécom Paris, Institut Polytechnique de Paris；NVIDIA） 💡 毒舌点评 本文最大的亮点在于系统性地探索了如何“经济高效”地训练音乐语言模型，不仅提供了229M参数的紧凑模型，还贡献了配套的高质量数据集MusicSkills-3.5M，并通过大量消融研究（编码器、微调策略、数据构成）给出了清晰的设计指南。但短板同样明显：论文将主要精力用于证明“以小博大”在性能数字上的可行性，却缺乏对真实边缘设备部署的推理速度、功耗等实际约束的验证，使得“Compact”一词的实践意义打了折扣；此外，实验部分主要对标通用的音频-语言大模型，在与传统音乐信息检索（MIR）基线方法的深入对比上有所欠缺，削弱了其在专业音乐领域的说服力。 ...

📄 Walking Through Uncertainty: An Empirical Study of Uncertainty Estimation for Audio-Aware Large Language Models #音频大模型 #音频问答 #模型评估 #基准测试 #多模态模型 ✅ 7.5/10 | 前25% | #音频问答 | #模型评估 | #音频大模型 #基准测试 | arxiv 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Chun-Yi Kuan (台湾大学 电信工程研究所) 通讯作者：Hung-yi Lee (台湾大学 电信工程研究所, 台湾大学人工智能卓越研究中心 (AI-CoRE)) 作者列表：Chun-Yi Kuan (台湾大学 电信工程研究所), Wei-Ping Huang (台湾大学 电信工程研究所), Hung-yi Lee (台湾大学 电信工程研究所, 台湾大学人工智能卓越研究中心) 💡 毒舌点评 本文作为首篇系统评估音频大模型不确定性估计的研究，实验设计严谨、结论清晰，填补了重要空白；但其核心创新是将文本大模型领域的成熟方法“搬运”到新领域进行比较，方法论上的突破有限，更像是一个扎实的“开山评测”。 ...

📄 All That Glitters Is Not Audio: Rethinking Text Priors and Audio Reliance in Audio-Language Evaluation #模型评估 #音频问答 #音频大模型 #大语言模型 #多模态模型 ✅ 6.5/10 | 前50% | #音频问答 | #模型评估 | #音频大模型 #大语言模型 | arxiv 学术质量 6.0/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Leonardo Haw-Yang Foo（未说明具体单位，但论文地址为National Taiwan University） 通讯作者：未说明（论文未明确指定通讯作者，通常由第一作者或末位作者负责，此处未明确） 作者列表： Leonardo Haw-Yang Foo (National Taiwan University, NTU AI-CoRE) Chih-Kai Yang (National Taiwan University, NTU AI-CoRE) Chen-An Li (未说明) Ke-Han Lu (未说明) Hung-yi Lee (National Taiwan University, NTU AI-CoRE) 💡 毒舌点评 亮点：论文像一位敏锐的审计师，用“无音频输入”和“音频分段测试”两把尺子，清晰量出了当前音频-语言模型在“裸考”（无音频）时依然能得高分（60-72%），且需要整段音频才能答对的题目极少（仅3-4%），这记耳光打醒了盲目乐观的“分数崇拜”。短板：诊断出了病症，但开的“处方”（第5章的建议）却非常笼统，缺乏可直接执行的“新基准”或“新评估工具”，更像是向学界发出的一份呼吁而非解决方案。 ...

📄 Listening with Time: Precise Temporal Awareness for Long-Form Audio Understanding #音频场景理解 #音频问答 #强化学习 #数据集 #基准测试 🔥 8.0/10 | 前25% | #音频场景理解 | #强化学习 | #音频问答 #数据集 | arxiv 学术质量 7.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Mingchen Shao (西北工业大学，Xi’an, China) 通讯作者：未说明（论文未明确指定通讯作者） 作者列表： Mingchen Shao (西北工业大学) Hang Su (独立研究者，北京) Wenjie Tian (西北工业大学) Bingshen Mu (西北工业大学) Zhennan Lin (西北工业大学) Lichun Fan (独立研究者，北京) Zhenbo Luo (独立研究者，北京) Jian Luan (独立研究者，北京) Lei Xie (西北工业大学) 💡 毒舌点评 亮点：这篇论文非常“全套”，从数据集、评测基准到训练框架一气呵成，直面长音频时间感知的核心痛点（时间幻觉与漂移），并用全局到局部推理范式+TWA-CoT的“工具使用”方案给出了一个结构清晰、实验充分的解决方案。短板：其提出的TWA-CoT依赖多轮工具调用，论文自身也承认这会增加计算开销，牺牲了实时性，这在一定程度上限制了其在流式或资源受限场景下的实用价值。 ...

📄 AUDITA: A New Dataset to Audit Humans vs. AI Skill at Audio QA #音频问答 #基准测试 #模型评估 #数据集 ✅ 6.5/10 | 前50% | #音频问答 | #基准测试 | #模型评估 #数据集 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Tasnim Kabir（未说明） 通讯作者：未说明 作者列表：Tasnim Kabir（未说明）、Dmytro Kurdydyk（未说明）、Aadi Palnitkar（未说明）、Liam Dorn（未说明）、Ahmed Haj Ahmed（未说明）、Jordan Lee Boyd-Graber（未说明） 💡 毒舌点评 亮点在于，AUDITA通过引入人类作者和精心设计的“陷阱”问题，直击当前音频问答模型“投机取巧”的痛点，其IRT分析也为评估模型能力提供了更细腻的视角。短板是，作为一篇以数据集为核心的论文，其贡献主要在于“发现问题”而非“解决问题”，且实验部分主要评估现有模型，未提出新的模型架构或训练方法，创新边界相对清晰。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文未提及提供模型权重。 数据集：论文提出AUDITA数据集，但摘要中未说明具体的公开获取方式（如网站、下载链接）。根据论文标题和内容推断，数据集是其核心产出，预计会公开。 Demo：论文中未提及在线演示。 复现材料：论文中未提及训练细节、配置、检查点等复现材料。作为基准测试论文，其复现主要依赖于使用其公开的数据集和标准模型。 论文中引用的开源项目：摘要中未提及。 📌 核心摘要 要解决什么问题：现有的音频问答（Audio QA）基准测试存在缺陷，模型可以通过短时线索、词汇先验、数据集偏差或绕过音频直接使用文本/元数据等“捷径”策略来取得高分，无法真正评估模型的音频推理能力。 方法核心是什么：提出AUDITA，一个大规模、真实世界的音频问答基准数据集。其核心在于问题由人类作者（Trivia作者）撰写，设计了具有挑战性的干扰项和长程时间依赖性，确保问题无法仅凭孤立的文本或声音线索回答，从而迫使模型进行真正的音频推理。 与已有方法相比新在哪里：与现有主要关注声音事件分类或基于字幕查询的基准不同，AUDITA强调“音频推理”而非“表面声学识别”。它通过人类作者设计复杂问题、引入IRT（项目反应理论）分析模型潜在能力与题目难度，提供了更严格的评估框架。 主要实验结果如何：人类平均准确率为32.13%，表明任务具有挑战性但人类可以理解。相比之下，最先进的音频问答模型平均准确率低于8.86%，性能差距显著。论文通过IRT分析进一步量化了模型和数据的系统性缺陷。 模型/群体 平均准确率 人类 32.13% 最先进模型 < 8.86% 实际意义是什么：AUDITA为音频问答领域提供了一个更严格的“试金石”，能够揭示当前模型在复杂、真实音频推理任务上的不足，推动社区研发具备真正听觉理解和推理能力的模型。 主要局限性是什么：论文中未说明AUDITA数据集的具体规模（如音频数量、问题数量）；实验部分主要是对现有模型进行基准测试，未提出新的模型或方法来解决所揭示的问题；数据集的获取方式和开源细节在摘要中未详细说明。 🏗️ 模型架构 论文中未提及具体的模型架构。本文的核心贡献是提出一个新的评测基准（数据集），而非一个新的模型。因此，本节内容不适用。 ...

📄 Audio-Cogito: Towards Deep Audio Reasoning in Large Audio Language Models #音频问答 #知识蒸馏 #音频大模型 #数据集 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Longhao Li (龙浩 李)（西北工业大学 计算机学院，语音与语言处理组 ASLP@NPU） 通讯作者：Lei Xie (谢磊)（西北工业大学 计算机学院，语音与语言处理组 ASLP@NPU），其邮箱 lxie@nwpu.edu.cn 在摘要中列出。 其他作者： Hongjie Chen (陈鸿杰)（中国电信人工智能研究院 TeleAI） Zehan Li (李泽汉)（西北工业大学 计算机学院，ASLP@NPU） Qihan Hu (胡启涵)（西北工业大学 计算机学院，ASLP@NPU） Jian Kang (康健)（西北工业大学 计算机学院，ASLP@NPU） Jie Li (李杰)（西北工业大学 计算机学院，ASLP@NPU） Yongxiang Li (李永祥)（西北工业大学 计算机学院，ASLP@NPU） 💡 毒舌点评 亮点：构建了一套“授人以渔”的自动化数据炼金术（Cogito-Pipe），并用“自己教自己”的自蒸馏方法让模型学会了深度思考，效果立竿见影，在开源阵营里算是“卷”出新高度。 槽点：评估推理质量的“裁判”（GPT-4o）自己就是个闭源黑盒，用它来评判开源模型的推理逻辑是否严谨，总感觉有点“让厨师长评菜品”的味道，公平性存疑。 🔗 开源详情 代码：论文中提到将发布代码，但未提供具体GitHub链接。文中提及使用了ms-swift训练框架（https://github.com/modelscope/ms-swift）。 模型权重：基于Qwen3-Omni-Thinking，该模型本身是开源的。Audio-Cogito的微调权重计划发布。 数据集：承诺发布一个包含545k高质量音频推理样本的数据集，涵盖声音、语音、音乐多个领域。具体发布平台未说明。 预训练权重：使用Qwen3-Omni-Thinking的公开预训练权重作为起点。 在线Demo：论文中未提及。 引用的开源项目：论文中引用了多个开源模型和数据集，如Qwen系列、AudioSet、Clotho、AudioCaps等。 📌 核心摘要 本文旨在解决大型音频语言模型（LALMs）在复杂音频推理任务中能力不足、推理过程不透明的问题。核心贡献是提出了一个名为 Audio-Cogito 的完全开源解决方案，其核心是一个四阶段的自动化数据构建管道 Cogito-Pipe，用于生成高质量、多样化的音频推理链（CoT）数据。关键方法是利用Cogito-Pipe构建了包含545k样本的大规模数据集，并采用自蒸馏策略，使用同一模型（Qwen3-Omni-Thinking）进行推理数据生成和后续微调，确保了推理模式的一致性。主要发现表明，在专门评估推理过程的MMAR基准上，Audio-Cogito在开源模型中取得了SOTA性能，平均准确率达71.70%，其推理质量指标（Rubrics 62.22%， CRS 0.87）也优于所有基线，性能接近Gemini 2.5 Pro等顶级闭源模型。实际意义在于为社区提供了一个可复现的、用于提升音频模型深度推理能力的完整框架和数据资源，推动了音频智能从感知向认知迈进。局限性在于其数据生成和质量验证仍部分依赖于其他强大的闭源模型（如Qwen3-Omni, GPT-4o）。 ...