音频理解

📄 MedMosaic: A Challenging Large Scale Benchmark of Diverse Medical Audio #音频理解 #医疗音频 #基准测试 #数据集 #多模态模型 6.4/10 | 创新 0.8/2 | 严谨 0.8/1.5 | 实验 1.2/1.5 | 清晰 0.7/1 | 影响 1/1.5 | 开源 0.8/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6.4/10 | 前50% | #音频理解 | #多模态模型 | #医疗音频 #基准测试 | arxiv 👥 作者与机构 第一作者：Harshit Rajgarhia（Centific Global Solutions Inc.） 通讯作者：Harshit Rajgarhia（Centific Global Solutions Inc.） 作者列表：Harshit Rajgarhia（Centific Global Solutions Inc.）、Shuubham Ojha（Centific Global Solutions Inc., University of Maryland, College Park）、Asif Shaik（Centific Global Solutions Inc.）、Akhil Pothanapalli（Centific Global Solutions Inc.）、Rachuri Lokesh（Centific Global Solutions Inc.）、Abhishek Mukherji（Centific Global Solutions Inc.）、Prasanna Desikan（Centific Global Solutions Inc.） 💡 毒舌点评 这篇论文构建了一个规模可观（46k QA对）且设计精巧的医学音频推理基准，通过对13个前沿模型的系统评测，清晰暴露了当前多模态大模型在医学音频上的显著短板，尤其是言语理解与生理声理解的严重偏科。然而，数据完全依赖合成生成和API调用，使整个基准的价值高度绑定于特定商业模型（Gemini和ElevenLabs）的生成能力，缺乏对“真实”临床音频分布差距的严格验证；且没有开源代码、模型或完整的生成流水线，连自身宣称的“scalable”理念都无法让社区复制，工程诚意严重不足。 ...

📄 Multimodal Fact-Level Attribution for Verifiable Reasoning #音频理解 #可解释性 6.4/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.4/10 | 前50% | #音频理解 | #多模态模型 | #可解释性 | arxiv 👥 作者与机构 第一作者：David Wan（UNC Chapel Hill） 通讯作者：David Wan（UNC Chapel Hill） 作者列表：David Wan（UNC Chapel Hill）、Han Wang（UNC Chapel Hill）、Ziyang Wang（UNC Chapel Hill）、Elias Stengel-Eskin（The University of Texas at Austin）、Hyunji Lee（UNC Chapel Hill）、Mohit Bansal（UNC Chapel Hill） 💡 毒舌点评 这篇论文在"可验证推理"的命题下，构建了一个精细的多模态事实级归因评估框架，将文本域的原子事实分解和Precision/Recall引用评估范式迁移到了视频+音频场景，实验覆盖了Gemini和Qwen等主流MLLM，揭示了"推理强不代表能正确举证"的核心洞察。然而，MURGAT-SCORE本质上是一个由多个LLM组件级联而成的评估pipeline，各子任务虽非单一模型，但最优模块几乎都来自Gemini家族，尽管论文进行了跨模型评估器对比以佐证其无显著偏差，但评估框架对顶级商用闭源模型的依赖，依然限制了其在开源社区的应用与复现深度。此外，人类评估样本仅20个视频/80条回答，虽在统计相关性上勉强站得住，但用于宣称构建"基准"，其ground truth的规模和多样性都显得单薄，这使得其"基准"定位的稳固性存疑。 ...

📄 SPEAR: A Unified SSL Framework for Learning Speech and Audio Representations #音频理解 #语音识别 8.4/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.3/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 🔥 8.4/10 | 前25% | #音频理解 | #自监督学习 | #语音识别 | arxiv 👥 作者与机构 第一作者/通讯作者：Xiaoyu Yang（Department of Engineering, University of Cambridge） 作者列表：Xiaoyu Yang（University of Cambridge）、Yifan Yang（Shanghai Jiao Tong University）、Zengrui Jin（Tsinghua University）、Ziyun Cui（Tsinghua University, Shanghai Artificial Intelligence Laboratory）、Wen Wu（Shanghai Artificial Intelligence Laboratory）、Baoxiang Li（Shanghai Artificial Intelligence Laboratory）、Chao Zhang（Tsinghua University, Shanghai Artificial Intelligence Laboratory）、Phil Woodland（University of Cambridge） 💡 毒舌点评 SPEAR 用多码本矢量量化（MVQ）这把快刀，把语音和音频两个域的知识剁成离散 token，再让 Zipformer 用掩码预测全吞下去。思路直接有效，在 SUPERB 和 HEAR 上双线刷榜，token mixing 更是让分离任务表现惊艳。但整个框架的命门在于强依赖教师模型质量，训练 pipeline 重得像个工程怪兽，且音频数据仅 13k 小时，想在纯音乐或环境声上压制音频大模型还差火候。说是统一框架，但目前还是个理解专才，生成任务的门都没摸到。 ...

📄 Speech-Audio Compositional Attacks on Multimodal LLMs and Their Defense with SALMONN-Guard #音频理解 #SFT #基准测试 #内容审核 #数据集 8.3/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 🔥 8.3/10 | 前25% | #音频理解 | #SFT | #基准测试 #内容审核 | arxiv 👥 作者与机构 第一作者：Yudong Yang（清华大学） 通讯作者：Guangzhi Sun（剑桥大学）、Chao Zhang（清华大学） 作者列表：Yudong Yang（清华大学）、Xuezhen Zhang（清华大学）、Zhifeng Han（清华大学）、Siyin Wang（清华大学）、Jimin Zhuang（清华大学）、Zengrui Jin（清华大学）、Jing Shao（上海人工智能实验室）、Guangzhi Sun（剑桥大学）、Chao Zhang（清华大学） 💡 毒舌点评 本文亮点在于首次系统性地将语音-非语音音频的语义和语境组合引入多模态LLM安全红队评测，攻击方式真实且具有现实威胁性，提出的SALMONN-Guard联合模态守卫设计也展现了防御此类攻击的可行性。然而，攻击构造仍依赖人工预设的声学参数与对话脚本，缺乏自适应的攻击策略优化，使得benchmark的攻击上限不明确；防御仅使用SFT，未与对抗训练等更强基线对比，说服力不足；MSD评估将“理解错误”也计入攻击成功，该设定存在争议，可能高估了实际威胁。 ...

📄 Adaptive Perturbation Selection for Contrastive Audio Decoding #音频理解 #测试时自适应 5.3/10 | 创新 0.8/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 📝 5.3/10 | 后50% | #音频理解 | #测试时自适应 | arxiv 👥 作者与机构 第一作者：Aaron Isidore Grace（Wang）（未说明具体机构） 通讯作者：未说明 作者列表：Aaron Isidore Grace（Wang）、Zhouyuan Huo、Weiran Wang（三位作者均未在论文中明确标注机构） 💡 毒舌点评 这篇论文做了扎实的工程探索，把对比解码的"负分支"设计从盲人摸象变成了系统性狩猎，尤其是自适应选择器的思路有启发性。然而，实验部分透着一股"只在Qwen2-Audio上一个任务上真调通了"的味道——AF3上的提升有限且不够稳固，AH Attribute和Clotho-AQA基本没用，AF3的AH Order也因为最优扰动（Reverse）过于强势、与其他候选扰动高度重叠，让选择器毫无用武之地。更致命的是，零开源承诺让所有结果都像空中楼阁，审稿人无法独立检验这些有趣的断言。 📌 核心摘要 问题：大型音频语言模型（LALM）在解码时，语言先验会压制声学证据，导致幻觉（如声称存在不存在的音频事件）。现有对比解码（CD）的负分支设计单一（如全掩码、加噪），未探索结构化音频扰动，且最优扰动依赖于具体任务和样本。 方法核心：系统性构建了包含105种扰动（覆盖时间、频谱、频率、振幅、环境、加性噪声共6大类38种类型）的负分支库；进一步训练了一个轻量MLP选择器，基于模型隐藏状态为每个测试样本动态选择最优扰动负分支。 新在何处：（1）首次大规模探索音频CD的扰动设计空间；（2）提出基于模型内部表征的样本级自适应扰动路由；（3）通过简单的yes/no约束提示校准，大幅缓解了LALM的肯定偏差，为评估提供了更公平的基线。 主要实验结果： 提示校准：约束输出为yes/no，在AH Existence上基线准确率提升+11.0%（Qwen2，56.9%→67.9%），是前人提示工程增益的四倍以上。 单扰动���优：在AH Existence（Qwen2），无音频分支达72.4%（+4.6%）；AF3上移调分支达73.9%（+4.4%）。在AH Order，AF3的反向音频分支达81.4%（+6.7%）。 自适应选择器：在Qwen2 AH Existence（N=4）上，选择器达到76.7%（比最佳固定分支+4.3%，比基座+8.9%），但距N=4时的Oracle（83.5%）仍有6.8%的差距，距全扰动库Oracle上界（86.2%）差距更大。 选择器训练数据仅约7,500样本，Oracle-Selector差距随候选扰动数N增大而扩大（N=60时差距达11.1%），表明性能瓶颈在于训练数据而非候选池。 模型 数据集 方法 准确率 (%) Qwen2 AH Existence Original 67.8 Qwen2 AH Existence Best Fixed (No-Audio) 72.4 Qwen2 AH Existence Adaptive Selector (N=4) 76.7 Qwen2 AH Existence Oracle (N=4) 83.5 AF3 AH Existence Original 69.5 AF3 AH Existence Best Fixed (Pitch shift) 73.9 AF3 AH Existence Adaptive Selector (N=4) 76.4 AF3 AH Order Original 74.7 AF3 AH Order Best Fixed (Reverse) 81.4 实际意义：提供了一种训练无关、即插即用的幻觉缓解方案；自适应扰动选择是一种计算开销低（仅需MLP）的自修正思路，对工业界部署LALM有参考价值。 主要局限性：选择器效果严重依赖于覆盖不同失效模式的训练数据，现有数据集太小导致Oracle-Selector差距很大；在其他任务（如AH Attribute）上几无作用，Clotho-AQA上选择器在N>1时即失效；仅验证在二分类yes/no任务上，未推广到开放式生成；AF3 AH Order任务上最优扰动过于强势，选择器无法提供额外增益。 🔗 开源详情 代码：论文中未提及代码链接，亦无开源承诺。 模型权重：Qwen2-Audio-7B-Instruct（https://huggingface.co/Qwen/Qwen2-Audio-7B-Instruct）为开源模型；Audio Flamingo 3论文中未提供权重链接（仅提及模型名称，未提供具体下载地址，亦未见公开权重）。 数据集：Clotho-AQA（基于FreeSound，原始论文引用为[19]，未提供直接下载链接）；Audio Hallucination benchmark（存在性、顺序、属性任务，基于[14]和CompA[6]，未提供直接下载链接）。论文未提供上述数据集的具体下载地址、预处理脚本或开源协议信息。 Demo：论文中未提及。 复现材料：论文中未提及（未提供训练配置、检查点、附录链接、扰动库完整定义）。 论文中引用的开源项目： SciPy（https://scipy.org/） librosa（https://librosa.org/） Whisper-large-v2（https://github.com/openai/whisper，具体模型 https://huggingface.co/openai/whisper-large-v2） Qwen2-Audio-7B-Instruct（https://huggingface.co/Qwen/Qwen2-Audio-7B-Instruct） 作者在致谢中提及使用了Claude和Claude Code（Anthropic）辅助实现部分实验代码和起草部分手稿，最后均由作者审查和编辑。 🏗️ 方法概述和架构 整体流程：系统输入为音频片段 \(x\) 和问题 \(q\)。首先，一个轻量级"扰动选择器"根据预缓存的LALM内部表征，从预定义的扰动库中为该样本选择最优扰动 \(s\)。然后，LALM执行两次前向：一次用原始音频（专家分支），一次用经扰动 \(s\) 处理后的音频（负分支）。最后，在解码的每一步，根据公式 \(\tilde{z}_{t,s} = (1+\alpha) z_t - \alpha z^-_{t,s}\) 将两分支的logit相减并加权，得到的修正logit用于预测下一个token。整个过程存在一个条件分支（选择器选择一个扰动），但没有循环或反馈机制。 ...

📄 ORCA: Open-ended Response Correctness Assessment for Audio Question Answering #音频理解 #大语言模型 #基准测试 #模型评估 #数据集 7.9/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.9/10 | 前25% | #音频理解 | #大语言模型 | #基准测试 #模型评估 | arxiv 👥 作者与机构 第一作者：Šimon Sedláček（Brno University of Technology, Speech@FIT）、Sara Barahona（Universidad Autónoma de Madrid）、Bolaji Yusuf（Brno University of Technology, Speech@FIT）、Laura Herrera-Alarcón（Universidad Autónoma de Madrid）、Santosh Kesiraju（Brno University of Technology, Speech@FIT）（注明同等贡献） 通讯作者：未说明 作者列表：Šimon Sedláček（Brno University of Technology, Speech@FIT）、Sara Barahona（Universidad Autónoma de Madrid）、Bolaji Yusuf（Brno University of Technology, Speech@FIT）、Laura Herrera-Alarcón（Universidad Autónoma de Madrid）、Santosh Kesiraju（Brno University of Technology, Speech@FIT）、Cecilia Bolaños（University of Buenos Aires）、Alicia Lozano-Diez（Universidad Autónoma de Madrid）、Sathvik Udupa（Brno University of Technology, Speech@FIT）、Fernando López（Universidad Autónoma de Madrid）、Allison Ferner（Tufts University）、Ramani Duraiswami（University of Maryland）、Jan Černocký（Brno University of Technology, Speech@FIT） 💡 毒舌点评 亮点：将Beta分布引入音频QA评估，巧妙地把人类评分的均值和分歧度同时建模，并提供了一套完整的三阶段标注-修正流程，数据集价值较高。短板：框架严重依赖由Gemini生成的rationale和Whisper转录文本，这些文本grounding的质量直接影响评估上限；方法在大规模、多类型、多语言音频QA上的泛化能力完全未知，且关键训练超参数意外缺失，削弱了复现信心。 ...

📄 SpeakerLLM: A Speaker-Specialized Audio-LLM for Speaker Understanding and Verification Reasoning #说话人验证 #音频大模型 #音频理解 #多粒度表征 #结构化推理 #多任务学习 ✅ 7/10 | 前25% | #说话人验证 | #音频大模型 | #音频理解 #多粒度表征 | arxiv 学术质量 5.6/8 | 影响力 0.6/1 | 可复现性 0.8/1 | 置信度 高 👥 作者与机构 第一作者：KiHyun Nam (韩国科学技术院 KAIST) 通讯作者：Joon Son Chung (韩国科学技术院 KAIST) 作者列表：KiHyun Nam (韩国科学技术院 KAIST), Jungwoo Heo (首尔大学), Siu Bae (韩国科学技术院 KAIST), Ha-Jin Yu (首尔大学), Joon Son Chung (韩国科学技术院 KAIST, 通讯作者) 💡 毒舌点评 这篇论文的动机清晰，针对音频优先智能体时代通用Audio-LLM在说话人理解上的不足，提出了一个专用的框架。其核心亮点在于通过分层说话人分词器整合了互补的多粒度说话人表征，并设计了结构化、可审计的验证推理目标，将传统二分类问题转化为包含环境、剖面和决策链的自然语言推理过程，这在方法论上是新颖的。然而，其主要短板在于实验的说服力不足：虽然在受控的、规模有限的基线（通用Audio-LLM）上展示了优势，但缺乏与现代端到端说话人验证模型（如基于ECAPA-TDNN或ResNet的模型）在公认的大规模标准测试集（如VoxCeleb2测试集、VoxSRC）上的直接性能对比。这使得其“说话人专用”模型的实际性能水平（是超越还是不及当前SOTA）成疑，更像是一次在特定设定下的方法验证。此外，结构化推理模板的刚性可能限制了其在更复杂、开放场景下的泛化能力。 ...

📄 Audio-DeepThinker: Progressive Reasoning-Aware Reinforcement Learning for High-Quality Chain-of-Thought Emergence in Audio Language Models #音频问答 #音频理解 #强化学习 #音频大模型 🔥 评分：9.5/10 | arxiv 👥 作者与机构 第一作者： Xiang He (腾讯AI Lab, 北京) 通讯作者： Li Liu (香港科技大学（广州）), Dong Yu (腾讯AI Lab, 北京) 其他作者： Chenxing Li (腾讯AI Lab, 北京) Jinting Wang (腾讯AI Lab, 北京) Yan Rong (腾讯AI Lab, 北京) Tianxin Xie (腾讯AI Lab, 北京) Wenfu Wang (腾讯AI Lab, 北京) 💡 毒舌点评 亮点： 这篇论文最“性感”的地方在于它证明了在音频领域，像教婴儿学走路一样，不需要手把手教（监督微调），只需要给对“奖励信号”（混合相似度奖励），模型自己就能在探索中“悟”出如何推理，而且悟性还特别好（SOTA）。槽点： 依赖一个巨大的外部LLM（Qwen3-235B）作为奖励评估器，训练成本恐怕不菲，有点像请米其林三星大厨来给家常菜打分，效果虽好但难以普及。另外，参考推理链本身也依赖其他大模型生成，属于“站在巨人的肩膀上再创造”，原创性在数据层面稍打折扣。 🔗 开源详情 代码： 论文中提到“代码和数据将开源”，但未提供具体链接或时间表。当前未开源。 模型权重： 未提及发布训练后的Audio-DeepThinker模型权重。 数据集： 构建的训练数据（D1, D2）将随代码一同开源，但当前未发布。 预训练权重： 基于开源的Qwen3-Omni-30B-A3B-Instruct模型。 在线Demo： 未提及。 引用的开源项目： 依赖Qwen3-Omni、DeepSeek V3.1、BGE-M3等模型，以及SWIFT、Megatron-LM等训练框架。 📌 核心摘要 这篇论文旨在解决大型音频语言模型（LALMs）缺乏显式、高质量推理能力的问题。现有方法要么受限于监督数据的质量，要么使用粗糙的奖励，导致生成的思维链形式良好但缺乏声学依据。作者提出了Audio-DeepThinker框架，其核心贡献有三：1）设计了一种混合推理相似度奖励，结合LLM评估（逻辑、深度）和嵌入相似度（语义对齐），直接对推理链内容进行细粒度监督；2）提出了一个渐进式两阶段RL课程，首先在基础音频QA数据上通过纯RL探索激发基本推理模式，然后在声学边界案例上使用更灵活的奖励进行增强，全程无需监督推理微调；3）进行了深入的机理分析，揭示RL训练主要重塑上层MoE门控机制，且推理token在上层网络中逐步“结晶”。该方法在MMAR、MMAU和MMSU上取得了SOTA性能，证明了通过精心设计的奖励和课程，高质量的音频推理能力可以从RL探索中涌现。 ...

📄 A Manual Bar-by-Bar Tempo Measurement Protocol for Polyphonic Chamber Music Recordings: Design, Validation, and Application to Beethoven’s Piano and Cello Sonatas #音乐信息检索 #音频理解 #信号处理 ✅ 评分：7.8/10 | arxiv 👥 作者与机构 第一作者（推断）：Ignasi Sole (ignasiphd@gmail.com) （推断为独立研究者或博士生，论文未明确标注所属机构） 通讯作者（推断）：Ignasi Sole (ignasiphd@gmail.com) 其他作者：Jordi Altayó（KTH皇家理工学院，VLSI设计博士研究员，协议合作开发者） 💡 毒舌点评 这篇论文的亮点在于，当高大上的AI算法在“老破小”的历史录音面前集体翻车时，作者没有硬着头皮调参，而是非常务实地回归了“人肉计算”，并且把这个手动过程包装得极其严谨、透明，甚至比很多黑箱算法还让人信服。槽点则是，在2026年还在主推一个耗时数百小时的手动计时协议，这方法论“复古”得让人梦回上世纪，可扩展性基本为零，堪称音乐分析领域的“手工匠人精神”展演。 🔗 开源详情 代码：是。Python代码（用于生成山脊图）和MATLAB代码（用于生成直方图）已在GitHub公开。地址：https://github.com/isolepinas/PhD-Appendix/tree/main/Tempo%20Dataset （论文中提及）。 模型权重：不适用，本文非机器学习模型。 数据集：是。完整的BPM数据集（包含累积时间戳、小节时长、计算出的BPM值）已在上述GitHub仓库公开。涵盖贝多芬五首钢琴与大提琴奏鸣曲的100多份录音。 预训练权重：不适用。 在线Demo：未提及。 论文中引用的开源项目：Sonic Visualizer, MUsanim (Music Animation Machine toolkit), Seaborn, Matplotlib, Pandas。 📌 核心摘要 本文旨在解决现有自动化节拍提取工具在分析历史复调室内乐录音（特别是贝多芬钢琴与大提琴奏鸣曲）时出现的系统性失败问题。作者与一名VLSI工程师合作，设计并验证了一套形式化的手动逐小节速度测量协议。该协议采用累积时间戳架构，使用数字秒表的圈速功能记录每个小节结束的累积时间，从而计算小节时长与瞬时BPM。其核心优势在于防止误差累积、允许内部自验证（所有小节时长之和必须等于总时长），并能精确捕捉自由速度、延长记号等表情性节奏变化。作者将该协议应用于1930年至2012年间超过100份录音，生成了公开的BPM数据集，并开发了包含tempograph、直方图、山脊图等多类型可视化工具套件。研究表明，在特定条件下，经过严谨设计和误差量化的人工标注方法，其可靠性和对音乐表现力的捕捉能力优于失效的自动化工具。该论文的主要贡献是方法论上的，为处理类似“困难”录音语料提供了可复现的解决方案。 🏗️ 模型架构 本文的核心并非一个计算模型，而是一套手动数据收集与处理协议。其整体架构（流程）如下： 输入：历史复调室内乐录音（音频文件）及对应乐谱。 核心测量流程： 工具：具备CSV导出功能的数字秒表应用（圈速计时器）。 操作：注释者跟随录音，在乐谱上标记的每个小节线处按下“圈速”按钮。 数据记录：秒表记录下从乐章开始到每个小节结束的累积时间戳（T_i），而非独立的小节时长。 数据处理与计算： 将累积时间戳导入电子表格（如Google Sheets）。 核心计算： 小节时长：Δt_i = T_i - T_{i-1} （其中 T_0 = 0）。 小节BPM：BPM_i = (n_i * 60) / Δt_i，其中 n_i 是该小节的拍数（来自节拍号）。 内部自验证：检查所有 Δt_i 的总和是否等于最终的累积时间 T_M（即乐章总时长），以此发现漏按或错按。 误差建模：分析人类反应时间（约±0.1秒）对单个BPM值的影响，并通过数学推导证明该误差是随机的、非累积的，且在段落平均中会相互抵消。 输出：每个乐章、每个录音的逐小节BPM数据集，以及基于此的多种可视化图表（tempograph, 直方图, 山脊图等）。 关键设计选择理由： ...

📄 Beyond Transcription: Unified Audio Schema for Perception-Aware AudioLLMs #音频理解 #统一音频模型 #强化学习 #音频大模型 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Linhao Zhang（腾讯微信AI，基础模型技术中心） 通讯作者：推断为 Houfeng Wang（北京大学计算机科学学院，多媒体信息处理国家重点实验室）和 Xiao Zhou（腾讯微信AI，基础模型技术中心），基于资深作者位置及实验室负责人身份。 其他作者： Yuhan Song（北京大学计算机科学学院，多媒体信息处理国家重点实验室） Aiwei Liu（腾讯微信AI，基础模型技术中心） Chuhan Wu（腾讯微信AI，基础模型技术中心） Sijun Zhang（腾讯微信AI，基础模型技术中心） Wei Jia（腾讯微信AI，基础模型技术中心） Yuan Liu（腾讯微信AI，基础模型技术中心） 💡 毒舌点评 亮点：这篇论文精准地抓住了当前音频大模型“高推理、低感知”的痛点，并一针见血地指出病根在于ASR（语音识别）的“填鸭式”教学——只教认字，不教听话。他们提出的“统一音频模式”就像给模型配了一副“助听器”，强制它去听语气、听环境，效果立竿见影。 槽点：方法虽好，但“药方”（训练数据）全靠其他模型“合成”，虽然做了人工验证，但终究是“二手信息”，长期来看可能限制模型感知能力的上限。另外，论文主要在高资源语言（中英文）上验证，对于方言或低资源语言的效果还是个问号。 🔗 开源详情 代码与模型：论文明确声明代码和模型已公开，地址为：https://github.com/Tencent/Unified_Audio_Schema。但截至分析时，该链接的有效性及具体内容（如star数、框架）需进一步核实。 数据集：UAS训练数据是通过自动化流水线从现有数据集合成的，论文未提及是否单独公开该合成后的UAS格式数据集。 预训练权重：基于Qwen2.5-7B构建，但未提及是否单独提供预训练权重。 在线Demo：论文中未提及。 依赖的开源项目：论文中明确引用了多个开源模型和数据集，如Qwen系列模型、StableToken、HiFi-GAN、LibriSpeech、GigaSpeech等。 📌 核心摘要 这篇论文旨在解决当前音频大语言模型（AudioLLMs）在细粒度声学感知任务上表现不佳的核心问题。作者指出，主流的以自动语音识别（ASR）为中心的训练范式，通过将音频映射到纯文本转录，系统性地丢弃了副语言学（如情感、语调）和非语言声学事件信息，导致模型成为“语言巨人，听觉矮子”。为此，他们提出了一种统一音频模式（UAS），这是一种结构化的JSON表示，将音频信息显式分解为“转录”、“副语言学”和“非语言事件”三个部分，从而在训练中保留完整的声学线索。基于UAS，作者构建了可扩展的自动数据生成流水线，并训练了UAS-Audio模型。实验表明，UAS-Audio在MMSU基准的感知任务上取得了**10.9%**的绝对性能提升，同时保持了强大的推理能力，并在多个音频理解与生成基准上达到领先水平。该研究证明了通过结构化监督来丰富训练信号，是提升AudioLLMs综合能力的有效途径。 🏗️ 模型架构 UAS-Audio的整体架构遵循当前主流的连续表示AudioLLM范式，包含四个核心组件，其输入输出流程如下： 输入：原始音频波形。 输出：文本（如转录、问答、结构化UAS）或生成的语音波形。 核心组件与数据流： 音频编码器：使用AuT (Audio Transformer) 作为连续音频编码器。它将原始波形转换为连续的音频表示向量序列。 投影层：一个简单的线性投影层。它将音频编码器输出的向量映射到与大语言模型（LLM）词嵌入空间对齐的维度。这是连接音频与文本模态的关键桥梁。 大语言模型骨干：采用Qwen2.5-7B作为核心推理引擎。它接收来自投影层的音频特征和文本提示的嵌入，进行自回归解码，生成文本响应。在训练的某些阶段，LLM也被扩展以处理离散音频令牌。 语音解码器：基于流匹配（Flow Matching）架构，并配备HiFi-GAN声码器。当需要语音生成时，LLM输出的离散音频令牌（来自StableToken）被送入此解码器，先转换为梅尔频谱图，再合成最终波形。 训练阶段与模块状态： 阶段1：离散令牌对齐：仅训练LLM的嵌入层和输出头，通过ASR和TTS任务，让LLM学会处理离散音频代码，为语音生成做准备。 阶段2：音频LLM适应：冻结LLM和音频编码器，仅训练投影层。使用UAS标注数据进行训练，使模型从一开始就建立对结构化声学信息的理解。 阶段3：全指令调优：解冻除音频编码器外的所有参数。在混合数据（基础音频数据、UAS标注、UAS-QA）上进行多任务训练，综合提升感知、推理和生成能力。 阶段4：GRPO：使用群体相对策略优化（GRPO） 进行强化学习，进一步提升模型性能。 架构选择理由：该设计复用了经过验证的成熟组件（如Qwen2.5、流匹配解码器），创新点不在于模块本身，而在于如何使用UAS数据来训练这些模块，特别是通过阶段2的针对性适应，避免了模型陷入传统的ASR中心表征。 ...