音频大模型

📄 Prosody-driven Jailbreaks in Audio LLMs: A Controlled Study and Mechanistic Analysis 标签：#音频交互 #提示学习 #音频大模型 #音频理解 #Transformer 7.0/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1.2/1.5 ✅ 7.0/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音频交互 | #提示学习 | #音频大模型 #音频理解 | arxiv 👥 作者与机构 第一作者：Jiachen Qian（City University of Hong Kong） 第二作者：Junyu Li（City University of Hong Kong (Dongguan)） 通讯作者：未说明 其他作者信息：无 💡 毒舌点评 这篇论文用一个干净利落的受控实验，把音频LLM安全评测中“文本和语音传递混为一谈”的致命问题拎了出来——固定有害文本，只靠变韵律就能让越狱成功率从4%飙到40%，这个insight足够让只会做文本红队的人冒冷汗。但很可惜，作者为了“防滥用”把整个数据集和代码藏得严严实实，读者只能靠一份“食谱”自己在家复刻，而这“食谱”又深度绑定Azure TTS和特定的说话人预设，换个TTS引擎效果还剩多少完全靠猜。此外，机理分析虽然画了漂亮的“拒绝方向”箭头，但更像是给现象贴了个几何外观的标签，离真正的因果解释还隔着好几层。 ...

📄 Summary of DCASE 2026 Task 5: Audio-Dependent Question Answering 标签：#音频理解 #基准测试 #音频大模型 #模型评估 #数据集 5.4/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 0.9/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 0.8/1.5 📝 5.4/10 | 后50% | 文档类型：数据集与基准 | 评分置信度：高 | #音频理解 | #音频大模型 | #基准测试 #模型评估 | arxiv 👥 作者与机构 第一作者：未说明 通讯作者：未说明 作者列表：Haolin He（未说明）、Renhe Sun（未说明）、Zheqi Dai（未说明）、Xingjian Du（未说明）、Chunyu Wu（未说明）、Zining Liang（未说明）、Zhengxi Liu（未说明）、Jiahe Lei（未说明）、Runbang Wang（未说明）、Jiayi Zhou（未说明）、Mingru Yang（未说明）、Xiquan Li（未说明）、Yun Chen（未说明）、Xie Chen（未说明）、Zhiyao Duan（University of Rochester）、Weiqiang Wang（未说明）、Mark D. Plumbley（University of Surrey）、Jian Liu（未说明）、Qiuqiang Kong（未说明） 💡 毒舌点评 这篇比赛总结报告最大的亮点在于它直击了当前音频大模型评测的核心痛点——用精心设计的四阶段过滤流水线构建了一个“防作弊”的基准（ADQA-Bench），并通过大量参赛系统验证了其区分度。然而，其短板也同样明显：作为一篇基准论文，它对评估基准本身（如ADQA-Bench）的构建细节、标注质量控制、以及评估集本身的开源程度语焉不详，严重限制了社区的复用和深度验证。更关键的是，它没有提供任何反证实验来证明其ADQA-Bench确实比未经此过滤的基准更有效，使得其核心主张的验证存在一个逻辑闭环的缺失。 ...

📄 An Audio Language Model-Based Voice Concept Bottleneck Framework for Interpretable Health Assessment 标签：#语音质量评估 #音频大模型 #参数高效微调 #可解释性 #音频理解 6.2/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.2/10 | 前50% | 文档类型：应用研究 | 评分置信度：高 | #语音质量评估 | #音频大模型 | #参数高效微调 #可解释性 | arxiv 👥 作者与机构 第一作者：Yu-Wen Chen（Columbia University） 通讯作者：未说明 作者列表：Yu-Wen Chen（Columbia University）， Julia Hirschberg（Columbia University） 💡 毒舌点评 本文在将ALM改造为可解释的概念提取器上展现了清晰的工程思路，但其核心主张——框架的“灵活性”和“有效性”——被局限在两个样本量极小的数据集上进行验证。论文的雄心与支撑其结论的证据强度之间存在巨大鸿沟，使得其结果更像是一个有前景的原型演示，而非一个经过严格检验、可信赖的解决方案。 ...

📄 SALMONN-2: Advancing General-Purpose Hearing Abilities with Self-Supervised Representations 标签：#音频理解 #音频大模型 #自监督学习 #多模态模型 #Transformer 9.4/10 | 创新 1.7/2 | 严谨 1.4/1.5 | 实验 1.4/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 🔥 9.4/10 | 前10% | 文档类型：模型报告 | 评分置信度：高 | #音频理解 | #音频大模型 | #自监督学习 #多模态模型 | arxiv 👥 作者与机构 共同第一作者：Xiaoyu Yang（University of Cambridge）与 Xuenan Xu（Shanghai AI Laboratory），两人贡献相同。 通讯作者：Chao Zhang（Shanghai AI Laboratory / Tsinghua University） 作者列表：Xiaoyu Yang（University of Cambridge）、Xuenan Xu（Shanghai AI Laboratory）、Wenyi Yu（Tsinghua University）、Siyin Wang（Tsinghua University）、Changli Tang（Tsinghua University）、Terumi Chiba（Tsinghua University）、Siyuan Hou（Tsinghua University）、Ziyang Zhang（Tsinghua University）、Wen Wu（Shanghai AI Laboratory）、Baoxiang Li（Shanghai AI Laboratory）、Guangzhi Sun（University of Cambridge）、Chao Zhang（Shanghai AI Laboratory / Tsinghua University）、Philip Woodland（University of Cambridge） 💡 毒舌点评 论文的亮点在于用单个统一的自监督编码器（SPEAR）替代了繁琐的多编码器设计，并用精心设计的MLF适配器和MICL训练策略，在数据效率上取得了令人印象深刻的SOTA结果，工程思路清晰。但短板也很明显：尽管展示了MICL能力，但探索的任务类型仍然局限于相对传统的音频理解任务，对更开放的生成或交互场景着墨不多，这使得其“通用听力”的雄心打了折扣。 ...

📄 Large Audio Language Models for Spoofing-Aware Speaker Verification 标签：#音频大模型 #语音伪造检测 #参数高效微调 #多任务学习 #音频理解 6.2/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.2/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #语音伪造检测 | #音频大模型 | #参数高效微调 #多任务学习 | arxiv 👥 作者与机构 第一作者：Sofya Savelyeva（Applied AI Institute） 通讯作者：Dmitrii Korzh（AXXX， MTUCI） 作者列表：Sofya Savelyeva（Applied AI Institute）、Mariia Perunova（MIRAI）、Evgeny Kushnir（AXXX， HSE； Applied AI Institute）、Artem Dvirniak（MIRAI）、Dmitrii Korzh（AXXX， MTUCI）、Oleg Y. Rogov（AXXX， Applied AI Institute； MTUCI） 💡 毒舌点评 本文首次将大型音频语言模型系统性地引入欺骗感知说话人验证（SASV）这一重要安全领域，框架设计周密，实验消融详实，展示了通过组合多项损失和训练策略来平衡ASV与CM任务的有效路径。然而，论文在影响力上稍显克制——尽管在受控协议下取得了有竞争力的结果，但未与当前最优的强基线在官方基准上进行直接对比，且全部闭源，使得其宣称的“有前景的基石”难以被社区快速验证和跟进。此外，对模型生成推理链质量的“可解释性”声称，因缺乏系统的人类评估而略显空洞。 ...

📄 Auditing Protocol-Level Shortcuts in Large Audio Language Model Judges for Speech Evaluation 标签：#语音质量评估 #音频大模型 #模型评估 #可解释性 #音频理解 8.2/10 | 创新 1.8/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.3/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 🔥 8.2/10 | 前25% | 文档类型：系统技术报告 | 评分置信度：高 | #语音质量评估 | #音频大模型 | #模型评估 #可解释性 | arxiv 👥 作者与机构 第一作者：Joonyong Park（东京大学工学系研究科） 通讯作者：未说明 作者列表：Joonyong Park（东京大学工学系研究科）、David M. Chan（未说明）、Yuki Saito（东京大学工学系研究科）、Hiroshi Saruwatari（东京大学工学系研究科） 💡 毒舌点评 本文精准地刺中了LALM-as-a-judge范式中一个被严重忽视的要害：评估协议本身可能就是最大的“作弊器”。其方法论上的亮点在于，将审计从“模型是否偷懒”提升到“协议是否诱导偷懒”的层面，并设计了针对蓝图、参考、成对比较三种典型协议的成套反事实探针。实验规模扎实，跨模型、跨属性、跨协议的系统性比较令人信服地揭示了“协议级”与“能力依赖”两类快捷方式。然而，本文最大的短板在于“只破不立”。它出色地诊断了病症，但开出的药方（如谨慎选择协议）过于笼统，缺乏对协议设计、提示工程或模型训练的具体、可操作的改进方案。这使得其贡献更像是一份给社区的“风险预警报告”，而非一套“免疫增强方案”，工程落地价值因此大打折扣。 ...

📄 Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models 标签：#音频生成 #指令微调 #音频大模型 #音频理解 #Transformer 7.2/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.2/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音频生成 | #指令微调 | #音频大模型 #音频理解 | arxiv 👥 作者与机构 第一作者：Chun-Yi Kuan（台湾大学） 通讯作者：Chun-Yi Kuan（论文中标注了联系邮箱） 作者列表：Chun-Yi Kuan（台湾大学、亚马逊实习期间完成）、Siwon Kim（亚马逊）、Byeonggeun Kim（亚马逊）、Suyoun Kim（亚马逊）、Bo-Ru Lu（亚马逊）、Qingming Tang（亚马逊）、Ankur Gandhe（亚马逊）、Hung-yi Lee（台湾大学）、Chieh-Chi Kao（亚马逊）、Chao Wang（亚马逊） 💡 毒舌点评 论文直击了当前文本到音频生成模型在遵循复杂多事件时序指令时“力不从心”的痛点，利用ALLM作为细粒度裁判来构建偏好数据的思路清晰且实验效果显著，为改善指令遵循能力提供了一条有潜力的新路径。然而，整个框架的成败高度悬于所选ALLM裁判的准确性与推理成本，使其在追求极致可控性的工业场景中“看起来很美”但“用起来肉疼”。论文未能提出一种低成本的替代验证或蒸馏方案来缓解对庞大ALLM的依赖，这极大地限制了其方法的实际可扩展性和落地前景。此外，对时序关系的评估仅限于事件起始顺序的简单排序，回避了对重叠、持续时间等更复杂时序关系的探讨，使得其“时序正确性”的声明在更广泛的意义上略显单薄。 ...

📄 BackgroundMellow: A Multi-Modal Cohesive Framework for Narrative-Driven Rich Cinematic Soundscape Generation 标签：#音频生成 #多模态模型 #音频大模型 #音频理解 #Transformer 7.4/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 7.4/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音频生成 | #多模态模型 | #音频大模型 #音频理解 | arxiv 👥 作者与机构 第一作者：Ajitesh Jamulkar（印度理工学院卡拉格普尔分校计算机科学与工程系） 通讯作者：未说明 作者列表：Ajitesh Jamulkar（印度理工学院卡拉格普尔分校计算机科学与工程系）、Aritra Hazra（印度理工学院卡拉格普尔分校计算机科学与工程系） 💡 毒舌点评 本文将复杂的叙事音效生成拆解为可控的编排与混合问题，其“化整为零”的工程思路清晰且有价值，利用专业配乐库检索也比从零生成更务实。然而，其核心实验支撑过于单薄：所有评估均建立在作者自建的、仅包含约100个电影预告片的小型数据集及其衍生的两个新颖指标上，缺乏与通用基准或人工主观评价的对照。论文在“电影级”效果的声明上显得过于自信，尤其是其关键组件DSPred的训练数据与细节模糊不清，可复现性堪忧。这更像是一份展示了有趣想法的概念验证系统报告，而非一项经过严格验证的研究成果。 📌 核心摘要 本文旨在解决从长篇叙事文本生成多音轨、时间对齐的电影级音效这一难题。作者指出，现有端到端文本到音频（TTA）模型在生成孤立音效上表现良好，但在处理复杂叙事所需的多元素混合、时间同步与情感深度上存在根本困难，常导致声音浑浊、相位抵消等问题。为此，论文提出了BackgroundMellow框架，其核心思想是将问题重构为一个“编排与数字信号处理（DSP）”问题。框架采用主-从（Master-Specialist）代理架构：主代理（LLM）将故事分解为包含音频类型、时间戳、音量等参数的“音频提示”清单；然后将任务分发给不同的“专家”生成器（如Tango2用于环境音，一个基于专业配乐库的新设计检索器用于电影配乐）。为实现精确的时间对齐，论文提出了一个关键组件——微调后的“数字声音预测器”（DSPred），并结合语义自适应混合策略，将各音轨锚定到由TTS生成并经ASR转录的叙述主时间线上。此外，论文提出了一种基于最近邻检索的评估方法，利用一个自建的约100个电影预告片构成的数据集，计算语义召回率（YT Coverage）和时间交并比（IoU，YT Sync）作为客观指标。实验通过消融研究证明了框架各组件的有效性，并与零样本单体模型（Tango2, AudioLDM2）对比，展示了其在声谱平坦度、动态范围、音频起始点等指标上的优势。主要局限性包括：评估基准（电影预告片）与生成目标（叙事文本音效）存在显著领域差异；核心组件DSPred的训练数据、具体网络结构与训练细节不透明；实验规模小（约40个故事），且缺乏与专业音效工程师或更广泛基准的深入对比。 ...

📄 Encoder-Side Neuron Identification and Amplification for Acoustic Perception in Large Audio-Language Models 标签：#音频大模型 #可解释性 #音频理解 #Transformer #模型评估 6.4/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.7/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 0.6/1.5 ✅ 6.4/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音频理解 | #音频大模型 | #可解释性 #Transformer | arxiv 👥 作者与机构 第一作者：Yu-Han Huang 通讯作者：论文未明确标注 作者列表：Yu-Han Huang (1,4), Chih-Kai Yang (2,), Ke-Han Lu (2,), An-Yu Cheng (1,), Hung-yi Lee (3)。其中()表示同等贡献。论文在致谢部分提到工作得到台湾大学（NTU）人工智能卓越研究中心（NTU AI-CoRE）的支持，并感谢ASUS-OCIS的人员，由此推断作者可能与台湾大学及台湾地区高校相关。 💡 毒舌点评 这篇论文像一个精准的外科手术：在错误的地方（解码器/LM侧）做再多干预也无济于事，而在正确的地点（编码器内部）用细小的银针（神经元级放大）却能取得奇效。其核心洞察——编码器是声学信息的源头，且特定神经元承载关键信号——简洁有力，实验结果也极具说服力。然而，其“手术”后的评估（仅限多选题）过于单一，让人怀疑这剂猛药是否真的提升了模型的“听力”，还是仅仅让它在特定考试中作弊。更糟的是，手术方法（代码、数据、模型权重）完全不公开，让其他医生无法验证或复现这台精巧的手术。 ...

📄 Dual-BEATs: Unlocking Zero-Shot Stereo Audio Perception in Audio Large Language Models via Dithering 标签：#Transformer #多模态模型 #空间音频 #音频大模型 #参数高效微调 7.1/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #多模态模型 | #Transformer | #空间音频 #音频大模型 | arxiv 👥 作者与机构 第一作者：Shuo-Chun Lin（中央研究院信息科学研究所，台湾） 通讯作者：Hen-Hsen Huang（中央研究院信息科学研究所，台湾） 作者列表：Shuo-Chun Lin（中央研究院信息科学研究所，台湾）、Hen-Hsen Huang（中央研究院信息科学研究所，台湾） 💡 毒舌点评 论文提出“抖动噪声作为随机共振桥”来绕过大语言模型标准化层对立体声音频几何信息的压缩，想法新颖，实验在合成数据上的结果也确实令人印象深刻。然而，整个工作建立在极其简化的声像定位场景（单音源、无HRTF、仅振幅差异）之上，其声称的“零样本泛化”也仅限于振幅的不同值，距离解决真实世界的空间音频理解问题还有相当距离，更像是一篇方法验证的原理证明。 ...