The Muse Benchmark: Probing Music Perception and Auditory Relational Reasoning in Audio LLMs
音乐理解 | 8.5/10
音乐理解 | 8.5/10
音频问答 | 7.5/10
音乐生成 | 7.0/10
模型评估 | 7.0/10
模型评估 | 7.0/10
音频问答 | 6.5/10
音频大模型 | 8.0/10
音频场景理解 | 8.0/10
这篇论文首次系统研究了良性(无害)音频数据微调对音频大模型安全对齐的破坏作用。**要解决的问题**是:用户出于提升模型性能目的进行的常规微调,是否会无意中破坏模型的安全防护?**方法**上,作者提出了一个基于嵌入空间邻近度的过滤框架,从语义、声学及混合维度,选择性地用与有害内容在表示空间上相近的良性
这篇论文旨在解决大型音频语言模型(LALM)中普遍存在的“幻觉”问题(即生成与音频证据不符的内容)缺乏系统性评估工具的难题。为此,作者构建并发布了**HalluAudio**,这是首个大规模、多领域(语音、环境声、音乐)、多任务(二分类、多选、属性验证、开放生成)的人工验证音频幻觉检测基准,包含超过
这篇技术报告全面介绍了Qwen3.5-Omni,一个能够统一理解与生成文本、图像、音频和音视频内容的全模态大语言模型。**要解决的问题**是现有模型在实时交互、跨模态推理和自主智能体行为方面的局限性。**采用的方法**是基于“思考者-说话者”架构,引入了多项关键创新:1)思考者和说话者均采用混合注意
本文旨在解决大型音频语言模型(LALMs)在复杂音频推理任务中能力不足、推理过程不透明的问题。**核心贡献**是提出了一个名为 **Audio-Cogito** 的完全开源解决方案,其核心是一个四阶段的自动化数据构建管道 **Cogito-Pipe**,用于生成高质量、多样化的音频推理链(CoT)数
这篇论文旨在解决大型音频语言模型(LALMs)缺乏显式、高质量推理能力的问题。现有方法要么受限于监督数据的质量,要么使用粗糙的奖励,导致生成的思维链形式良好但缺乏声学依据。作者提出了**Audio-DeepThinker**框架,其核心贡献有三:1)设计了一种**混合推理相似度奖励**,结合LLM评
这篇论文首次系统研究了**良性音频数据微调对音频大模型安全对齐的破坏性影响**。核心问题是:用户出于提升性能的目的,在完全无害的音频数据上微调模型,是否会意外削弱其拒绝有害指令的能力?作者提出了一个**基于嵌入空间邻近性的过滤框架**,通过计算良性音频与有害音频在模型内部或外部参考编码器空间中的距离
本文旨在解决现有语音代理评估基准主要关注被动响应,而忽略其主动感知与干预能力的问题。作者提出了**ProVoice-Bench**,这是首个专门用于评估主动式语音代理的基准测试框架。该框架通过一个包含数字状态构建、场景合成、对话生成、声学模拟和对话组装的多阶段数据合成管道,构建了包含1182个高质量
本文针对音频深度伪造检测模型在真实场景(in-the-wild)中泛化能力差的核心问题,提出了一种名为ICLAD的全新范式。该框架利用音频语言模型(ALM)的上下文学习能力,实现了无需训练的快速适应。其核心是创新的**成对比较推理**策略:在离线阶段,引导ALM为每个样本同时生成“真实”和“伪造”的
本文旨在解决语音语言模型(SLM)中一个根本性矛盾:神经音频编码器以波形重建为目标进行优化,而语言模型以序列预测为目标进行优化,这种目标不匹配导致生成的离散语音令牌熵值高、难以预测。为此,作者提出了LLM-Codec训练框架,在不改变编码器和语言模型架构的前提下,通过引入两个面向语言模型的正则化目标
这篇论文旨在解决语音到语音翻译(S2ST)系统普遍缺失非语言声音(如笑声、哭泣)和情感韵律的问题,这严重限制了跨语言交流的自然度和语用准确性。作者提出了三大贡献:1) 一个**可扩展的表达性数据合成管道**,能自动生成高质量、带情感标注的S2ST训练对,克服了数据稀缺瓶颈;2) **MoVE(混合声
这篇论文旨在解决大型音频语言模型(LALM)在开放生成任务中社会偏见评估不足的问题。现有基准多依赖合成语音和选择题(MCQ),无法捕捉模型在真实交互中自然流露的刻板印象。为此,作者提出了**VIBE**框架,其核心是使用**真实人声录音**输入模型,并通过**开放生成任务**(如故事创作、个性化推荐
本文提出了一种用于多轨音乐源分离的生成式框架,其核心创新在于将分离任务重新定义为**条件离散令牌生成**问题。传统方法直接在时频域估计连续信号,而本文方法首先利用**HCodec**神经音频编解码器将音频波形转换为离散的声学与语义令牌序列。然后,一个基于**Conformer**的条件编码器从混合音