The Muse Benchmark: Probing Music Perception and Auditory Relational Reasoning in Audio LLMs

📄 The Muse Benchmark: Probing Music Perception and Auditory Relational Reasoning in Audio LLMs #音乐理解 #基准测试 #音频大模型 #模型评估 🔥 8.5/10 | 前25% | #音乐理解 | #基准测试 | #音频大模型 #模型评估 学术质量 6.2/7 | 选题价值 1.5/2 | 复现加成 0.7 | 置信度 高 👥 作者与机构 第一作者:Brandon James Carone(纽约大学心理学系,音乐与音频研究实验室) 通讯作者:未说明 作者列表:Brandon James Carone(纽约大学心理学系,音乐与音频研究实验室)、Iran R. Roman(伦敦玛丽女王大学电子电气工程与计算机科学学院,多模态AI中心)、Pablo Ripollés(纽约大学心理学系,音乐与音频研究实验室) 💡 毒舌点评 亮点在于它像一把精准的手术刀,切开了当前音频大模型“音乐理解”的华丽外衣,暴露出它们在真正的音乐关系推理(如转调、节拍感知)面前脆弱不堪的内核。短板则是论文止步于“诊断”而未开出“药方”——它证明了现有范式和提示技巧的局限,但对于如何从根本上构建具备音乐不变性表示的模型,讨论略显不足。 🔗 开源详情 代码:提供了论文中提到的GitHub仓库链接(github.com/brandoncarone/MUSE_music_benchmark),用于评估脚本和任务描述。 模型权重:论文中未提及提供新模型权重,评估的是现有公开模型(Gemini, Qwen, Audio Flamingo 3)。 数据集: 200段音乐刺激已公开,提供了Airtable链接。 人类被试实验数据已公开,提供了OSF存储库链接,并设置了只读访问权限。 Demo:论文中未提及在线演示。 复现材料:提供了刺激制作工具和参数(Logic Pro X,具体设备型号和插件)、完整的评估方法(提示策略、few-shot示例、系统指令的摘要在表A中)以及人类实验的详细流程。 论文中引用的开源项目:评估的模型均为外部开源或公开API项目(Gemini 2.5, Qwen2.5-Omni, Audio Flamingo 3)。使用了PsychoPy进行人类实验。 📌 核心摘要 解决的问题:现有针对音频大语言模型的评测多集中于表层分类任务,无法有效评估其对音乐深层结构(如音高不变性、调性层级、节奏分组)的感知和关系推理能力。 方法核心:构建了名为“MUSE”的音乐理解与结构评估基准,包含10项任务,分为“初级”(基础感知与不变性)和“高级”(需要音乐理论知识的推理)两个层级,并系统性地评估了四个SOTA模型(Gemini Pro/Flash, Qwen2.5-Omni, Audio Flamingo 3)在“独立”和“思维链(CoT)”提示下的表现,同时与200名人类被试进行对比。 新在哪里:与现有基准不同,MUSE的任务设计深深植根于音乐认知科学,旨在探测模型是否真正理解了音乐的“结构”而非仅仅“标签”。它首次对多个前沿模型在关系推理任务上进行了系统性的、与人类对标的横向比较。 主要实验结果:模型表现方差极大,且普遍存在严重缺陷。例如,在旋律形状识别任务中,Qwen2.5-Omni的准确率仅为23.33%,低于25%的随机水平(见表2)。最强模型Gemini Pro在初级任务上接近人类专家(如怪音检测100%),但在高级推理任务(如节拍识别46.67%)上远低于人类专家(73.30%)。CoT提示策略效果不稳定,常带来性能下降。 实际意义:MUSE为评估和推动具备真正音乐理解能力的AI系统提供了一个关键的诊断工具和基准。它明确指出,提升模型能力可能需要从架构和训练范式上突破,而不仅仅是缩放规模或优化提示。 主要局限性:基准测试本身无法指明解决路径。论文揭示了差距,但对于如何设计能学习音乐不变表示的模型,提出的建设性方案有限。此外,人类“专家”样本量较小(N=6),可能影响对比的统计效力。 🏗️ 模型架构 本文并非提出一个新的模型架构,而是对现有音频大语言模型进行系统性评测的框架论文。因此,其核心“架构”是评测系统本身。评测流程如下: ...

2026-04-29 · 更新于 2026-05-20 · 2 min · 307 words

The Singing Voice Conversion Challenge 2025: From Singer Identity Conversion to Singing Style Conversion

📄 The Singing Voice Conversion Challenge 2025: From Singer Identity Conversion to Singing Style Conversion #歌唱语音转换 #基准测试 #数据集 #开源工具 ✅ 7.0/10 | 前50% | #歌唱语音转换 | #基准测试 | #数据集 #开源工具 学术质量 4.5/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者:Lester Phillip Violeta(Nagoya University, Japan) 通讯作者:未说明 作者列表:Lester Phillip Violeta(Nagoya University, Japan),Xueyao Zhang(The Chinese University of Hong Kong, Shenzhen, China),Jiatong Shi(Carnegie Mellon University, USA),Yusuke Yasuda(National Institute of Informatics, Japan),Wen-Chin Huang(Nagoya University, Japan),Zhizheng Wu(The Chinese University of Hong Kong, Shenzhen, China),Tomoki Toda(Nagoya University, Japan) 💡 毒舌点评 这篇论文的核心价值在于清晰地将“歌唱风格转换”确立为一个独立的、系统性的研究基准,并提供了精心设计的任务和评估框架,这对推动领域从单纯的“歌手克隆”向更精细的控制迈进具有导航意义。然而,作为一项挑战赛报告,其主要贡献在于提出问题、组织比赛和总结现有方法的表现,而非提出一个能显著超越现有技术的新模型或算法,论文中也坦承“歌唱风格转换仍然挑战重重”,未能给出引领性的解决方案。 ...

2026-04-29 · 更新于 2026-05-20 · 1 min · 208 words

The Structured Output Benchmark: A Multi-Source Benchmark for Evaluating Structured Output Quality in Large Language Models

📄 The Structured Output Benchmark: A Multi-Source Benchmark for Evaluating Structured Output Quality in Large Language Models #基准测试 #模型评估 #大语言模型 #数据集 #跨模态 ✅ 7.0/10 | 前25% | #基准测试 | #大语言模型 | #模型评估 #数据集 | arxiv 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:Abhinav Kumar Singh(JigsawStack, Inc.) 通讯作者:未说明 作者列表:Abhinav Kumar Singh(JigsawStack, Inc., New Delhi, India),Harsha Vardhan Khurdula(JigsawStack, Inc., San Francisco, CA, USA),Yoeven D Khemlani(JigsawStack, Inc., San Francisco, CA, USA),Vineet Agarwal(JigsawStack, Inc., Durgapur, WB, India) 💡 毒舌点评 这篇论文直击了大模型应用中的一个真实痛点:生成的JSON格式完美但内容胡说八道,并提供了迄今最系统的跨模态评估框架。不过,其“多模态”评估实则是把图像和音频先转成文本再喂给模型,相当于跳过了最关键、最容易出错的视觉和语音理解环节,这使得对多模态大模型的直接评估力度大打折扣。 ...

2026-04-29 · 更新于 2026-05-20 · 2 min · 276 words

Towards Orthographically-Informed Evaluation of Speech Recognition Systems for Indian Languages

📄 Towards Orthographically-Informed Evaluation of Speech Recognition Systems for Indian Languages #语音识别 #基准测试 #大语言模型 #多语言 #低资源 ✅ 7.0/10 | 前25% | #语音识别 | #基准测试 | #大语言模型 #多语言 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Kaushal Santosh Bhogale (印度理工学院马德拉斯分校 AI4Bharat, WSAI) 通讯作者:Mitesh M. Khapra (印度理工学院马德拉斯分校 AI4Bharat, WSAI) 作者列表: Kaushal Santosh Bhogale (印度理工学院马德拉斯分校 AI4Bharat, WSAI) Tahir Javed (印度理工学院马德拉斯分校 AI4Bharat, WSAI) Greeshma Susan John (印度理工学院马德拉斯分校 AI4Bharat, WSAI) Dhruv Rathi (Sarvam AI) Akshayasree Padmanaban (印度理工学院马德拉斯分校 AI4Bharat, WSAI) Niharika Parasa (印度理工学院马德拉斯分校 AI4Bharat, WSAI) Mitesh M. Khapra (印度理工学院马德拉斯分校 AI4Bharat, WSAI) 💡 毒舌点评 亮点:论文直击印度语言ASR评估中“指标失真”这一实际工程痛点,提出了一个系统性的“LLM生成+人工校正”评估框架和OIWER指标,并通过涵盖22种语言的大规模实验验证了其有效性,结果令人信服。短板:其核心方法(用LLM生成变体)属于应用层面的整合创新,且框架的有效性高度依赖LLM对特定语言正字法规则的掌握能力,论文未深入探讨当LLM对某语言知识不足时的失效模式与兜底方案。 ...

2026-04-29 · 更新于 2026-05-20 · 2 min · 399 words

Walking Through Uncertainty: An Empirical Study of Uncertainty Estimation for Audio-Aware Large Language Models

📄 Walking Through Uncertainty: An Empirical Study of Uncertainty Estimation for Audio-Aware Large Language Models #音频大模型 #音频问答 #模型评估 #基准测试 #多模态模型 ✅ 7.5/10 | 前25% | #音频问答 | #模型评估 | #音频大模型 #基准测试 | arxiv 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Chun-Yi Kuan (台湾大学 电信工程研究所) 通讯作者:Hung-yi Lee (台湾大学 电信工程研究所, 台湾大学人工智能卓越研究中心 (AI-CoRE)) 作者列表:Chun-Yi Kuan (台湾大学 电信工程研究所), Wei-Ping Huang (台湾大学 电信工程研究所), Hung-yi Lee (台湾大学 电信工程研究所, 台湾大学人工智能卓越研究中心) 💡 毒舌点评 本文作为首篇系统评估音频大模型不确定性估计的研究,实验设计严谨、结论清晰,填补了重要空白;但其核心创新是将文本大模型领域的成熟方法“搬运”到新领域进行比较,方法论上的突破有限,更像是一个扎实的“开山评测”。 ...

2026-04-29 · 更新于 2026-05-20 · 2 min · 250 words

When Silence Matters: The Impact of Irrelevant Audio on Text Reasoning in Large Audio-Language Models

📄 When Silence Matters: The Impact of Irrelevant Audio on Text Reasoning in Large Audio-Language Models #模型评估 #鲁棒性 #音频大模型 #跨模态 #基准测试 ✅ 7.0/10 | 前50% | #模型评估 | #鲁棒性 | #音频大模型 #跨模态 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Chen-An Li(台湾大学,National Taiwan University, Taipei, Taiwan) 通讯作者:Hung-yi Lee(台湾大学,National Taiwan University, Taipei, Taiwan)[注:根据学术惯例,论文末尾作者排序通常通讯作者靠后,且Hung-yi Lee为知名教授,推断其为通讯作者。] 作者列表:Chen-An Li(台湾大学)、Tzu-Han Lin(台湾大学)、Hung-yi Lee(台湾大学) 💡 毒舌点评 这篇论文像一位严谨的“系统质检员”,它系统性地量化并证实了多模态模型在“心不在焉”(处理无关音频)时确实会“分心”,甚至发现“安静”本身也是一种干扰——这是一个反直觉且重要的发现。然而,它提供的“解决方案”(自我一致性)更像是一个以资源换性能的笨办法,未能指向更优雅、高效的模型架构层面改进,略显乏力。 🔗 开源详情 代码:是。论文明确提供了代码仓库链接:https://github.com/lca0503/AudioInterference。 模���权重:论文中未提及提供新训练的模型权重。实验使用的是已公开发布的模型(Qwen2.5-Omni, Phi-4-Multimodal, Voxtral, DeSTA2.5-Audio)。 数据集:论文中未提及提供新数据集。实验使用的文本基准(GSM8K, ARC-Challenge, MMLU)和音频干扰源(FSD50K)均为公开数据集。 Demo:论文中未提及提供在线演示。 复现材料:论文中未提供训练细节(因未训练模型)。提供了评估所用的代码和依赖的推理工具(vLLM, Transformers),但音频干扰文件(如特定振幅的高斯噪声、静音片段)的具体生成方式未详细说明,需复现者参照文中描述自行生成。 论文中引用的开源项目:列出了vLLM [33] 和 Transformers [34] 作为推理工具。 总结:论文提供了基本的代码复现支持,但未涉及模型训练,因此复现材料集中于评估部分。论文中未提及开源计划(因相关代码已开源)。 📌 核心摘要 要解决什么问题:研究大型音频语言模型在执行纯文本推理任务时,其性能是否会受到输入中不相关音频(如静音、噪声、环境声)的干扰,即跨模态干扰的鲁棒性问题。 方法核心是什么:通过系统性的控制变量实验,在三个标准文本推理基准(GSM8K, ARC-Challenge, MMLU)上,评估多个开源LALMs在不同干扰条件下的准确率和预测稳定性(提出“影响率”指标)。 与已有方法相比新在哪里:不同于以往关注音频与文本冲突或对抗攻击的研究,本文聚焦于更普遍但未被充分研究的“无关音频干扰”场景。核心新发现包括:(1) 即使无语义信息的静音也会显著干扰模型输出;(2) 干扰严重程度与音频时长、振幅和解码温度正相关;(3) 模型大小和架构影响抗干扰能力。 主要实验结果如何: 无关音频普遍降低模型准确率(绝对下降幅度温和,但普遍存在)并显著提高“影响率”(预测改变的比例)。 干扰随音频时长增加、噪声振幅增大而加剧。在30秒静音或噪声下,影响率可达0.15-0.25。 解码温度升高会急剧放大干扰效应,模型输出变得不稳定。 提示(Prompting)缓解效果有限且不稳定;自我一致性(Self-Consistency, 生成8次取众数)能有效降低影响率(如从0.10以上降至0.05左右)并提升准确率,但计算成本增加。 更大模型(如24B参数)通常比小模型更鲁棒,但无一模型完全免疫。 干扰程度在不同任务上有差异,MMLU(多领域知识)比GSM8K(数学)受影响更大。 (关键数据见图2, 图3, 图4及表1, 表2) 实际意义是什么:揭示了LALMs在真实部署场景中的一个关键脆弱性:即使音频流中仅包含静音或背景噪声,也可能损害文本推理性能。这对需要处理连续音频输入的实时多模态系统(如语音助手)的鲁棒性设计提出了警示。 主要局限性是什么:(1) 研究仅发现问题,提出的缓解方法(自我一致性)效率不高;(2) 缺乏从模型架构或融合机制层面提出根本性解决方案;(3) 实验限于文本推理任务,未探索无关音频对其他多模态任务(如音频理解)的影响。 🏗️ 模型架构 论文未提出新模型架构,而是评估现有多个模型。被评估的大型音频语言模型(LALMs)通常共享一个通用的多模态架构,如图1所示,主要包括三个组件: ...

2026-04-29 · 更新于 2026-05-20 · 2 min · 311 words

When Voice Matters: A Controlled Study of Audio LLM Behavior in Clinical Decision-Making

📄 When Voice Matters: A Controlled Study of Audio LLM Behavior in Clinical Decision-Making #模型评估 #音频大模型 #语音合成 #基准测试 #鲁棒性 ✅ 7.0/10 | 前25% | #模型评估 | #基准测试 | #音频大模型 #语音合成 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Zhi Rui Tam(台湾大学,计算机科学与信息工程系) 通讯作者:Yun-Nung Chen(台湾大学,计算机科学与信息工程系;IEEE会员) 作者列表:Zhi Rui Tam(台湾大学,计算机科学与信息工程系)、Yun-Nung Chen(台湾大学,计算机科学与信息工程系) 💡 毒舌点评 亮点:研究设计堪称“控制变量”的典范,用合成语音这把精准的手术刀,切开了音频LLM“听音诊病”时隐藏的严重偏见,尤其是那触目惊心的35%模态偏差,为AI医疗的敲响了警钟。短板:论文在情绪识别部分因模型“五感不全”(识别率极低)而草草收场,未能深究情绪偏见,让这个本该最细腻的维度分析流于表面,如同用一把钝刀去解剖,关键发现后继乏力。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及。论文评估的DeSTA2.5, Qwen2.5-Omni, Gemini, GPT-4o-mini均为外部模型。 数据集:论文公开了其创建的MedVoiceBias数据集的详细统计信息(年龄、性别、情绪各子集的WER、长度、数量)。但未明确说明数据集本身的获取方式(是否以及如何公开)。 Demo:未提及。 复现材料:提供了数据集的详细统计表格,但未提供训练细节、配置、检查点。未说明合成语音的具体参数配置。 论文中引用的开源项目:Common Voice [15], Expresso [16], Sesame-1B [17], Whisper [18], MOSANet+ [19]。 总结:论文中未明确提及开源计划(如GitHub仓库)。数据集本身具备公开价值,但获取渠道未说明。 📌 核心摘要 要解决的问题:研究音频大语言模型(Audio LLM)在临床决策(如手术推荐)中,是否会受到患者语音特征(如年龄、性别、情绪)的影响,从而产生基于声音而非医学证据的偏见,进而可能加剧医疗不平等。 方法核心:构建了受控实验框架。利用高质量TTS模型,将相同的临床文本病例转换为36种不同声音特征(年龄、性别、情绪)的语音,作为音频LLM的输入。将音频输入下的手术推荐率与纯文本输入基线进行对比,以量化语音特征带来的偏见。同时,测试了直接回答和思维链两种提示策略。 与已有方法相比新在哪里:这是首个系统评估音频LLM在临床决策中存在语音偏见的研究。创新在于:a) 聚焦于音频模态引入的新偏见向量,而非传统的文本偏见;b) 创建了专用的、受控的评估数据集MedVoiceBias;c) 揭示了文本与音频模态间存在巨大决策差异(最高达35%),以及年龄偏见在思维链提示下依然顽固存在。 主要实验结果: 模态偏见严重:66.7%的模型在音频输入下的手术推荐率与文本基线存在统计学显著差异。例如,GPT-4o-mini的推荐率从文本的26.5%暴跌至音频的5.3%;DeSTA2.5则从53.9%跃升至88.8%。 年龄偏见持续:在6个模型中,4个在直接回答模式下表现出显著的年龄差异(如Qwen2.5-3B对青年和老年患者的推荐率差达11.8%)。思维链提示非但未能消除,反而使5/6的模型出现显著年龄差异,表明推理过程可能激活了关于年龄的有害启发式。 性别偏见可缓解:思维链提示完全消除了所有模型的性别差异,与年龄偏见形成鲜明对比。 情绪影响难测:由于大多数模型情绪识别准确率极低(<17%),未能可靠检测情绪对决策的影响。仅在少数识别能力强的模型中观察到微弱差异。 模型 文本基线 音频(直接回答) 变化幅度 gpt-4o-mini 26.5% 5.3% -21.2pp (↓80%) gemini-2.0-flash 0.0% 0.6% +0.6pp gemini-2.5-flash 27.6% 31.8% +4.2pp Qwen2.5-Omni-3B 97.6% 75.3% -22.3pp Qwen2.5-Omni-7B 11.2% 20.6% +9.4pp DeSTA2.5 53.9% 88.8% +34.9pp 模型 青年 老年 差异 Qwen2.5-Omni-3B 85.3% 73.5% -11.8pp gemini-2.5-flash 25.3% 17.9% -7.4pp DeSTA2.5 87.6% 90.1% +2.5pp 实际意义:研究发出了强烈警告:音频LLM在当前状态下,因其对副语言特征的敏感性,尚不具备安全部署于临床决策的能力。这要求开发者必须设计偏见感知的架构,并在部署前进行严格评估,以确保决策基于医学证据而非患者的声音。 主要局限性:a) 情绪偏见分析因模型识别能力不足而不可靠;b) 评估仅限于手术推荐这一种决策类型;c) 使用合成语音可能与真实患者语音存在差距;d) 未提供缓解偏见的具体模型架构或训练方案。 🏗️ 模型架构 本文并非提出新模型,而是对现有音频LLM进行偏见评估。因此,其“架构”指代的是评估框架(如图1所示)。 该框架流程如下: ...

2026-04-29 · 更新于 2026-05-20 · 2 min · 381 words

Why Do Speech Language Models Fail to Generate Semantically Coherent Outputs? A Modality Evolving Perspective

📄 Why Do Speech Language Models Fail to Generate Semantically Coherent Outputs? A Modality Evolving Perspective #语音生成 #语音大模型 #模型评估 #零样本 #基准测试 ✅ 7.0/10 | 前25% | #语音生成 | #模型评估 | #语音大模型 #零样本 学术质量 5.5/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者:Hankun Wang(X-LANCE Lab, 上海交通大学计算机科学与技术学院) 通讯作者:Kai Yu(X-LANCE Lab, 上海交通大学计算机科学与技术学院) 作者列表:Hankun Wang(X-LANCE Lab, 上海交通大学), Haoran Wang(X-LANCE Lab, 上海交通大学), Yiwei Guo(X-LANCE Lab, 上海交通大学), Zhihan Li(X-LANCE Lab, 上海交通大学), Chenpeng Du(X-LANCE Lab, 上海交通大学), Kai Yu(X-LANCE Lab, 上海交通大学) 💡 毒舌点评 本文像一份详尽的“体检报告”,精准诊断出端到端语音大模型“语义表达不畅”的三大病根:音素编码不语义、序列太长、口音情绪太杂乱,并证明后两者影响远大于第一个。然而,光有诊断没有药方,论文止步于“未来可从短序列和强监督入手”的开放式建议,对于急需突破的社区而言,这记重拳打在了空气里。 ...

2026-04-29 · 更新于 2026-05-20 · 2 min · 258 words

语音/音频论文速递 2026-04-29

语音/音频论文速递 2026-04-29 共分析 29 篇论文 ⚡ 今日概览 📥 抓取 29 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #基准测试 4篇 ████ #多模态模型 3篇 ███ #语音情感识别 3篇 ███ #语音识别 3篇 ███ #语音对话系统 2篇 ██ #音乐生成 2篇 ██ #生成模型 1篇 █ #频谱测绘 1篇 █ 📊 论文评分排行榜(28 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 Cutscene Agent: An LLM Agent Framework for Automated 3D 8.5分 前25% #生成模型 🥈 Accelerating Regularized Attention Kernel Regression fo 8.5分 前25% #频谱测绘 🥉 Nemotron 3 Nano Omni: Efficient and Open Multimodal Int 8.5分 前25% #多模态模型 4. Step-Audio-R1.5 Technical Report 8.0分 前25% #语音对话系统 5. Praxy Voice: Voice-Prompt Recovery + BUPS for Commercia 8.0分 前25% #语音合成 6. ML-SAN: Multi-Level Speaker-Adaptive Network for Emotio 8.0分 前25% #语音情感识别 7. Unrequited Emotions: Investigating the Gaps in Motivati 8.0分 前25% #语音情感识别 8. UNet-Based Fusion and Exponential Moving Average Adapta 7.5分 前25% #说话人验证 9. Walking Through Uncertainty: An Empirical Study of Unce 7.5分 前25% #音频问答 10. ASAP: An Azimuth-Priority Strip-Based Search Approach t 7.5分 前25% #声源定位 11. Mutual Forcing: Dual-Mode Self-Evolution for Fast Autor 7.5分 前25% #音频生成 12. SymphonyGen: 3D Hierarchical Orchestral Generation with 7.5分 前25% #音乐生成 13. PSP: An Interpretable Per-Dimension Accent Benchmark fo 7.5分 前25% #基准测试 14. RAS: a Reliability Oriented Metric for Automatic Speech 7.5分 前25% #语音识别 15. Robust Accent Identification via Voice Conversion and N 7.5分 前25% #语音识别 16. Independent-Component-Based Encoding Models of Brain Ac 7.5分 前25% #神经编码 17. Beyond Isolated Utterances: Cue-Guided Interaction for 7.5分 前25% #多模态模型 18. Mitigating Shared-Private Branch Imbalance via Dual-Bra 7.5分 前25% #多模态模型 19. MMEB-V3: Measuring the Performance Gaps of Omni-Modalit 7.5分 前25% #基准测试 20. Human-1 by Josh Talks: A Full-Duplex Conversational Mod 7.5分 前50% #语音对话系统 21. ClawMark: A Living-World Benchmark for Multi-Turn, Mult 7.0分 前25% #基准测试 22. The Structured Output Benchmark: A Multi-Source Benchma 7.0分 前25% #基准测试 23. WhisperPipe: A Resource-Efficient Streaming Architectur 6.5分 前50% #语音识别 24. S-SONDO: Self-Supervised Knowledge Distillation for Gen 6.5分 前25% #音频分类 25. Monitoring exposure-length variations in submarine powe 6.5分 前50% #音频事件检测 26. Generative UI as an Accessibility Bridge: Lessons from 6.5分 前50% #无障碍 27. Korean aegyo speech shows systematic F1 increase to sig 6.0分 前50% #语音情感识别 28. Huí Sù: Co-constructing a Dual Feedback Apparatus 5.5分 后50% #音乐生成 29 Cross-Linguistic Rhythmic and Spectral Feature-Based An N/A - - 📋 论文列表 🥇 Cutscene Agent: An LLM Agent Framework for Automated 3D Cutscene Generation 🔥 8.5/10 | 前25% | #生成模型 | #大语言模型 | #多模态 #模型评估 | arxiv ...

2026-04-29 · 更新于 2026-05-20 · 19 min · 3856 words

Listening with Time: Precise Temporal Awareness for Long-Form Audio Understanding

📄 Listening with Time: Precise Temporal Awareness for Long-Form Audio Understanding #音频场景理解 #音频问答 #强化学习 #数据集 #基准测试 🔥 8.0/10 | 前25% | #音频场景理解 | #强化学习 | #音频问答 #数据集 | arxiv 学术质量 7.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Mingchen Shao (西北工业大学,Xi’an, China) 通讯作者:未说明(论文未明确指定通讯作者) 作者列表: Mingchen Shao (西北工业大学) Hang Su (独立研究者,北京) Wenjie Tian (西北工业大学) Bingshen Mu (西北工业大学) Zhennan Lin (西北工业大学) Lichun Fan (独立研究者,北京) Zhenbo Luo (独立研究者,北京) Jian Luan (独立研究者,北京) Lei Xie (西北工业大学) 💡 毒舌点评 亮点:这篇论文非常“全套”,从数据集、评测基准到训练框架一气呵成,直面长音频时间感知的核心痛点(时间幻觉与漂移),并用全局到局部推理范式+TWA-CoT的“工具使用”方案给出了一个结构清晰、实验充分的解决方案。短板:其提出的TWA-CoT依赖多轮工具调用,论文自身也承认这会增加计算开销,牺牲了实时性,这在一定程度上限制了其在流式或资源受限场景下的实用价值。 ...

2026-04-28 · 更新于 2026-05-20 · 2 min · 368 words