Walking Through Uncertainty: An Empirical Study of Uncertainty Estimation for Audio-Aware Large Language Models

📄 Walking Through Uncertainty: An Empirical Study of Uncertainty Estimation for Audio-Aware Large Language Models #音频大模型 #音频问答 #模型评估 #基准测试 #多模态模型 ✅ 7.5/10 | 前25% | #音频问答 | #模型评估 | #音频大模型 #基准测试 | arxiv 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Chun-Yi Kuan (台湾大学 电信工程研究所) 通讯作者:Hung-yi Lee (台湾大学 电信工程研究所, 台湾大学人工智能卓越研究中心 (AI-CoRE)) 作者列表:Chun-Yi Kuan (台湾大学 电信工程研究所), Wei-Ping Huang (台湾大学 电信工程研究所), Hung-yi Lee (台湾大学 电信工程研究所, 台湾大学人工智能卓越研究中心) 💡 毒舌点评 本文作为首篇系统评估音频大模型不确定性估计的研究,实验设计严谨、结论清晰,填补了重要空白;但其核心创新是将文本大模型领域的成熟方法“搬运”到新领域进行比较,方法论上的突破有限,更像是一个扎实的“开山评测”。 ...

2026-04-29 · 更新于 2026-07-29 · 2 min · 250 words

When Silence Matters: The Impact of Irrelevant Audio on Text Reasoning in Large Audio-Language Models

📄 When Silence Matters: The Impact of Irrelevant Audio on Text Reasoning in Large Audio-Language Models #模型评估 #鲁棒性 #音频大模型 #跨模态 #基准测试 ✅ 7.0/10 | 前50% | #模型评估 | #鲁棒性 | #音频大模型 #跨模态 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Chen-An Li(台湾大学,National Taiwan University, Taipei, Taiwan) 通讯作者:Hung-yi Lee(台湾大学,National Taiwan University, Taipei, Taiwan)[注:根据学术惯例,论文末尾作者排序通常通讯作者靠后,且Hung-yi Lee为知名教授,推断其为通讯作者。] 作者列表:Chen-An Li(台湾大学)、Tzu-Han Lin(台湾大学)、Hung-yi Lee(台湾大学) 💡 毒舌点评 这篇论文像一位严谨的“系统质检员”,它系统性地量化并证实了多模态模型在“心不在焉”(处理无关音频)时确实会“分心”,甚至发现“安静”本身也是一种干扰——这是一个反直觉且重要的发现。然而,它提供的“解决方案”(自我一致性)更像是一个以资源换性能的笨办法,未能指向更优雅、高效的模型架构层面改进,略显乏力。 🔗 开源详情 代码:是。论文明确提供了代码仓库链接:https://github.com/lca0503/AudioInterference。 模���权重:论文中未提及提供新训练的模型权重。实验使用的是已公开发布的模型(Qwen2.5-Omni, Phi-4-Multimodal, Voxtral, DeSTA2.5-Audio)。 数据集:论文中未提及提供新数据集。实验使用的文本基准(GSM8K, ARC-Challenge, MMLU)和音频干扰源(FSD50K)均为公开数据集。 Demo:论文中未提及提供在线演示。 复现材料:论文中未提供训练细节(因未训练模型)。提供了评估所用的代码和依赖的推理工具(vLLM, Transformers),但音频干扰文件(如特定振幅的高斯噪声、静音片段)的具体生成方式未详细说明,需复现者参照文中描述自行生成。 论文中引用的开源项目:列出了vLLM [33] 和 Transformers [34] 作为推理工具。 总结:论文提供了基本的代码复现支持,但未涉及模型训练,因此复现材料集中于评估部分。论文中未提及开源计划(因相关代码已开源)。 📌 核心摘要 要解决什么问题:研究大型音频语言模型在执行纯文本推理任务时,其性能是否会受到输入中不相关音频(如静音、噪声、环境声)的干扰,即跨模态干扰的鲁棒性问题。 方法核心是什么:通过系统性的控制变量实验,在三个标准文本推理基准(GSM8K, ARC-Challenge, MMLU)上,评估多个开源LALMs在不同干扰条件下的准确率和预测稳定性(提出“影响率”指标)。 与已有方法相比新在哪里:不同于以往关注音频与文本冲突或对抗攻击的研究,本文聚焦于更普遍但未被充分研究的“无关音频干扰”场景。核心新发现包括:(1) 即使无语义信息的静音也会显著干扰模型输出;(2) 干扰严重程度与音频时长、振幅和解码温度正相关;(3) 模型大小和架构影响抗干扰能力。 主要实验结果如何: 无关音频普遍降低模型准确率(绝对下降幅度温和,但普遍存在)并显著提高“影响率”(预测改变的比例)。 干扰随音频时长增加、噪声振幅增大而加剧。在30秒静音或噪声下,影响率可达0.15-0.25。 解码温度升高会急剧放大干扰效应,模型输出变得不稳定。 提示(Prompting)缓解效果有限且不稳定;自我一致性(Self-Consistency, 生成8次取众数)能有效降低影响率(如从0.10以上降至0.05左右)并提升准确率,但计算成本增加。 更大模型(如24B参数)通常比小模型更鲁棒,但无一模型完全免疫。 干扰程度在不同任务上有差异,MMLU(多领域知识)比GSM8K(数学)受影响更大。 (关键数据见图2, 图3, 图4及表1, 表2) 实际意义是什么:揭示了LALMs在真实部署场景中的一个关键脆弱性:即使音频流中仅包含静音或背景噪声,也可能损害文本推理性能。这对需要处理连续音频输入的实时多模态系统(如语音助手)的鲁棒性设计提出了警示。 主要局限性是什么:(1) 研究仅发现问题,提出的缓解方法(自我一致性)效率不高;(2) 缺乏从模型架构或融合机制层面提出根本性解决方案;(3) 实验限于文本推理任务,未探索无关音频对其他多模态任务(如音频理解)的影响。 🏗️ 模型架构 论文未提出新模型架构,而是评估现有多个模型。被评估的大型音频语言模型(LALMs)通常共享一个通用的多模态架构,如图1所示,主要包括三个组件: ...

2026-04-29 · 更新于 2026-07-29 · 2 min · 311 words

When Voice Matters: A Controlled Study of Audio LLM Behavior in Clinical Decision-Making

📄 When Voice Matters: A Controlled Study of Audio LLM Behavior in Clinical Decision-Making #模型评估 #音频大模型 #语音合成 #基准测试 #鲁棒性 ✅ 7.0/10 | 前25% | #模型评估 | #基准测试 | #音频大模型 #语音合成 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Zhi Rui Tam(台湾大学,计算机科学与信息工程系) 通讯作者:Yun-Nung Chen(台湾大学,计算机科学与信息工程系;IEEE会员) 作者列表:Zhi Rui Tam(台湾大学,计算机科学与信息工程系)、Yun-Nung Chen(台湾大学,计算机科学与信息工程系) 💡 毒舌点评 亮点:研究设计堪称“控制变量”的典范,用合成语音这把精准的手术刀,切开了音频LLM“听音诊病”时隐藏的严重偏见,尤其是那触目惊心的35%模态偏差,为AI医疗的敲响了警钟。短板:论文在情绪识别部分因模型“五感不全”(识别率极低)而草草收场,未能深究情绪偏见,让这个本该最细腻的维度分析流于表面,如同用一把钝刀去解剖,关键发现后继乏力。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及。论文评估的DeSTA2.5, Qwen2.5-Omni, Gemini, GPT-4o-mini均为外部模型。 数据集:论文公开了其创建的MedVoiceBias数据集的详细统计信息(年龄、性别、情绪各子集的WER、长度、数量)。但未明确说明数据集本身的获取方式(是否以及如何公开)。 Demo:未提及。 复现材料:提供了数据集的详细统计表格,但未提供训练细节、配置、检查点。未说明合成语音的具体参数配置。 论文中引用的开源项目:Common Voice [15], Expresso [16], Sesame-1B [17], Whisper [18], MOSANet+ [19]。 总结:论文中未明确提及开源计划(如GitHub仓库)。数据集本身具备公开价值,但获取渠道未说明。 📌 核心摘要 要解决的问题:研究音频大语言模型(Audio LLM)在临床决策(如手术推荐)中,是否会受到患者语音特征(如年龄、性别、情绪)的影响,从而产生基于声音而非医学证据的偏见,进而可能加剧医疗不平等。 方法核心:构建了受控实验框架。利用高质量TTS模型,将相同的临床文本病例转换为36种不同声音特征(年龄、性别、情绪)的语音,作为音频LLM的输入。将音频输入下的手术推荐率与纯文本输入基线进行对比,以量化语音特征带来的偏见。同时,测试了直接回答和思维链两种提示策略。 与已有方法相比新在哪里:这是首个系统评估音频LLM在临床决策中存在语音偏见的研究。创新在于:a) 聚焦于音频模态引入的新偏见向量,而非传统的文本偏见;b) 创建了专用的、受控的评估数据集MedVoiceBias;c) 揭示了文本与音频模态间存在巨大决策差异(最高达35%),以及年龄偏见在思维链提示下依然顽固存在。 主要实验结果: 模态偏见严重:66.7%的模型在音频输入下的手术推荐率与文本基线存在统计学显著差异。例如,GPT-4o-mini的推荐率从文本的26.5%暴跌至音频的5.3%;DeSTA2.5则从53.9%跃升至88.8%。 年龄偏见持续:在6个模型中,4个在直接回答模式下表现出显著的年龄差异(如Qwen2.5-3B对青年和老年患者的推荐率差达11.8%)。思维链提示非但未能消除,反而使5/6的模型出现显著年龄差异,表明推理过程可能激活了关于年龄的有害启发式。 性别偏见可缓解:思维链提示完全消除了所有模型的性别差异,与年龄偏见形成鲜明对比。 情绪影响难测:由于大多数模型情绪识别准确率极低(<17%),未能可靠检测情绪对决策的影响。仅在少数识别能力强的模型中观察到微弱差异。 模型 文本基线 音频(直接回答) 变化幅度 gpt-4o-mini 26.5% 5.3% -21.2pp (↓80%) gemini-2.0-flash 0.0% 0.6% +0.6pp gemini-2.5-flash 27.6% 31.8% +4.2pp Qwen2.5-Omni-3B 97.6% 75.3% -22.3pp Qwen2.5-Omni-7B 11.2% 20.6% +9.4pp DeSTA2.5 53.9% 88.8% +34.9pp 模型 青年 老年 差异 Qwen2.5-Omni-3B 85.3% 73.5% -11.8pp gemini-2.5-flash 25.3% 17.9% -7.4pp DeSTA2.5 87.6% 90.1% +2.5pp 实际意义:研究发出了强烈警告:音频LLM在当前状态下,因其对副语言特征的敏感性,尚不具备安全部署于临床决策的能力。这要求开发者必须设计偏见感知的架构,并在部署前进行严格评估,以确保决策基于医学证据而非患者的声音。 主要局限性:a) 情绪偏见分析因模型识别能力不足而不可靠;b) 评估仅限于手术推荐这一种决策类型;c) 使用合成语音可能与真实患者语音存在差距;d) 未提供缓解偏见的具体模型架构或训练方案。 🏗️ 模型架构 本文并非提出新模型,而是对现有音频LLM进行偏见评估。因此,其“架构”指代的是评估框架(如图1所示)。 该框架流程如下: ...

2026-04-29 · 更新于 2026-07-29 · 2 min · 381 words

Why Do Speech Language Models Fail to Generate Semantically Coherent Outputs? A Modality Evolving Perspective

📄 Why Do Speech Language Models Fail to Generate Semantically Coherent Outputs? A Modality Evolving Perspective #语音生成 #语音大模型 #模型评估 #零样本 #基准测试 ✅ 7.0/10 | 前25% | #语音生成 | #模型评估 | #语音大模型 #零样本 学术质量 5.5/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者:Hankun Wang(X-LANCE Lab, 上海交通大学计算机科学与技术学院) 通讯作者:Kai Yu(X-LANCE Lab, 上海交通大学计算机科学与技术学院) 作者列表:Hankun Wang(X-LANCE Lab, 上海交通大学), Haoran Wang(X-LANCE Lab, 上海交通大学), Yiwei Guo(X-LANCE Lab, 上海交通大学), Zhihan Li(X-LANCE Lab, 上海交通大学), Chenpeng Du(X-LANCE Lab, 上海交通大学), Kai Yu(X-LANCE Lab, 上海交通大学) 💡 毒舌点评 本文像一份详尽的“体检报告”,精准诊断出端到端语音大模型“语义表达不畅”的三大病根:音素编码不语义、序列太长、口音情绪太杂乱,并证明后两者影响远大于第一个。然而,光有诊断没有药方,论文止步于“未来可从短序列和强监督入手”的开放式建议,对于急需突破的社区而言,这记重拳打在了空气里。 ...

2026-04-29 · 更新于 2026-07-29 · 2 min · 258 words

语音/音乐/音频论文速递 2026-04-29

语音/音乐/音频论文速递 2026-04-29 共分析 29 篇论文 ⚡ 今日概览 📥 抓取 29 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #基准测试 4篇 ████ #多模态模型 3篇 ███ #语音情感识别 3篇 ███ #语音识别 3篇 ███ #语音对话系统 2篇 ██ #音乐生成 2篇 ██ #生成模型 1篇 █ #频谱测绘 1篇 █ 📊 论文评分排行榜(28 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 Cutscene Agent: An LLM Agent Framework for Automated 3D 8.5分 前25% #生成模型 🥈 Accelerating Regularized Attention Kernel Regression fo 8.5分 前25% #频谱测绘 🥉 Nemotron 3 Nano Omni: Efficient and Open Multimodal Int 8.5分 前25% #多模态模型 4. Step-Audio-R1.5 Technical Report 8.0分 前25% #语音对话系统 5. Praxy Voice: Voice-Prompt Recovery + BUPS for Commercia 8.0分 前25% #语音合成 6. ML-SAN: Multi-Level Speaker-Adaptive Network for Emotio 8.0分 前25% #语音情感识别 7. Unrequited Emotions: Investigating the Gaps in Motivati 8.0分 前25% #语音情感识别 8. UNet-Based Fusion and Exponential Moving Average Adapta 7.5分 前25% #说话人验证 9. Walking Through Uncertainty: An Empirical Study of Unce 7.5分 前25% #音频问答 10. ASAP: An Azimuth-Priority Strip-Based Search Approach t 7.5分 前25% #声源定位 11. Mutual Forcing: Dual-Mode Self-Evolution for Fast Autor 7.5分 前25% #音频生成 12. SymphonyGen: 3D Hierarchical Orchestral Generation with 7.5分 前25% #音乐生成 13. PSP: An Interpretable Per-Dimension Accent Benchmark fo 7.5分 前25% #基准测试 14. RAS: a Reliability Oriented Metric for Automatic Speech 7.5分 前25% #语音识别 15. Robust Accent Identification via Voice Conversion and N 7.5分 前25% #语音识别 16. Independent-Component-Based Encoding Models of Brain Ac 7.5分 前25% #神经编码 17. Beyond Isolated Utterances: Cue-Guided Interaction for 7.5分 前25% #多模态模型 18. Mitigating Shared-Private Branch Imbalance via Dual-Bra 7.5分 前25% #多模态模型 19. MMEB-V3: Measuring the Performance Gaps of Omni-Modalit 7.5分 前25% #基准测试 20. Human-1 by Josh Talks: A Full-Duplex Conversational Mod 7.5分 前50% #语音对话系统 21. ClawMark: A Living-World Benchmark for Multi-Turn, Mult 7.0分 前25% #基准测试 22. The Structured Output Benchmark: A Multi-Source Benchma 7.0分 前25% #基准测试 23. WhisperPipe: A Resource-Efficient Streaming Architectur 6.5分 前50% #语音识别 24. S-SONDO: Self-Supervised Knowledge Distillation for Gen 6.5分 前25% #音频分类 25. Monitoring exposure-length variations in submarine powe 6.5分 前50% #音频事件检测 26. Generative UI as an Accessibility Bridge: Lessons from 6.5分 前50% #无障碍 27. Korean aegyo speech shows systematic F1 increase to sig 6.0分 前50% #语音情感识别 28. Huí Sù: Co-constructing a Dual Feedback Apparatus 5.5分 后50% #音乐生成 29 Cross-Linguistic Rhythmic and Spectral Feature-Based An N/A - - 📋 论文列表 🥇 Cutscene Agent: An LLM Agent Framework for Automated 3D Cutscene Generation 🔥 8.5/10 | 前25% | #生成模型 | #大语言模型 | #多模态 #模型评估 | arxiv ...

2026-04-29 · 更新于 2026-07-29 · 19 min · 3856 words

Listening with Time: Precise Temporal Awareness for Long-Form Audio Understanding

📄 Listening with Time: Precise Temporal Awareness for Long-Form Audio Understanding #音频场景理解 #音频问答 #强化学习 #数据集 #基准测试 🔥 8.0/10 | 前25% | #音频场景理解 | #强化学习 | #音频问答 #数据集 | arxiv 学术质量 7.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Mingchen Shao (西北工业大学,Xi’an, China) 通讯作者:未说明(论文未明确指定通讯作者) 作者列表: Mingchen Shao (西北工业大学) Hang Su (独立研究者,北京) Wenjie Tian (西北工业大学) Bingshen Mu (西北工业大学) Zhennan Lin (西北工业大学) Lichun Fan (独立研究者,北京) Zhenbo Luo (独立研究者,北京) Jian Luan (独立研究者,北京) Lei Xie (西北工业大学) 💡 毒舌点评 亮点:这篇论文非常“全套”,从数据集、评测基准到训练框架一气呵成,直面长音频时间感知的核心痛点(时间幻觉与漂移),并用全局到局部推理范式+TWA-CoT的“工具使用”方案给出了一个结构清晰、实验充分的解决方案。短板:其提出的TWA-CoT依赖多轮工具调用,论文自身也承认这会增加计算开销,牺牲了实时性,这在一定程度上限制了其在流式或资源受限场景下的实用价值。 ...

2026-04-28 · 更新于 2026-07-29 · 2 min · 368 words

Full-Duplex Interaction in Spoken Dialogue Systems: A Comprehensive Study from the ICASSP 2026 HumDial Challenge

📄 Full-Duplex Interaction in Spoken Dialogue Systems: A Comprehensive Study from the ICASSP 2026 HumDial Challenge #语音对话系统 #端到端 #基准测试 #多模态模型 ✅ 6.5/10 | 前25% | #语音对话系统 | #端到端 | #基准测试 #多模态模型 | arxiv 学术质量 4.0/7 | 选题价值 1.8/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者:未说明(作者列表按姓氏字母顺序排列,未明确指出第一作者) 通讯作者:未说明(论文中未明确标注通讯作者,但提供了共同联系邮箱) 作者列表:Chengyou Wang (Audio, Speech and Language Processing Group (ASLP@NPU), School of Computer Science, Northwestern Polytechnical University, Xi’an, China)、Hongfei Xue (同上)、Guojian Li (同上)、Zhixian Zhao (同上)、Shuiyuan Wang (未说明具体单位,仅列姓名)、Shuai Wang (未说明具体单位,仅列姓名)、Xin Xu (未说明具体单位,仅列姓名)、Hui Bu (AISHELL, China)、Lei Xie (Audio, Speech and Language Processing Group (ASLP@NPU), School of Computer Science, Northwestern Polytechnical University, Xi’an, China) 💡 毒舌点评 本文为全双工语音对话系统的研究提供了一套详尽、实用的“考试大纲”和“模拟题库”,其数据集构建和评测框架设计是当前该领域急需的公共产品,对推动后续研究非常有益;但作为一篇“综合性研究”,它更像是一个挑战赛报告和资源发布文档,缺乏自身提出的、经过严格验证的新型模型或核心算法,学术增量主要体现在“评测”而非“建模”上。 ...

2026-04-27 · 更新于 2026-07-29 · 2 min · 318 words

Listening with Time: Precise Temporal Awareness for Long-Form Audio Understanding

📄 Listening with Time: Precise Temporal Awareness for Long-Form Audio Understanding #音频大模型 #音频场景理解 #基准测试 #强化学习 #数据集 🔥 8.0/10 | 前25% | #音频场景理解 | #音频大模型 | #基准测试 #强化学习 | arxiv 学术质量 5.8/7 | 选题价值 1.5/2 | 复现加成 0.7 | 置信度 高 👥 作者与机构 第一作者:Mingchen Shao(西北工业大学) 通讯作者:Lei Xie(西北工业大学) 作者列表:Mingchen Shao(西北工业大学)、Hang Su(独立研究者)、Wenjie Tian(西北工业大学)、Bingshen Mu(西北工业大学)、Zhennan Lin(西北工业大学)、Lichun Fan(独立研究者)、Zhenbo Luo(独立研究者,清华大学相关)、Jian Luan(独立研究者)、Lei Xie(西北工业大学) 💡 毒舌点评 这篇论文的亮点在于其“庖丁解牛”式的系统设计:面对长音频时间感知这一老大难问题,没有硬磕模型本身,而是从数据、评测、推理范式三个层面给出了一套“组合拳”,尤其是构建全球-局部时间线的TWA-CoT思路清晰有效。然而,其短板也很明显:框架的计算开销和多轮推理的延迟使其在实时或流式场景下的应用面临挑战,且最终性能的天花板依然受限于所采用的骨干模型(Qwen3-Omni)的基础能力。 🔗 开源详情 代码:论文承诺开源,并提供了GitHub仓库链接:https://github.com/alanshaoTT/LAT-Audio-Repo。 模型权重:论文提及基于Qwen3-Omni-30B进行训练,但未明确说明最终模型权重是否开源。根据仓库名推测,模型权重可能也会开源。 数据集:LAT-Chronicle数据集和LAT-Bench基准承诺开源,但未说明具体获取方式(如需申请或直接下载)。 Demo:论文中未提及提供在线演示。 复现材料:论文提供了详细的三阶段训练策略、关键超参数(学习率、批大小、组大小)、奖励函数设计以及数据集的构成统计,复现材料较为充分。 引用的开源项目/工具: 骨干模型:Qwen3-Omni-30B-A3B-Instruct (Team, 2025c) 训练框架:Swift (Zhao et al., 2025) 对比模型/工具:Audio-Flamingo3 (Goel et al., 2025)、Gemini系列 (Team, 2025a)、Step-Audio-R1.1 (Tian et al., 2025)、Time-Audio (Wang et al., 2026) 评估指标:FENSE (Zhou et al., 2022; Dinkel et al., 2025) 原子标注中使用的模型:Gemini-2.5-Pro、LLM-ForceAligner (Mu et al., 2026) 强化学习算法:Group Relative Policy Optimization (Shao et al., 2024) 📌 核心摘要 本文针对大型音频语言模型在长音频理解任务(尤其是需要精确时间感知的任务)中性能显著下降的问题,提出了一套综合解决方案。 ...

2026-04-27 · 更新于 2026-07-29 · 2 min · 377 words

TTS-PRISM: A Perceptual Reasoning and Interpretable Speech Model for Fine-Grained Diagnosis

📄 TTS-PRISM: A Perceptual Reasoning and Interpretable Speech Model for Fine-Grained Diagnosis #语音质量评估 #指令微调 #基准测试 #开源工具 #语音合成 ✅ 7.5/10 | 前25% | #语音质量评估 | #指令微调 | #基准测试 #开源工具 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:未说明(论文作者列表未明确排序,但根据邮箱 xi-wang24@mails.tsinghua.edu.cn 和作者列表首位推测,第一作者可能为 Xi Wang)。 通讯作者:未说明(论文作者列表未明确标注,根据邮箱 zywu@sz.tsinghua.edu.cn 推测,通讯作者可能为 Zhiyong Wu)。 作者列表:Xi Wang (1, 2), Jie Wang (3), Xingchen Song (2), Baijun Song (1), Jingran Xie (1), Jiahe Shao (1), Zijian Lin (1), Di Wu (1), Meng Meng (1), Jian Luan (2), Zhiyong Wu (1)。 机构列表:1. 清华大学,中国;2. 小米公司 MiLM Plus,中国;3. 东京大学,日本。 💡 毒舌点评 这篇论文像一个严谨的“语音体检医生”,为TTS系统量身定做了一套包含12个指标的“体检表”和基于大模型生成数据的“训练集”,确实让评估从“整体印象”走向了“分项诊断”。但尴尬的是,这位“医生”自己在“发音”这个最基础的体检项目上却可能受制于自身的“学术出身”(ASR预训练偏差),体检结论的权威性打了点折扣。 ...

2026-04-27 · 更新于 2026-07-29 · 2 min · 326 words

语音/音乐/音频论文速递 2026-04-27

语音/音乐/音频论文速递 2026-04-27 共分析 13 篇论文 ⚡ 今日概览 📥 抓取 13 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音乐信息检索 2篇 ██ #语音识别 2篇 ██ #音频生成 1篇 █ #发音错误检测 1篇 █ #说话人识别 1篇 █ #音乐理解 1篇 █ #音频场景理解 1篇 █ #语音质量评估 1篇 █ 📊 论文评分排行榜(13 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 UniSonate: A Unified Model for Speech, Music, and Sound 8.5分 前25% #音频生成 🥈 Beyond Acoustic Sparsity and Linguistic Bias: A Prompt- 8.5分 前25% #发音错误检测 🥉 DM-ASR: Diarization-aware Multi-speaker ASR with Large 8.0分 前25% #说话人识别 4. Transformer-Based Rhythm Quantization of Performance MI 8.0分 前25% #音乐信息检索 5. Audio Effect Estimation with DNN-Based Prediction and S 8.0分 前25% #音乐理解 6. Listening with Time: Precise Temporal Awareness for Lon 8.0分 前25% #音频场景理解 7. TTS-PRISM: A Perceptual Reasoning and Interpretable Spe 7.5分 前25% #语音质量评估 8. Spectrographic Portamento Gradient Analysis: A Quantita 7.5分 前25% #音乐信息检索 9. Advancing automatic speech recognition using feature fu 7.0分 前25% #语音识别 10. Identifying and typifying demographic unfairness in pho 7.0分 前50% #语音识别 11. Full-Duplex Interaction in Spoken Dialogue Systems: A C 6.5分 前25% #语音对话系统 12. Audio Video Verbal Analysis (AVVA) for Capturing Classr 6.0分 前50% #音频问答 13. Earable Platform with Integrated Simultaneous EEG Sensi 5.5分 后50% #音频事件检测 📋 论文列表 🥇 UniSonate: A Unified Model for Speech, Music, and Sound Effect Generation with Text Instructions 🔥 8.5/10 | 前25% | #音频生成 | #流匹配 | #扩散模型 #统一音频模型 | arxiv ...

2026-04-27 · 更新于 2026-07-29 · 8 min · 1673 words