论文速递

📄 Transformer-Based Rhythm Quantization of Performance MIDI Using Beat Annotations #音乐信息检索 #Transformer #数据增强 #模型评估 🔥 8.0/10 | 前25% | #音乐信息检索 | #Transformer | #数据增强 #模型评估 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Maximilian Wachter（未说明） 通讯作者：未说明 作者列表：Maximilian Wachter（未说明）， Sebastian Murgul（未说明）， Michael Heizmann（未说明） 💡 毒舌点评 本文最大的亮点在于思路的简洁与高效：通过将节拍信息作为先验“喂”给Transformer，巧妙地规避了让模型同时学习节拍检测和量化这两个相互耦合的难题，取得了显著的性能提升。主要短板在于模型的通用性和可扩展性尚未得到充分验证——模型目前处理的音符时值范围有限（最大为全音符），且在未见过的复杂拍号（如6/8）上的处理仍需依赖启发式预处理，这与论文声称的“灵活框架”尚有差距。 📌 核心摘要 解决的问题：将人类演奏的、具有时间偏差的MIDI数据，准确量化为可读的乐谱表示（确定音符的精确节拍位置和时值）。传统方法往往需要同时推断节拍和量化，或依赖端到端模型隐式处理，难以利用已知的、准确的节拍信息（如节拍器数据）。 方法核心：提出一个基于精简T5 Transformer架构的序列到序列模型。其输入是经过预处理的、将节拍信息（12个子拍）与音符时间对齐后的“预量化”MIDI音符序列；输出是标准乐谱表示（MusicXML格式）的音符序列。模型通过监督学习，直接预测每个音符的精确节拍位置（Onset）和音符时值（Note Value）。 与已有方法相比新在哪里：这是首次明确将先验的、准确的节拍标注（而非模型预测的节拍）作为核心输入用于节奏量化。与端到端模型（如[2]）相比，它提供了更高的灵活性和可解释性；与传统概率模型（如HMM）相比，它利用Transformer的注意力机制更擅长捕捉长距离节奏模式，并能通过数据增强获得更好的泛化能力。 主要实验结果： 核心指标：在ASAP数据集（钢琴）上，起始点F1分数达到97.3%，音符时值准确率达到83.3%。 跨节拍泛化：在仅用4/4拍训练的情况下，模型在2/4和3/4拍测试集上也表现良好，如在2/4拍上起始点F1为96.7%。用多节拍数据训练可进一步提升所有节拍的性能。 跨乐器适应：在吉他数据集（Leduc）上进行领域适应后，专用模型在吉他测试集上的起始点F1和音符时值准确率分别达到92.1% 和 90.2%，显著优于使用钢琴数据预训练的模型。 与SOTA比较：采用MUSTER指标与多种基线对比，在onset-time error rate (ε_onset) 上取得了最佳结果 12.30，优于端到端模型PM2S (15.55) 和其他传统方法。 模型/方法 ε_onset ε_offset Neural Beat Tracking [16] 68.28 54.11 End-to-End PM2S [2] 15.55 23.84 HMMs + Heuristics (J-Pop) [27] 25.02 29.21 HMMs + Heuristics (classical) [27] 22.58 29.84 MuseScore [21] 47.90 49.44 Finale [18] 31.85 45.34 本文模型 12.30 28.30 实际意义：为自动乐谱生成、音乐编辑、数字化乐谱档案建设提供了一个更精确、可靠的量化工具。尤其适用于有精确节拍信息（如录制时有节拍器）的演奏，或能获得高质量节拍估计的场景。 主要局限性：1) 当前模型支持的最大音符时值为全音符，且词汇表固定，对更复杂的现代音乐符号（如三十二分音符、不规则拍号）支持不足；2) 模型假设输入输出音符一一对应，无法处理演奏中的错音或漏音；3) 未公开代码和模型权重，限制了社区的快速验证与应用。 🏗️ 模型架构 模型的整体架构是一个基于Transformer的序列到序列（Seq2Seq）模型，具体流程如下： ...

📄 TTS-PRISM: A Perceptual Reasoning and Interpretable Speech Model for Fine-Grained Diagnosis #语音质量评估 #指令微调 #基准测试 #开源工具 #语音合成 ✅ 7.5/10 | 前25% | #语音质量评估 | #指令微调 | #基准测试 #开源工具 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：未说明（论文作者列表未明确排序，但根据邮箱 xi-wang24@mails.tsinghua.edu.cn 和作者列表首位推测，第一作者可能为 Xi Wang）。 通讯作者：未说明（论文作者列表未明确标注，根据邮箱 zywu@sz.tsinghua.edu.cn 推测，通讯作者可能为 Zhiyong Wu）。 作者列表：Xi Wang (1, 2), Jie Wang (3), Xingchen Song (2), Baijun Song (1), Jingran Xie (1), Jiahe Shao (1), Zijian Lin (1), Di Wu (1), Meng Meng (1), Jian Luan (2), Zhiyong Wu (1)。 机构列表：1. 清华大学，中国；2. 小米公司 MiLM Plus，中国；3. 东京大学，日本。 💡 毒舌点评 这篇论文像一个严谨的“语音体检医生”，为TTS系统量身定做了一套包含12个指标的“体检表”和基于大模型生成数据的“训练集”，确实让评估从“整体印象”走向了“分项诊断”。但尴尬的是，这位“医生”自己在“发音”这个最基础的体检项目上却可能受制于自身的“学术出身”（ASR预训练偏差），体检结论的权威性打了点折扣。 ...

📄 UniSonate: A Unified Model for Speech, Music, and Sound Effect Generation with Text Instructions #音频生成 #流匹配 #扩散模型 #统一音频模型 #语音合成 🔥 8.5/10 | 前25% | #音频生成 | #流匹配 | #扩散模型 #统一音频模型 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Chunyu Qiang（天津大学， 快手科技） 通讯作者：Longbiao Wang（天津大学）， Jianwu Dang（天津大学） 作者列表：Chunyu Qiang（天津大学， 快手科技）、Xiaopeng Wang（快手科技）、Kang Yin（快手科技）、Yuzhe Liang（快手科技）、Yuxin Guo（快手科技， 中国科学院自动化研究所）、Teng Ma（快手科技）、Ziyu Zhang（快手科技）、Tianrui Wang（天津大学）、Cheng Gong（天津大学）、Yushen Chen（快手科技）、Ruibo Fu（中国科学院自动化研究所）、Chen Zhang（快手科技）、Longbiao Wang（天津大学）、Jianwu Dang（天津大学） 💡 毒舌点评 亮点：论文真正实现了语音、音乐、音效的“三合一”生成，且通过精巧的“动态token注入”和“课程学习”让这个庞然大物不仅能跑，还在语音和音乐的主流评测中刷出了新SOTA，证明了“团结就是力量”。 短板：在音效生成这个“混沌领域”，这个统一模型还是打不过那些专精于此的专门模型（如GenAU-L），并且论文未开源代码和模型，让其优秀的实验结论暂时停留在了“可看不可摸”的阶段。 ...

语音/音频论文速递 2026-04-27 共分析 13 篇论文 ⚡ 今日概览 📥 抓取 13 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音乐信息检索 2篇 ██ #语音识别 2篇 ██ #音频生成 1篇 █ #发音错误检测 1篇 █ #说话人识别 1篇 █ #音乐理解 1篇 █ #音频场景理解 1篇 █ #语音质量评估 1篇 █ 📊 论文评分排行榜（13 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 UniSonate: A Unified Model for Speech, Music, and Sound 8.5分 前25% #音频生成 🥈 Beyond Acoustic Sparsity and Linguistic Bias: A Prompt- 8.5分 前25% #发音错误检测 🥉 DM-ASR: Diarization-aware Multi-speaker ASR with Large 8.0分 前25% #说话人识别 4. Transformer-Based Rhythm Quantization of Performance MI 8.0分 前25% #音乐信息检索 5. Audio Effect Estimation with DNN-Based Prediction and S 8.0分 前25% #音乐理解 6. Listening with Time: Precise Temporal Awareness for Lon 8.0分 前25% #音频场景理解 7. TTS-PRISM: A Perceptual Reasoning and Interpretable Spe 7.5分 前25% #语音质量评估 8. Spectrographic Portamento Gradient Analysis: A Quantita 7.5分 前25% #音乐信息检索 9. Advancing automatic speech recognition using feature fu 7.0分 前25% #语音识别 10. Identifying and typifying demographic unfairness in pho 7.0分 前50% #语音识别 11. Full-Duplex Interaction in Spoken Dialogue Systems: A C 6.5分 前25% #语音对话系统 12. Audio Video Verbal Analysis (AVVA) for Capturing Classr 6.0分 前50% #音频问答 13. Earable Platform with Integrated Simultaneous EEG Sensi 5.5分 后50% #音频事件检测 📋 论文列表 🥇 UniSonate: A Unified Model for Speech, Music, and Sound Effect Generation with Text Instructions 🔥 8.5/10 | 前25% | #音频生成 | #流匹配 | #扩散模型 #统一音频模型 | arxiv ...

📄 MAGIC-TTS: Fine-Grained Controllable Speech Synthesis with Explicit Local Duration and Pause Control #语音合成 #流匹配 #零样本 #语音大模型 ✅ 7.5/10 | 前25% | #语音合成 | #流匹配 | #零样本 #语音大模型 | arxiv 学术质量 4.5/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Jialong Mai（华南理工大学） 通讯作者：Xiaofen Xing（华南理工大学） 作者列表：Jialong Mai（华南理工大学）、Xiaofen Xing（华南理工大学）、Xiangmin Xu（华南理工大学） 💡 毒舌点评 亮点在于首次将“token级时长与停顿”作为显式数值条件注入Flow-based TTS，思路清晰且工程设计（如零值校正、交叉验证数据构建）巧妙。短板是实验规模和场景相对有限（主要在中文短句上验证），且缺乏与更多现代零样本TTS基线（如CosyVoice 2、MaskGCT）的直接对比，说服力可以更强。 📌 核心摘要 问题：现有的文本转语音（TTS）系统通常只提供语句级的时长控制或全局语速调节，缺乏对单个token（如音素、字）的精确发音时长和停顿的显式、细粒度控制能力。 方法核心：提出MAGIC-TTS，这是一个基于流匹配（Flow Matching）的零样本TTS模型。其核心是通过残差连接，将token级的内容时长（di）和停顿（pi）作为显式数值条件注入到文本表征中，从而引导并行声学生成器进行合成。 创新点：这是首个支持token级显式时长与停顿控制的TTS模型。关键创新包括：1）设计了可学习的门控残差注入机制，将时长条件融入文本嵌入；2）提出零值校正方法，平衡内容时长与停顿两个控制分支的学习信号；3）构建了基于交叉验证的高置信度时长监督数据集，用于稳定训练。 主要实验结果： 时长控制精度：在B@150测试集上，与无控制的“自发合成”相比，提供显式控制后，内容时长平均绝对误差（C-MAE）从36.88ms降至10.56ms，相关性（C-Corr.）从0.588升至0.918；停顿平均绝对误差（P-MAE）从18.92ms降至8.32ms，相关性（P-Corr.）从0.283升至0.793。 局部编辑场景：在导航、朗读等场景中，模型能以极低偏差（内容时长偏差1.07ms）实现均匀时长基线，并能将局部编辑区域有效推向目标值（内容时长偏差17.60ms，停顿偏差23.33ms）。 消融实验：移除零值校正或高置信度监督会损害控制精度，尤其是更精细的内容时长控制。 实际意义：使TTS系统能够支持需要精确节奏控制的实用场景，如导航提示的均匀播报、教学朗读的节奏引导、以及无障碍代码阅读的特定停顿。 主要局限性：模型性能高度依赖外部对齐工具（如MFA、Stable-ts）提供的时长标签质量；实验主要集中在中文短句，对长文本、多语言及更复杂韵律的泛化能力未充分验证；未开源代码和模型。 🏗️ 模型架构 MAGIC-TTS建立在基于条件流匹配（Conditional Flow Matching）的非自回归零样本TTS骨干网络（F5-TTS）之上。其整体流程如下： ...

📄 MOMO: A framework for seamless physical, verbal, and graphical robot skill learning and adaptation #机器人技能学习 #多模态模型 #大语言模型 #工业应用 ✅ 7.5/10 | 前25% | #机器人技能学习 | #多模态模型 | #大语言模型 #工业应用 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Markus Knauer（德国航空航天中心，机器人与机电一体化研究所；慕尼黑工业大学，计算、信息与技术学院） 通讯作者：未说明 作者列表：Markus Knauer（DLR, RMC; TUM, CIT）、Edoardo Fiorini（DLR, RMC）、Maximilian Mühlbauer（DLR, RMC; TUM, CIT）、Stefan Schneyer（DLR, RMC; TUM, CIT）、Promwat Angsuratanawech（DLR, RMC; TUM, CIT）、Florian Samuel Lay（DLR, RMC）、Timo Bachmann（DLR, RMC）、Samuel Bustamante（DLR, RMC; TUM, CIT）、Korbinian Nottensteiner（DLR, RMC）、Freek Stulp（DLR, RMC）、Alin Albu-Schäffer（DLR, RMC; TUM, CIT）、João Silvério（DLR, RMC）、Thomas Eiband（DLR, RMC） 💡 毒舌点评 亮点：框架设计上实现了“无缝”多模态切换，将物理、语音、图形界面三种交互方式通过“路径点插入”这一统一机制连接，是一个考虑周全的系统工程。短板：论文自称是“框架”，但实验部分更像是一个功能演示，缺乏在标准基准上与基线方法的定量对比，其“有效性”主要依赖于贸易展观众的定性观察，科学严谨性有待加强。 ...

语音/音频论文速递 2026-04-25 共分析 2 篇论文 ⚡ 今日概览 📥 抓取 2 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #机器人技能学习 1篇 █ #语音合成 1篇 █ 📊 论文评分排行榜（2 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 MOMO: A framework for seamless physical, verbal, and gr 7.5分 前25% #机器人技能学习 🥈 MAGIC-TTS: Fine-Grained Controllable Speech Synthesis w 7.5分 前25% #语音合成 📋 论文列表 🥇 MOMO: A framework for seamless physical, verbal, and graphical robot skill learning and adaptation ✅ 7.5/10 | 前25% | #机器人技能学习 | #多模态模型 | #大语言模型 #工业应用 | arxiv ...

📄 “This Wasn’t Made for Me”: Recentering User Experience and Emotional Impact in the Evaluation of ASR Bias #语音识别 #模型评估 #鲁棒性 #多语言 ✅ 7.0/10 | 前50% | #语音识别 | #模型评估 | #鲁棒性 #多语言 | arxiv 学术质量 5.0/7 | 选题价值 2.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Siyu Liang（论文中未提及所属机构） 通讯作者：论文中未说明 作者列表：Siyu Liang（未说明）、Alicia Beckford Wassink（未说明） 💡 毒舌点评 本文最大的亮点是将ASR偏见研究从冰冷的错误率数字转向了活生生的人类体验，深刻揭示了技术失败带来的“隐形劳动”和心理伤害，视角极具人文关怀和社会价值。但其短板也显而易见：作为一篇“评估”论文，它完全依赖定性的用户研究，缺乏任何定量的、可复现的基准测试或模型对比实验，使得“评估”本身难以被标准化和扩展。 📌 核心摘要 要解决什么问题：现有自动语音识别（ASR）偏见研究主要关注对代表性不足方言的错误率报告，忽视了系统失败对用户实际生活体验、情感反应和心理负担的深层影响。 方法核心是什么：在美国四个代表不同英语方言社区的地点（亚特兰大、墨西哥湾沿岸、迈阿密海滩、图森）开展用户体验研究，通过开放式叙事进行定性分析。 与已有方法相比新在哪里：将评估维度从单纯的“准确性”扩展到“用户体验”和“情感影响”，首次系统性地量化了用户为使失败系统运作而付出的“隐形劳动”（如语码转换、过度发音、情绪管理）和内化的“不足感”。 主要实验结果如何：研究发现，大多数参与者认为技术未考虑其文化背景，需不断调整才能使用基本功能。尽管如此，他们仍对ASR性能抱有高期望并愿意贡献改进。定性分析揭示了深层代价：参与者报告了沮丧、恼怒和不足感，尽管意识到系统非为他们设计，却常将失败内化为个人缺陷。他们进行了大量隐形劳动，而其语言文化知识未被技术认可。论文未提供具体的错误率数字或定量对比表格。 实际意义是什么：证明了仅基于准确性的算法公平性评估是片面的，呼吁ASR评估必须纳入情感劳动、认知负担和心理伤害等关键维度，推动更全面、更以人为本的公平性研究。 主要局限性是什么：论文中未明确说明局限性。根据摘要推断，其局限可能包括：研究样本的代表性、定性分析的主观性、以及缺乏与具体ASR模型性能的直接定量关联。 🏗️ 模型架构 本文是一篇用户研究与定性分析论文，不涉及提出新的算法或模型架构。因此，本节不适用。论文中未提及任何模型架构图。 💡 核心创新点 评估视角的转换：从“系统性能”转向“用户生活体验”。之前方法局限于测量ASR对特定方言的词错误率（WER）等客观指标，本文创新性地将评估焦点放在系统失败如何塑造用户的“生活经验”和“情感反应”上。 量化“隐形劳动”与情感成本：识别并概念化了用户为适应有偏见的系统而付出的“隐形劳动”（如代码转换、超清晰发音、情绪管理），以及由此产生的“不足感”等心理代价。这是对“偏见危害”内涵的重要扩展。 挑战单一的公平性指标：通过实证研究论证，仅靠准确率（如WER）来评估ASR公平性会遗漏关键的危害维度，即情感劳动、认知负担和心理伤害，为构建更全面的公平性评估框架提供了依据。 🔬 细节详述 训练数据：论文中未说明。本文为用户研究，未涉及模型训练。 损失函数：论文中未提及。 训练策略：论文中未提及。 关键超参数：论文中未提及。 训练硬件：论文中未提及。 推理细节：论文中未提及。 正则化或稳定训练技巧：论文中未提及。 📊 实验结果 本文的核心“实验”是跨四个地点的用户研究。其“结果”以定性发现的形式呈现，论文摘要中未提供任何具体的定量数据、对比表格或图表。主要结论性发现已在“核心摘要”中总结。例如，论文指出参与者报告了“frustration, annoyance, and feelings of inadequacy”，并进行了“code-switching, hyper-articulation, and emotional management”，但未给出这些行为的发生频率或严重程度的量化数据。 ...

📄 ATRIE: Adaptive Tuning for Robust Inference and Emotion in Persona-Driven Speech Synthesis #语音合成 #知识蒸馏 #流匹配 #大语言模型 #对比学习 ✅ 7.0/10 | 前25% | #语音合成 | #知识蒸馏 | #流匹配 #大语言模型 | arxiv 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Aoduo Li（Guangdong University of Technology） 通讯作者：未说明 作者列表：Aoduo Li（Guangdong University of Technology），Haoran Lv（Guangdong University of Technology），Hongjian Xu（Guangdong University of Technology），Shengmin Li（South China University of Technology），Sihao Qin（South China University of Technology），Zimeng Li（Shenzhen Polytechnic University），Chi Man Pun（University of Macau），Xuhang Chen（Huizhou University） 💡 毒舌点评 亮点：论文提出的“Persona-Prosody Dual-Track (P2-DT)”架构思路清晰，将静态身份与动态韵律显式解耦，并通过蒸馏14B LLM的推理能力来指导韵律生成，为解决“角色一致性”与“情感表达”之间的矛盾提供了一个有潜力的技术路径。短板：论文最大的软肋在于其核心贡献之一——AnimeTTS-Bench数据集——规模极小（仅4.2小时，3个角色）且未开源，导致其报告的SOTA结果（如CCS: 0.86, mAP: 0.75）缺乏在更大规模、更多样化数据上的验证，说服力大打折扣。此外，代码和模型均未开源，严重阻碍了学术界的复现与跟进。 ...

📄 AUDITA: A New Dataset to Audit Humans vs. AI Skill at Audio QA #音频问答 #基准测试 #模型评估 #数据集 ✅ 6.5/10 | 前50% | #音频问答 | #基准测试 | #模型评估 #数据集 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Tasnim Kabir（未说明） 通讯作者：未说明 作者列表：Tasnim Kabir（未说明）、Dmytro Kurdydyk（未说明）、Aadi Palnitkar（未说明）、Liam Dorn（未说明）、Ahmed Haj Ahmed（未说明）、Jordan Lee Boyd-Graber（未说明） 💡 毒舌点评 亮点在于，AUDITA通过引入人类作者和精心设计的“陷阱”问题，直击当前音频问答模型“投机取巧”的痛点，其IRT分析也为评估模型能力提供了更细腻的视角。短板是，作为一篇以数据集为核心的论文，其贡献主要在于“发现问题”而非“解决问题”，且实验部分主要评估现有模型，未提出新的模型架构或训练方法，创新边界相对清晰。 📌 核心摘要 要解决什么问题：现有的音频问答（Audio QA）基准测试存在缺陷，模型可以通过短时线索、词汇先验、数据集偏差或绕过音频直接使用文本/元数据等“捷径”策略来取得高分，无法真正评估模型的音频推理能力。 方法核心是什么：提出AUDITA，一个大规模、真实世界的音频问答基准数据集。其核心在于问题由人类作者（Trivia作者）撰写，设计了具有挑战性的干扰项和长程时间依赖性，确保问题无法仅凭孤立的文本或声音线索回答，从而迫使模型进行真正的音频推理。 与已有方法相比新在哪里：与现有主要关注声音事件分类或基于字幕查询的基准不同，AUDITA强调“音频推理”而非“表面声学识别”。它通过人类作者设计复杂问题、引入IRT（项目反应理论）分析模型潜在能力与题目难度，提供了更严格的评估框架。 主要实验结果如何：人类平均准确率为32.13%，表明任务具有挑战性但人类可以理解。相比之下，最先进的音频问答模型平均准确率低于8.86%，性能差距显著。论文通过IRT分析进一步量化了模型和数据的系统性缺陷。 模型/群体 平均准确率 人类 32.13% 最先进模型 < 8.86% 实际意义是什么：AUDITA为音频问答领域提供了一个更严格的“试金石”，能够揭示当前模型在复杂、真实音频推理任务上的不足，推动社区研发具备真正听觉理解和推理能力的模型。 主要局限性是什么：论文中未说明AUDITA数据集的具体规模（如音频数量、问题数量）；实验部分主要是对现有模型进行基准测试，未提出新的模型或方法来解决所揭示的问题；数据集的获取方式和开源细节在摘要中未详细说明。 🏗️ 模型架构 论文中未提及具体的模型架构。本文的核心贡献是提出一个新的评测基准（数据集），而非一个新的模型。因此，本节内容不适用。 ...