研究条目

Bridging Piano Transcription and Rendering via Disentangled Score Content and Style

📄 Bridging Piano Transcription and Rendering via Disentangled Score Content and Style #音乐信息检索 #多任务学习 #解耦表示学习 #扩散模型 #钢琴转录 🔥 8.0/10 | 前25% | #音乐信息检索 | #多任务学习 #解耦表示学习 | #多任务学习 #解耦表示学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Wei Zeng(新加坡国立大学,综合科学与工程项目,计算学院) 通讯作者:Ye Wang(新加坡国立大学,综合科学与工程项目,计算学院) 作者列表:Wei Zeng(新加坡国立大学,综合科学与工程项目,计算学院)、Junchuan Zhao(新加坡国立大学,计算学院)、Ye Wang(新加坡国立大学,综合科学与工程项目,计算学院) 💡 毒舌点评 亮点在于其统一的框架设计与“内容-风格”解耦的清晰思路,巧妙地利用了EPR和APT的互逆性进行联合训练,并无需繁琐的音符级对齐数据,这在方法论上颇具启发性。短板是,虽然框架通用,但实验主要基于古典钢琴音乐,其对于更丰富多变的流行音乐等风格的泛化能力未被验证;此外,模型参数量(188M)显著高于一些基线,计算成本是一个需要考虑的实际问题。 🔗 开源详情 代码:论文明确表示“代码将在论文被接受后发布”,提供了项目主页链接(https://wei-zeng98.github.io/joint-apt-epr/),表明有开源计划。 模型权重:未提及是否公开预训练模型权重。 数据集:使用了公开的ASAP和ATEPP数据集,以及从MuseScore收集并过滤的公开乐谱数据。论文未提及是否提供已处理的未配对演奏MIDI数据。 Demo:提供了在线演示页面(https://wei-zeng98.github.io/joint-apt-epr/),包含EPR渲染和风格迁移的示例。 复现材料:附录B提供了极其详细的模型实现细节(PyTorch Lightning、多任务训练设置、优化器、掩码策略等),是高质量的复现指南。 论文中引用的开源项目:提到了MidiTok(用于MIDI分词)、Aria-AMT(用于音频转MIDI)和Partitura(用于音乐处理)。 总体开源情况:论文有明确的开源承诺和详尽的复现材料,开源状态积极,但代码和权重尚未发布。 📌 核心摘要 这篇论文旨在解决钢琴演奏渲染(EPR)和自动钢琴转录(APT)两个基础但互逆的任务长期被独立研究的问题。其核心方法是构建一个基于Transformer的统一序列到序列(Seq2Seq)框架,通过解耦“音符级乐谱内容”和“全局演奏风格”两种表示,来联合学习这两个任务。与已有方法相比,其新意在于:1)首次将EPR和APT统一建模,实现双向监督;2)提出无需音符级对齐的Seq2Seq训练范式,降低了数据标注门槛;3)设计了一个独立的、基于扩散模型的演奏风格推荐(PSR)模块,能够仅从乐谱内容生成合适的风格嵌入。实验表明,该联合模型在ASAP数据集的APT任务上,达到了与最先进端到端模型(Beyer & Dai, 2024)可比的性能(例如,ScoreSimilarity平均误差Eavg从14.10降至12.48)。在EPR任务上,其客观指标(如速度MAE为0.37)和主观评价均优于或接近现有基线。消融实验验证了联合训练和无对齐数据的重要性。该工作的实际意义在于实现了音乐模态间转换的双向建模,并支持风格可控的演奏生成;主要局限性在于计算开销较大,且实验验证局限于古典钢琴音乐。 🏗️ 模型架构 本文提出一个统一的、模块化的框架,用于联合处理EPR和APT任务,并支持独立的风格推荐。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 417 字 阅读 →
研究条目

LLM2Fx-Tools: Tool Calling for Music Post-Production

📄 LLM2Fx-Tools: Tool Calling for Music Post-Production #音乐信息检索 #大语言模型 #多模态模型 #数据集 #音频效果 🔥 8.0/10 | 前25% | #音乐信息检索 | #大语言模型 #多模态模型 | #大语言模型 #多模态模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:SeungHeon Doh(KAIST, Sony AI) 通讯作者:Junghyun Koo(Sony AI) 作者列表:SeungHeon Doh(KAIST, Sony AI), Junghyun Koo(Sony AI), Marco A. Martínez-Ramírez(Sony AI), Woosung Choi(Sony AI), Wei-Hsiang Liao(Sony AI), Qiyu Wu(Sony Group Corporation), Juhan Nam(KAIST), Yuki Mitsufuji(Sony AI, Sony Group Corporation) 💡 毒舌点评 亮点:论文构建了一个从数据集到模型框架再到评估体系的完整闭环,首次将LLM的结构化工具调用能力系统地引入音乐效果链生成任务,实现了生成效果链、链式思考和自然语言响应的统一,思路清晰且工程化程度高。短板:实验评估基本在可控的单乐器场景下进行,离真实世界复杂的多轨音乐制作(如混音)仍有距离;效果链生成的“一对多”固有模糊性问题在评估中未被充分考量,可能高估了模型在真实场景下的精确性。 ...

 · 更新于 2026-09-05 · 约 3 分钟 · 439 字 阅读 →
研究条目

Spectrographic Portamento Gradient Analysis: A Quantitative Method for Historical Cello Recordings with Application to Beethoven's Piano and Cello Sonatas, 1930--2012

📄 Spectrographic Portamento Gradient Analysis: A Quantitative Method for Historical Cello Recordings with Application to Beethoven’s Piano and Cello Sonatas, 1930–2012 #音乐信息检索 #时频分析 #数据集 ✅ 7.5/10 | 前25% | #音乐信息检索 | #时频分析 | #数据集 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Ignasi Sole(机构未说明) 通讯作者:未说明 作者列表:Ignasi Sole(机构未说明) 💡 毒舌点评 这篇论文巧妙地将宏观的历史音乐表演风格变迁(滑音的衰减),解构为一个连续的、可物理测量的微观参数(频谱梯度),其“渐平”假说比“消失”说更具解释力。然而,其验证过程严重依赖研究者的主观听觉判断来校准谱图标记点,且将贝多芬两首奏鸣曲的开头作为全部分析材料,结论的普适性需要打上一个问号。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及。 数据集:论文中声明“The full dataset and measurement protocol are publicly available”,并引用了来源[10],但未提供具体URL或获取方式。因此,数据集已公开但获取路径未在文中明确给出。 Demo:未提及。 复现材料:提供了详细的测量协议、校准参数(表1)和分析步骤(第IV、V节),构成了可复现的操作指南。 论文中引用的开源项目:Sonic Visualizer(由Chris Cannam在Queen Mary University of London开发)、GIMP(GNU Image Manipulation Program)、Sibelius(乐谱软件,用于标注)。 📌 核心摘要 问题:现有对弦乐滑音(portamento)的研究主要关注其出现频率和持续时间,将其视为二元现象,忽略了其内部表达特性的变化。 方法核心:提出“频谱梯度分析”方法,使用Sonic Visualizer提取旋律谱图,在GIMP中手动标记滑音起止点,通过校准将像素斜率转换为物理单位(Hz/s),以此量化滑音的“陡峭度”。同时开发了针对早期模拟录音的增益恢复协议。 新意:首次引入梯度(Hz/s)作为第三维度定量描述滑音,超越了传统的频率和时长测量。该方法能区分持续时间相同但音高变化率不同的滑音,捕捉其表达特质。 主要结果:对22个录音(1930-2012)的分析表明,滑音梯度与录音年份呈负相关(图7),并与演奏速度呈负相关(图8)。早期录音滑音梯度平均值约3015 Hz/s,晚期录音平均值约3065 Hz/s(表2),但无滑音录音集中于1990年后。结果支持滑音衰减是一个梯度持续变平的连续过程,而非突变。 实际意义:为音乐表演史研究提供了新的、物理可解释的量化工具,使跨时代、跨演奏者的滑音风格比较更加精细。其校准协议可应用于其他单音乐器录音分析。 主要局限性:分析仅限于两首贝多芬大提琴奏鸣曲的无伴奏开头段落,因多声部段落无法可靠分析。测量依赖人工���记,存在主观性风险。校准参数与特定软件设置绑定。 🏗️ 模型架构 本文并非提出传统意义上的“模型”,而是设计了一套分析测量协议(Protocol),其流程如下: ...

 · 更新于 2026-09-05 · 约 2 分钟 · 237 字 阅读 →
研究条目

Transformer-Based Rhythm Quantization of Performance MIDI Using Beat Annotations

📄 Transformer-Based Rhythm Quantization of Performance MIDI Using Beat Annotations #音乐信息检索 #Transformer #数据增强 #模型评估 🔥 8.0/10 | 前25% | #音乐信息检索 | #Transformer | #数据增强 #模型评估 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Maximilian Wachter(未说明) 通讯作者:未说明 作者列表:Maximilian Wachter(未说明), Sebastian Murgul(未说明), Michael Heizmann(未说明) 💡 毒舌点评 本文最大的亮点在于思路的简洁与高效:通过将节拍信息作为先验“喂”给Transformer,巧妙地规避了让模型同时学习节拍检测和量化这两个相互耦合的难题,取得了显著的性能提升。主要短板在于模型的通用性和可扩展性尚未得到充分验证——模型目前处理的音符时值范围有限(最大为全音符),且在未见过的复杂拍号(如6/8)上的处理仍需依赖启发式预处理,这与论文声称的“灵活框架”尚有差距。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及。 数据集:主要使用ASAP和Leduc数据集,均为公开可用数据集。论文中未提及新的自有数据集。 Demo:未提及。 复现材料:提供了极其详细的训练配置、超参数、数据预处理步骤描述以及评估指标的开源实现链接(MUSTER),复现门槛较低。 论文中引用的开源项目:引用了MUSTER评估指标的开源实现(https://github.com/amtevaluation/amtevaluation.github.io)。 开源计划:论文中未提及任何关于未来开源代码或模型的计划。 📌 核心摘要 解决的问题:将人类演奏的、具有时间偏差的MIDI数据,准确量化为可读的乐谱表示(确定音符的精确节拍位置和时值)。传统方法往往需要同时推断节拍和量化,或依赖端到端模型隐式处理,难以利用已知的、准确的节拍信息(如节拍器数据)。 方法核心:提出一个基于精简T5 Transformer架构的序列到序列模型。其输入是经过预处理的、将节拍信息(12个子拍)与音符时间对齐后的“预量化”MIDI音符序列;输出是标准乐谱表示(MusicXML格式)的音符序列。模型通过监督学习,直接预测每个音符的精确节拍位置(Onset)和音符时值(Note Value)。 与已有方法相比新在哪里:这是首次明确将先验的、准确的节拍标注(而非模型预测的节拍)作为核心输入用于节奏量化。与端到端模型(如[2])相比,它提供了更高的灵活性和可解释性;与传统概率模型(如HMM)相比,它利用Transformer的注意力机制更擅长捕捉长距离节奏模式,并能通过数据增强获得更好的泛化能力。 主要实验结果: 核心指标:在ASAP数据集(钢琴)上,起始点F1分数达到97.3%,音符时值准确率达到83.3%。 跨节拍泛化:在仅用4/4拍训练的情况下,模型在2/4和3/4拍测试集上也表现良好,如在2/4拍上起始点F1为96.7%。用多节拍数据训练可进一步提升所有节拍的性能。 跨乐器适应:在吉他数据集(Leduc)上进行领域适应后,专用模型在吉他测试集上的起始点F1和音符时值准确率分别达到92.1% 和 90.2%,显著优于使用钢琴数据预训练的模型。 与SOTA比较:采用MUSTER指标与多种基线对比,在onset-time error rate (ε_onset) 上取得了最佳结果 12.30,优于端到端模型PM2S (15.55) 和其他传统方法。 模型/方法 ε_onset ε_offset Neural Beat Tracking [16] 68.28 54.11 End-to-End PM2S [2] 15.55 23.84 HMMs + Heuristics (J-Pop) [27] 25.02 29.21 HMMs + Heuristics (classical) [27] 22.58 29.84 MuseScore [21] 47.90 49.44 Finale [18] 31.85 45.34 本文模型 12.30 28.30 实际意义:为自动乐谱生成、音乐编辑、数字化乐谱档案建设提供了一个更精确、可靠的量化工具。尤其适用于有精确节拍信息(如录制时有节拍器)的演奏,或能获得高质量节拍估计的场景。 主要局限性:1) 当前模型支持的最大音符时值为全音符,且词汇表固定,对更复杂的现代音乐符号(如三十二分音符、不规则拍号)支持不足;2) 模型假设输入输出音符一一对应,无法处理演奏中的错音或漏音;3) 未公开代码和模型权重,限制了社区的快速验证与应用。 🏗️ 模型架构 模型的整体架构是一个基于Transformer的序列到序列(Seq2Seq)模型,具体流程如下: ...

 · 更新于 2026-09-05 · 约 2 分钟 · 274 字 阅读 →
研究条目

A Hybrid Convolution-Mamba Network with Tone-Octave Contrastive Learning for Stratified Semi-Supervised Singing Melody Extraction

📄 A Hybrid Convolution-Mamba Network with Tone-Octave Contrastive Learning for Stratified Semi-Supervised Singing Melody Extraction #音乐信息检索 #歌唱旋律提取 #对比学习 #状态空间模型 #半监督学习 ✅ 7.5/10 | 前25% | #歌唱旋律提取 | #对比学习 | #音乐信息检索 #状态空间模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者:康杰东(Kangjie Dong, 东华大学计算机科学与技术学院) 通讯作者:于帅(Shuai Yu, 大连理工大学信息与通信工程学院), 李威(Wei Li, 复旦大学计算机科学与技术学院) 作者列表:康杰东(东华大学计算机科学与技术学院), Shicheng Ding(美国塔博学院), 于帅(大连理工大学信息与通信工程学院, 通讯作者), 李威(复旦大学计算机科学与技术学院, 通讯作者) 💡 毒舌点评 这篇论文最大的亮点是其极致的“小而美”:仅用0.53M参数就在三个标准数据集上全面超越了从1M到147M不等的强基线,证明了其设计的混合架构与音调八度对比学习在特征表示上的高效性。然而,其分层半监督策略设计略显繁琐,且歌唱旋律提取作为相对垂直的音乐信息检索任务,其普适影响力相较于语音识别等通用任务有所局限。 🔗 开源详情 代码:论文明确提供了代码仓库链接:https://github.com/Fan2me/Melody。 模型权重:论文中未提及是否公开预训练模型权重。 数据集:论文使用了公开数据集MIR-1K、MedleyDB和FMA,但未提供如何获取这些数据集的具体说明(通常这些数据集需自行申请或下载)。 Demo:论文中未提及在线演示。 复现材料:论文提供了较为详细的训练细节(数据、特征、增强、损失函数、优化器、学习率、批大小、硬件),足以支持复现。 引用的开源项目:论文使用了PyTorch框架、mir_eval评估工具包,并依赖ffmpeg进行数据增强。 📌 核心摘要 问题:现有的歌唱旋律提取(SME)方法在建模频谱图时,难以同时高效捕捉局部模式与长程时频依赖,并且缺乏对音高层次(音调、八度)这一音乐先验的显式建模。此外,大多数半监督方法将所有无标签数据同等对待,导致伪标签质量不高。 方法核心:提出了一个统一框架,包含三个关键组件:1)HybridNet:结合双轴Mamba和卷积神经网络来联合建模时频依赖,并设计了一种“结构池化”方案,将频率轴显式编码为“八度×音调”的网格结构,嵌入了音调层次先验。2)音调八度对比学习损失(TOCL):通过设计两个投影器分别将特征映射到音调和八度子空间,拉近相同音调或八度的嵌入,推远不匹配的对,并引入了基于时间邻近度的加权以强调有信息量的正负样本对。3)分层半监督学习策略(S-SSL):根据预测置信度和原型相似度,将无标签帧划分为“容易”、“模糊”、��困难”三组,并分别为每组设计不同的训练目标,从而更有效地利用无标签数据。 与已有方法相比新在哪里:相比CNN方法(如MF-TFA)能更好地建模长程依赖,相比Transformer方法(如TONet)复杂度更低,相比现有Mamba方法(如SpectMamba)引入了更强的结构先验(音调八度层次)和更精细的对比学习与半监督策略。该方法是首个将结构化音调先验、对比学习与分层半监督三者统一应用于SME的框架。 主要实验结果:在ADC2004, MIREX05和MedleyDB三个数据集上,所提HybridNet模型在主要指标OA上均取得了最佳性能。例如,在ADC2004上OA达到87.76%,比最强基线MF-TFA(85.39%)高2.37%。消融实验证实了结构池化(OP, -3.33% OA)、对比学习(TOCL, -1.38% OA)和分层半监督(S-SSL, -1.32% OA)三个组件的贡献。可视化结果(如图3)显示其生成的特征热图更干净,能捕捉到八度相关的谐波结构,在颤音等复杂片段上预测更准。 实际意义:提升了从复杂音乐信号中提取主唱旋律的准确度和模型效率(模型仅0.53M参数),有助于下游应用如哼唱检索、音乐推荐、翻唱识别等。其设计思路(结构先验嵌入、置信度分层利用无标签数据)对其他序列建模任务有借鉴意义。 主要局限性:任务(歌唱旋律提取)本身属于音乐信息检索中的一个垂直领域,应用广度相对有限。分层半监督策略引入了多个超参数(如τc, τa, λe, λa, λh),调优和部署可能稍显复杂。 🏗️ 模型架构 所提HybridNet整体采用类似U-Net的编码器-解码器架构,核心是混合块(Hybrid Block, HB)和结构池化。以下是详细流程: ...

 · 更新于 2026-09-05 · 约 2 分钟 · 391 字 阅读 →
研究条目

A Unsupervised Domain Adaptation Framework For Semi-Supervised Melody Extraction Using Confidence Matrix Replace and Nearest Neighbour Supervision

📄 A Unsupervised Domain Adaptation Framework For Semi-Supervised Melody Extraction Using Confidence Matrix Replace and Nearest Neighbour Supervision #音乐信息检索 #领域适应 #对比学习 #半监督学习 #数据增强 🔥 8.0/10 | 前25% | #音乐信息检索 | #领域适应 | #对比学习 #半监督学习 学术质量 6.2/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:Shengqi Wang(东华大学计算机科学与技术学院) 通讯作者:Shuai Yu(大连理工大学信息与通信工程学院),Wei Li(复旦大学计算机科学与技术学院) 作者列表:Shengqi Wang(东华大学计算机科学与技术学院)、Shuai Yu(大连理工大学信息与通信工程学院)、Wei Li(复旦大学计算机科学与技术学院) 💡 毒舌点评 本文将“被动适应”重新定义为“主动修复”并设计了相应的CMR和NNS模块,技术故事讲得通顺且实验验证充分,在跨域旋律提取上取得了稳健提升,是个不错的应用导向型工作。但CMR模块中使用KL散度进行“最兼容”补丁选择的设计动机和计算开销分析稍显薄弱,部分核心机制(如patch-wise操作的具体实现)在文中描述不够细致,图表(图2)的可视化对比冲击力也有提升空间。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及。 数据集:实验使用了MIR-1K、MedleyDB、MIREX05等公开数据集,但论文未提供具体获取方式或处理脚本。 Demo:未提及。 复现材料:给出了部分实现细节(如使用pysndfx进行增强,Adam优化器,学习率0.0005,λ1=0.1, λ2=0.2, CFP特征参数),但未提供完整的训练配置、代码或附录。 论文中引用的开源项目:引用了pysndfx用于音频增强,mir_eval用于评估指标计算。 开源计划:论文中未提及开源计划。 📌 核心摘要 问题:旋律提取任务面临标注数据稀缺和跨域偏移(如不同音乐风格)两大挑战。现有半监督域适应方法多采用“被动适应”范式,易受伪标签噪声和域差异限制。 方法核心:提出一种“主动修复”范式的无监督域适应框架,包含两个核心模块:置信度矩阵替换(CMR)和最近邻监督(NNS)。CMR通过分析模型预测的置信度,主动用高置信度区域(来自增强版本)替换低置信度区域,生成更强的训练样本。NNS利用最近邻对比学习,在语义特征空间对齐源域和目标域。 创新点:首次将“主动修复”思想引入该领域;CMR实现了像素级(patch-wise)的语义修复;NNS实现了样本级的特征空间对齐;两者结合共同提升了模型对无标签目标域数据的利用率。 实验结果:在六个跨流行(P)、古典(C)、爵士(J)风格的旋律提取任务上,所提方法(CMR-NNS)在整体准确率(OA)上均优于基线模型(MSNet, FTANet, LcMLP, MCSSME)。关键数据见下表。 表3:与基线方法的总体准确率(OA)对比 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 307 字 阅读 →
研究条目

Adversarial Rivalry Learning for Music Classification

📄 Adversarial Rivalry Learning for Music Classification #音乐分类 #音乐信息检索 #对抗学习 #注意力机制 #音频分类 ✅ 6.5/10 | 前25% | #音乐分类 | #对抗学习 | #音乐信息检索 #注意力机制 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者:Yi-Xing Lin(中央研究院 资讯科学研究所) 通讯作者:未说明 作者列表:Yi-Xing Lin(中央研究院 资讯科学研究所)、Wen-Li Wei(中央研究院 资讯科学研究所)、Jen-Chun Lin(中央研究院 资讯科学研究所) 💡 毒舌点评 本文巧妙地将复杂的“反事实推理”优化问题,转化为两个注意力分支之间更直观的“对抗赛跑”,有效简化了超参调优,是LCA方法的一次有价值的工程化精简。然而,论文仅在几个标准音乐数据集上进行了验证,未能在更具挑战性的多模态或跨领域任务中展示其通用性,且完全未开源代码,使得这一“简单有效”的范式难以被社区快速接纳和验证。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及公开权重。 数据集:使用了公开数据集(Artist20, EMOPIA, FMA, GTZAN),但未说明是否提供处理后的版本或获取指南。 Demo:未提及在线演示。 复现材料:论文给出了算法伪代码(Algorithm 1)和部分训练超参数(如学习率、早停步数),但未提供完整的训练配置、环境依赖、检查点或附录的详细说明。核心复现材料(代码)缺失。 引用的开源项目:论文提到了作为骨干模型的MERT,以及用于对比的genreMERT、Short-chunk ResNet、M2D、AST-Fusion等模型,但未明确说明是否依赖或整合了这些模型的开源实现。 📌 核心摘要 要解决什么问题:现有的Learnable Counterfactual Attention (LCA)机制为引导注意力学习,依赖于多个损失项来满足复杂的反事实标准,导致超参数调优负担重、优化不稳定,且因标准模糊而难以跨数据集/任务迁移。 方法核心是什么:提出Adversarial Rivalry Learning (ARL)范式。该范式摒弃了模糊的反事实标准,让模型的主注意力分支与一个辅助注意力分支构成动态竞争对手。在训练中,表现较差的分支通过模仿其优势对手机制(保留两个核心损失:分类损失和效应损失)进行更新,并在超越对手后交换角色。训练结束后,仅保留胜出分支用于推理。 ...

 · 更新于 2026-09-05 · 约 3 分钟 · 476 字 阅读 →
研究条目

ALMA-Chor: Leveraging Audio-Lyric Alignment with Mamba for Chorus Detection

📄 ALMA-Chor: Leveraging Audio-Lyric Alignment with Mamba for Chorus Detection #音乐信息检索 #多模态模型 #对比学习 #Mamba #端到端 ✅ 7.0/10 | 前25% | #音乐信息检索 | #多模态模型 | #对比学习 #Mamba 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者:Ruixi Bao(清华大学电子工程系, TeleAI 研究院) 通讯作者:Xiao-Lei Zhang†(TeleAI 研究院), Xuelong Li†(TeleAI 研究院) 作者列表:Ruixi Bao(清华大学电子工程系, TeleAI 研究院), Hao Ma(TeleAI 研究院), Shansong Liu†(TeleAI 研究院), Cheng Gong(TeleAI 研究院), Chi Zhang(TeleAI 研究院), Xiao-Lei Zhang†(TeleAI 研究院), Wei-Qiang Zhang(清华大学电子工程系), Xuelong Li†(TeleAI 研究院) 💡 毒舌点评 论文巧妙地将音乐基础模型MERT与前沿的Mamba2架构结合用于长序列副歌检测,并创新性地融入歌词模态信息,在自有数据集上取得了亮眼的性能提升,展现了多模态建模的有效性。然而,其核心验证建立在一个未公开的“内部数据集”上,这使得“超越SOTA”的声明大打折扣,也让其他研究者难以复现和公平评判。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 298 字 阅读 →
研究条目

An Event-Based Sequence Modeling Approach to Recognizing Non-Triad Chords with Oversegmentation Minimization

📄 An Event-Based Sequence Modeling Approach to Recognizing Non-Triad Chords with Oversegmentation Minimization #音乐信息检索 #自回归模型 #预训练 #时频分析 ✅ 7.5/10 | 前25% | #音乐信息检索 | #自回归模型 | #预训练 #时频分析 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Leekyung Kim(首尔国立大学工业工程系及工业系统创新研究所,以及 SK hynix) 通讯作者:Jonghun Park(首尔国立大学工业工程系及工业系统创新研究所) 作者列表:Leekyung Kim(首尔国立大学工业工程系及工业系统创新研究所, SK hynix)、Jonghun Park(首尔国立大学工业工程系及工业系统创新研究所) 💡 毒舌点评 亮点是把一个经典的帧级分类问题(ACR)聪明地重构为分段级的序列到序列预测任务,从根本上缓解了过度分割,且结构化的SPLIT标记能有效应对和弦数据不平衡问题,对复杂和弦的提升显著。短板在于论文所用数据集规模较小(仅471首歌),且缺乏在更大、更多样化数据集上的验证,这让人对其泛化能力到更复杂音乐类型(如爵士、古典)时的表现保持谨慎。 🔗 开源详情 代码:提供了GitHub代码仓库链接:https://github.com/KimLeekyung/ACR_seq2seq。 模型权重:论文中未提及是否公开预训练或微调后的模型权重。 数据集:论文指出使用的数据集与BTC论文相同(471首流行歌曲),但未说明是否公开数据集本身或如何获取。可能需参考BTC的原始出处。 Demo:论文中未提及提供在线演示。 复现材料:论文给出了核心的训练细节,如数据预处理(CQT参数)、损失函数、优化器、学习率调度、数据增强方法以及推理时的掩码策略。但未明确提供Transformer编码器/解码器的具体层数、隐藏维度、注意力头数等关键超参数配置。 论文中引用的开源项目: 主要对比模型:BTC(Bi-directional Transformer for Chord recognition),并引用了其GitHub仓库。 使用的度量工具:WCSR的计算可能依赖于mir_eval等库,但论文未明确列出。 📌 核心摘要 这篇论文旨在解决自动和弦识别(ACR)任务中的过度分割、数据稀缺与不平衡三大挑战,尤其是针对非三和弦等复杂和弦。其核心方法是将ACR重新定义为一个分段级的序列到序列(seq2seq)预测问题,使用Transformer编码器-解码器架构,以自回归的方式预测和弦序列,而非传统的逐帧分类。这与已有方法的关键区别在于:1) 预测单元是段落而非帧,从模型架构上减少了产生碎片化预测的可能;2) 引入了MERGE(时间+和弦)和SPLIT(时间+根音+性质)两种结构化标记表示,后者能共享罕见和弦性质的训练数据;3) 设计了基于和弦相似性(WCSR)的编码器预训练策略,引导编码器学习具有音乐意义的嵌入。实验在471首流行歌曲的数据集上进行,结果表明,最终模型(pTEDS)在七种不同严格程度的加权和弦符号召回率(WCSR)指标上均优于强基线BTC,并在分割质量(SQ)上也取得领先,特别是在减少过度分割方面效果突出。该研究的实际意义在于提升了复杂和弦的识别能力并生成了更干净的分割结果,有助于下游音乐分析任务。主要局限性是所用数据集规模相对较小,可能限制了模型在更广泛音乐类型上的泛化验证。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 263 字 阅读 →
研究条目

Audio Effect Estimation with DNN-Based Prediction and Search Algorithm

📄 Audio Effect Estimation with DNN-Based Prediction and Search Algorithm #音频效果估计 #音乐信息检索 #深度神经网络 #优化算法 #音频效果移除 ✅ 7.0/10 | 前25% | #音频效果估计 | #深度神经网络 #优化算法 | #音乐信息检索 #深度神经网络 学术质量 7.0/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Youichi Okita(关西学院大学 理工学研究科) 通讯作者:Haruhiro Katayose(关西学院大学 工学部) 作者列表:Youichi Okita(关西学院大学 理工学研究科)、Haruhiro Katayose(关西学院大学 工学部) 💡 毒舌点评 这篇论文的亮点在于它优雅地模拟了人类音频工程师“先猜后调”的工作流程,将数据驱动的预测与基于信号相似度的搜索有机结合,实验证明这种“两阶段法”确实优于纯预测方法。短板在于其研究的问题场景(吉他效果链)相对垂直窄众,虽然方法论扎实,但能否推广到更复杂、更多样的现实音频处理场景(如流行音乐、混音工程)还有待验证,且未与该领域所有可能的最新方法进行对比。 🔗 开源详情 代码:论文中未提及代码仓库链接。 模型权重:未提及公开的模型权重。 数据集:论文中提及使用了公开的吉他数据集(IDMT-SMT-Guitar, GuitarSet, EGDB, Guitar-TECHS),但用于生成湿信号的效果参数和生成脚本未提及是否公开。 Demo:提供了一个在线演示网站:https://okitayouichi.github.io/afx-pred-sch-demo/ 复现材料:论文提供了较为详细的训练超参数、网络架构描述和损失函数公式,但缺乏硬件配置、训练时长、以及完整的配置文件或检查点信息。 论文中引用的开源项目:使用了pedalboard库(由Spotify开源)来生成数据,使用了Optuna框架来进行搜索算法实现。 📌 核心摘要 解决的问题:解决“音频效果估计”任务,即从经过效果处理的湿信号中,推断出所应用的效果器类型、顺序及其参数设置。 方法核心:提出一种两阶段方法。第一阶段,使用DNN预测干信号和/或效果配置的部分信息(如类型组合);第二阶段,以预测的干信号为基础,通过优化算法(如CMA-ES)搜索最佳参数,使得应用预测效果链后重建的信号与原始湿信号的相似度最大化。 与已有方法相比新在何处:突破了现有方法要么纯预测(依赖大量标注数据,可能不准)、要么纯搜索(需要已知干信号)的局限。通过先预测干信号,为搜索阶段提供了关键输入,从而能够利用重建相似度这一客观目标来优化预测结果,实现了两类方法的互补。 主要实验结果:在吉他效果链数据集上,该两阶段方法在湿信号重建任务上显著优于纯预测基线(例如,SI-SDR从18.18提升至23.07)。同时,研究发现将“预测效果类型组合”与“搜索估计顺序和参数”结合的任务划分策略,在多项指标(类型分类F1、重建SI-SDR等)上表现最佳。关键结果表格如下: 任务 方法 核心指标 数值 单效果类型分类 Bypass-Type-Iter Macro F1 0.919 Bypass-Config-Iter Macro F1 0.917 效果链类型分类 Dry-Type-Direct + Search Macro F1 0.958 Bypass-Type-Iter Macro F1 0.949 Bypass-Config-Iter Macro F1 0.942 单效果移除 Bypass-Type-Iter SI-SDR 26.32 效果链移除 Dry-Type-Direct SI-SDR 13.96 Bypass-Type-Iter SI-SDR 14.95 湿信号重建 Bypass-Config-Iter (基线) SI-SDR 18.18 Dry-Type-Direct + Search SI-SDR 23.07 Bypass-Type-Iter + Search SI-SDR 22.68 实际意义:为自动化音频效果复制与分析提供了新思路,有望帮助音乐初学者学习音色设计,或辅助音频工程师快速复现复杂效果。 主要局限性:实验仅覆盖三种吉他效果(合唱、失真、混响)和较短的效果链,未涉及更多样化的效果类型和更长的链,其实用性和泛化能力有待进一步验证。 🏗️ 模型架构 论文的核心模型架构(预测阶段)如图2所示,其整体是一个包含“效果移除器”和“效果配置估计器”的深度神经网络。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 319 字 阅读 →
研究条目

Audio-to-Score Jazz Solo Transcription with the Rhythm Perceiver

📄 Audio-to-Score Jazz Solo Transcription with the Rhythm Perceiver #音乐信息检索 #爵士乐 #音频转录 #端到端 #节奏感知 ✅ 7.5/10 | 前25% | #音乐信息检索 | #端到端 | #爵士乐 #音频转录 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 中 👥 作者与机构 第一作者:未说明(论文标题页列出三位作者,但未明确标注第一作者) 通讯作者:未说明 作者列表:Ivan Shanin(Queen Mary University of London, Centre for Digital Music), Xavier Riley(Sound Patrol Inc.), Simon Dixon(Queen Mary University of London, Centre for Digital Music) 💡 毒舌点评 论文巧妙地将爵士乐转录问题拆解为“节奏优先,音高后补”的二阶段任务,并用一个统一的Transformer架构优雅地实现,这确实是模仿人类专家工作流程的聪明做法,在特定数据集上也取得了显著进步。然而,这种高度垂直的“爵士萨克斯独奏”任务定位,加上对高质量标注数据(如Omnibook)的强依赖,使其通用性和影响力打了个折扣;论文里对模型为何能有效泛化到节奏风格更复杂的帕克作品解释得也不够深入。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及公开权重。 数据集:Filosax和Omnibook是公开数据集(论文引用了相关文献),WJD部分音轨似乎也被使用。但论文未提供处理后的数据或特定子集的直接下载链接。 Demo:未提供在线演示。 复现材料:提供了详细的模型架构描述、数据集划分、部分训练超参数(嵌入维度、层数、学习率、dropout)和损失函数。未提供完整的训练脚本或配置文件。 论文中引用的开源项目:引用了Ultimate Vocal Remover (UVR) [19]用于声源分离, Madmom [20]用于节拍跟踪, music21 [21]用于将预测序列转换为MusicXML格式。 总结:论文中未提及开源计划。 📌 核心摘要 这篇论文旨在解决即兴爵士独奏的音频到乐谱自动转录任务,特别是克服传统模块化流水线中错误累积的问题。其核心方法是提出一个名为“节奏感知器”(Rhythm Perceiver)的端到端神经网络模型。与先前方法不同,它逆向了处理逻辑:首先,模型预测每个小节中每个拍子的节奏结构(称为“节拍特征”),然后基于预测的节奏结构,在指定的起始点预测音高。模型采用了一种带有跨注意力机制的感知器(Perceiver)风格Transformer架构,将音频帧特征与节拍同步的节奏嵌入进行联合对齐。主要实验结果在极具挑战性的Charlie Parker“Omnibook”数据集上显示,该方法在多项指标上(如钢琴卷帘准确率、节奏准确率)显著优于现有的基线系统(CRNN+qparse),证明了显式建模节拍级节奏单元的有效性。其实际意义在于能为音乐分析和教育提供更准确的乐谱标注工具。主要局限性在于模型针对主流爵士乐节奏范式(如Bebop)进行训练,可能难以完美处理更复杂或前卫的节奏风格,且存在训练数据(Filosax)与测试数据(Omnibook)之间的领域差距。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 282 字 阅读 →
研究条目

Automatic Music Mixing Using a Generative Model of Effect Embeddings

📄 Automatic Music Mixing Using a Generative Model of Effect Embeddings #音乐生成 #扩散模型 #领域适应 #音乐信息检索 ✅ 7.5/10 | 前25% | #音乐生成 | #扩散模型 | #领域适应 #音乐信息检索 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Eloi Moliner(Aalto大学,DICE声学实验室) 通讯作者:未说明 作者列表:Eloi Moliner(Aalto大学,DICE声学实验室)、Marco A. Mart´ınez-Ram´ırez(Sony AI)、Junghyun Koo(Sony AI)、Wei-Hsiang Liao(Sony AI)、Kin Wai Cheuk(Sony AI)、Joan Serr`a(Sony AI)、Vesa V¨alim¨aki(Aalto大学,DICE声学实验室)、Yuki Mitsufuji(Sony AI, Sony Group Corporation) 💡 毒舌点评 MEGAMI的核心亮点在于巧妙地将扩散模型应用于效应嵌入空间,解决了自动混音中“一对多”的根本难题,同时其领域适应策略为利用海量无配对湿录音数据提供了优雅的解决方案,架构设计完整且有深度。然而,论文的评估严重依赖内部数据集,缺乏在大型公开基准上的可复现比较,且其“接近人类水平”的结论在部分主观测试结果中略显主观,实际泛化能力与可落地性仍有疑问。 🔗 开源详情 代码:提供代码仓库链接:https://github.com/SonyResearch/MEGAMI。论文提及“Further details will be provided in the code repository”。 模型权重:论文中未提及公开模型权重。 数据集:论文使用了多个内部数据集(Internal-Small, Internal-Large, Evaluation Benchmark)和公开数据集(Public, Public-Dry)。内部数据集未提及公开,公开数据集来源(如MoisesDB, MedleyDB)是公开可获取的。 Demo:提供在线演示链接:https://sonyresearch.github.io/MEGAMI/。 复现材料:论文提供了一些实现细节(如模型参数量、损失函数类型、采样率、片段长度),但缺乏训练超参数(学习率、batch size等)的完整说明。完整复现严重依赖于无法公开的内部数据集。 论文中引用的开源项目: CLAP:使用了公开预训练的音乐数据CLAP编码器 [11]。 FxEncoder++:使用了该效应特征提取模型 [12]。 公开数据集:MoisesDB [17], MedleyDB [18], OpenSinger [19], IDMT-SMT Drums/Bass/Guitar [20, 21, 22], GuitarSet [23], Aalto anechoic orchestra [24], ReverbFx [26], ASH [27], Arni [28]。 扩散模型框架:基于EDM [14]、Score SDE [15]、Flow Matching [30]等公开工作。 📌 核心摘要 这篇论文旨在解决自动音乐混音中的核心挑战:专业混音本质上是主观的,同一组干录音存在多种同样有效的混音方案,而现有的确定性回归方法无法捕捉这种多样性。论文提出了MEGAMI(Multitrack Embedding Generative Auto MIxing),一个生成式框架,它使用条件扩散模型在效应嵌入空间中建模给定干音轨的专业混音的条件分布。其核心方法是将混音决策(由效应嵌入表示)与音乐内容分离,并设计了一个排列等变的Transformer架构以处理任意数量和顺序的音轨。与已有方法相比,MEGAMI的创新在于:(1)首次将生成模型(扩散模型)用于自动混音;(2)提出了一种效应嵌入因式分解;(3)通过领域适应策略,使模型能利用大量仅有湿录音的公开数据集进行训练。实验表明,在客观分布性指标(KAD)上,MEGAMI优于所有基线;主观听力测试显示其性能接近人类混音师,在部分曲目上甚至超越了人类参考混音。这项工作为自动音乐生成开辟了新方向,其框架可用于合成混音数据集。主要局限性在于评估数据集大部分为内部数据,且模型性能依赖于CLAP和FxEncoder++等预训练嵌入模型的质量。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 352 字 阅读 →
研究条目

Automatic Music Sample Identification with Multi-Track Contrastive Learning

📄 Automatic Music Sample Identification with Multi-Track Contrastive Learning #音频检索 #对比学习 #自监督学习 #数据增强 #音乐信息检索 ✅ 7.5/10 | 前25% | #音频检索 | #对比学习 | #自监督学习 #数据增强 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Alain Riou (Sony AI) 通讯作者:未说明 作者列表:Alain Riou (Sony AI), Joan Serrà (Sony AI), Yuki Mitsufuji (Sony AI) 💡 毒舌点评 亮点在于用多轨数据“动态合成”正样本对的设计非常巧妙,比以往在单轨上做文章更贴近“采样后混音”的真实场景,且通过VQT域的增强操作在计算效率和效果之间取得了很好的平衡。短板是论文坦诚地指出了当前方法在理论上的一个根本局限(即单嵌入无法区分来自同一原曲的不同采样),但这恰恰暴露了对比学习在复杂关系建模上的天花板,后续工作若不能在此突破,则该领域的进步可能很快会触及瓶颈。 🔗 开源详情 代码:提供了GitHub仓库链接:https://github.com/sony/sampleid 模型权重:承诺发布预训练模��(论文中提及“we release… pretrained models”)。 数据集:发布了新的评测数据集SamplePairs(论文中提及“we release this dataset”)。 Demo:未提及。 复现材料:提供了详细的训练代码、配置(学习率、batch size、优化器、调度策略等)以及硬件要求,复现指引充分。 论文中引用的开源项目:使用了Demucs (HT-Demucs) 作为基线比较的一部分,并引用了CQT/VQT工具箱。 📌 核心摘要 问题:自动音乐采样识别(从新曲中检测并找到被采样的原曲)是一项重要但极具挑战的任务,面临训练数据匮乏、需抵抗复杂音频变换、以及在大库中高效检索等难题。 方法核心:提出一种基于自监督对比学习的框架。核心创新是利用多轨录音数据,在训练时动态创建“人工混合”正样本对(将不同轨道子集混合),模拟真实的采样混音过程。模型使用VQT(可变Q变换)时频表示作为输入,并采用ResNet-IBN编码器。 与已有方法相比新在哪里:(1) 数据创建范式革新:首次在采样识别任务中利用多轨数据创建混合正样本,而非仅从单轨中裁剪。(2) 对比损失设计:为匹配新的数据创建方式,设计了一种允许每个样本拥有两个正样本对的修改版对比损失。(3) 高效的频域增强:在VQT表示上进行随机裁剪和时间拉伸,以低成本实现对音高和时间偏移的鲁棒性。 主要实验结果:在标准的Sample100基准上,本方法取得了0.603的mAP,相较于之前最佳基线(0.442)提升了超过15%(绝对值),同时在HR@1、HR@10等指标上也大幅领先。消融实验证明了时间拉伸、音高偏移(VQT裁剪)等增强策略以及使用高质量ground-truth stems的必要性。实验结果关键表格如下: 表1:模型消融实验(在Sample100和SamplePairs数据集上) ...

 · 更新于 2026-09-05 · 约 2 分钟 · 412 字 阅读 →
研究条目

BACHI: Boundary-Aware Symbolic Chord Recognition Through Masked Iterative Decoding on POP and Classical Music

📄 BACHI: Boundary-Aware Symbolic Chord Recognition Through Masked Iterative Decoding on POP and Classical Music #音乐信息检索 #符号音乐 #迭代解码 #Transformer #数据集 ✅ 7.5/10 | 前25% | #音乐信息检索 | #迭代解码 | #符号音乐 #Transformer 学术质量 7.0/7 | 选题价值 7.5/2 | 复现加成 8.0 | 置信度 高 👥 作者与机构 第一作者:Mingyang Yao(加州大学圣地亚哥分校) 通讯作者:未说明 作者列表:Mingyang Yao(加州大学圣地亚哥分校)、Ke Chen(加州大学圣地亚哥分校)、Shlomo Dubnov(加州大学圣地亚哥分校)、Taylor Berg-Kirkpatrick(加州大学圣地亚哥分校) 💡 毒舌点评 亮点:模型设计精巧地融合了“边界检测”与“模仿人类耳练的置信度排序解码”两个直觉,在提升性能的同时也为模型决策提供了可解释性(如古典与流行音乐预测顺序的差异)。短板:研究高度聚焦于符号音乐的钢琴编曲场景,对更复杂的乐队总谱或电子音乐等格式的适用性未做探讨,限制了其普适性。此外,在流行音乐上相比SOTA提升微乎其微,创新带来的边际效益在该风格上不明显。 🔗 开源详情 代码:论文明确表示已发布代码,并提供了演示网站链接 (https://andyweasley2004.github.io/BACHI/)。论文中未直接给出代码仓库的URL,但可通过演示网站访问。 模型权重:论文中提到“我们发布了我们的代码、训练模型和POP909-CL标注”,表明训练好的模型权重会公开。 数据集:论文明确表示将发布POP909-CL数据集。这是对原POP909数据集的增强版本,包含人工校正的标注。 Demo:提供在线演示网站:https://andyweasley2004.github.io/BACHI/。 复现材料:论文提供了详细的训练设置(优化器、学习率调度、数据增强等关键超参数),这为复现实验提供了充分信息。 论文中引用的开源项目:论文引用了music21工具包,用于将罗马数字和弦标注转换为绝对和弦标签。 📌 核心摘要 问题:现有符号(乐谱)和弦识别(ACR)研究面临两大挑战:一是缺乏高质量、大规模标注的符号音乐数据集;二是现有模型方法未充分考虑并模拟人类音乐分析的渐进过程。 方法核心:提出BACHI模型,将和弦识别分解为两步:(1) 边界检测:使用Transformer编码器预测和弦变化点,并通过特征线性调制(FiLM)将边界信息注入到上下文表示中;(2) 置信度引导的迭代解码:使用一个Transformer解码器,迭代地填充被遮蔽的和弦元素(根音、性质、低音),每一步都优先选择当前置信度最高的元素进行预测。 创新点:与先前方法(如直接预测完整和弦标签或使用固定顺序解码)相比,BACHI引入了显式的边界感知模块和灵活的、数据驱动的迭代解码顺序,更贴合人类和弦分析的思维方式。 主要实验结果:在古典音乐(DCML+WiR)和新发布的流行音乐(POP909-CL)数据集上,BACHI在全和弦准确率(Full Chord Accuracy)上均取得了最佳性能。古典音乐:BACHI(68.1%)相比最佳基线(Harmony Transformer v2的62.1%)提升了6.0个百分点。流行音乐:BACHI(82.4%)与Harmony Transformer v2(82.2%)相当,但优于其他基线。消融实验证明了边界检测(BD)和迭代解码(ID)模块的贡献。 实际意义:提供了更可靠的流行音乐和弦标注数据集(POP909-CL),并为符号MIR任务(如音乐分析、和弦条件音乐生成、音乐教育)提供了更强的基础模型。 主要局限性:模型目前仅在钢琴编曲的符号音乐上验证,对更复杂的多声部、多乐器总谱的适用性未知;在流行音乐上相对SOTA的提升有限;其性能上限仍受制于符号音乐数据总量和标注一致性。 🏗️ 模型架构 BACHI是一个两阶段的深度学习模型,整体流程如图1所示。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 318 字 阅读 →
研究条目

BeatMamba: Bidirectional Selective State-Space Modeling for Efficient Beat Tracking

📄 BeatMamba: Bidirectional Selective State-Space Modeling for Efficient Beat Tracking #音乐信息检索 #选择性状态空间模型 #节奏跟踪 #音频分析 ✅ 7.5/10 | 前25% | #音乐信息检索 | #选择性状态空间模型 | #节奏跟踪 #音频分析 学术质量 7.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Ganghui Ru(复旦大学计算机科学与人工智能学院) 通讯作者:Yi Yu(广岛大学先进科学与工程研究生院),Wei Li(复旦大学计算机科学与人工智能学院;上海智能信息处理重点实验室) 作者列表:Ganghui Ru(复旦大学计算机科学与人工智能学院)、Yi Yu(广岛大学先进科学与工程研究生院)、Wei Li(复旦大学计算机科学与人工智能学院;上海智能信息处理重点实验室) 💡 毒舌点评 亮点:论文首次将选择性状态空间模型(Mamba)引入节拍跟踪任务,通过其线性复杂度特性有效解决了Transformer方法在长音乐序列上的效率瓶颈,并且设计了针对性的双向扫描模块与节奏一致性损失,方法动机清晰、实验设计完整。 短板:节奏一致性损失在面对复杂节奏(如SMC数据集中的古典音乐)时表现出负面效果,暴露出其强假设(等时性)的泛化局限;此外,论文未提供代码与模型权重,虽然细节充分,但离完全复现仍有距离。 🔗 开源详情 代码:论文中未提及代码仓库链接。 模型权重:未提及是否公开。 数据集:论文使用了公开数据集(Beatles, RWC, Harmonix, Ballroom等),但未在本论文中提供获取方式或新的数据集。通常需从原出处获取。 Demo:未提供在线演示。 复现材料:给出了模型架构、损失函数公式、关键超参数(λ=0.3, 下采样64倍, C=96)以及实验设置概述(30秒, 8192Hz),但训练优化细节(优化器、学习率、批量大小、训练步数)和硬件信息未说明。 论文中引用的开源项目:引用了Mamba模型([17]),但未明确说明是否依赖其他特定开源代码库。 总结:论文中未提及开源计划。复现需要依赖论文描述自行搭建模型并搜索缺失的训练超参数。 📌 核心摘要 问题:现有节拍跟踪方法面临“双重尺度建模困境”,即需要同时精确建模局部瞬态事件和全局节奏状态。基于Transformer的方法因二次计算复杂度在处理长音乐序列时效率低下。 方法核心:提出BeatMamba模型,一个融合卷积与选择性状态空间模型(SSM)的U形编解码器架构。其核心是双向时间Mamba块,利用选择性机制动态聚焦于稀疏的节拍事件,同时捕获长程依赖。此外,提出一种新的节奏一致性(RC)损失,在序列级别约束预测的拍间间隔(IBI)方差,以增强节奏的结构规律性。 创新之处:1) 首次将SSM应用于节拍跟踪,实现了O(N)线性复杂度的长序列建模;2) 设计了对称的双向Mamba块,能同时利用过去和未来上下文;3) 提出基于对数拍间间隔方差的RC损失,显式建模音乐节奏的等时性先验。 主要结果:在四个基准数据集上,BeatMamba取得了最优或极具竞争力的性能。例如,在Ballroom数据集上,其AMLt达到97.2%,优于所有基线模型。消融实验验证了双向扫描(在GTZAN上F-measure从86.7%提升至88.9%)和RC损失(在GTZAN上CMLt从81.3%提升至82.3%)的有效性。 实际意义:为音乐信息检索中的长序列建模任务提供了一种高效且性能优异的新范式,尤其适用于对实时性或长音频处理有要求的场景。 主要局限性:RC损失对节奏复杂、速度自由变化的音乐(如SMC数据集)可能产生负面效果,表明其强正则化约束与真实音乐多样性之间存在矛盾。 🏗️ 模型架构 BeatMamba采用对称的U形编码器-解码器架构,其整体流程如下: ...

 · 更新于 2026-09-05 · 约 2 分钟 · 319 字 阅读 →
研究条目

Benchmarking Music Autotagging with MGPHot Expert Annotations vs. Generic Tag Datasets

📄 Benchmarking Music Autotagging with MGPHot Expert Annotations vs. Generic Tag Datasets #音乐信息检索 #基准测试 #模型评估 #音频分类 #预训练 ✅ 7.5/10 | 前25% | #音乐信息检索 | #基准测试 | #模型评估 #音频分类 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Pedro Ramoneda(Music Technology Group, Universitat Pompeu Fabra, Barcelona, Spain) 通讯作者:Pedro Ramoneda(论文中标注 Corresponding author: pedro.ramoneda@upf.edu) 作者列表: Pedro Ramoneda(Music Technology Group, Universitat Pompeu Fabra, Barcelona, Spain) Pablo Alonso-Jim´enez(Music Technology Group, Universitat Pompeu Fabra, Barcelona, Spain) Sergio Oramas(Music Technology Group, Universitat Pompeu Fabra, Barcelona, Spain) Xavier Serra(Music Technology Group, Universitat Pompeu Fabra, Barcelona, Spain) Dmitry Bogdanov(Music Technology Group, Universitat Pompeu Fabra, Barcelona, Spain) 💡 毒舌点评 这篇论文最大的价值在于“清理工作间”——它通过构建一个更严谨、更精细的评估基准,像一面镜子照出了当前六个主流模型在“通用标签”与“专家标注”任务上表现不一的尴尬现实。其严谨的数据收集(56.43%官方来源)和划分流程值得称道,但论文本身并未提出能解决这些差异的新模型,更像是为社区立了一个新的、更准确的“标尺”。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 307 字 阅读 →
研究条目

Constructing Composite Features for Interpretable Music-Tagging

📄 Constructing Composite Features for Interpretable Music-Tagging #音乐信息检索 #遗传编程 #音频分类 #开源工具 ✅ 7.5/10 | 前25% | #音乐信息检索 | #遗传编程 | #音频分类 #开源工具 学术质量 6.5/7 | 选题价值 0.0/2 | 复现加成 +1.0 | 置信度 高 👥 作者与机构 第一作者:Chenhao Xue (University of Oxford) 通讯作者:未说明 作者列表:Chenhao Xue (University of Oxford), Weitao Hu (Independent Researcher), Joyraj Chakraborty (University of Oxford), Zhijin Guo (University of Oxford), Kang Li (University of Oxford), Tianyu Shi (University of Toronto), Martin Reed (University of Essex), Nikolaos Thomos (University of Essex) 💡 毒舌点评 亮点:论文将遗传编程(GP)系统地应用于音乐特征构造,成功地将“可解释性”从特征重要性分析提升到了特征组合公式本身的透明化,为对抗深度学习黑箱提供了一条优雅的符号回归路径。短板:实验所用的GTZAN数据集已被认为过于简单且存在缺陷,在此之上取得的显著提升(如5%准确率)难以证明方法的普适性和先进性;同时,论文声称“接近深度学习SOTA”,但缺乏对当前最强端到端模型(如PANNs, Transformer)在相同条件下的公平对比,使得SOTA宣称略显单薄。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 306 字 阅读 →
研究条目

Cross-Cultural Bias in Mel-Scale Representations: Evidence and Alternatives from Speech and Music

📄 Cross-Cultural Bias in Mel-Scale Representations: Evidence and Alternatives from Speech and Music #语音识别 #音乐信息检索 #时频分析 #多语言 #基准测试 ✅ 7.0/10 | 前25% | #语音识别 | #时频分析 | #音乐信息检索 #多语言 学术质量 6.0/7 | 选题价值 2.0/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者:Shivam Chauhan(Presight AI, Abu Dhabi, United Arab Emirates) 通讯作者:未说明 作者列表:Shivam Chauhan(Presight AI, Abu Dhabi, UAE)、Ajay Pundhir(Presight AI, Abu Dhabi, UAE) 💡 毒舌点评 本文精准地“捅破了一层窗户纸”:大家都用Mel尺度,但可能没人深究过它对全球一半音乐和语言“不友好”这个系统性风险。其最大的价值在于用扎实的实验量化了这种偏差,并指出了ERB等低成本替代方案的可行性,这对工业界有直接指导意义。短板在于,研究仍停留在“诊断”和“推荐替代品”阶段,对于如何设计一个真正“文化自适应”或“文化公平”的端到端学习框架,未提出更根本性的方法论创新。 🔗 开源详情 代码:论文明确提及发布代码仓库:https://github.com/shivam-MBZUAI/cross-cultural-mel-bias 模型权重:论文未提及发布预训练模型权重。 数据集:FairAudioBench基准测试包含策划好的数据集划分,论文中说明其“available at”上述GitHub仓库链接。 Demo:未提及在线演示。 复现材料:论文提供了前端配置的详细描述(滤波器数量、窗口大小等),后端架构(CRNN),训练超参数(优化器、学习率、批大小、轮数),以及使用这些信息应能进行复现。 引用的开源项目:论文引用了CommonVoice、GTZAN、FMA、CompMusic、TAU Urban Acoustic Scenes等多个公开数据集,以及LEAF、SincNet等方法的代码实现作为基准。 📌 核心摘要 解决的问题:现代音频系统普遍采用源于西方心理声学研究的Mel频谱尺度作为前端特征,这可能对非西方语言(特别是声调语言)和音乐(如阿拉伯微分音、印度Shruti)产生系统性的性能偏差,构成一种“技术性偏差”。 方法核心:通过控制变量实验,系统比较了7种音频前端(包括标准Mel、可学习滤波器组LEAF/SincNet,以及心理声学变体ERB/Bark/CQT)在语音识别(11语言)、音乐分析(6传统)和声学场景分类(10欧洲城市)三个任务上的表现,并引入了公平性度量(WGS, ∆, ρ)。 新在何处:首次跨领域、跨文化地系统量化了Mel尺度带来的公平性差距,并揭示了其机制(在关键频率范围200-500Hz分辨率严重不足)。同时,证明了替代前端能显著减少这些差距。 主要结果:Mel尺度在声调与非声调语言的WER差距达12.5%,西方与非西方音乐F1差距达15.7%。替代方案如LEAF可将语音差距减少34%,CQT将音乐差距减少52%,ERB以仅1%的额外计算开销实现31%的差距缩减。下图(论文图1)直观展示了不同前端在减少差距上的效果对比。 图1:不同前端在语音和音乐任务上性能差距对比 实际意义:论文指出,生产系统可以立即采用ERB滤波器组来大幅提升跨文化公平性,成本极低。同时,发布了FairAudioBench基准,为社区评估此类偏差提供了标准化工具。 主要局限性:非洲等地的声调语言、非欧洲的原生音乐传统在评估中代表性不足;未探讨交叉性偏差(如方言与口音的叠加影响);结论更多是“替代比优化好”,而非“如何优化出一个最公平的”。 🏗️ 模型架构 论文并未提出一个新的端到端音频模型架构,而是系统地对比了多种音频前端(Front-end) 对后端模型性能的影响。所有实验使用相同的后端架构以隔离前端贡献。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 256 字 阅读 →
研究条目

Do Foundational Audio Encoders Understand Music Structure?

📄 Do Foundational Audio Encoders Understand Music Structure? #音乐信息检索 #音乐理解 #预训练 #自监督学习 #模型比较 ✅ 7.0/10 | 前25% | #音乐信息检索 | #模型比较 | #音乐理解 #预训练 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Keisuke Toyama (索尼集团公司,日本) 通讯作者:未说明(论文中作者列表按顺序排列,但未明确标注通讯作者) 作者列表: Keisuke Toyama (索尼集团公司,日本,共同第一作者) Zhi Zhong (索尼集团公司,日本,共同第一作者) Akira Takahashi (索尼集团公司,日本) Shusuke Takahashi (索尼集团公司,日本) Yuki Mitsufuji (索尼集团公司,日本;索尼AI,美国) 💡 毒舌点评 这篇论文的亮点在于其“工具书”式的系统性与清晰度,为迷茫于众多音频基础模型的音乐结构分析研究者提供了一份可信赖的导航图,尤其是关于掩码语言建模与长形式音乐训练数据的结论颇具指导性。短板则在于其探索边界止步于“比较”,未能进一步将发现的“最佳实践”(如MLM+长上下文)整合成一个更强健的端到端模型,使得结论稍显“观察有余,建设不足”。 🔗 开源详情 代码:提供了代码仓库链接:https://github.com/sony/MSA-bench。 模型权重:论文中未提及是否公开所评估的FAE的模型权重。这些权重需从各FAE原项目的开源仓库获取。 数据集:评估使用了公开的Harmonix数据集。各FAE的预训练数据部分公开(如FMA, MSD, AudioSet),部分为私有(如MERT的160k小时音乐数据)。 Demo:论文中未提及在线演示。 复现材料:提供了详细的实验设置(数据集划分、训练超参数、后处理方法)和评估代码,复现基础实验可行性高。 引用的开源项目:论文引用了大量开源工具和模型,如mir_eval(评估库)、MusicFM、MERT、AudioMAE、PANNs、EnCodec、CLAP等。 📌 核心摘要 本文旨在回答一个核心问题:当前主流的基础音频编码器(FAE)是否真正理解音乐的结构?为此,作者系统性地评估了11种不同类型的FAE(涵盖自监督学习、监督学习、跨模态学习等)在音乐结构分析(MSA)任务上的表现。研究发现,采用掩码语言建模(MLM)在长形式音乐数据上进行自监督预训练的模型(如MusicFM)表现最为出色,尤其在长上下文建模和捕捉语义特征方面优势明显。实验在Harmonix数据集上进行,以简单的线性探测后端评估FAE特征,结果显示MusicFM在边界检测(HR3F达63.91%)和功能预测(ACC达68.13%)上均达到最优。研究证明了FAE的预训练范式与训练数据选择对下游结构理解任务至关重要,并建议社区可重新审视基于此类FAE的生成模型评估指标。局限性在于仅使用了简单的线性后端,且未探索自回归模型等其他范式。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 251 字 阅读 →
研究条目

Enhancing Automatic Drum Transcription with Online Dynamic Few-Shot Learning

📄 Enhancing Automatic Drum Transcription with Online Dynamic Few-Shot Learning #音乐信息检索 #少样本学习 #领域适应 #实时处理 ✅ 7.0/10 | 前25% | #音乐信息检索 | #少样本学习 | #领域适应 #实时处理 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者:Philipp Weyers (Fraunhofer Institute for Integrated Circuits (IIS), Germany) 通讯作者:未说明(论文中作者列表后未明确标注通讯作者) 作者列表:Philipp Weyers (Fraunhofer IIS), Christian Uhle (Fraunhofer IIS & International Audio Laboratories Erlangen), Meinard Müller (Fraunhofer IIS & International Audio Laboratories Erlangen), Matthias Lang (Fraunhofer IIS)。 💡 毒舌点评 亮点是首次在ADT中提出一种无需人工标注、支持流式处理的在线自适应方法,将少样本学习从“学习新类”巧妙地转化为“适配已知类的音色”,思路清晰且工程价值明确。短板在于,消融分析揭示其宣称的“在线自适应”带来的实际性能提升在部分数据集上有限,大部分性能增益其实来自离线训练阶段的优化(如第二阶段训练),这使得在线部分的贡献显得有些“锦上添花”而非核心突破。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 245 字 阅读 →