只靠同曲更相似会学偏：用三种信号处理相似度把乐器相似表示拉回跨曲

英文题目：INCORPORATING SIGNAL PROCESSING-BASED KNOWLEDGE FOR MUSIC SIMILARITY REPRESENTATION LEARNING BASED ON INDIVIDUAL INSTRUMENT SOUNDS

会议身份：conference:eusipco:2026:conference-paper-id:0000046

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#对比学习 #信号处理 #预训练 #音乐 #音乐检索

评分：5.4/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.8/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：后50% | 文档类型：方法研究

👥 作者与机构

• Imamura, Takehiro：机构信息未能从会议 PDF 纯文本可靠映射
• Hashizume, Yuka：机构信息未能从会议 PDF 纯文本可靠映射
• Huang, Wen-Chin：机构信息未能从会议 PDF 纯文本可靠映射
• Toda, Tomoki：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

乐器级相似度学习需对鼓贝斯钢琴吉他等各声部独立输入混合或分离片段并输出跨曲相似嵌入，难点在于同曲内编曲混音与重复动机线索会让仅用轨内假设的模型难以泛化到跨曲音色节奏比较。首先并行计算全局平均音色、局部音色命中与波动节奏三种信号处理相似度，经最小最大归一化到[0,1]后求和融合成统一排序依据。接着以该排序在全异曲间构造锚正负三元组并与同曲轨内三元组按等比混合，用间隔三元组损失预训练各乐器嵌入提取器，使其同时吸收互补音色节奏线索。然后用少量高一致ABX人类偏好做感知微调，将嵌入空间对齐人耳判断，并以分离级联流程承接真实检索。与仅用轨内相似的训练相比，关键差异在于引入可解释信号处理知识定义跨曲正负关系而非仅靠同曲假设，因而平衡了嵌入空间并对分离伪影更鲁棒。在Slakh乐器相似度评测任务下，学习型方法在分离场景的平均感知一致率指标为72.14，高于清洁场景的平均感知一致率指标71.84。该结论适用边界受限于Slakh合成混合与特定分离流程及有限ABX协议，尚未验证真实商业录音与大规模检索，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要交付什么？

本文解读的对象是 1 篇研究按乐器计算音乐相似度的表示学习论文，输入是完整的论文正文文字与本次收到的官方图像像素情况，目标是让刚进入语音音乐音频领域的研究生能核对并复述方法。本文必须保留的信息包括任务定义、两种评估模型、2 阶段训练、3 类信号处理相似度、三元组构造规则、数据集划分、评价指标与关键对照。本文的输出是 1 篇按学习依赖展开的中文技术解读，不做营销式判断，不补充证据之外的事实。

音乐推荐与检索的一个分支是直接从音频内容算相似度，避免依赖用户听歌历史，这对听歌记录很少的冷门曲子尤其重要。从整曲混音算相似只能给出一个总分，无法回答用户想找鼓很像或吉他很像的曲子这类需求。按乐器的音乐相似表示学习就是为每种乐器各学一个嵌入空间，使同一乐器维度下的距离反映人听起来的相似程度。初学者可以把每个乐器想象成独立的一把尺子，鼓用鼓的尺子量，贝斯用贝斯的尺子量，互不混用。

这条路线长期依赖无标注学习，因为人工给相似度标签成本很高。常见做法是假设同一首曲子内的片段比跨曲片段更相似，用这种曲内相似自动构造三元组。这种做法能让模型把同一首曲子聚起来，但论文指出它学到的相似往往过于简单，因为同一曲子内反复出现相同的配器、速度与混音线索，模型记住这些重复线索就能在训练损失上过关，换到跨曲比较时需要的多样音色与节奏线索反而没有学到。这正是本文要解决的中心矛盾。

同输入同目标下，已有路线各解决了什么、没解决什么？

按输入与目标划分，已有工作可分为基于信号处理的方法与基于机器学习的方法。信号处理路线直接用手工特征算距离，例如对梅尔频率倒谱系数做时间平均表示全局音色，或用波动图表示节奏性响度起伏，或用滑窗局部特征取最小距离表示局部音色相似。这类方法不需要训练，能直接给出可解释的距离，但难以融入人的偏好，也容易受源分离误差直接影响。

机器学习路线中的音乐相似表示学习多用自监督或无监督的度量学习，例如用三元组损失把语义相近的音频拉近。按乐器的分支进一步为每种乐器训练独立的相似特征提取器，代表性做法是输入干净分轨的 Clean 模型与先分离再提取的 Cascade 模型。Clean 在客观评价上常更高，但它要求评估时有干净分轨，而公开曲库通常只有混音，因此实际不可用。Cascade 解决了输入可用性问题，但分离误差会带来性能下降。

监督条件是区分各工作的另 1 维度。完全无标注的曲内预训练成本低但跨曲泛化弱，少量 ABX 偏好标签做的感知微调能直接对齐人耳，但标签量小，单独使用容易不稳定。已有 2 阶段做法是先曲内预训练再感知微调，本文继承这一框架，新增的是在第一阶段混入多种信号处理相似度作为跨曲三元组的划分依据，而不是只用曲内假设。

为什么只用曲内三元组，跨曲就会学不好？

把训练过程沿一个样本走一遍有助于理解。取一首曲子的鼓分轨，切出两段作为锚点与正例，再从另一首曲子切一段鼓作为负例，三元组损失要求锚点与正例的欧氏距离比锚点与负例至少小一个边界值。模型为了满足这个约束，最省力的方式是记住本曲特有的底鼓音色或混响，而不必学会区分不同曲子之间细微的音色明暗与节奏松紧。当评估换成跨曲三元组时，参考段与两个候选都来自不同曲子，本曲线索消失，模型就没有可靠依据。

曲内相似 × 跨曲相似： 曲内相似指同一首曲子内不同片段比不同曲子片段更相似的假设，它负责提供无需标注的三元组监督，分工是让模型快速形成按曲子聚类的表示；跨曲相似指来自不同曲子的片段之间谁与谁更像的判断，它负责推荐检索真正要用的比较，分工是要求表示能区分不同曲子间的音色与节奏差异；二者搭配的原因是前者易得但线索单一重复，后者难得但多样复杂，组合意义是用前者稳定训练起点，用后者引入的信号处理相似度把表示从记住本曲线索拉向可泛化的曲间关系。

论文用示意图表达了同样的判断，曲内训练学到的相似准则单一，而跨曲评估需要的相似准则多样复杂。教学上可以举一个例子，例子是两首歌都用同样的鼓机但编配不同，曲内训练只见过同一首歌内鼓机音色完全一致的情况，跨曲时两首歌鼓机音色接近但节奏型不同，模型若只学了音色重复线索就会误判。这只是帮助理解的例子，不代表论文做过该对照实验。

因此问题可形式化为监督来源单一导致的覆盖不足。解决思路不是加大模型，而是增加预训练阶段相似性定义的视角，让三元组的正负划分同时反映全局音色、局部音色与节奏波动，再保留曲内监督的稳定性，最后用少量人工偏好校准。

方法全景：一次前向要经过哪些部件，监督从哪里来？

方法全景可以按一条样本的旅程复述。输入是一段乐器声音，在 Clean 条件下是数据集提供的干净分轨，在 Cascade 条件下是先对混音做源分离得到的估计分轨。声音先转成时频表示并提取手工特征，再送入对应乐器的相似特征提取器得到嵌入向量，训练与评估都在嵌入空间用欧氏距离比较。输出不是类别，而是一组距离关系，用于回答在给定参考段时两个候选中谁更像。

Clean × Cascade： Clean 指直接输入干净的单乐器分轨到各自相似特征提取器，分工是在理想条件下测表示学习的上限；Cascade 指先做音乐源分离再把分离出的乐器声送入相似特征提取器，分工是模拟真实曲库只有混音可用的可部署流程；二者搭配的原因是前者能说明方法本身是否有效，后者能说明方法是否耐分离误差，组合意义是同一训练策略要在两种输入条件下都接受 ABX 感知一致率检验，才能区分是表示变好了还是只是干净输入占了便宜。

监督分两个阶段到来。第一阶段是无标注预训练，同时使用曲内相似与多种信号处理相似度构造三元组，曲内三元组的正负按是否同曲划分，信号处理三元组的锚点正例负例全部来自不同曲子，按信号处理距离值决定谁是正例谁是负例。第二阶段是感知微调，使用 ABX 测试收集的人偏好标签，锚点是参考段，正例是被判更像的那一段，负例是被判不像的那一段，损失形式仍是同样的三元组损失。

需要强调的是本文没有提出新的网络结构，创新在训练数据的划分依据。信号处理方法在这里的角色是教师，只负责在预训练时告诉模型哪些跨曲对应该更近，不直接参与最终嵌入的计算。最终做相似计算的仍然是学到的嵌入模型，这使得模型有可能结合信号处理知识、曲内知识与人类偏好三者的优点。

三种信号处理相似度各算什么，如何归一与融合？

第一种是全局时间平均，做法是对一段音乐的梅尔频率倒谱系数沿时间求平均得到一个向量，两段音乐的相似用这两个向量的欧氏距离定义。它捕捉的是整段的平均音色，优点是稳定简单，缺点是会抹掉随时间变化的结构，适合表示流派层面的总体质感。

第二种是局部音色相似，做法是用滑窗从梅尔频率倒谱系数序列切出多个局部时段特征，每个局部特征独立作为相似特征，两段音乐的相似定义为所有跨曲局部特征对之间欧氏距离的最小值。论文示意图中以 0.6 与 0.8 等数值说明最小距离的选择过程。它捕捉的是局部最对得上的那一段音色，优点是对齐灵活，缺点是对噪声与切分敏感。

全局音色平均 × 局部音色相似： 全局音色平均指对整段音乐求时间平均的梅尔频率倒谱系数并用欧氏距离算相似，分工是抓住整段的总体音色倾向；局部音色相似指用滑窗从梅尔频率倒谱系数切出局部时段特征再取所有跨曲特征对中的最小欧氏距离，分工是抓住局部最像的那一小段音色；二者搭配的原因是全局易被平均抹掉细节而局部易只见树木，组合意义是在预训练三元组中分别提供粗粒度和细粒度音色监督，使模型同时学会整体质感与可对齐的局部音色片段。

第 3 种是波动图，做法是先算梅尔频谱，再沿时间轴对每个频带的幅度包络做 1 次快速傅里叶变换，得到调制谱，用它表示响度起伏的周期性，两段音乐的相似用波动图特征之间的欧氏距离定义。它捕捉的是节奏性特征，与前两种音色特征互补。融合多种相似度时，论文先用多对样本分别计算每种相似值，再做最小最大归一化到 0 到 1 区间，然后求和得到综合相似度。归一化是必要的操作，否则量纲大的特征会主导求和。

三元组如何构造，损失如何计算，参数如何更新？

训练沿用前人流程，学到的相似完全取决于三元组中如何定义相似与不相似。曲内三元组的构造是锚点取自随机选的一首曲子，正例取自同一首曲子的另一段，负例取自不同曲子。信号处理三元组的构造是锚点正例负例均取自互不相同的曲子，先用选定的信号处理方法算锚点与两个候选的距离值，距离更小的定为正例，距离更大的定为负例。这样正负关系反映的是手工特征认为的跨曲相似，而不是同曲先验。

波动图 × 三元组损失： 波动图指对梅尔频谱沿时间轴再做快速傅里叶变换得到的调制谱特征并用欧氏距离算相似，分工是提供节奏与响度起伏周期性的监督；三元组损失指让锚点与正例距离比锚点与负例距离至少小一个边界值的目标，分工是把相似与不相似的定义转化为可优化的距离约束；二者搭配的原因是波动图给出跨曲的节奏正负例划分方式，而三元组损失给出如何把这种划分压入嵌入空间，组合意义是让节奏线索与音色线索一样能通过同一种损失参与预训练。

损失采用带边界值的三元组损失，记锚点特征、正例特征、负例特征，距离函数用欧氏距离，损失为锚点正例距离减去锚点负例距离再加边界值后与零取最大。论文报告边界值设为 0.2，优化器用 Adam。曲内来源与信号处理来源的三元组按 1 比 1 混合后用同一损失训练，使模型同时暴露在两种监督下。

预训练 × 感知微调： 预训练指先用无需人工标注的曲内相似与信号处理相似度构造大量三元组训练特征提取器，分工是学到多样且通用的乐器相似空间；感知微调指再用少量 ABX 人偏好标签把参考段与被判更像段拉近、与被判不像段推远，分工是把通用空间对齐到人的跨曲听感；二者搭配的原因是前者量大但与人耳不完全一致，后者量小但直接反映目标评价，组合意义是先用低成本监督扩大表示的覆盖面，再用高成本监督校准方向。

第二阶段感知微调沿用同样损失，数据来自 ABX 测试。每个 ABX 条目给出参考段与两个候选段，至少 3 名被试回答哪个候选更像参考段，多数人认定的更像者为正例，另一者为负例。论文未报告特征提取器在 2 阶段是否冻结部分层、学习率与批量大小等细节，这些属于具体缺项，复现时需要按原文引用前人配置或做合理搜索并记录。不能从模型名称推定梯度路径，也不能把未训练等同于确定性求解。

数据从哪里来，划分与 ABX 标签如何组织？

实验用 Slakh 数据集，该数据集也被前人按乐器相似研究使用过。论文按官方配方把更细的子分轨合并为鼓、贝斯、钢琴、吉他 4 类，并把完整曲子记为混音。排除了由同一 MIDI 文件生成的曲目，避免同一作曲不同渲染版本泄漏到不同划分。下表整理了论文报告的曲目级划分，比较问题是训练验证评估各有多少首曲子，公平条件是同一划分沿用前人做法且排除同 MIDI 曲目。

上表显示训练集明显大于验证集与评估集，代价是评估集仅 136 首曲子，后续 ABX 条目都从该小集合切段产生，结论外推到更大曲库时需谨慎。未胜出或未评测的边界是除 4 种乐器与混音之外的其他乐器不在本次评估范围内，论文未声称对人声或管乐同样有效。

人类偏好数据通过 ABX 测试收集，向被试呈现目标乐器的干净源片段并提问哪个候选更像参考段，每个条目收集至少 3 人回答，共 26898 个有效回答，一半用于感知微调，一半用于评估。评估时只保留超过 75% 被试给出相同答案的高一致条目，以减少标签噪声。代码与数据可用性方面，本次未发现来源绑定且完成验证的资源，不得声称代码模型或数据已公开。

测什么指标，与谁比，条件是否一致？

评价指标是感知相似一致率，做法是对来自不同曲子的参考段与两个候选段，让模型判断哪个候选离参考段更近，再与高一致 ABX 人工判断比较，方向是越高越好。该指标不是自动音频距离，而是以人为准的二选一准确率，不能把嵌入距离本身的大小直接当成人评分数。

下表整理了论文报告的评估用 ABX 三元组数量，比较问题是每个乐器有多少高一致评估条目，公平条件是都经过超过 75% 一致筛选且来自评估集切段。

上表说明除混音外 4 种乐器的评估条目都在 1000 以上，混音仅 711 条，代价是混音平均分的统计不确定性更大。未评测边界是低一致条目被排除，模型在模糊听感上的行为本次未被测量。比较对象包括不做预训练只做感知微调、只用曲内预训练的不含信号处理版本，以及分别加入全局平均、局部音色、波动图及其组合的版本，Clean 与 Cascade 两种输入条件分别评估。训练超参数方面论文明确报告了边界值与混合比例，下表整理可复现的训练配置。

上表的好处是给出了最关键的可复现量，代价是学习率、批量、轮数与网络结构未在本次证据中交代，复现时必须回到原文引用的前人工作补齐并记录实际取值。

加入信号处理监督后，跨曲感知一致率变好了吗？

主结果的比较问题是在相同感知微调下，预训练是否加入信号处理相似度能提高跨曲感知一致率，公平条件是同为 Clean 或同为 Cascade 输入、同一乐器、同一 ABX 评估集，指标方向是越高越好。论文报告显示有预训练普遍高于无预训练只做微调，说明第一阶段对第二阶段有明显贡献。在此基础上再加入信号处理相似度的版本总体优于只用曲内相似的版本，融合多种相似度的版本往往优于只用单一相似度的版本，同时使用曲内与信号处理监督的版本往往优于只用信号处理监督的版本。

具体到乐器层面，论文报告同一信号处理方法并不在所有乐器上都最优，说明不同乐器被试关注的线索不同。例如波动图偏节奏的监督可能对鼓与贝斯更有帮助，而局部音色监督可能对吉他与钢琴的片段对齐更有帮助，但这属于有限解释，需要更多消融才能确立因果。Cascade 下的最佳组合在乐器平均上达到与曲内基线相当或更好，其中局部音色加波动图与曲内结合的版本表现突出，支持了多视角监督具有通用性的判断。

反例同样重要。部分方法在 Cascade 下反而高于 Clean，例如只用曲内或局部音色加波动图结合曲内的版本。论文的解释是分离误差遮住了部分乐器特征，使曲内三元组在 Cascade 下变得更复杂，迫使模型学更多样特征，这属于待验证的推测。总体趋势不等于每种乐器每种组合都成立，阅读时应按乐器分别核对均值与 3 次运行的标准差，而不是只看乐器平均。

只用信号处理不学习，与拿它做监督再学习，谁更强？

这个对照的比较问题是信号处理方法的价值应该以直接算距离的方式使用，还是以构造预训练三元组的方式使用，公平条件是同一局部音色加波动图的相似定义，指标仍是感知一致率，输入分别测干净分轨与分离分轨。论文报告基于学习的版本在两种输入下都倾向于优于纯信号处理版本，可能的原因是学习版本额外利用了曲内知识与感知微调，而纯信号处理无法融入这部分信息。

更关键的差异在分离输入下。纯信号处理方法从干净换到分离时性能明显下降，因为分离误差直接污染手工特征的距离计算。基于学习的版本从干净换到分离时没有观察到同等下降，论文将其归因于前人方法中已有的对分离伪影的鲁棒性设计，使学到的嵌入对分离误差不那么敏感。这支持了结合两者 strengths 的判断，但论文未测量误判率分解、延迟或计算成本，因此不能承诺鲁棒性没有代价。

未胜出项也值得记录。单一信号处理监督有时在个别乐器上接近融合版本，融合版本增加了预训练数据构造与调参成本，收益并非在每个乐器上都显著。若复现资源有限，可先复现局部音色加波动图结合曲内的主推组合，再按需回退到单一监督做成本对照。

哪些结论有边界，哪些数字不能直接推广？

首先是数据边界。评估集仅 136 首曲子，ABX 评估条目虽过千但都切自该集合，且只保留高一致条目，模型在模糊听感与更大曲库上的行为未被测量。乐器边界是仅评估鼓贝斯钢琴吉他与混音，其他乐器与人声不在结论范围内。输入边界是 Cascade 用的具体源分离模型在本次证据中未给出名称与性能，分离质量不同会直接改变 Cascade 结论。

其次是指标边界。感知一致率是二选一准确率，不反映距离的绝对误差，也不反映检索排序靠前位置的质量，不能把它当成推荐点击率。不同指标的差值不能混放，百分点提升与相对百分比提升含义不同，阅读时应保留原文的裸值写法，不自行四舍五入或换算。

最后是推断边界。分离误差使表示更多样、融合监督带来互补性等说法是与结果一致的解释，不是因果证明。缺失的训练细节如学习率批量与冻结策略属于具体缺项，不是技术错误，但复现时必须补记。未测量训练资源推理开销与输出帧率，总体趋势不等于每组都成立，不能承诺延迟或成本得到改善。

要复现这套流程，先做什么、按什么顺序检查？

第一步复现数据准备。按 Slakh 官方配方合并子分轨为 4 类乐器，排除同 MIDI 曲目后按 1200、270、136 划分训练验证评估。切段长度与采样率需与前人工作一致，本次证据未给出具体数值，复现时要先锁定该缺项并记录实际取值，否则三元组分布无法对齐。

第二步复现信号处理监督。实现全局平均、局部滑窗最小距离与波动图 3 种距离，实现最小最大归一化到 0 到 1 再求和的融合。对每种相似分别构造全跨曲三元组，检查锚点正例距离确实小于锚点负例距离，再按 1 比 1 混入曲内三元组。用边界值 0.2 的三元组损失与 Adam 优化器训练每种乐器的独立提取器，3 次随机种子取均值与标准差。

第三步复现感知微调与评估。把 26898 条 ABX 回答对半分，一半微调一半评估，评估只用超过 75% 一致的 1163、1128、1083、1085 与 711 条。先跑无预训练、只曲内、加入各信号处理组合三档基线，再跑 Clean 与 Cascade 两种输入。Cascade 需固定同一源分离模型并报告其分离质量，否则干净与分离的比较不公平。由于本次无可用资源声明，不应假设代码权重可下载，一切应从论文文字与引用链重建。

何时值得尝试这种做法，还需补哪项验证？

当你的乐器相似系统已出现同曲聚类很好但跨曲检索不符合听感时，值得尝试在预训练中加入信号处理定义的跨曲三元组。优先尝试局部音色加波动图再结合曲内监督的组合，因为它在两种输入下的乐器平均上最稳。若目标乐器以节奏为主，可重点检查波动图分支，若以音色细节为主，可重点检查局部音色分支，但最终选择应按乐器分别验证，不应默认同一组合对所有乐器最优。

当部署只能拿到混音时，更要同时测 Clean 上限与 Cascade 实际值，并报告分离误差下的性能变化。本文显示学习版本比纯信号处理版本更耐分离下降，但这不意味着可以忽视分离模型的选择，换分离模型后需要重测。

还需补的验证包括低一致 ABX 上的行为、更大曲库上的检索排序质量、训练与推理成本，以及消融每种信号处理分支单独贡献的统计显著性。复现时保留边界值 0.2、1 比 1 混合比、欧氏距离与 ABX 对半划分这些关键条件，缺失的学习率批量与网络细节要如实记录。只有在这些条件齐备时，才能把感知一致率的提升归因于多视角监督，而不是数据划分或调参差异。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 1 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eusipco-2026 论文汇总