把和声距离写进傅里叶权重：对齐与插值音高分布的可逆工具箱

英文题目：Perceptually Motivated Alignment and Interpolation of Pitch-Aligned Time-Frequency Representations

会议身份：conference:dafx:2026:conference-paper-id:DAFx26_paper_20

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#时频分析 #听觉与音乐认知 #音乐信息检索 #音乐 #音乐生成

评分：5.6/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.6/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Shahan Nercessian：机构信息未能从会议 PDF 纯文本可靠映射
• Jeff Sontag：机构信息未能从会议 PDF 纯文本可靠映射
• Alejandro Koretzky：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文处理以色谱图与音级分布为输入的音高对齐时频表示对齐与插值，输出保持感知协和性的置换对齐与连续过渡，难点在于欧氏距离不符合听感且调性本身存在模糊性。先以十二维色谱向量为输入，将音调区间向量重构为可逆且可选正交的变换并扩展到多八度表示，输出保留协和加权的音调区间向量。再以该加权向量为输入，经逆变换滤波得到感知平滑且仍对齐音高轴的时频表示，使后续距离更贴合协和感知，该平滑表示直接作为对齐空间进入下一步。最后以平滑空间距离为代价求解置换对齐得到离散对应，并将对齐后的音高分布经四五度圈置换送入圆周最优传输做位移式插值，辅以圆柱形音阶几何表示输出连续过渡。相对直接在色谱上做互相关或线性淡入淡出，感知加权与位移式搬运更贴近声部进行与和声邻近性。在D大调I-IV-V-I与C小调固定旋律合成对齐任务下，argsort+2-opt的距离指标为4.350，低于argsort的距离指标5.361。该结论适用边界受限于12维色谱与合成扰动，对真实录音、复调织体与跨调式外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 演示资源：https://tiv-ext.netlify.app — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，读完要能复述什么？

本文的输入是两类已经按音高排列好的时频表示。一类是色度向量与色度图，把一个八度折叠成 12 个音级，每帧记录每个音级的能量；另一类是更高维的音高表示，例如覆盖多个八度或钢琴八十八键的转录向量。目标是对这类表示做两件事。第一是把一个音高分布对齐到另一个分布，保持音高总量不凭空产生或消失。

第二是在两个分布之间生成中间状态，使过渡听起来像和声移动而非音量推子。第二类目标还包括把音阶分解为根音、密度与色彩，便于单独控制。本文附带演示页当前可用，地址为官方展示链接，论文称补充图形与音频例子放在该页面。

读完本解读，你应当能复述 3 条主线。第一是作者如何把原来不可逆的调性区间向量改写为方阵可逆的傅里叶基，并加入归一化与高维扩展。第二是对齐如何写成感知加权距离下的置换搜索，以及为何精确求解是 2 次分配难题，实际用排序与匈牙利算法近似再做交换精修。第三是插值如何从线性最优传输推广到四五度圈上的循环传输，以及几何音阶模型如何用确定性半径与角度加 1 维学习变量实现重构。所有关键数字、条件与限制都以正文证据为准，教学举例会明确标注为例子。

已有路线解决了什么，还缺哪一块可操作性？

在分析侧，常数 Q 变换及其派生的色度与音级轮廓特征长期用于和弦识别与调性估计，转录钢琴卷帘与音高激活图则提供更细的音高视图。这些表示支撑了识别任务，但本身不规定两个分布之间怎样才算音乐上合理的移动。封面歌曲识别等工作常用欧氏距离加动态规划，对数学对齐有效，但欧氏距离把所有音程同等对待，与协和感知并不一致。

在生成侧，论文点名的音乐生成与扩散方法能产出质量较高的音乐，但对和声结构的控制手段有限，难以直接做再和声、跨调适配或多层对齐。调性区间向量曾被提出作为感知动机更强的分析工具，用加权傅里叶幅度刻画协和度，但此前主要用于分析而非变换。最优传输在音频搬运的工作中被用于频谱帧插值，但处理的是线性频率轴。本文的定位是纯信号处理工具箱：不训练大型生成器，而是给出可逆变换、对齐搜索与插值算子，既可独立分析作曲，也可作为生成系统的条件接口。理解这一分工很重要，后文所有对齐与插值都不依赖学出的生成先验。

对齐与插值在数学上各保持什么，又各放宽什么？

对齐问题的输入是两个非负音高表示，记为源向量与目标向量，或随时间变化的源矩阵与目标矩阵。允许的操作是置换矩阵，即把能量整体搬家但不改变各阶范数。论文特别强调零范数不变，也就是不创造或删除音级，只重排位置。优化目标是在调性区间域中最小化加权欧氏距离。由于权重矩阵是非均匀对角阵，目标展开后含有 2 次项，精确求解属于 2 次分配问题。放宽一步是忽略感知滤波与置换的耦合，只在平滑后的音高域做线性分配，此时可用排序不等式或匈牙利算法最优求解。

插值问题的约束相反。它放宽离散置换，改为保持一范数，即插值结果仍是合法概率分布。朴素做法是对每个仓做凸组合，效果是旧音渐弱、新音渐强。论文希望质量沿音高轴真正移动，因此引入最优传输。线性版本沿半音轴单调搬运，循环版本先把色度向量置换到四五度圈上，再允许沿圆周 2 个方向搬运。几何音阶表示进一步把离散对齐与连续插值连接起来，用圆柱坐标分别承载根音角度、密度半径与色彩高度，使固定密度滑动色彩成为可能。

三部分方法如何串成一条可执行流水线？

先沿一个样本走完全程有助于建立依赖关系。假设输入是一个 12 维色度向量，先做幅度归一化使其和为一，再送入可逆傅里叶基与感知权重构成的变换，得到调性区间向量。若需要对齐，就把源与目标都变换到感知平滑域，再搜索置换矩阵使二者在该域最接近；若需要插值，就把归一化分布看作质量，先求传输计划再按插值比例把质量放在中间位置；若需要理解音阶结构，就把旋转到统一根音后的变换送入编码器得到色彩变量，连同半径一起解码重构。

这条流水线的学习依赖是单向的。可逆变换是后续一切的基础，没有它就无法在感知域滤波后回到音高轴。对齐依赖平滑表示的定义，插值依赖归一化分布与传输计划，几何模型同时依赖旋转不变训练与可逆变换的重构路径。论文的组织也按此顺序展开，先给扩展，再讲对齐，再讲插值，最后给出几何表示与实验。后续各节按此顺序逐段拆解，每节只承担一个教学任务。

可逆调性区间变换是怎样构造的？

白话说，调性区间向量就是对色度向量做傅里叶变换，看其中存在哪些音程周期，再按人耳觉得协和的程度加权。英文为 tonal interval vector，缩写为 TIV。原始定义只取部分傅里叶系数并丢掉直流分量，因此矩阵不是方阵，不可逆。作者把复数傅里叶矩阵拆成实部虚部堆叠的实矩阵，指出直流与奈奎斯特分量的虚部为零，去掉直流会使秩从十二降为十一。修复办法是去掉不贡献秩的空分量，把直流移到矩阵最后一行，得到满秩方阵。

下图对比了 3 种傅里叶基的热图形态，是理解可逆性缺失与补齐的关键像素证据，请先建立整体对照。

看图路径： 1. 先对比左中右三块矩阵的行数与首尾行的取值，确认直流分量去了哪里；2. 再沿横轴音级方向看每行余弦正弦图案的周期变化规律是什么；3. 最后观察右侧可逆矩阵首列与末行的高亮取值与原构造的对应关系

论文图 1。原论文 Figure 1：“(a) Freal, (b) F implicitly used by equation (1) in [5, 6], (c) proposed invertible F .”。

三块热图从左到右分别对应原始实矩阵、原文公式隐含使用的矩阵与本文提出的可逆矩阵。横轴为音级序号，纵轴为变换行序号，颜色表示系数值。关键观察是中间矩阵缺失了对应直流的行结构，而右侧矩阵通过移动直流到末行补齐满秩。权重向量也被增广为包含直流自由参数的形式，当该参数取零时恰好恢复原文公式，取一时保留直流并使整体可逆。论文还报告用逆滤波恢复库中模板时，C 大调的 Temperley 模板出现对 D 音的异常强调，这被作为该模板可能存在问题的证据。

音高对齐时频表示 × 调性区间向量： 音高对齐时频表示负责把音频或符号音乐组织成沿音高轴排列的非负能量分布，调性区间向量负责对该分布做离散傅里叶变换并按协和感知加权；二者搭配的理由是前者保留音高位置可操作性，后者提供更符合听觉的距离，组合后得到既能滤波又能求逆的感知平滑表示。

归一化与高维扩展各自解决什么计算问题？

白话说，归一化是让距离可比，高维扩展是让方法不只适用于 12 维。英文分别为 normalization 与 higher-dimensional extension。傅里叶基的行正交但不正交归一，权重系数跨度很大，直接计算会使变换域距离比色度域大一个量级。作者把基的行归一为正交，并把权重重新缩放到与全一权重可比，使两种距离在相对意义上接近，便于可视化与比较。

高维扩展处理八度数大于一的情形，维度为 12 的倍数。此时超出单八度的音程模式被显式分析，不再做八度折叠。权重通过对典型 12 维权重做线性插值上采样得到，保持非负与单调性质，且原有音程频率恰好保留。论文给出两种构造 96 维表示的方式，一是补零，二是缩放复制。前者频谱与辛克函数卷积，后者在非原频率处为零，可理解为八度折叠的模糊作用。

感知平滑表示 × 置换矩阵： 感知平滑表示负责把原始音高分布经过正变换、加权与逆变换变为滤波后仍沿音高轴排列的向量，置换矩阵负责在不增删音高总量的前提下重排这些位置；搭配原因是距离要在感知空间计算而操作要在音高轴执行，组合使对齐目标写成谱域误差但优化变量仍是音高置换。

最终的感知平滑特征提取器形式为先正变换加权再逆变换回到音高轴。当权重全一且保留直流时输出等于输入，否则得到滤波版本。对非 12 倍数维度如八十八键，先补零到最近的 12 倍数，处理后再截断。该表示不再保证非负，这是后文循环最优传输仍受非负约束时需要记住的代价。

感知平滑表示长什么样，循环传输沿哪条圈搬运？

下图展示 88 维转录向量及其感知平滑版本，是检验滤波直觉的直接像素证据，请先看清双曲线含义。

看图路径： 1. 先沿横轴从低到高找到蓝色原始向量的几个主峰位置在哪里；2. 再对比同一位置橙色平滑曲线的峰高是否被压低了多少；3. 最后观察峰间平坦区与峰侧是否出现负向旁瓣或抬高的底座

论文图 4。原论文 Figure 4：“88-D PTFR and its perceptually smoothed version.”。

横轴为音高仓序号，纵轴为幅度，蓝色为原始向量，橙色为感知平滑结果。可见主峰位置基本保留但高度被压低，峰间平坦区被抬起且峰侧出现负向旁瓣。这说明加权相当于在音高轴上的滤波，平滑了原始分布但引入了负值。复现时若把该表示直接送入要求非负的最优传输会违反前提，需要区分对齐用平滑表示、插值用归一化非负分布。

白话说，四五度圈就是按纯五度把十二音级重排成圈，使和声近的音在圈上也近。英文为 Circle of Fourths/Fifths，缩写为 CoF。线性最优传输沿半音直线搬运，循环版本先用置换矩阵映射到四五度圈，再允许沿圆周顺逆 2 个方向搬运。朴素凸组合只做淡入淡出，线性搬运产生土方移动效果，循环搬运同时利用圆周两条路径。

四五度圈 × 循环最优传输： 四五度圈负责把 12 个音级按纯四纯五关系重排，使和声近的音在传输代价上也近，循环最优传输负责在首尾相连的圆周上决定质量从起点搬到终点的最小搬运方案；搭配原因是半音距离会把和声远近算错，组合后插值沿和声短路移动而非简单淡入淡出。

线性最优传输 × 朴素凸组合： 朴素凸组合负责在每个音高仓上按比例混合起点与终点，线性最优传输负责按 1 维单调重排把质量沿直线搬运；搭配比较的理由是前者只改变响度不移动位置，后者显式移动位置，组合意义在于说明位移插值比淡入淡出更符合声部进行直觉。

对齐搜索如何从圆周平移到全置换？

对齐先考虑最受限的圆周平移子类，因为它对应音频中的整体移调，可用互相关或最大值位置对齐实现。最大值法把平滑表示的最大分量索引当作调性根，圆周移动源向量使其与目标的最大位置重合；互相关法则最大化整体相似而非只看主音。论文强调这些方法作用在平滑版本而非原始色度上。

放宽到全部置换时，近似线性分配目标的最优解是把两向量按同序排列，这由重排不等式保证。对时变矩阵，代价矩阵取平滑特征向量内积的负值，再用匈牙利算法求解。精确的 2 次分配目标则用二 opt 贪心交换精修：先用线性分配得到初值，再逐对尝试交换置换矩阵的两行，若真实目标下降则接受，直到无单次交换能改进。由于主要关注 12 维情形，该精修是务实且高效的选择。

稀疏度半径 × 音阶色彩隐变量： 稀疏度半径负责用霍耶尔稀疏度量度音阶包含多少音，音阶色彩隐变量负责在转调到同一根音后用自编码器学 1 维明暗轴；搭配原因是密度与色彩在原始色度向量中纠缠，组合后固定半径只滑动色彩即可实现保持音数不变的音阶变形。

几何音阶模型训练了什么，冻结了什么？

本研究没有训练大型音频生成模型，训练只发生在几何音阶表示的小自编码器上，其余变换、对齐与传输均为确定性信号处理或组合优化。需要讲清的真实计算过程如下。输入归一化色度向量先计算两个确定量：半径为缩放后的霍耶尔稀疏度，单音映射到十二分之一，全半音阶映射到一；角度为根音沿四五度圈距 C 的距离，根音定义为向量最大值索引。

下图是该自编码器的完整数据流框图，是复现时不可颠倒上下支顺序的重要依据，请先看清主路径。

看图路径： 1. 先沿上支从归一化色度向量经旋转与调性区间变换走到编码器；2. 再确认半径与角度两条侧路分别进入解码器与两次旋转的位置；3. 最后沿下支从解码输出经逆变换与两次归一化回到重构色度向量

论文图 6。原论文 Figure 6：“Block diagram of our geometric scale representation model architecture.”。

上支把色度向量按负角度旋转到 C 为根音，再做含直流的调性区间变换与二范数归一化后送入编码器得到 1 维色彩变量。下支把该变量与半径拼接送入解码器，再做二范数归一化、逆变换、按正角度旋回原根音，最后做一范数归一化得到重构分布。优化目标是输入与重构在变换域的余弦距离。编码器与解码器各由 3 层线性层组成，隐层维度为 2，中间用泄漏修正线性单元。训练集为内部构造的 106 个音阶模板，覆盖四音、五音、六音、七音、八音音阶及半音阶与单音，非音阶音权重为零，每步用全量 batch 训练。

训练超参数在原文有明确报告，训练步数与优化器设置可直接复用，详见后文整理表。推理时固定半径滑动色彩即可生成保持密度的音阶变形，演示页提供了沿色彩轴的听觉过渡例子。

实验在什么数据与协议下测量，指标方向如何？

对齐实验包含两类条件。一是合成音乐例子，源色度图为 D 大调的正格序列并加小扰动以模拟真实性，目标为 C 小调的标准定旋律片段。对单向量方法先对色度图做时间平均得到音级轮廓再求置换，然后把置换作用回原矩阵。二是随机数据集，由 1024 对随机生成的色度图组成，用于评估优化器的平均表现。为避免偏向自创方法，距离统一用原始调性区间定义报告，数值越小表示对齐越好。

插值实验起点为 C 大三和弦，目标为 C 小三和弦，均为归一化分布，插值比例取 5 个离散值。比较对象包括朴素线性淡入、线性位移与本文的四五度圈循环传输。几何表示实验用上述 106 个音阶模板训练，编码后把单音对应的色彩值居中并缩放到 -1 到 1 区间内，观察亮暗两极是否为利底亚与洛克里亚类分布。补充图形与音频例子放在演示页，当前可用状态已在开头说明。随机列的平均基于 1024 对随机数据，合成例子的扰动细节未完全公开，这是复现时需注意的缺项。

对齐与插值的主结果支持什么判断？

下图先建立朴素线性与循环 3 种插值的视觉差别轮廓，再结合后文数字表一起阅读判断优劣。

看图路径： 1. 先看第一行中间帧是否同时保留起点与终点的峰形轮廓特征；2. 再看第二行中间帧的峰是否沿横轴发生位移与分裂变化；3. 最后看第三行中间帧在左右边界处是否出现跨边界搬运的痕迹

论文图 5。原论文 Figure 5：“(a) Naive interpolation, (b) linear and (c) circular OT.”。

三行分别对应朴素插值、线性传输与循环传输，每行 5 帧从起点渐变到终点，虚线为端点参考。第一行中间帧同时出现两端峰形，说明只是叠加；第二行中间帧峰形沿轴移动分裂，说明质量被搬运；第三行中间帧在边界处出现跨边界结构，说明利用了圆周两条路径。具体音高以数字表中的和弦标注为准，不从该示意图硬读音名。

先看对齐的比较问题。在公平使用原始变换距离且数值越小越好的条件下，不同搜索策略各能降多少误差，随机数据的平均是否一致。表后解释需同时说明收益与代价。

表中数值越小越好。单向量情形排序方法最好，交换精修进一步把合成误差从 5.361 降到 4.350，随机平均从 3.086 降到 2.276。时变矩阵情形匈牙利方法占优，精修后合成误差为 89.847，随机平均为 13.012。代价是精修并非处处有益，合成单向量下匈牙利加精修从 7.622 升到 7.891，合成时变下排序加精修从 100.266 升到 107.568，说明贪心交换可能受初值与矩阵结构影响。未胜出项是仅限圆周平移的方法，在两类条件下都明显弱于全置换，支持全置换对复杂对齐的必要性。

再看插值的音乐性。起点与终点仅差三音，基线方法在中间比例产生带升九音的叠加，而循环方法在中间产生六声音阶与属方向和弦，论文报告其在二分之一处为水石重心且关于负和声轴反射不变，呈现无大小调倾向的平衡结构。该判断是有限解释，听感 musicality 未做人评，仅由和弦标注与对称性支持。

哪些对照说明方法特有细节而非通用涨点？

本节按证据展开两类论文特有细节。第一类是权重与训练配置的来源。符号与音频权重分别来自前人暴力搜索与后续音频适配，本文通过归一化保持其相对关系而非重新学习，因此消融不是去掉权重，而是比较有无感知加权与有无归一化，但原文未给出完整消融数字，只能指出缺项。第二类是高维构造的对照。零填充与复制缩放两种 96 维构造在原频率处取值一致，差异仅在新增频率，前者引入辛克卷积，后者其余频率为零，这解释了为何复制版本更接近八度折叠的模糊视图。

下表把插值条件、权重来源与训练预算放在同一宽表中，便于复现时 1 次核对全部可运行条件。

该表不支持模型胜负判断，只用于核对可运行条件。插值比例覆盖从起点到终点的 5 个离散值，权重两组分别对应符号与音频输入，训练预算对应几何模型的 20K 步与 10−3 学习率。限制是原文未报告去掉四五度圈映射后循环传输退化多少，也未报告不同插值权重下的稳定性，因此不能把循环方法的单例成功推广为所有调式都成立。失败条件方面，逆滤波发现的 Temperley 模板异常提示用该模板做调性检测可能退化，复现调性任务时应优先用 Shaath 模板对照。

什么还没被测量，哪些推广需要谨慎？

论文直接报告的是变换可逆性、对齐误差下降与插值实例的和弦序列，支持感知加权与圆周搬运在所测条件下的有效性。可能但待验证的是这些过渡在更广曲库与真实录音中的稳定性，以及几何色彩轴是否对应可预测的听感明暗。相关性不等于因果，色彩两极出现利底亚与洛克里亚类分布，说明组织趋势存在，但不证明滑动该轴必然产生预期的情绪变化。

未测量的量需要明确。延迟、实时开销、误判率与大规模人评均未报告，因此不能承诺这些量得到改善。训练资源仅为小自编码器的 20K 步全量训练，与大型生成器不在同一量级，不应混为一谈。输出帧率与实际延迟需分别讨论，本文变换本身是逐帧矩阵乘法，但匈牙利与 2 次精修的组合复杂度随维度增长。总体趋势不等于每组都成立，前文已见精修在个别合成条件下使误差回升。未来工作也承认循环传输受非负约束，尚不能直接接入可能为负的感知平滑特征，这是方法边界而非实现疏漏。

复现先做什么，需要哪些信息条件？

复现应按依赖顺序先做可逆变换，再做对齐，最后做插值与几何模型。第一步用 12 维单位矩阵验证傅里叶基满秩，检查直流参数取零时恢复原文公式，取一时可逆且能往返重构。第二步在合成例子上实现最大值平移、互相关、排序与匈牙利 4 种基线，再加二 opt 交换，统一用原始变换距离评估，避免用自创距离偏向自身。第三步实现线性传输的贪心单调搬运，再实现四五度圈置换加循环传输，注意插值输入必须为归一化非负分布。

关键超参数与信息条件包括符号权重与音频权重两组数值、插值比例、几何模型的隐层维度为 2 与全量训练设置。代码层面论文引用了公开传输库与既有调性描述库，但本解读仅确认演示页当前可用，不推断代码仓库是否公开或权重是否可下载。随机数据集的生成种子与合成扰动幅度未完全公开，复现平均误差时应自建 1024 对随机数据并报告分布而非单点。若遇到 Temperley 模板异常，应先用逆滤波复现两组模板的可视化，确认问题来自模板本身而非实现错误。

何时值得尝试这套工具，还需补哪项验证？

当任务是跨调改编、声部对齐或音阶变形，且希望保持音高总量与和声关系时，这套纯信号处理工具值得尝试。它的优势是不需要训练大型模型即可得到可解释的距离与可逆表示，适合作为分析作曲工具或生成系统的条件接口。当任务要求高音质波形生成或长时结构建模时，它不能替代生成器本身，应与其配合使用。

还需补的验证包括真实录音上的对齐鲁棒性、循环插值的人评 musicality，以及几何色彩轴在未见调式上的泛化。教学上常见的误解是把平滑表示的负值当作错误，实际上它是加权滤波的必然旁瓣；另一个误解是把传输中间态当作简单混合，实际上它是按和声距离搬运后的新集合。记住对齐保持零范数、插值保持一范数、几何模型分离密度与色彩，就抓住了全文的约束主线。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

区域 4 · 查看论文原页

区域 5 · 查看论文原页

区域 6 · 查看论文原页

区域 7 · 查看论文原页

区域 8 · 查看论文原页

区域 9 · 查看论文原页

另有 39 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 dafx-2026 论文汇总