听觉模型做音高距离：把缺失基频的周期感变成可微梯度

英文题目：Differentiable Pitch Matching with Auditory Models

会议身份：conference:interspeech:2026:conference-paper-id:marttila26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#信号处理 #听觉与音乐认知 #音频生成 #音高与旋律提取

评分：4.9/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 0.7/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.3/1.5

排名：后50% | 文档类型：方法研究

👥 作者与机构

• David Marttila：机构信息未能从会议 PDF 纯文本可靠映射
• Joshua D. Reiss：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

DDSP合成以波形为输入、以匹配目标感知音高的纯音频率为输出，难点是频谱损失随频率振荡致梯度无信息量且缺失基频时谱峰与感知脱节。第一步JAX可微CARFAC将单通道波形映射为多通道神经活动模式，其分帧输出送入听觉稳定。第二步重叠帧经触发式时间积分求稳定听觉图像，沿行求和得耳蜗图表音色、沿列求和得音高图表周期。第三步将音高图变至频域并按耳蜗图能量指数衰减归一化，对幅度谱算一阶沃瑟斯坦距离加能量加权以梯度下降更新频率。与直接搬运谱能量的谱最优传输不同，该方法在周期表征中度量距离故对缺失基频更鲁棒。在16 kHz、8192采样点的纯音匹配任务中，触发式时间积分2048帧长（Triggered Temporal Integration，TTI-2048）在250 Hz缺失基频目标上粗粒度梯度准确率达95.8%，细粒度达76.8%，最低损失偏差为6音分，显著高于SOT-2048的54.3%、65.3%和2994音分。但在265 Hz真实女性元音a上TTI-2048粗粒度虽达93.7%，最低损失偏差仍达702音分，自相关（Autocorrelation Function，ACF）变体偏差较小但梯度方向性不足。其适用边界受限于真实元音仍偏差大且尚未验证大规模端到端训练外推，听觉反传的计算量约为常规谱损失的30倍推理开销。

🔗 开源与复现资源

• 复现相关资源：https://github.com/google/carfac — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么频率难学？

本文的输入是两段音频波形，一段是待匹配的目标录音，另一段是频率可调的纯音估计。目标是给出一个可微的音高距离，让纯音频率经梯度下降移向目标的感知音高。整个过程不依赖外部基频估计器，这是与主流可微数字信号处理流程的关键区别。

必须保留的信息包括采样率与信号长度、目标类型、损失配置、梯度准确率统计口径以及计算开销。输出是 1 篇能复述方法与实验条件的解读，而不是可直接运行的复现代码。读者应先记住任务是评估距离函数的梯度质量，而非训练合成器。

可微数字信号处理把数字信号处理模块放进神经网络，网络预测合成器参数，合成器输出音频，再用损失比较输出与目标。对语音歌声合成与合成器音色匹配，大量工作直接用多尺度频谱损失。它先对两段音频做多种窗长与跳长的短时傅里叶变换，再平均各分辨率幅度谱的逐元距离。

多分辨率能兼顾不同时频细节，计算也便宜。但它对控制正弦频率的参数会形成高度振荡的损失地形，频率稍偏一点，频谱峰错开，距离忽大忽小，梯度方向几乎随机。于是常见做法是另训练一个基频估计器，先把频率定住，网络只学滤波器与包络等其余参数。

多尺度频谱损失 × 基频估计器： 多尺度频谱损失负责比较合成与目标音频的多分辨率幅度谱，分工是给出可微的整体相似度；基频估计器负责在训练之外单独预测频率控制，分工是绕开频谱损失对正弦频率呈振荡地形的缺陷。二者搭配的原因是直接对频率做梯度下降会陷入局部极小，新增作用是让 DDSP 先固定音高再学音色，但代价是只能处理单声部谐波且受估计器分布限制。

音高与基频在此必须分开。音高是人能把声音从高到低排序的感觉，基频是声源重复激励的物理频率。浊音语音与弓弦乐可以用基频代理音高，但钟声等非谐振或湍流噪声也能引起音高却没有明确基频。

论文沿用听觉实验的定义方式，让听者调节纯音频率直到主观等高，以此量化目标音高。纯音匹配任务正是对这一过程的计算化，估计信号被限定为单正弦，只有频率可调。距离函数必须在整个搜索区间给出正确方向，否则优化会卡在局部极小。

已有路线如何处理频率梯度，各自卡在哪里？

第一条路线是改进多尺度频谱损失的设计。原文比较了早期可微数字信号处理用的原始配置，它对线性和对数幅度谱都算损失并等权相加。另一条是平滑配置，它对幅度谱做对数压缩并用平顶窗抑制旁瓣影响。

平滑配置在某些区间画出来很平滑，但在更低频率或更密采样下几乎和原始配置一样振荡。细邻域在高频单正弦附近很准，粗范围整体仍不可靠。这说明只看局部平滑会高估可用性。

第二条路线是频谱最优传输。把归一化幅度谱看作 1 维概率分布，用最优传输映射代价做距离。对 1 维分布有闭式便宜解，对两个单正弦，距离与频率差成正比。单正弦匹配任务的损失地形处处有信息，这是它的理论吸引力。

已有工作把它与多尺度频谱损失结合，用单分辨率短时傅里叶变换逐帧算传输距离，在谐波参数估计上优于标准配置。本文基线中的两种配置分别用大窗与小窗并结合多尺度频谱损失。它们在单正弦上确实好，但在缺失基频与方波及真实人声上不稳定。

频谱最优传输 × 缺失基频： 频谱最优传输负责把两段幅度谱看作 1 维质量分布并用传输代价度量频率差，分工是给出随频率差单调变化的损失；缺失基频指感知音高处频谱并无能量峰，分工是暴露纯频谱距离的盲区。二者搭配的理由是单正弦下最优传输理论性质很好，但遇到谐波缺失时仍可能把能量搬运到错误的泛音上，组合意义在于说明需要超越幅度谱的周期表示。

第三条路线是听觉模型与深度学习的融合。听觉外周把气压波变成电信号，沿听神经送往大脑。现在普遍认为大脑收到的是兼具谱与时间的听觉图像。先前研究发现用听觉图像训练的音高估计器更接近人对合成刺激的反应。

另一些工作用代理网络拟合听觉外周，或把仿真本身写进自动微分框架，用于语音增强与听损补偿。本文属于后者，选择可微的非对称谐振器级联模型，把听觉图像变成损失的特征来源。目标是把泛音归纳为正确感知音高，减少八度错误。

本文把问题收窄到哪一个可检验的任务？

本文不直接训练一个通用合成器，而是检验距离函数本身的梯度质量。问题形式化为给定距离与固定长度的目标音频，用梯度下降调纯音频率使距离最小。纯音写成采样率下的正弦，长度固定，唯一可调的是频率。

检验时在目标真实音高周围取粗细两个区间，各取大量对数均匀频率点，分别计算损失对估计频率的导数。再看符号是否指向真实音高，粗区间向上下各展宽数个八度，细区间为一个半音。

分别得到粗粒度梯度准确率与细粒度梯度准确率。符号正确即认为该点梯度能把优化推向正确方向，完全正确为处处正确，一半附近为随机。此外还报告最低损失点与真实音高的距离，以音分计。

目标共 5 种，4 种合成加一种真实录音。合成包括低频与高频正弦、基频固定但低次谐波置零的缺失基频信号、固定基频的方波。真实为歌声数据集中女声唱元音的录音。

这种选择覆盖了单峰谱、感知与谱峰不一致、谐波丰富、真实声道共振 4 种难度。教学例子是缺失基频，频谱在基频处无能量，但人仍听到该处音高。纯频谱搬运容易被拉向高能量泛音，这正是本文要展示听觉特征优势的样本。

方法全景：从波形到音高距离经过哪几步？

全景可沿一个缺失基频样本走一遍。输入是基频较低但前三谐波置零的谐波信号，时域仍可见对应周期，频谱在基频虚线处无能量。先送入听觉模型得到多通道神经活动模式，通道维对应耳蜗特征频率。

时间维与输入同采样率，再按重叠帧切分，每帧做稳定化得到稳定听觉图像。稳定化把各通道峰对齐到公共滞后轴，平稳信号的相邻帧图像几乎相同。然后沿行列分别求和得到耳蜗图与音高图。

前者是随通道中心频率变化的能量，后者是随滞后变化的周期性。音高图再经傅里叶幅度谱变换到频率域，并用耳蜗图能量做音色归一化缩放。最后把两段音频的归一化音高图幅度用传输距离加一项幅度差加权项比较。

CARFAC × JAX 自动微分： CARFAC 负责模拟耳蜗非线性滤波与压缩并输出多通道信号，分工是提供符合听觉外周的神经活动模式；JAX 自动微分负责把整个仿真放在可微框架中，分工是让梯度能从最终音高距离反传到输入正弦频率。二者搭配的原因是只有仿真本身可微才能做端到端音高匹配，新增作用是把听觉先验变成损失函数的一部分，代价是反传要经过全部耳蜗通道。

下图是原文特征管线的唯一可像素核对的证据，左列展示输入矛盾，中列展示稳定化效果，右列展示归一化如何突出基频。阅读时先建立输入到输出的主路径，再对照各面板坐标轴理解缩放的作用。

看图路径： 1. 先看左列上下两格：时域波形周期与频谱在基频处无能量的矛盾；2. 再看中列上下两格：神经活动模式到稳定听觉图像如何把各通道峰对齐；3. 最后看右列上下两格：原始音高图多峰与音色归一化后单峰的差别

论文图 1。原论文 Figure 1：“An illustration of the auditory feature pipeline.”。

像素可见的内容支持上述路径。左上波形振幅约正负 0.2，可见 5 个重复脉冲，横轴为样本数。左下频谱纵轴为分贝，红色虚线在低频基频附近，而实际能量峰从数百赫兹开始连续出现。

中上神经活动模式横轴为时间，纵轴为耳蜗通道，呈斜向亮纹。中下稳定听觉图像横轴为滞后，纵轴为通道，各通道亮峰在零滞后附近垂直对齐。右上音高图横轴至 2000 赫兹，原始曲线在基频与各泛音处均有峰，归一化虚线仅在基频保留明显峰。右下耳蜗图在中高频通道功率高，低频接近零，这正是缩放能压制高频泛音而保留基频的原因。

稳定听觉图像与两张特征图如何计算？

听觉模型输出是多通道时间信号，本文按帧处理。稳定化的目的是抵消耳蜗滤波带来的各通道延迟，并把帧率与信号周期解耦。两种实现都要先加窗与补零以保证线性卷积的正确性。

第一种是全对称自相关，对每通道求自相关函数，得到以滞后为横轴的图像。第二种是触发时间积分，把每帧分成 3 个重叠余弦窗，在每个窗内找最大值位置作为触发点。构造除触发点外全零的稀疏信号，再与原帧做相关。

由于触发只取峰值且不对称，它比自相关更贴近脉冲对齐，实验中表现更好。大帧对低频周期更友好，但计算量与延迟也更大。帧长影响频率分辨率与时间平稳假设，需要在两者之间折中。

稳定听觉图像 × 触发时间积分： 稳定听觉图像负责把多通道听觉神经活动对齐到公共时间轴，分工是让平稳信号的相邻帧表示几乎一致并显露周期；触发时间积分负责用每帧加窗后峰值位置做稀疏触发再做相关，分工是实现非对称的稳定化。与自相关稳定相比，触发时间积分更贴近峰值对齐，搭配理由是保留周期同时抑制通道延迟差异，新增作用是得到更适合提取音高图的 2 维表示。

得到稳定听觉图像后，沿行求和即把同一通道在各滞后上的功率加起来，得到耳蜗图，可看作类谱特征。沿列求和即把同一滞后上各通道加起来，得到音高图，可看作类自相关特征。

两者天然分开周期与音色，但分离不彻底，强谱能量通道会在音高图中过代表。直接按通道功率归一化会在基频附近通道能量接近零时数值爆炸，因此本文不做除法。

而是把音高图先变到频域得幅度谱，再用耳蜗图在该频率处的插值做指数衰减缩放。耳蜗能量为零处无影响，能量大处显著压低。图右列显示，未归一化音高图谱已在基频有峰，但泛音峰林立，缩放后其余峰基本消失。

音高图 × 耳蜗图： 音高图负责沿稳定听觉图像的列求和，分工是表征整体输入的周期性；耳蜗图负责沿行求和，分工是表征各耳蜗特征频率上的能量即音色侧信息。二者搭配的原因是单看音高图仍会被强谱能量通道主导，组合意义在于用耳蜗图能量去压制音高图中受音色污染的频率区，从而实现初步的音高与音色解耦。

最终听觉音高距离由两项组成。第一项是两段音频的音色归一化音高图幅度之间的 1 维传输距离，负责度量周期分布的搬运代价。第二项是两幅度谱逐频率差的范数再乘以权重，负责保留整体能量差异信息。

权重是超参数，原文所给证据未报告具体数值与调参过程，这是复现时需要补记的缺项。梯度路径是从最终距离经音高图频谱、稳定听觉图像、听觉模型全部通道反传到纯音频率。模型的非线性在低采样率可能混叠，原文通过放宽通道分辨率来平滑输出并降低计算量。

本研究训练了什么，没有训练什么？

本研究没有训练神经网络合成器，也没有训练基频估计器或代理听觉网络。没有优化器更新、早停、权重保存等训练阶段，真实计算过程是仿真加搜索式评估。调用的是已有可微听觉模型实现，参数按听觉模型默认并经通道分辨率调整后冻结。

可调的只有评估用纯音的频率标量。每次评估把纯音与目标分别前向通过听觉模型与特征管线得到距离，再用自动微分求距离对频率的导数。只记录符号是否正确与最低点位置，不做梯度下降迭代更新网络。

因此不存在训练集拟合、验证集选择或测试集泛化意义上的学习曲线。复现时应把本节理解为可微仿真推理加网格评估，而非模型训练。评估网格覆盖粗细两个尺度，分别检验大范围方向与收敛末段。

把无训练等同于确定性求解是误解。听觉模型本身含非线性压缩与滤波，结果对采样率与通道配置敏感。触发时间积分的窗内最大值位置也依赖信号细节，冻结的是听觉模型参数，不是整个系统的输出确定性。

换目标类型或帧长仍会改变梯度方向统计。复现时需要固定采样率、通道间隔、帧长与窗函数，否则符号准确率无法对比。任何改动都应视为新的实验条件，而不是原结果的噪声重测。

实验条件：目标、网格、基线与实现如何对齐？

比较问题是给定相同目标与相同频率网格，哪种距离给出的梯度方向更准。公平条件是所有损失都在同一自动微分框架中实现求导，采样率与信号长度统一，评估网格统一为粗细两个尺度的对数均匀点。指标方向是梯度准确率越高越好，最低点音分越低越好。

下表把可逐字核对的网格与信号条件整理成宽表，便于复现时一一对应。表中长度、采样率、点数与范围均来自原文连续句子，复现时不要自行换算或四舍五入。

表后需要说明代价与边界。较长信号对平稳周期假设友好，但对真实歌声的颤音与共振时变仍是短快照。对数均匀网格保证低频与高频相对精度一致，粗范围覆盖数个八度能暴露八度错误。

细范围检验收敛末段，粗细结合才能避免只看局部平滑而高估可用性。基线共 4 种，原始多尺度频谱损失、平滑多尺度频谱损失、两种频谱最优传输加多尺度频谱损失组合。本文 4 种听觉配置与之同网格比较。

听觉滤波器组默认覆盖低频至接近奈奎斯特，每通道半个等效矩形带宽，低采样率下改为一个带宽以减伪影并减半通道。代码方面，实验代码与听觉模型实现分别有公开链接，资源状态显示听觉模型链接当前可用，已公开。本文实验仓库链接在原文脚注给出，本次解读未校验其可达性，需自行确认版本与依赖。

主结果：哪种损失在哪些目标上给出正确方向？

要回答的是 5 种目标下粗细梯度准确率与最低点音分的相对排序。公平条件与上一节相同，指标方向同上。下表不用总结性百分比代替，而是用可核对的目标频率与原文明确结论组织比较，缺失的逐格百分比在复现节如实标注为需查原表。

下表先固定目标类型与频率，再对照帧长与计算代价，便于判断何时听觉距离值得尝试。表中频率、谐波数、帧长与倍数均有原文连续句子支撑，不混放不同聚合口径。

表后解释主要收益与反例。报告显示，原始多尺度频谱损失在所有目标上梯度都很差，验证了已知问题。平滑配置仅在高频细邻域很准，低频密采样下仍振荡。频谱最优传输在单正弦上好，符合理论预期。

听觉损失中触发积分大帧配置最强，在低频、高频、缺失基频、方波与真实元音上都给出相对更高的方向准确性。尤其在缺失基频上比频谱法更能指向真实基频而非泛音，这是听觉周期表示的关键收益。

但反例明确，方波最低点仍偏一百多音分，真实人声的实际音高对几乎所有配置都难。触发积分在人声上最低点偏数百音分，自相关虽最低点接近但梯度准确率低，梯度下降易卡在局部极小。因此支持的判断是听觉距离改善复杂音的周期归纳，限制是真实录音与通用音高距离仍是开放问题。

稳定化与帧长哪个选择更关键，有什么失败条件？

消融沿两个维度展开，稳定化取触发时间积分还是自相关，帧长取小帧还是大帧。报告显示触发积分明显优于自相关，作者解释是触发对齐峰值且时域不对称，更适合做稳定听觉图像。自相关在真实录音上最低点偶然接近，但方向准确率低。

不能视为可用策略，只看最低点会误判优化可行性。帧长方面，大帧在触发积分下整体更强，小帧在部分细粒度上接近，但对低频周期分辨率不足。这说明仅把帧变大不能替代更好的稳定化。

失败条件包括采样率相关的听觉模型伪影，输入音高于 1 千赫兹时在低采样率下出现不期望伪影，需放宽通道分辨率。以及真实人声的共振与非平稳，听觉归一化仍不能完全分离音色，权重系数与耳蜗插值细节也未充分报告。

换权重可能改变两项的平衡，这是未验证的敏感点。未胜出项也值得记下，平滑多尺度频谱损失与小窗传输损失在某些单正弦细区间可达很高准确率，但粗范围不行。说明只看细区间会高估可用性，自相关大小帧在缺失基频上虽优于部分频谱法，但仍弱于触发积分。

未评测边界包括更高音区的系统评估、多声部与打击乐瞬态，以及不同听觉模型对结果的影响。这些在结论中被列为未来工作，复现时不要把当前结论推广到这些条件。

哪些结论有直接支持，哪些只是可能？

直接报告的是网格评估下的符号准确率排序与最低点音分趋势，以及听觉分支平均耗时约为其他快速公式数十倍。有限解释是触发积分优于自相关的原因归于峰值对齐与非对称性，这与图像观感一致，但未做因果干预实验。

只能说支持而非证明，相关性不是因果。触发积分好可能同时受益于大帧与峰值选择，不能拆分为单一原因。未验证推测是该距离能让可微数字信号处理端到端训练不再需要外部估计器。

本文只做了单参数纯音匹配，没有训练完整合成器，没有测量收敛步数、最终音质或主观等高一致性。因此只能表述为朝该方向的一步，可能但待验证，不能承诺训练更快或音质更好。

缺失证据不是技术错误，但复现时要明确。权重系数的取值、耳蜗插值实现、窗与补零长度、触发窗重叠量均未在所给证据中完整给出。统计显著性、多次运行方差、硬件型号与内存占用也未报告。

成本方面，训练资源、推理帧率与实际延迟要分开，数十倍是梯度计算时间比，不是端到端训练时间比，更不是实时因子。总体趋势不等于每步都慢同样倍数，未测量误判率与延迟时，不承诺这些量得到改善。

复现先做什么，需要哪些信息条件？

先固定信息条件再跑代码。采样率锁定低采样率常用值，信号长度固定为数千样本，纯音用正弦公式生成，网格按对数均匀各取上千点。粗展数个八度，细取一个半音，目标按四合成加一真实构造。

合成频率取低频、高频与固定中频，缺失基频置零前三谐波，方波取十余谐波，真实取歌声数据集女声元音。听觉模型用公开实现，滤波器组从数十赫兹到接近半采样率，通道间隔改为一个等效矩形带宽。

帧长分别试小帧与大帧，稳定化分别试自相关与触发时间积分，触发按三重叠余弦窗取窗内最大值。再对齐基线，原始多尺度频谱损失按线性和对数幅度等权，平滑配置按对数压缩加平顶窗。

传输损失按单分辨率短时傅里叶变换逐帧距离加多尺度频谱损失，窗长试大窗与小窗。所有损失同网格求导，按符号与频率误差符号是否一致统计粗细准确率，并记录最低点音分。

代码开源方面，听觉模型仓库本次确认当前可用已公开，可直接获取。原文大表逐格百分比在所给连续证据中无充分逐字句覆盖，复现时应以原论文表格为准核对。

不要用本解读的总结表替代，若权重系数在代码中找不到，需先补记再比较，否则距离的第二项无法重放。还要记录硬件、批量与运行时间，否则数十倍开销无法复算。

何时值得尝试，还需补哪项验证？

当任务是单声部谐波或缺失基频的合成器音高匹配，且已有频谱法出现八度错误或粗范围梯度随机时，值得尝试触发积分大帧的听觉距离。作为辅助损失或课程早期的方向引导，它能把优化推向正确的周期，而不是卡在泛音峰上。

当目标是真实歌声、非谐钟声或多声部混合时，不应期待单一听觉距离直接解决。应先在小网格上测粗细准确率与最低点音分，再决定是否引入。计算预算紧张或需实时推理时要慎重，数十倍梯度开销会显著拉长训练。

通道减半与帧长折中只是部分缓解，还需做成本分解。还需补的验证很具体，一是完整合成器训练闭环，测端到端收敛率与音质，而非单参数网格符号。二是听觉模型敏感性，换模型、换通道密度、换权重系数看排序是否稳定。

三是更高音区与真实录音的扩展评估，报告方差与统计检验。四是成本分解，区分前向仿真、反传与传输距离各占多少，给出硬件与批量下的实际延迟。常见误解是把音高图峰等同于感知音高，或把归一化后单峰当作因果证明。

实际上它只是用耳蜗能量压制了泛音，仍需梯度统计与听感对照才能确认。记住本文的定位，听觉先验改善了周期归纳，但通用可部署的音高距离仍未完成。下一步应先补闭环与敏感性，再谈替代外部估计器。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总