📄 人声合唱多音高估计要不要用谐波常数 Q 变换
英文题目：Revisiting Input Time-frequency Representations in Multi-pitch Estimation for Vocal Ensembles
标签：#音高与旋律提取 | #时频分析 | #音乐 | #CNN
评分：6.3/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Junyoung Koh：机构信息未在 arXiv HTML 中可靠披露
- Hao-Wen Dong：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
人声合唱多音高估计要求从混缩后的人声波形出发，在每一帧同时估计所有发声的基频，输出为时间与音高二维激活矩阵，难点在于演唱者音域重叠且基频间隔很近，谐波在时频表示上互相交叠。方法取单窗短时傅里叶变换的对数幅度直接作为输入网格，其频带延伸至预测音高上界之外以保留高次谐波内容。该网格先经卷积起始层提取局部时频特征，再送入沿时间建模的编码器，最后由逐帧预测头在细分的对数音高网格上输出音高激活并经阈值判定每帧存在哪些音高。对照的谐波恒Q变换把多个谐波倍率上的恒Q变换堆叠成谐波通道，具有随频率变化的分析窗口和音高对齐的输入网格，而线性短时傅里叶变换取消了这种频率自适应分辨率与谐波对齐结构。在对完整歌曲离线推理、按歌曲汇总并为每个模型单独选择阈值的歌曲级评测中，杰卡佩拉上精确格点匹配的多音高准确率线性短时傅里叶变换卷积编码器为0.683，高于谐波恒Q变换同种编码器的0.648。在同一图形处理器上以相同片段长度重测每轮训练时间时，线性短时傅里叶变换的特征提取开销低于谐波恒Q变换，而加长分析窗或继续扩大频带覆盖并未带来进一步提升。结论适用于独立录制声部叠加混合的离线歌曲级评测，在同室合唱录制的两个数据集上优势不一致，且参考基频主要来自自动提取、多数训练混合不能反映同室合唱的声学与音准互动。
🔗 开源与复现资源
- 第三方资源：https://github.com/Junst/stft-vocal-mpe — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
人声合唱转谱要从混合声里恢复什么
这篇论文研究的是人声合唱与无伴奏合唱里的多音高估计。输入是一段多人同时演唱的混合录音，可能是四重唱，也可能是更大编制的合唱。输出是逐帧的多个基频，也就是每一时刻每个正在发声的声部唱的是哪个音高。研究生刚接触这个任务时容易把它想成单旋律的音高跟踪，但这里难点在于同时有多个基频，而且人声的音域高度重叠，女高音、女低音、男高音、男低音并不是分在互不相交的频段里。
当两个歌手唱小二度、大二度这类接近的音程时，他们的谐波列会在时频表示上互相遮挡，低次谐波可能还能分开，高次谐波往往已经混在一起。模型必须保留的信息是每个基频及其谐波证据在时间和频率上的位置，丢掉的是具体是谁在唱、歌词内容和房间混响等与音高无关的细节。评价时把预测和参考都放在同一张时间乘音高的网格上比较，预测多出来算误报，漏掉算漏检，只有位置对上才算命中。
多音高估计 × 显著图： 多音高估计指对复调信号每一帧同时给出所有发声基频；显著图指把时间乘音高画成一张激活矩阵来表达这种多目标预测的做法。前者定义了任务的输出形态，后者给出了神经网络常用的实现形式，即把估计变成在固定音高网格上的逐帧多标签分类，再经阈值得到离散音高集合。
论文把这类方法放在显著图这条路线上，即神经网络对每 1 帧的每一个音高格输出一个零到一之间的激活值，再经阈值变成二值判决。这种做法与早期基于谐波性、频谱平滑或单旋律显著度的方法不同，也与先分离再转谱的做法不同。它直接在混合信号的时频图上学习从谐波模式到多个音高标签的映射，因此输入时频表示长什么样，几乎决定了后续卷积能看到什么样的谐波结构。
已有工作为什么习惯用谐波常数 Q 变换
在音乐信号处理里，把频谱重排到对数频率轴是很常见的做法，因为音乐音程对应的是频率比而不是频率差。常数 Q 变换进一步让低频用长分析窗、高频用短分析窗，使相对频率分辨率在全频带大致恒定。谐波常数 Q 变换，简称 HCQT，是在此基础上再堆叠按谐波比例计算的多通道常数 Q 变换，例如基频、2 倍频、3 倍频各算一张图再叠成通道维。
这样同一基频的各次谐波在不同通道的同一音高位置对齐，卷积滤波器跨通道就能一次聚合谐波证据，跨音高也能复用相似的模式。原文提到，这条路线从 Deep Salience 开始被广泛用于多音高估计，人声四重唱的 Late/Deep CNN 及其后续分声部模型都沿用了 HCQT 输入。Basic Pitch 则做了省计算的变体，用单张常数 Q 变换做频移来近似构造谐波通道。单音高估计里常见的 CREPE 这类模型同样把音高离散化在很细的对数网格上。
常数 Q 变换 × 对数音高网格： 常数 Q 变换指低频用长窗、高频用短窗，使相对频率分辨率近似恒定的时频分析；对数音高网格指按半音或音分等比划分频率轴的表示方式。前者提供与音乐音程相对间隔相匹配的分析，后者提供与音高类别直接对应的坐标，二者结合后卷积核在不同音高处看到的谐波间距模式更一致，这是谐波常数 Q 变换此前在多音高估计中流行的原因。
这类表示的好处是有明确的音乐动机，代价是特征提取贵。特别是在训练时从孤立人声分轨现场生成混合，每生成一个训练片段都要算多通道变窗变换，开销会被放大。论文要回答的正是这个工程与建模的权衡：在人声合唱这种谐波重叠严重的数据上，频率自适应分析和音高对齐网格是否真的不可替代。
频率分辨率的矛盾在哪里
要分开接近的基频，直觉是频率分辨率越细越好。但音乐音程的绝对带宽随频率升高而变宽，低音区半音只差几赫兹，高音区半音可差上 100 赫兹。固定窗的短时傅里叶变换，简称 STFT，在全频带用同一个频率间隔，低音区分辨相对粗糙；常数 Q 变换用变窗来保证相对分辨率恒定，低音区看得更细。另一方面，人声不是静止的弦，存在颤音、滑音和快速起音，窗太长会把时间变化抹平，反而让帧内频率模糊。论文在方法开头就点出这个矛盾：到底是需要频率自适应的精细分析，还是固定分辨率加短窗对时变人声更有效，需要在同一编码器和同一训练流程下直接比较才能知道。
基频 × 谐波： 基频指每帧每个歌声声部实际演唱音高的最低振动频率，是模型要输出的目标；谐波指该频率整数倍处的能量成分，是判断基频存在的依据。人声合唱中相邻声部基频间隔很小，高次谐波会在时频图上重叠，模型必须利用多处谐波证据反推被遮挡的基频位置，二者搭配解释了为什么输入表示的频率分辨率和频带范围如此关键。
此外还有频带范围的问题。预测的音高范围是固定的 6 个八度，但判断音高往往要看高于基频的泛音。如果输入只给预测音高范围内的频段，模型就看不到高次谐波；如果给到更高频率，又会引入更多混叠和噪声。论文把频带上限也作为变量来考察。
整体流程是如何从波形走到音高集合的
论文的整体流程刻意保持简单，以便把差异归因到输入表示。输入音频采样率为 44.1 kHz，先算时频表示，再过一个轻量卷积茎提特征，然后进一个沿时间建模的编码器，最后由逐帧预测头在 360 个音高格上输出激活。编码器可以替换，论文试了 ConvNeXt、时序卷积网络 TCN、Conformer、ConvNeXt V2 和 InceptionNeXt 共 5 种，隐层维度都是 256，参数量在 1850 万到 1940 万之间，深度按各自结构调整。输出不是峰值拾取的显著峰，而是直接对激活做阈值判决。训练用二值目标，每个发声音高只把所在格标为正，优化二值交叉熵。
这种设计让 HCQT 和谐波堆叠与线性 STFT 3 类输入共用同一套主干和训练超参数，比较更公平。下图给出了从波形、频谱、卷积、编码器到预测曲线的完整链路，右侧示例同时画出了预测点集与参考基频随时间的走向，可以直观看到断句、换气和声部进入退出时的跟随情况。
读这张结构图时，先把输入音频当成起点，顺着箭头看到频谱如何被压缩成特征，再看到编码器沿时间整合上下文，最后看到预测头在音高轴上的输出，这样就能复述一次前向过程。
看图路径： 1. 沿从左到右箭头数出输入音频到预测音高集合的主路径；2. 注意卷积茎与编码器可替换，预测头固定输出三百六十个音高格；3. 对照最右侧预测点与参考线的重合与断裂位置
论文图 2。原论文 Figure 2:：“Model architecture. The first 360 bins of a 2048-sample STFT (0–7.7 kHz) are processed by a convolutional stem and an encoder, followed by a frame-wise prediction head over 360…”。
从图中可见，主路径是单向的，没有显式的声部分离或音高分配分支；编码器是唯一可替换的大模块，卷积茎和预测头保持不变。这意味着输入表示的差异会先经过同样的两层 3 乘 3 卷积加一层 1 乘 1 投影，再进入不同的时序建模，因此性能差异更可能来自表示本身而非预测头的特殊适配。最右侧的示例也说明评价是逐帧多标签的，同一时刻可以有多个音高点同时被激活。
两种输入表示长什么样
线性 STFT 分支的做法是取窗长 2048 点、帧移 256 点的单次固定窗变换，只取前 360 个频点直接送入模型，不做对数音高重映射。经对数压缩后记为模型输入，覆盖 0 到 7.7 kHz，均匀间隔约 21.5 Hz。它的特点是频率分辨率固定，不用随频率变化的分析窗，也没有音高对齐的输入网格，但频带明显超出预测的音高上界，目的是保留高次谐波内容。HCQT 分支则保留频率自适应分辨率和跨通道谐波对齐，输入格点本身就落在音高坐标上。下图用同一段 4 秒 jaCappella 无伴奏录音并排展示了二者，白色线为参考基频，右图还用红绿蓝标出 1 次、二次、三次谐波位置，左图用虚线标出预测音高上界 C7。
要读懂这组对比，先确认左右两图是同一段录音的不同投影，再观察谐波能量在均匀频点与对数音高格上的不同排布，最后注意上界以上仍有可用的泛音结构。
看图路径： 1. 先看左右两图的时间轴与频率轴标注，确认是同一段四秒人声；2. 再看白色参考基频线与彩色谐波线在两种表示中的走向与重叠；3. 最后看左图虚线标出的预测音高上界与上界以上的高频泛音
![原论文 Figure 1：The two representations compared, on a four-second a cappella recording in jaCappella \\[20\\]: (a)…](https://arxiv.org/html/2610.03656v2/figs/fig_representation.png)
论文图 1。原论文 Figure 1:：“The two representations compared, on a four-second a cappella recording in jaCappella [20]: (a) the linear STFT with 2048-sample window and (b) the harmonic CQT.”。
从像素可见，左图线性频谱的能量呈横向均匀条带，低频密集而高频稀疏，白色参考线压在低频区，上界虚线以上仍有随时间起伏的弱泛音纹理；右图谐波堆叠的能量在音高轴上呈更规整的层状，红绿蓝三色谐波带与白色基频线的相对位置在不同音高处保持相似，低音区 C1 到 C2 附近的模糊拖尾也更明显。这种可视差异对应了后文的机制解释：对齐表示让谐波模式更规整，但变窗和重采样本身也有代价，而线性表示把不规整的映射留给了编码器学习。
谐波常数 Q 变换 × 线性短时傅里叶变换： 谐波常数 Q 变换指把按谐波比例计算的多通道常数 Q 变换堆叠起来，让同一基音的各次谐波在通道维度对齐；线性短时傅里叶变换指用单一固定窗算一次频谱并直接把低频段均匀频点送入模型。二者分工不同，前者靠变窗和对齐减轻卷积跨音高聚合谐波的负担，后者靠保留原始均匀频点和高频泛音让编码器自己学习映射，组合比较的意义在于检验频率自适应分析对人声密集音高是否必要。
音高网格与输入压缩是如何定义的
论文把多音高估计写成在 20 音分网格上的逐帧多标签分类。沿用 CREPE 的 20 音分划分，共 K 等于 360 个输出格，覆盖 6 个八度，第 k 个格的中心频率由等比关系给出，基准是 32.70 Hz，对应 C1 附近，最末格到 C7 附近。20 音分约等于五分之一个半音，比通常的 50 音分容差更严格，因此精确格匹配很考验定位。输入侧同样取前 K 个 STFT 频点，幅度谱经对数压缩，公式中加一是为了让静音格的取值为有限值，同时压住强低次分量与弱高次谐波之间的大动态范围。先看符号与输入，再看计算目标，两个公式分别回答输出格在哪里、输入值怎么算。
\[f_{k}=f_{0}\cdot 2^{20k/1200}\ \text{Hz},\quad f_{0}=32.70\,\text{Hz},\quad k=0,\dots,K-1.\]该式给出输出音高格的等比坐标，k 从零开始每步增加 20 音分，f0 为起始频率。它决定了预测头的类别含义和评价时格点匹配的基准。
\[\mathbf{G}[t,k]=\log\!\left(1+\left|\mathbf{X}[t,k]\right|\right),\quad k=0,\dots,K-1.\]该式给出输入矩阵在时间 t、频点 k 处的值，X 为复频谱，取模后再做对数压缩。它决定了送入卷积茎的数值分布，使弱泛音仍能参与训练而不被强基频淹没。两个公式合起来说明了一个关键不对齐：输入是均匀赫兹间隔，输出是等比音分间隔，模型必须学会在两者之间建立映射，而 HCQT 输入则事先把这一步做好了。
训练混合是如何现场生成的
训练数据由多个数据集的孤立人声分轨组成，每个数据集单独划分训练与验证。参考基频大多用 pYIN 按 10 音分分辨率从分轨提取，Cantoría 用 RMVPE，Dagstuhl、ESMUC 和 CSD 用自带参考。训练样本由 1 到 5 个同曲或跨曲分轨混合而成，其中约两成是单声部样本，每个分轨独立做正负 6 dB 内的随机增益。每段再以一半概率分别做两种增强：一是用合成房间脉冲响应做卷积混响，混响时间在 0.1 秒到 0.8 秒之间随机，干湿比在 0.3 到 0.7 之间随机；二是以最多正负两个半音重采样并相应调整参考基频。
优化用 AdamW，学习率为 0.001，权重衰减为 0.0001，预热 5 个周期，梯度裁剪到 1.0，用混合精度和余弦衰减训练 100 个周期。编码器沿时间建模，论文没有报告逐层冻结或梯度截断的特殊处理，监督来自混合前各分轨的参考基频经混合后的并集，阈值在消融中固定为 0.5，主评价则为每个模型单独选择最优阈值。理解这套流程才能明白为什么特征提取速度重要：每次迭代的混合和增强都是现场做的，HCQT 的多通道变窗计算会反复发生。
在哪些数据与指标下比较
评测覆盖 jaCappella、ACappellaSet、Korean Multi-Singer、Cantoría、Dagstuhl、ESMUC 和 ChoralSynth，其中 ChoralSynth 是唯一在训练中完全没出现过的数据集，也不在对比基线的训练中出现，用于看跨域泛化。Dagstuhl 与 ESMUC 是仅有的歌手同期同房间录制的数据，更接近真实合唱的声学与音准互动，其余多为分轨后期混合。歌曲级主指标是多音高准确率，即真正例除以真正例加误报加漏检之和，在共享的 360 格 20 音分网格上算精确格匹配和 50 音分容差两种，50 音分容差在网格上实现为两格偏移以近似常用评测工具的默认。
每个模型单独选阈值使对应指标最大，并用歌曲级自助法给出 95% 置信区间 1/2 宽。片段级消融则固定阈值 0.5，在 2894 个 30 秒验证片段上算精确格分数，并以片段为重采样单位给出配对自助区间；窗口分析还额外在 20 音分量化前对照原始参考基频打分，经激活加权均值细化局部极大值后一对一匹配，报告 10、20、50 音分下的分数以及 50 音分内匹配点的均方根误差与平均绝对误差。硬件与成本侧在单张 A100 上重测每轮时间，训练与评测都用 30 秒片段。
歌曲级精度上线性表示是否全面占优
歌曲级比较要回答的是同一任务、同一网格、各自最优阈值下哪种输入更好。下表并排了 5 组非同期录音与合成数据的结果，分为精确格与 50 音分容差两档，数值越大越好。比较条件是输出网格相同、阈值各自最优，基线包括已发表的 Late/Deep CNN 与两个声部分类模型，以及同编码器下的 HCQT 与谐波堆叠。看结果时要结合容差与数据集特性，不能只读单一最大值。
| jaCappella [20] | jaCappella [20] | ACappellaSet [22] | ACappellaSet [22] | Korean [18] | Korean [18] | Cantoría [6] | Cantoría [6] | ChoralSynth∗ [21] | ChoralSynth∗ [21] | |
|---|---|---|---|---|---|---|---|---|---|---|
| Model | 20 cent | 50 cent | 20 cent | 50 cent | 20 cent | 50 cent | 20 cent | 50 cent | 20 cent | 50 cent |
| HCQT [3] | ||||||||||
| Late/Deep CNN [9] | .387 ± .039 | .804 ± .033 | .334 ± .026 | .716 ± .042 | .309 ± .008 | .791 ± .013 | .545 ± .012 | .863 ± .010 | .626 ± .020 | .932 ± .014 |
| VoasCNN [8] | .291 ± .015 | .747 ± .040 | .208 ± .030 | .513 ± .074 | .255 ± .009 | .715 ± .020 | .358 ± .010 | .791 ± .022 | .469 ± .027 | .904 ± .018 |
| VoasCLSTM [8] | .299 ± .018 | .731 ± .040 | .248 ± .018 | .573 ± .055 | .269 ± .008 | .745 ± .017 | .416 ± .011 | .819 ± .013 | .527 ± .029 | .894 ± .022 |
| ConvNeXt [14] | .648 ± .036 | .884 ± .019 | .492 ± .027 | .828 ± .023 | .584 ± .016 | .880 ± .009 | .561 ± .017 | .875 ± .012 | .638 ± .020 | .934 ± .016 |
| Harmonic stacking [2] | .649 ± .036 | .884 ± .019 | .496 ± .028 | .828 ± .024 | .585 ± .016 | .880 ± .009 | .562 ± .017 | .876 ± .011 | .640 ± .020 | .935 ± .016 |
| Linear STFT | ||||||||||
| ConvNeXt [14] | .683 ± .031 | .909 ± .013 | .533 ± .031 | .860 ± .019 | .614 ± .017 | .901 ± .008 | .563 ± .021 | .891 ± .011 | .657 ± .019 | .947 ± .014 |
| TCN [1] | .694 ± .030 | .914 ± .013 | .548 ± .033 | .867 ± .017 | .627 ± .016 | .907 ± .007 | .597 ± .011 | .910 ± .005 | .642 ± .021 | .945 ± .013 |
| Conformer [10] | .706 ± .028 | .919 ± .011 | .544 ± .033 | .862 ± .019 | .621 ± .017 | .899 ± .008 | .598 ± .010 | .911 ± .006 | .631 ± .020 | .945 ± .012 |
| ConvNeXt V2 [30] | .681 ± .030 | .910 ± .013 | .537 ± .035 | .864 ± .017 | .619 ± .018 | .903 ± .007 | .587 ± .015 | .906 ± .008 | .648 ± .019 | .948 ± .013 |
| InceptionNeXt [31] | .692 ± .029 | .912 ± .012 | .536 ± .029 | .864 ± .018 | .618 ± .017 | .903 ± .008 | .564 ± .020 | .891 ± .011 | .659 ± .019 | .949 ± .013 |
表中仅 ConvNeXt 存在配对的 HCQT、谐波堆叠与线性 STFT 对照，例如 jaCappella 精确格下 ConvNeXt 从 HCQT 的 0.648 左右、谐波堆叠的 0.649 左右提高到线性 STFT 的 0.683 左右；TCN、Conformer 等其余编码器只有线性 STFT 值，没有同编码器 HCQT 对照，只能与 ConvNeXt 的 HCQT 基线比，例如 jaCappella 上 Conformer 线性值达到 0.706 左右，TCN 与 InceptionNeXt 也在 0.69 附近，已发表基线则明显更低，不能写成 5 个编码器都高于同编码器。在 50 音分容差下差距缩小，Cantoría 上的优势最小，说明线性表示的增益更多来自精确定位而非宽容匹配。
但这组优势并非无条件成立：在同期录制的 Dagstuhl 与 ESMUC 上，线性表示与 HCQT 的相对关系不再一致，具体数字见后文同期录音表。ChoralSynth 作为训练未见数据，线性表示仍保持领先，支持一定的泛化能力，但它毕竟是合成合唱，不能直接推广到真实大厅录音。阈值各自最优也意味着这是上限式比较，实际部署用固定阈值时差距可能变化。
精度提升的同时计算代价有何变化
如果只看精度，会忽略论文的另一个动机：现场混合训练时特征提取的开销。下图横轴是每轮秒数，纵轴是片段级分数，越靠左上越好，绿色为线性表示，橙色为谐波类表示，虚线标出了代表性差距。比较条件是同样在 30 秒片段上训练与评测，每轮时间在单张 A100 上重测。
读这张散点图时，先确认横轴越小表示越快，纵轴越大表示越准，再看两类颜色点群是否分离，最后读虚线两端的数值标注。
看图路径： 1. 先看横轴每轮秒数与纵轴片段级分数的方向，左上为又准又快；2. 区分绿色线性表示点与橙色谐波类表示点的位置差异；3. 读出虚线标注的分数差与加速倍数所连接的两个端点
论文图 3。原论文 Figure 3:：“F1 and computational cost. Time per epoch re-timed on one A100. All models are trained and evaluated on 30 s segments. InceptionNeXt coincides with ConvNeXt.”。
图中线性表示的点集中在左上，谐波类两点在右侧低位，标注显示约 0.032 的分数差与 4.4 倍加速，InceptionNeXt 与 ConvNeXt 点重合。原文在编码器比较中还给出汇集全部验证片段的绝对分数差为 0.020，95% 配对自助区间为 0.018 到 0.022。这说明在相同训练步数与片段长度下，线性表示用更少的特征提取时间达到了更高的平均分数，代价主要是把高频泛音也送入模型带来的输入维度，而非更重的变换本身。但每轮时间不等于端到端部署延迟，推理帧率与后处理开销仍需另测。
训练与验证的数据规模有多大
要判断上述差距的可信度，需要先看训练与验证的歌曲数与时长分布。下表列出各数据集的语言、歌曲数与小时数，训练与验证按数据集分别划分，时长指歌曲时长而非增强后的样本量。这里要看数据是否偏向某一语言或编制，数据构成会限制结论能推广到哪些合唱场景。
该表比较的是各来源在训练与验证中的占比是否均衡，上级分组为 Training 与 Validation，各自分出 Songs 与 Hours 两列，数值越大表示该来源权重越大。
| Training | Training | Validation | Validation | ||
|---|---|---|---|---|---|
| Dataset | Language | Songs | Hours | Songs | Hours |
| Korean [18] | Korean | 51 | 50.9 | 48 | 14.5 |
| jaCappella [20] | Japanese | 32 | 40.3 | 8 | 4.8 |
| ACappellaSet [22] | Chinese | 66 | 32.8 | 17 | 6.4 |
| Cantoría [6] | Latin | 11 | 8.2 | 3 | 0.9 |
| Dagstuhl [25] | German | 6 | 0.8 | 2 | 0.2 |
| ESMUC [7] | Various | 7 | 0.2 | 2 | 0.2 |
| CSD [5] | Catalan | 2 | 0.1 | 1 | 0.1 |
| Total | 175 | 133.3 | 81 | 27.0 |
表中韩语、jaCappella 与中文无伴奏数据占了训练的主体，分别为 50.9、40.3 和 32.8 小时，而德语 Dagstuhl、ESMUC 等同期与小语种数据合计不足 2 小时，总计训练 175 首 133.3 小时，验证 81 首 27.0 小时，该总计包含表中显示的全部 8 个数据集，并非仅前三行之和。这种构成意味着模型主要见过分轨混合的无伴奏织体，对同期合唱的房间耦合与音准协商见得很少，这与后文同期录音上优势减弱的现象是一致的。复现时若只用其中一部分数据，不能期望得到相同的绝对分数。
同期录音上为什么不再一致
同期录音比较要回答的是结论在更真实合唱声学下是否还成立。下表只看 Dagstuhl 与 ESMUC，两者歌手同房间同期录制，且都出现在 Late/Deep CNN 与本模型训练中，因此不存在训练未见的问题。指标与主表相同，仍是精确格与 50 音分容差下的多音高准确率，越大越好。
| Dagstuhl [25] | Dagstuhl [25] | ESMUC [7] | ESMUC [7] | |
|---|---|---|---|---|
| 20 cent | 50 cent | 20 cent | 50 cent | |
| HCQT | ||||
| Late/Deep CNN | .470 ± .012 | .904 ± .004 | .564 ± .028 | .910 ± .005 |
| VoasCNN | .374 ± .015 | .871 ± .003 | .381 ± .018 | .862 ± .007 |
| VoasCLSTM | .394 ± .013 | .858 ± .003 | .406 ± .024 | .841 ± .010 |
| ConvNeXt | .617 ± .009 | .907 ± .010 | .475 ± .038 | .826 ± .011 |
| Harmonic stacking | .602 ± .012 | .903 ± .007 | .485 ± .027 | .828 ± .017 |
| Linear STFT | ||||
| ConvNeXt | .640 ± .010 | .923 ± .003 | .480 ± .036 | .820 ± .018 |
| TCN | .643 ± .014 | .922 ± .004 | .498 ± .040 | .842 ± .017 |
| Conformer | .576 ± .020 | .904 ± .005 | .491 ± .035 | .821 ± .024 |
| ConvNeXt V2 | .641 ± .009 | .923 ± .006 | .499 ± .037 | .840 ± .021 |
| InceptionNeXt | .633 ± .007 | .919 ± .006 | .474 ± .044 | .829 ± .009 |
表中 Dagstuhl 上 ConvNeXt 配对比较中线性表示从 0.617 到 0.640 左右，TCN 的线性值为 0.643 左右，高于 HCQT-ConvNeXt 的基线；但 ESMUC 上两者几乎持平甚至互有胜负，ConvNeXt 在精确格下 0.475 对 0.480 左右，50 音分下 0.826 对 0.820 左右。线性 Conformer 在 Dagstuhl 精确格下为 0.576 左右，低于 HCQT-ConvNeXt 的 0.617，但由于没有 Conformer 的 HCQT 对照，不能表述为 Conformer 从 0.617 降到 0.576 的同模型下降。这是一个明确的反例，说明主表的全面占优不能推广到所有录音条件。论文也承认多数训练混合是独立录音分轨的叠加，没有反映同期演唱的声学与音准互动。初学者应把结论限定为分轨混合与所测无伴奏数据上成立，同期大合唱仍待验证。
加长分析窗与扩大频带能否再提升
消融要回答的是线性表示的增益是否来自更细的频率分辨率或更宽的频带。实验固定频带为 0 到 7.7 kHz、帧移 256 点，只变 STFT 窗长，用 ConvNeXt 编码器对照量化前的原始参考基频打分，虚线为同编码器 HCQT 基准。上图报告 3 种容差下的分数，下图报告匹配点的音高误差，分数越高越好，误差越小越好。
读这组曲线时，先看横轴窗长从 512 到 16384 样本对应的毫秒数，再看 3 条分数曲线是否单调，最后对比虚线高度判断超越区间。
看图路径： 1. 先看上图三条容差曲线随窗口从小到大的先升后降形状；2. 再看三条虚线所代表的同编码器谐波表示基准高度；3. 最后看下图两条音高误差曲线是否与上图分数趋势一致
论文图 4。原论文 Figure 4:：“Analysis window. Linear STFT with the ConvNeXt encoder across analysis-window sizes, scored against the reference F_0 before 20-cent quantization.”。
从像素可见，上图 3 条实线都在 2048 点约 46 毫秒处达到峰值，向两侧减小，50 音分绿线与 20 音分蓝线在峰值处超过同色虚线，最严的 10 音分橙线峰值也只是略超基准；下图均方根误差与平均绝对误差在 2048 点附近最低，但 HCQT 虚线在误差上与最优 STFT 相当甚至略低。这支持论文的判断：单纯加长窗换频率分辨率或缩短窗换时间分辨率都不能提升分数，而定位精度本身并不能解释表示间的分数差。频带方面，超出 7.7 kHz 没有进一步提升，把输入截到预测音高上界 C7 则会削弱线性表示的优势，论文据此把优势归因于 0 到 7.7 kHz 内的高次谐波内容。这是一个有条件的机制解释，不是因果证明，因为没有逐频带遮挡的对照。
分析窗长 × 频率分辨率： 分析窗长指做一次傅里叶变换所截取的音频样本数与对应时长；频率分辨率指频谱上能分开两个邻近频率成分的能力。对固定窗的短时傅里叶变换，窗越长频率格点越密但时间拖尾越重，对时变的歌声颤音和起音不利。把二者放在一起消融，就是要看人声合唱到底缺的是频率精度还是时间跟随能力。
哪些误差与条件会限制结论
论文明确列出两项局限。第一，参考基频大多自动获得，主要用 pYIN，错误会传导到训练与评价。自动参考在气声、换声区和低信噪片段容易出错，而精确格评价对 10 到 20 音分的偏差很敏感，参考本身的抖动可能掩盖或夸大模型间的真实差距。第二，多数训练与域内混合是独立录音分轨的叠加，不反映同期合唱的房间耦合、相互听辨与音准妥协，这正是同期录音表上不一致的可能来源之一。
此外还有三点隐含限制：歌曲级主表为每个模型单独选阈值，报告的是调阈后的上限，不是固定阈值部署性能；窗口分析的误差比较用了激活加权细化与一对一匹配，与主表的格点匹配不是同一实现，数字不能直接混比；ChoralSynth 虽未参与训练但是合成数据，对真实厅堂的泛化仍是待验证的。读结果时应把高精度数字理解为在给定参考、给定划分和给定阈值选择下的相对排序，而非绝对可部署精度。
复现第一步做什么与资源现状如何
复现应从数据与基线对齐开始，而不是先调编码器。第一步是按原文的划分准备分轨与参考，用 pYIN 或自带参考得到帧级基频，再实现 1 到 5 个分轨的现场混合、正负 6 dB 增益、房间脉冲与正负两半音重采样两类增强，并固定窗长 2048、帧移 256、前 360 频点的对数压缩输入与 360 格 20 音分输出。先在同一 ConvNeXt 编码器下跑通 HCQT 与线性 STFT 两条分支，确认片段级分数差与每轮时间差的方向，再扩展到其他编码器与歌曲级阈值搜索。
关键超参数是学习率 0.001、权重衰减 0.0001、预热 5 轮、梯度裁剪 1.0、混合精度与余弦衰减 100 轮，消融阈值固定 0.5。资源方面，论文给出的外部链接当前可以访问，但这只表示地址可达，不等于已确认代码、权重或完整系统可用，第三方链接的作者归属尚未确认，具体包含的脚本与配置以资源文档实际内容为准。权重与完整系统目前尚无法确认是否公开，未确认事项不做推测，复现时应按原文描述自行实现训练流程。
什么时候值得尝试与还缺哪项验证
当任务是人声合唱或无伴奏多音高估计、训练需要现场混合大量分轨、且计算预算受特征提取限制时，值得优先尝试线性 STFT 输入：它实现简单，只需一次固定窗变换加对数压缩，还能保留预测音带以上的高次谐波，论文显示在所测 5 个分轨混合与合成数据上精确格精度更高、每轮更快。但当录音是同期同房间大合唱、混响重或声部交叠更严重时，不应默认它一定更优，ESMUC 与部分 Dagstuhl 结果已经给出反例。
还需要补的验证包括：在人工精标基频上的重测以排除 pYIN 误差的影响，在更多同期厅堂录音上的固定阈值测试以考察部署性能，以及对频带的逐段遮挡对照以确认高次谐波的因果贡献。未来工作提到是否能推广到频谱与时间特性不同的乐器，这同样待验证。对初学者而言，可复述的关键步骤是：均匀频点输入加对数压缩，经卷积茎与时序编码器映射到等比音高格，用二值交叉熵训练并经阈值判决，而更细的频率分辨率并不必然带来更好的合唱转谱。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses