把基频滤波当作语音增强：用 Wave-U-Net 直接提基频波形再求瞬时频率

英文题目：Instantaneous Pitch Estimation via Wave-U-Net-Based Fundamental Waveform Enhancement

会议身份：conference:interspeech:2026:conference-paper-id:koguchi26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#CNN #鲁棒性 #语音 #音高与旋律提取 #语音增强

评分：5.8/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Junya Koguchi：机构信息未能从会议 PDF 纯文本可靠映射
• Tomoki Koriyama：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

针对语音与歌唱中快速变化的基频，瞬时基频估计需从含谐波与噪声的波形中输出连续频率轨迹，难点在于传统通道选择在强谐波与低信噪比下易失稳。本文将基频波形滤波重构为语音增强问题，先用Wave-U-Net直接从原始波形回归基频正弦分量并约束残差满足混合一致性。接着对估计波形构造解析信号并求相位导数得到瞬时频率，以此作为连续基频输出。与IRAPT等多通道周期性打分再选通道的机制不同，该方法省去显式通道选择，依靠大感受野回归与瞬时频率损失约束相位演化连续性。在包含语音歌唱乐器的干净测试条件下，提出方法的粗糙基频准确率为88.47%，高于Halcyon的粗糙基频准确率86.80%。在0 dB加性噪声测试条件下，提出方法的粗糙基频准确率为86.40%，高于NINJAL的粗糙基频准确率62.35%。但高频调制下随机响应仍高于 NINJAL，且混叠与残留谐波假设尚未完全解决，原文未披露训练、推理或部署成本。该结论的适用边界受限于以单正弦基频假设与解析信号瞬时频率为前提的外推范围。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么分帧估计不够用？

输入是一段时域语音波形，目标是输出随时间连续变化的基频轨迹。白话说，基频大致对应人耳听到的音高，论文用声学学会推荐的记号称为 fo。传统做法是把信号切成短时帧，每帧假设基频平稳，再估计一个周期或频率离散值。这种做法的学习依赖是平稳假设先于估计结论，当基频连续变化时依赖不成立。论文指出，颤音或线性扫频等连续变化会在分帧假设下产生不自然的断裂，对突变也难以跟踪。

瞬时基频估计要解决的是连续性问题。白话解释瞬时频率，即解析信号相位随时间的变化率，对应单个正弦分量的调制频率。如果能从含谐波和噪声的多分量语音中只分离出对应基频的正弦分量，后文简称基频波形，那么对其求瞬时频率即可得到连续轨迹。难点在于真实语音不是单正弦，瞬时频率本身不是唯一定义的，分离不干净就会直接污染导数结果。论文把关键矛盾定位为基频滤波质量决定瞬时频率精度。

瞬时基频 × 瞬时频率： 瞬时基频指随时间连续变化的基频轨迹，分工是描述声调、颤音和突变等连续变化；瞬时频率指解析信号相位对时间的导数，分工是给出单正弦分量的调制频率；二者搭配的理由是若能分离出只含基频的正弦状波形，其瞬时频率即对应连续基频，组合意义是把分帧离散估计转为对增强后波形逐点求导。

本解读的输入是论文正文证据与 3 张官方原图像素，目标是让研究生能复述方法与实验条件，必须保留的信息是数据构成、训练配置、评估指标方向与可运行基线，输出是按学习依赖展开的技术解读。当前没有来源绑定且完成超文本传输安全协议状态验证的资源，因此不得声称代码、模型或数据已公开。

术语与记号如何统一，避免初学者误读？

初学者需先统一 3 组术语。基频即 fo，论文按声学学会建议不用大写 F0，以避免与共振峰或音名混淆。基频波形指只含基频的正弦分量，残差指输入减去基频后应含谐波与噪声的部分。解析信号指由实波形经复数带通滤波得到的复数表示，其相位导数即瞬时频率。

实现细节上，复数带通由窗函数、带宽与中心频率决定，训练时中心频率已知为真实基频，推理时未知。评价中的音分是频率对数单位，阈值越小越严格。信噪比写法按原文以无穷大、30、20、10、0 分贝覆盖整组，比较时应保留同组写法，不拆分为孤立条件。论文致谢部分说明用对话模型辅助了文字润色，不影响方法与数据结论。

已有瞬时基频路线如何得到基频，脆弱点在哪里？

论文回顾的路线都先做带通分解再处理瞬时量。IRAPT 在每个频带估计瞬时幅度和瞬时频率，构造类似瞬时自相关的函数，再用动态规划跟踪周期候选以确定基频周期。Halcyon 用多速率采样对每个候选频率自适应改变滤波器带宽和分析长度，再根据每步估计的瞬时谐波参数评价周期候选。NINJAL 结合带内残差与相位导数偏差估计周期性可靠度，从所得测度的极小值提取基频候选。前两者的共同点是综合多带谐波信息间接选择基频，后者是用残差与相位稳定性找极小。

这些确定性信号处理方法的理论动机清楚，但选择准则是在设计时假设的域上制定的。论文指出的脆弱点是，当输入来自设计时未假设的域或未见噪声条件时，基于自相关或标准差等基频相似性打分容易失效。换句话说，分解本身不难，难的是在多通道中稳定选中基频通道。

基频波形 × 通道选择： 基频波形指语音中只对应基频的正弦分量，分工是作为求瞬时频率的唯一输入；通道选择指从复数滤波器组多通道输出中挑选最像基频通道的步骤，分工是排除谐波干扰；二者搭配的理由是传统方法先分解再打分选择，组合意义是本文直接增强出基频波形从而省去通道选择环节。

另一条相关线是 Wave-U-Net。原文指出它直接输入输出时域波形，最初用于声源分离，后用于语音增强，已知能高精度提取混合中的目标波形成分，还有工作用它直接从波形估计基音标记。这为把基频滤波看作增强问题提供了依据，但论文并未声称增强成功必然带来频率精度提升，后文用对照实验验证。

论文把什么定为待求问题，评判标准是什么？

待求问题是从含谐波与噪声的语音波形中得到准确鲁棒的连续瞬时基频。形式上，先估计基频波形，再由其解析信号计算瞬时频率。评判分两类，一类是频率误差，用音分误差及其均值标准差描述，用粗正确率衡量在给定音分阈值内正确的比例，阈值越小越严格，数值越高越好。另一类是调制响应，用受控调制信号测量估计器对时变基频的跟随与抖动，线性跟随越接近理想越好，随机与非线性残差越低越稳定。

需要区分的例子是，论文用载波 240 赫兹、调制深度 50 音分模拟日语元音/a/的测试信号，这只是为测量响应构造的教学与测量用例，不是真实语音分布的代表。真实评估还包括跨语音、歌声、乐器与退化语音的多域数据。论文未报告延迟与计算量改善，因此不能把精度结论推广为实时性结论。

全景：一个样本如何从含谐波语音走到连续基频？

沿一个样本走完全程有助于建立依赖顺序。输入是 16 千赫兹采样的语音波形，含有基频、谐波与可能的噪声。第一步由 Wave-U-Net 回归模型直接估计基频波形，记为对输入语音的映射输出，同时可定义残差为输入减去基频波形，残差应包含谐波与噪声。第二步对估计的基频波形构造解析信号并求瞬时频率，得到连续基频轨迹。整个设计省去了复数滤波器组加通道选择的分支判断，依赖顺序是波形增强先于频率计算，频率计算的稳定性依赖增强的干净程度。

Wave-U-Net × 语音增强： Wave-U-Net 指直接处理时域波形的编码器解码器网络，分工是利用大感受野和跳跃连接保留细波形结构；语音增强指从混合信号中提取目标成分，分工是抑制谐波和噪声；搭配理由是基频滤波可看作只保留基频的特殊增强任务，组合意义是用回归方式直接估计基频波形而非估计全带语音。

下图是论文给出的基频波形滤波总览，阅读时应先建立从左到右再向上的主路径，再看跳跃连接如何补充细节。

看图路径： 1. 先从左上输入语音波形沿实线箭头走到最下瓶颈再向上到蓝色基频波形；2. 再看左右同层虚线箭头标注的裁剪拼接跳跃连接位置；3. 对比下采样块内一维卷积与下采样顺序和上采样块内上采样与一维卷积顺序；4. 确认输出前最后一层一维卷积指向基频波形

论文图 1。原论文 Figure 1：“Overview of the proposed Wave-U-Net-based funda- mental waveform filtering.”。

从像素可见，左上是输入语音波形示意，顶部蓝色波形标注为基频波形输出。下方左右对称排列下采样块与上采样块，每个下采样块内先是 1 维卷积再是下采样，每个上采样块内先是上采样再是 1 维卷积，最底层经 1 维卷积瓶颈连接。左右同层之间用虚线箭头连接并标注裁剪拼接含义，表示把编码器特征图裁剪中心部分后沿通道轴拼接到解码器。

这种结构让解码器同时使用瓶颈的抽象上下文与浅层的高分辨率局部信息，既扩大感受野捕捉长时依赖，又保留精细波形形状。上采样采用先插值恢复中间值再卷积加倍时间分辨率的做法，原文说明这是为避免转置卷积补零带来的混叠伪影。除输出层用双曲正切把范围约束到负 1 到 1 外，其余非线性用带泄漏修正线性单元。

组件如何计算：滤波、损失与掩码各自做什么？

编码器由多个下采样块组成，每块堆叠 1 维卷积加非线性与下采样层，下采样丢弃每隔一个特征样本使时间分辨率减半。解码器由对应数量的上采样块组成，每块堆叠上采样层与 1 维卷积加非线性。论文设置的层数是编码器与解码器各 6 层。重复下采样增大感受野，跳跃连接保留浅层高分辨率信息，目标是宽上下文与时间精度的兼顾。

训练目标由两项组成。波形项是对基频误差与残差误差求平均绝对误差的期望，残差项的作用是鼓励满足混合一致性，即估计的基频加残差接近输入。原文说明用平均绝对误差而不用均方误差，期望是减少过度平滑并保留细波形结构。频率项是对掩码加权的估计与参考瞬时频率绝对误差求期望，掩码只在参考基频解析信号瞬时幅度大于幅度阈值的区域取 1，其余取 0，原因是静音或清辅音段瞬时频率不稳定，只在幅度足够大的浊音段评价误差。最终损失是波形项加权重系数乘频率项，权重取 5.0，原文说明该值是为稳定训练选择的。

参考基频波形与参考瞬时频率的构造需要交代。训练时以真实基频为中心频率做复数滤波得到参考基频波形，采用高斯窗，邻近谐波处的增益设为负 100 分贝。瞬时频率计算时候选基频下界 40、上界 2000，由此确定带宽与中心频率，幅度阈值对应增益负 100 分贝的值。推理时则没有真实基频可用，只能依赖网络估计的波形求瞬时频率，这是训练与推理的信息条件差异。

训练如何组织：数据、增强、优化与输入长度？

训练数据来自语音、歌声与乐器 3 类。语音包括巴格肖、基尔、卡内基梅隆北极、葡萄牙语单语库与电磁发音记录等集合，歌声用镜像歌声数据集，乐器用多轨合成数据集。所有信号重采样到 16 千赫兹 16 比特。部分数据的附带真实值误差较多，论文用降噪后的声门图波形并经投票法提取基频作为替代。总量为 42 名说话人、19 名歌手与 25 件乐器共 20.67 小时音频，训练、验证与测试在发音层面严格不相交，且说话人、歌手与乐器在划分之间无重叠。

波形损失 × 瞬时频率损失： 波形损失指基频与残差两路平均绝对误差之和，分工是约束混合一致性和保留细结构；瞬时频率损失指有掩码加权的估计与参考瞬时频率绝对误差，分工是约束提取波形的相位演化稳定；搭配理由是只约束幅度易留下相位不稳，组合意义是以权重系数联合优化波形形状与频率连续性。

为提高噪声鲁棒性，训练以 30% 概率加噪，噪声来自常见噪声库，信噪比在 0 到 30 分贝之间随机选择，噪声样本随机抽取。优化用带免调度策略的修正自适应矩估计优化器，1 阶与 2 阶矩衰减分别取 0.9 与 0.999，学习率取 0.0001，批量 16，训练 30 轮。每批从完整波形随机裁剪 4096 样本的片段，网络输入输出等长。论文只报告了上述冻结的超参数与流程，未报告学习率搜索、权重衰减与梯度裁剪等缺项，复现时应按原文值先跑通，不从模型名称推定未写明的实现。

实验条件如何保证可比：基线、信噪比与评价段？

比较对象是 3 种基于瞬时基频的已有方法，即 IRAPT、Halcyon 与 NINJAL，选择理由是精度与公开实现可用性。评估在干净与加噪两类条件下进行，加噪在测试语音与噪声对上按无穷大、30、20、10、0 分贝信噪比计算粗正确率，阈值取 50 音分。频率误差只在参考频率存在且解析信号幅度足够大的段上评价，避免用不稳定的清音与静音段惩罚估计器。

调制响应测量基于级联全通随机化方法。对载波加调制分量的输入频率，估计响应被分解为载波加线性时不变卷积项、非线性时不变项与随机时变项。测试用载波 240 赫兹、调制深度 50 音分，干净与 30 分贝白噪声两种条件，横轴为调制频率，纵轴为增益，单位分贝。线性跟随越接近 0 分贝越好，随机与非线性越低越稳定。这种评价与粗正确率互补，前者看平均正确比例，后者看对快变调制的跟随极限与抖动来源。

主结果显示什么：在干净与加噪下谁更准更稳？

先提出比较问题：在相同测试划分与相同信噪比下，本方法相对 3 个可运行基线是否提高粗正确率，指标方向是粗正确率越高越好，音分误差均值越小越好但需结合标准差看离群。

下表整理干净条件下的频率误差与不同阈值粗正确率，表中数值保留原文写法与精度，阈值列单位为音分。

表后解释需同时看收益与代价。本方法在 3 个阈值上均为最高，50 音分阈值达 88.47，5 音分严格阈值达 38.50，且标准差 133.98 明显小于其他方法，支持轨迹更连续、对起始与浊辅音附近突变跟踪更好的判断。未胜出项是均值最小者为 Halcyon 的 2.45，但其标准差达 213.96 且粗正确率未超过本方法，论文解释为局部突变段频繁离群所致。NINJAL 均值与标准差表现较差，严格阈值仍接近本方法，说明均值 alone 不能代表可用性。

线性时不变响应 × 随机时变响应： 线性时不变响应指估计器对调制分量的线性跟随部分，分工是反映能否跟上调制频率；随机时变响应指随测量变化的随机抖动部分，分工是反映估计的稳定性；搭配理由是 CAPRICEP 把估计响应分解为这两部分加非线性部分，组合意义是同时看跟随能力和抖动大小才能判断调制跟踪质量。

干净条件下的调制响应如下图所示，阅读时先看蓝色跟随是否压住顶部，再看橙绿残差的高低。

看图路径： 1. 先确认顶部标题载波 240 赫兹与调制深度 50 音分及横轴调制频率纵轴增益；2. 再对比四个子图蓝色线性跟随曲线随频率升高是否保持在 0 分贝附近；3. 观察橙色随机分量与绿色非线性分量在低中频段的高低位置

论文图 2。原论文 Figure 2：“Frequency responses of each estimator under clean conditions.”。

从像素可见，四子图标题同为载波 240 赫兹与调制深度 50 音分，图例区分蓝色线性时不变、橙色随机时变与绿色非线性。左上 Halcyon 与右上 IRAPT 的橙绿残差在中低频段较高，左下 NINJAL 的橙色随机分量在底部很低，右下本方法的橙色随机分量低于 IRAPT 与 Halcyon 但高于 NINJAL。论文报告本方法随机响应小于 IRAPT 与 Halcyon 但大于 NINJAL，支持干净强调制精细分析仍以 NINJAL 更稳的判断。对差距的解释是估计基频波形可能残留少量谐波，下采样混叠影响相位差，论文用可能一词表述，属于待验证推测，并建议用带完全重构保证的抗混叠下采样或离散小波变换改进。

加噪后行为如何变化：谁的随机分量被抬起？

比较问题不变，只是条件变为加性噪声，重点看 50 音分粗正确率（%）随信噪比下降的保持能力。公平条件是同一语音噪声对与同一评价段，指标方向仍是越高越好。

表后解释要指出代价与反例。本方法在各信噪比均为最高，0 分贝仍达 86.40，而 NINJAL 在 0 分贝跌至 62.35，Halcyon 跌至 76.30，支持噪声下更鲁棒的判断。未胜出项的反例恰是 NINJAL，它在干净调制跟踪最稳，但在强噪声下退化最大。论文给出的机制解释是瞬时频率假设局部单正弦，噪声主导时相位差对随机起伏敏感，易产生尖峰误差与跟踪失败，而本方法因训练加噪抑制无关成分且频率损失鼓励相位演化稳定，变化较小。该解释与基于深度神经网络基频估计一般抗噪的文献趋势一致，但论文未做去掉噪声增强或去掉频率损失的消融，因此不能把鲁棒性唯一归因于某一项。

加噪调制响应的像素提供了同一现象的另一视角，条件为 30 分贝白噪声。

看图路径： 1. 先确认标题新增 30 分贝白噪声条件与图 2 坐标范围一致；2. 重点看左下 NINJAL 子图橙色随机分量是否明显抬升；3. 对比右下本方法子图蓝色跟随与橙色随机分量在加噪前后变化大小

论文图 3。原论文 Figure 3：“Frequency responses of each estimator under noisy conditions.”。

从像素可见，右下本方法的蓝色跟随与橙绿残差在加噪前后变化较小，而左下 NINJAL 的橙色随机分量从图 2 的底部明显抬升到中部，与粗正确率在低信噪比大跌相互印证。Halcyon 与 IRAPT 在两图中的形态变化相对较小，但其基线残差本来较高。需要强调，总体趋势不等于每组每步都成立，30 分贝白噪声的结果不能直接推广到 0 分贝或其他噪声类型。

边界在哪里：哪些结论不能推广，缺了哪些验证？

论文明确给出了方法选择的适用边界。对于以元音为主、周期成分占优的强调制精细分析，如纯元音与颤音，NINJAL 与 Halcyon 可能更有优势。对于含辅音的一般语音或噪声环境录音，本方法可能更有效，选择依据可以是噪声与呼吸等非周期成分相对谐波成分的占优程度。这意味着不存在全条件最优，复现时应按信号类型分别评价。

未验证的推测需要单独标记。把干净条件差距归因于下采样混叠与谐波残留是可能原因，论文用了可能一词，尚未用抗混叠结构对照验证。把噪声鲁棒性归因于噪声增强与频率损失也是行为层面的解释，缺少逐项消融。缺失证据不是技术错误，但复现者不应把这些解释当作已证明的因果。

未测量的量同样不能承诺。论文未报告训练资源、推理开销、输出帧率与实际延迟，也未测量误判率与主观听感，因此不能声称这些量得到改善。数据层面总量有限且为特定集合的组合，跨域结论限于所用语音、歌声与乐器划分，不能外推到所有音乐与语言。

复现先做什么：按什么顺序核对才能重放关键数字？

第一步核对数据与划分。按原文集合名单准备语音、歌声与乐器，重采样到 16 千赫兹 16 比特，对错误较多的子集用降噪声门图加投票法重提基频，并保证训练验证测试在发音层面不相交且说话人歌手乐器无重叠，总量应对齐 20.67 小时量级。第二步构造监督。以真实基频为中心做高斯窗复数滤波生成参考基频波形，邻谐波增益负 100 分贝，频率损失掩码阈值取对应负 100 分贝的值，候选范围 40 到 2000。第三步按训练配置跑通。

下采样与上采样各 6 层，损失权重 5.0，优化器用带免调度策略的修正自适应矩估计，学习率 0.0001，批量 16，30 轮，每批随机裁剪 4096 样本。加噪概率 30%，信噪比 0 到 30 分贝随机。

第四步复现评价。频率误差只在参考存在且幅度足够大的段计算，报告音分误差均值标准差与 5、25、50 音分粗正确率。噪声评价用相同语音噪声对在无穷大、30、20、10、0 分贝下报告 50 音分粗正确率。调制评价用载波 240 赫兹、调制深度 50 音分的/a/模拟信号，分别看干净与 30 分贝白噪声的线性跟随、随机与非线性曲线。若严格阈值与 0 分贝两处不能同时复现领先，应先检查掩码阈值与加噪实现，而非调整网络宽度。当前无可用性声明的资源，因此复现应以论文文字与参数为准，不假设代码与权重可下载。

何时值得尝试这种把滤波当增强的做法？

当任务需要连续无断裂的基频轨迹，且输入含较强谐波或噪声时，值得尝试先增强基频波形再求瞬时频率的路线。它的收益是省去多通道选择，用回归网络的上下文与细节保留能力直接得到可求导的单正弦状波形，并在噪声下保持较高的粗正确率。代价是引入神经网络训练与数据依赖，干净强调制下的随机残差仍高于最优传统方法，且下采样可能引入需要额外处理的影响。

实践建议是按信号成分做选择。周期主导的纯元音精细分析可先试 NINJAL 或 Halcyon，含辅音或噪声的一般语音可试本方法。后续验证应补两项，一是去掉噪声增强或频率损失的对照以确认鲁棒来源，二是抗混叠下采样对照以检验随机残差假设。只有在这两项补齐后，才能把行为解释升级为因果结论。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总