📄 从波形直接估计发声参数：自监督源-滤波器网络 SoFilNet 解读
英文题目：Self-Supervised Source-Filter Model of Speech Production
标签：#语音属性识别 | #自监督学习 | #信号处理 | #发声与构音
评分：7.3/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Nani Meka：机构信息未在 arXiv HTML 中可靠披露
- Raghavan Ramesh：机构信息未在 arXiv HTML 中可靠披露
- Sri Rama Murty Kodukula：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
语音由声门激励源经过时变声道滤波产生，输入是原始波形，输出是每10 ms一帧的源参数与滤波器参数，难点是两者在单通道频谱中相互纠缠且共振峰只在谐波处被观测。所提源-滤波器网络用卷积循环网络直接预测基频、清浊、5个频带非周期性、有序共振峰极点、额外极点与零点，再经可微合成器重建频谱与波形。多分辨率编码器并行提取13 ms至53 ms感受野特征并按源与系统分别加权，源解码器与系统解码器分开估计激励与声道，自相关伪标签、频带周期占比与频谱对比度分别约束F0、非周期性与共振峰锐度。与已有先逆滤波再估计共振峰或用外部F0的做法不同，该模型把两部分放在同一重建目标下联合学习。在VTR-FORMANTS全部语音帧去静音评测中按F1-F3平均均方根误差比较，SoFilNet为158 Hz，低于有监督DF-RNN的163 Hz。在全部20位说话人的PTDB-TUG跨语料评测中按F0帧错误率比较，SoFilNet为5.06%，低于有监督CREPE的6.70%。结论适用于健康成人朗读语音，快速爆破、病理、儿童与强噪声语音尚未验证；原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 第三方资源：https://nani-meka.github.io/sofilnet-samples/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音产生的输入、目标与必须保留的信息是什么
这篇论文研究的是从原始波形恢复语音产生过程的参数。输入是按短帧切分的连续语音波形，每 10 毫秒输出一组参数；目标是同时说清声源和声道滤波器：声源用基频 F0、清浊判决和 5 个频带的非周期性描述，滤波器用共振峰、辅助极点和反共振零点描述，外加每帧增益决定整体电平。所谓共振峰，是声道谐振在频谱包络上形成的峰，对应元音音质和声道形状；所谓反共振，是鼻腔等旁支引入的谱谷，在鼻音和边音中明显。
所谓非周期性，是每个频带中噪声能量所占的份额，反映气流湍流和发声方式。输出必须保留可解释性：每个数都有产生信号时的物理角色，而不是任意隐向量。训练时没有任何共振峰或基频标注，只能靠重建输入语音来学习，因此损失函数必须把每个参数拴在其物理含义上，否则同样能重建的不同参数组合会混淆学习。
已有路线在输入、监督与运行阶段上有何不同
经典共振峰工具如 Praat 和 WaveSurfer 对每帧做全极点线性预测，再从极点中挑选共振峰。它们不需要训练数据，但全极点假设本身不能表示鼻音的反共振，高基频时包络会被个别谐波牵引，而且极点归属依赖启发式和说话人相关设置。KARMA 用卡尔曼滤波联合跟踪共振峰与反共振，但依赖手工设定的状态空间模型。有监督神经跟踪器精度最高，却需要稀缺的专家校正共振峰轨迹，且只估计共振峰本身。
FormantNet 去掉标签，改为从估计的极零点重建谱包络，但事先用固定逆滤波去掉声门源，其误差会直接传入共振峰。基频方面，RAPT、pYIN、SWIPE 等经典方法在干净语音上可靠，但峰挑选易犯八度错误，清浊依赖手工阈值；CREPE 等有监督网络依赖标注或合成数据；SPICE 和 PESTO 用已知变调量的移调拷贝做自监督，只能确定相对音高，还需单独校准绝对偏移。合成与编码一侧的谐波加噪声模型、STRAIGHT 和 WORLD 以及可微数字信号处理 DDSP 能描述源和包络，但包络是平滑曲线而非标定的共振峰，且常需外部基频。
本文的不同在于同一网络从波形联合估计源和滤波器，共振峰身份由构造保证有序，不需要后处理跟踪或标注。
为什么逐个频点比谱会学偏
如果只用逐个频点比较预测谱与真实谱，论文指出存在系统性盲点。当模型对谱峰位置不确定时，把尖峰放偏一点受到的惩罚，反而大于放一个宽而平的模糊峰；噪声谱的随机细结构逐点永远对不上，受到的惩罚也大于偏谐波的平滑谱。于是模型在不确定处倾向输出模糊谱。这一个性质解释了 3 个困难：基频错位时损失更偏好平滑源而不是放错位置的谐波梳，基频得不到有效梯度。
非周期性被低估，因为偏谐波的源逐点拟合更好；共振峰变宽、峰间谷变浅。因此论文为基频和清浊引入基于自相关的伪标签，为非周期性引入频带周期占比代理，为共振峰尖锐度引入谱对比度目标，这些目标都不依赖谱峰的精确位置。理解这一点是理解后文所有损失设计的前提：重建保整体形状，3 个附加目标分别纠正基频、噪化比例和尖锐度。
SoFilNet 的整体流程如何从波形得到预测谱
SoFilNet 是一个带可解释瓶颈的自编码器。编码器是单个卷积循环网络，直接吃原始波形，每帧输出参数集合；解码器是固定的可微源-滤波器合成器，把参数变成频谱，再与输入谱比较以更新网络。
具体流程是：多分辨率卷积提取短时特征，经源门和系统门分别送入源解码器和系统解码器，源解码器给出 F0、清浊与五带非周期性，系统解码器给出增益、有序共振峰极点、高频与宽带辅助极点以及零点，合成器按公式把源谱与滤波器响应归一化相乘再乘增益得到预测谱，并借用输入相位做逆变换得到波形以计算时域损失。循环层让相邻帧的参数连续变化，符合发音与喉部运动的连续性。
训练只在 TIMIT 训练集上进行，不用任何参数标签，输入端加随机信噪比白噪声而目标谱始终用干净波形计算，最终检查点直接报告，不在标注数据上选检查点。
声源 × 滤波器： 声源指声带振动或湍流在每帧产生的谐波加噪声混合，由基频、清浊和五带非周期性描述；滤波器指声道共振与反共振构成的极零点频率响应，由共振峰极点、辅助极点和零点描述；二者相乘再归一加增益得到预测谱，分工是声源决定谐波位置与噪化比例，滤波器决定包络峰谷位置与深浅，组合后才能把谐波结构与包络形状分开估计。
下面这张结构图展示了从波形到参数再到谱与波形的完整路径，读图时注意两条解码支路与合成器的分工。
看图路径： 1. 先从左侧波形沿四路卷积与两个门看到源与系统两条支路；2. 再看中间 pitch 与 texture 双 GRU 和系统 BiGRU 各自输出哪些参数；3. 最后看右侧谐波加噪声与极零点滤波器如何相乘得到估计谱并用输入相位重建波形
论文图 2。原论文 Fig. 2:：“SoFilNet architecture. A multi-resolution convolutional encoder extracts features at four receptive fields, which a source gate and a system gate combine per frame.”。
从图中可见，左侧 4 路不同核尺寸的编码器输出经两扇门分开，上面源参数估计器用两个并行双向 GRU 分别处理音高与质地，下面系统参数估计器用一个双向 GRU 输出增益与极零点，右侧合成器把谐波加噪声源与极零点滤波器相乘得到估计谱，再经逆短时傅里叶变换并借用输入相位重建波形，虚线表示训练时输入端的加噪与相位借用关系。
声源与滤波器各用什么参数表示
声源被建模为谐波加噪声混合。浊音帧同时含准周期脉冲产生的谐波成分和湍流产生的宽带噪声成分，清音帧只有噪声。谐波梳是低于奈奎斯特频率的等幅余弦和，有闭式求和形式，计算代价不随谐波个数增长；其频谱用与分析语音相同的汉宁窗计算，使估计正确时峰形与真实谐波一致。噪声部分每频点的功率服从单位均值指数分布，以保留真实噪声谱的不规则细结构。
5 个频带 0 到 1、1 到 2、2 到 4、4 到 6 和 6 到 8 千赫各有一个 0 到 1 之间的非周期性，在带中心之间线性插值得到平滑曲线，决定该频率处噪声在混合权重中的份额。清浊开关控制是否加入谐波成分，两成分按功率相加。源本身被归一化为平坦期望谱，不带谱倾斜，倾斜留给滤波器。
滤波器是经典声管近似的有理传递函数，M 对共轭极点产生共振，N 对共轭零点产生反共振，幅度平方有闭式分式形式，极点半径越靠近单位圆则共振越尖锐，零点半径越靠近单位圆则凹陷越深、越靠近圆心则作用越弱直至消失。源谱与滤波器响应各自归一化到单位能量后相乘，再整体归一并乘每帧增益，因此增益只定电平，形状由源与滤波器参数决定。
共振峰极点 × 额外极点 × 零点： 共振峰极点是被限制为窄带宽且按频率递增排序的四对共轭极点，直接对应 F1 到 F4；额外极点包括两个高频极点和两个宽带极点，只负责拟合整体谱包络而不被评估为共振峰；零点是限制在鼻音反共振范围内的两对共轭零点，负责产生谱谷；三者分工让尖锐共振归共振峰、平缓起伏归额外极点、鼻音凹陷归零点，避免一类极点同时拟合峰和谷而偏离真实共振。
声源混合的功率相加形式如下式所示，其中 u 为清浊，a 为插值后的非周期性曲线，上标 hat 表示归一化到单位能量。
\[\begin{split}|G(j\omega)|^{2}={}&u\Big[\big(1-a(\omega)\big)|\hat{G}_{h}(j\omega)|^{2}+a(\omega)\,|\hat{G}_{a}(j\omega)|^{2}\Big]\\ &+(1-u)\,|\hat{G}_{a}(j\omega)|^{2}.\end{split}\]滤波器的极零点传递函数与幅度响应分别如下两式所示，其中 D 为 1 对共轭极点或零点的幅度平方贡献，极点角频率对应峰位，半径对应带宽。
\[V(z)=\frac{\prod_{k=1}^{N}(1-q_{k}z^{-1})(1-q_{k}^{*}z^{-1})}{\prod_{k=1}^{M}(1-p_{k}z^{-1})(1-p_{k}^{*}z^{-1})}.\]\[|V(j\omega)|^{2}=\frac{\prod_{k=1}^{N}D(\omega;\rho_{k},\phi_{k})}{\prod_{k=1}^{M}D(\omega;r_{k},\theta_{k})},\]源与滤波器归一化组合成预测谱的形式如下式所示，其中波浪线表示单位能量归一化，分母为乘积的范数，gamma 为每帧增益。
\[|\hat{S}(j\omega)|=\gamma\,\frac{\tilde{V}(j\omega)\,\tilde{G}(j\omega)}{\|\tilde{V}\tilde{G}\|_{2}},\quad\tilde{V}=\frac{|V|}{\|V\|_{2}},\quad\tilde{G}=\frac{|G|}{\|G\|_{2}},\]网络如何保证共振峰有序且分辨率够用
编码器用核尺寸 5、9、13 和 17 的 4 路四层步幅卷积并行工作，步幅乘积固定输出帧率为 10 毫秒，感受野覆盖 13 到 53 毫秒，短端分辨快速共振峰过渡，长端覆盖最低基频的多个周期。每帧用两个独立 softmax 门分别组合 4 路特征，一个喂源解码器，一个喂系统解码器，避免共用一组权重被迫折中。源解码器用两个并行双向 GRU：音高 GRU 输出清浊后验与 60 到 400 赫兹范围内的 F0，质地 GRU 输出 5 个 0 到 1 之间的带非周期性，分开循环状态是为了让音高与质地目标不争用同一状态。
系统解码器用一个双向 GRU 输出极零点与增益：4 个共振峰用 stick-breaking 递归保证 F1 小于 F2 小于 F3 小于 F4，每级上限分别为 1.5、3、4 和 5 千赫，半径在对应最大带宽与 0.9999 之间插值以保证稳定与谐振特性；两个高频极点在最高共振峰与 7.8 千赫之间自由取值，可尖可宽；两个额外极点在 50 到 7800 赫兹自由取值但半径上限保证带宽大于 1 千赫，只能做包络整形；两个零点频率限制在 250 到 4000 赫兹鼻音反共振范围内，半径无下限以便在元音帧关闭。增益用 softplus 保证为正。
预 sigmoid 用平滑界而非硬截断，避免早期 overshoot 后梯度为零无法恢复。
多分辨率编码器 × 源门 × 系统门： 多分辨率编码器是四个感受野从 13 到 53 毫秒的并行卷积栈，分别擅长分辨快速共振峰过渡和谐波结构；源门是为声源参数选择分辨率组合的逐帧权重，系统门是为滤波器参数选择分辨率组合的逐帧权重；分开设门是因为声源需要长窗看多周期，滤波器需要短窗看过渡，若共用一组权重会被迫折中。
重建之外的三个目标如何训练
频域损失包括谱收敛、谱对数幅度、1 千赫重叠子带对数能量三项，分别抓高能量峰、低能量谷与噪声区带能量统计；另有频带周期占比、谱对比度与包络极值三项，分别抓噪化比例、动态范围与局部极值形状。时域损失包括清浊交叉熵、基频对数误差、波形 L1 与增益不变相关四项，用借输入相位重建的波形检查帧间连续性。正则包括门负载均衡与共振峰基频平滑两项。关键是伪标签与代理的设计：每帧用 50 毫秒汉宁窗算归一化自相关，连续 5 帧最高峰均值大于 0.5 判浊。
基频标签在 0 到 1.5 千赫分量上找达到最高峰 85% 的最短时延，以避免取倍周期导致低八度。语音自相关受共振峰牵引，论文例子中第一共振峰靠近二次谐波时语音自相关在半周期与周期处几乎等高，而用自身滤波器逆滤波得到的残差呈声门脉冲串，自相关在周期处高、在半周期处为负，于是训练在前 20 轮只用语音标签，20 到 50 轮逐渐过渡到残差标签，类似 HuBERT 用自身表示精炼伪标签，且残差不回传梯度到滤波器。
周期占比用带功率谱的自相关在帧周期处的归一化值，1 为全周期、趋向 0 为全噪声，在 50 毫秒窗下除非周期性外固定其他参数重建以单独训练非周期性。谱对比度取带内对数幅度最大 20% 与最小 20% 均值之差，只关心动态范围而不罚峰位小偏移。
逐频点谱损失 × 周期占比损失 × 谱对比度损失： 逐频点谱损失逐个频率格比较预测谱与真实谱的幅度或对数幅度，重建整体谱形但在不确定时会偏好模糊谱；周期占比损失比较每个频带内周期能量所占比例，不依赖谱峰精确位置，用来训练非周期性；谱对比度损失比较每个频带内最强与最弱成分的电平差，用来恢复共振峰尖锐度和谷深；三者搭配是用前者保重建，后两者分别把噪化程度与尖锐程度拉回物理意义。
自相关伪标签 × 残差信号： 自相关伪标签指对 50 毫秒窗信号做归一化自相关，在 60 到 400 赫兹对应时延范围内找峰来判定清浊与基频周期；残差信号指用模型自身估计的声道响应对语音做逆滤波后剩下的类声门脉冲序列；二者搭配是先用语音自相关给出初始基频目标，再随滤波器变准逐渐切换到残差自相关，以减小第一共振峰对自相关峰的牵引和八度错误。
读下面这帧例子时，注意语音与残差自相关在半周期处的差别正是切换到残差标签的理由。
看图路径： 1. 对比上方面板中语音帧与残差帧的波形形状差异；2. 在下面板中找到参考周期 T0 及其一半位置处两条自相关曲线的峰高差异；3. 注意语音自相关在半周期处仍有高峰而残差在半周期处为负值的现象
论文图 3。原论文 Fig. 3:：“A frame of an unseen PTDB-TUG speaker (F04, sa1, 4.38 s; reference F0 182 Hz, F1 358 Hz).”。
图中上方面板是低通到 1.5 千赫后的语音帧与残差帧，残差更接近脉冲串；下面板归一化自相关中，语音在半周期 T0/2 处仍有 0.82 的高峰易致高八度，而残差在周期 T0 处为 0.80 且半周期为负，标签正确，该帧参考基频 182 赫兹、第一共振峰 358 赫兹，说明强共振峰会把语音自相关拉偏。
在哪些数据与指标下比较才公平
模型只在 TIMIT 标准训练集 4620 句上训练，不用任何共振峰或基频标签，配置为 4 个有序共振峰、2 个高频极点、2 个额外极点和 2 个零点，训练 1000 轮、2 秒分段、批量 16、Adam 学习率 0.0002 并余弦衰减到 1%，加梯度裁剪。共振峰在 VTR-FORMANTS 的 192 句测试 utterance 上评估，说话人与语句都与训练不重叠，F4 因无手工校正按惯例排除；文献有两种口径，本文都采用：一是除静音外所有语音帧的均方根误差，二是仅元音帧的平均绝对误差。基频在未见过的 PTDB-TUG 全部 20 人上评估，参考来自喉头仪信号的 RAPT，与麦克风信号独立，录制条件也不同。
每个跟踪器用留一说话人的五折交叉验证选清浊阈值与时延，每人在其余 16 人选的参数下打分。粗指标为浊帧基频偏差超 20% 的比例、清浊错分比例与两者合并的帧错误率，细指标为 50 音分内的原始与 chroma 准确率及半音平均与中位绝对误差。重建实验用宽带 PESQ 与 STOI 衡量仅从 28 个数重合成的语音质量与可懂度。消融每次只改一处并从头训练，条件相同。作者页面提供可试听样例，链接本次可达，但这只是第三方展示页，不能据此说作者已开源代码或权重。
共振峰在两种口径下谁更准、限制在哪
在所有语音帧的均方根误差口径下，比较的问题是连续语音中含辅音时的跟踪稳定性，条件是同一 192 句、除静音、F1 到 F3 平均，指标越小越好。下表完整呈现原文矩阵，最后一行为 SoFilNet。
| Method | Type | F1 | F2 | F3 | Mean |
|---|---|---|---|---|---|
| Praat† | classical | 234 | 232 | 241 | 236 |
| WaveSurfer† | classical | 171 | 260 | 357 | 263 |
| KARMA (2012) | unsup. | 114 | 226 | 320 | 220 |
| DF-RNN (2019) | sup. | 118 | 169 | 204 | 163 |
| DF-RCNN (2019) | sup. | 127 | 180 | 213 | 173 |
| FormantNet (2021) | unsup. | 143 | 177 | 195 | 173 |
| SoFilNet | unsup. | 136 | 156 | 183 | 158 |
| †Run by us on the same utterances. |
该表显示 SoFilNet 平均 158 赫兹为最低，优势集中在 F2 的 156 赫兹与 F3 的 183 赫兹，这正是易受反共振干扰和极点混淆的频段；F1 的 136 赫兹不如 KARMA 与有监督方法，因为 F1 藏在最低谐波之间，仅凭幅度谱最难分离源与滤波器。经典全极点方法在辅音段误差大，原因是它们跟踪 constriction 前腔共振，而参考在弱激励段仍平滑延续声道共振。在仅元音帧的平均绝对误差口径下，比较的问题是稳态元音的精度，条件与上表不同，不可直接跨表比大小。下表为对应完整矩阵。
| Method | F1 | F2 | F3 | Mean |
|---|---|---|---|---|
| Praat† | 60 | 67 | 105 | 77.2 |
| WaveSurfer† | 54 | 76 | 115 | 81.8 |
| MSR (2004) | 64 | 105 | 125 | 98 |
| DeepFormants (2019, MLP est.) | 54 | 81 | 112 | 82.3 |
| DF-RCNN (2019) | 53 | 72 | 108 | 77.7 |
| FormantNet (2021) | 64 | 75 | 90 | 76.3 |
| SoFilNet | 53 | 59 | 88 | 67.0 |
| †Run by us on the same utterances. |
该表显示 SoFilNet 平均 67.0 赫兹仍最低，F2 的 59 赫兹与 F3 的 88 赫兹领先，F1 的 53 赫兹仅与有监督 DF-RCNN 持平。结论成立的条件是测试说话人与语句未见、F4 不参评、两种口径分别看；若只看 F1 或只看元音，不能说全面超越。
读下面单句例子时，注意估计轨迹在快速过渡段是否跟住红色参考以及预测语谱图是否同时保留谐波与共振峰。
看图路径： 1. 在中间语谱图上比较红色手工参考与蓝色估计共振峰在过渡段的重合程度；2. 观察下面板由估计参数预测的语谱图是否保留了谐波与共振峰走向；3. 注意 F4 只有估计没有参考，不应按误差评判
论文图 4。原论文 Fig. 4:：“A VTR-FORMANTS test utterance (TIMIT test/dr2/mwew0/sx11, “He will allow a rare lie.”).”。
图中该 TIMIT 测试句的估计 F1 到 F3 紧跟手工参考，包括 0.2 到 0.3 秒 F2 下降、0.7 到 0.9 秒 F2 与 F3 同降和 1.15 秒附近 F3 上升，由参数预测的语谱图复现了这些走向与浊音谐波结构，说明有序极点与零点在连续过渡中没有发生共振峰跳变。
跨库基频与可解释参数说明了什么
基频比较的问题是在未见语料与录音条件下谁的帧错误率更低，条件是同一 16 千赫音频、每人在其余说话人上选阈值与时延、参考来自喉头仪。原文报告 SoFilNet 帧错误率 5.06%，与 RAPT 的 5.07% 基本持平，低于有监督 CREPE 的 6.70% 和自监督 PESTO 的 6.13% 与 SPICE 的 13.48%；其浊帧粗大错误 2.12% 接近最好，清浊错误 4.61% 与最好相当。细指标上 CREPE 仍最准，PESTO 原始音高准确率与 SoFilNet 相近但粗大错误近 3 倍，多为八度错，原因是其等变目标只约束相对音高。需要提醒的是 RAPT 既是被比较方法又是喉头仪参考的算法来源，对它有利。
且 RAPT、Praat、SWIPE 在判为清音的帧不给基频，会拉低其原始准确率。非周期性方面，下图按 TIMIT 音素类统计显示每类都随频率上升，1 千赫以上按湍流程度排序为双元音与元音最低，滑音、流音与鼻音居中，浊/h、浊擦音与浊塞音释放段最高，1 千赫以下浊源主导多在 0.2 以下，唯塞音释放段因 burst 宽带而超 0.3。这些帧来自连续协同发音的 pooled 统计，不是单个音的声学目标。零点方面，下表比较元音与鼻音的半径与按部位的频率。
| Radius | Radius | Frequency (Hz) | Frequency (Hz) | Frequency (Hz) | |
|---|---|---|---|---|---|
| Pair | Vowel | Nasal | /m/ | /n/ | /N/ |
| 1 | 0.756 | 0.863 | 1149 | 1350 | 1469 |
| 2 | 0.597 | 0.780 | 3353 | 3543 | 3514 |
该表显示 2 对零点在鼻音上都更深，第 1 对频率随部位后移而上升，符合闭合口腔旁支变短的预期；第二对在 3.4 到 3.5 千赫附近，主要出现在鼻音。重合成方面，仅用估计参数合成的宽带 PESQ 为 2.12、STOI 为 0.903，STOI 落在预测接近完全可懂的区间，但 PESQ 不高说明自然度未完全恢复；用估计幅度配原始相位得 3.02，用原始幅度配估计相位得 3.20，说明谱信息与谐波相位结构各被保留了大部分。
读下面非周期性曲线时，注意横轴频带与纵轴取值的单调性以及类间 ordering 是否与发声湍流一致。
看图路径： 1. 沿横轴 0-1 到 6-8 千赫看每类曲线的上升趋势；2. 比较 1 千赫以上元音与浊擦音、浊塞音释放段的上下 ordering；3. 注意最低频带各类都很低而塞音释放段在低频仍偏高的例外
论文图 6。原论文 Fig. 6:：“Band aperiodicity a_b by broad phone class, averaged over the frames of each class classified as voiced by the model (between 169 frames for voiced /h/ and 15502 for vowels).”。
图中所有类别的非周期性都从低到高频上升，浊塞音释放段最高，元音与双元音最低，浊/h 在 1 到 2 千赫仅次于释放段，符合送气噪声的预期，样本量从浊/h 的 169 帧到元音的 15502 帧不等，因此小类均值的不确定性更大。
拿掉零点、单分辨率与三个目标会怎样
消融比较的问题是每个设计对共振峰与基频的增量贡献，条件是每次只改一处并在相同训练下从头训练，指标为 F1 到 F3 平均的均方根误差与元音平均绝对误差，以及 PTDB-TUG 帧错误率与原始准确率。下表为完整结果矩阵，首行为完整模型。
| Group | Ablation | RMSE (Hz) | MAE (Hz) | FFE (%) | RPA (%) |
|---|---|---|---|---|---|
| – | SoFilNet (final) | 158.3 | 67.0 | 5.06 | 84.4 |
| Model | No zeros (all-pole) | 245.2 | 92.9 | 5.17 | 82.7 |
| Arch. | Single shared decoder | 166.3 | 69.2 | 4.92 | 83.0 |
| Arch. | Single-resolution enc. | 165.5 | 68.7 | 5.23 | 85.1 |
| Loss | No pitch pseudo-labels | 158.0 | 67.6 | 7.60 | 66.8 |
| Loss | No periodic fraction | 163.3 | 66.8 | 5.19 | 83.8 |
| Loss | No contrast losses | 161.0 | 68.8 | 5.11 | 84.0 |
该表显示去掉零点退为全极点时影响最大，均方根误差从 158.3 赫兹升到 245.2 赫兹，其中 F1 仅从 136.2 升到 143.5 赫兹，F2 从 155.6 升到 229.2 赫兹，F3 从 183.1 翻倍到 363.0 赫兹，退回经典全极点水平，说明 F2 与 F3 优势主要来自零点分担谱谷。共用解码器与单分辨率编码器各使误差升约 7 到 8 赫兹，主要也在 F2 与 F3，基频变化在运行波动内。去掉基频伪标签后共振峰几乎不变，但帧错误率从 5.06% 升到 7.60%，原始准确率从 84.4% 掉到 66.8%，且低音区几乎不低于约 100 赫兹，因为 25 毫秒窗分辨不开间隔小于约 100 赫兹的谐波，而 50 毫秒伪标签补了这部分信息。
去掉周期占比后源变得过分周期，高频仍周期而非周期性偏低；去掉对比度后元音带宽中值从 109/110/146 赫兹展宽到 126/137/201 赫兹，元音误差从 67.0 升到 68.8 赫兹，是逐点损失致模糊的直接证据。
模型没有建模哪些发声细节
论文明确列出多项简化。首先是频域幅度建模：每帧用 10 毫秒参数与 25 毫秒分析窗假设平稳，描述的激励只有 F0、清浊与带非周期性，没有声门闭合时刻、Liljencrants-Fant 类脉冲形状、抖动与微颤，也没有源谱倾斜，倾斜留给滤波器，因此嗓音质量中与斜率有关的差异未单独表示。其次源与滤波器独立，不表示源-声道相互作用，如声道负载对声门流的影响以及开闭相的带宽变化；鼻腔耦合只用反共振表示，没有构音描述。
再次信号假设简化：非周期成分为平稳噪声而实际送气噪声受声门周期调制，五带固定划分限制谱分布精细度；极零点数量与角色固定，需要更多反共振或超出允许频率范围的共振只能近似。这些都在合成器一侧，放宽合成器即可扩展，核心原则不变：用重建语音学习物理定义的参数。此外评估限于健康成人朗读语音，病理、儿童与噪声语音都未验证；共振峰参考只到 F3，F4 无手工参考。
PTDB-TUG 无共振峰参考，对其共振峰只能定性看是否落在可见共振带上。
复现第一步要准备什么
复现应从数据与评估对齐开始，而不是先调网络。先准备 TIMIT 训练集与 VTR-FORMANTS 的 192 句测试划分，确保说话人与语句不重叠，并按原文两种口径分别实现除静音外所有语音帧的均方根误差与仅元音帧的平均绝对误差，F4 排除；再准备 PTDB-TUG 全部 20 人 16 千赫音频与喉头仪参考，实现粗细两组指标与留说话人选阈值时延流程。模型侧按 4 有序共振峰加 2 高频加 2 宽带极点加 2 零点的结构实现可微合成与多分辨率编码器，训练用 2 秒分段、批量 16、Adam 与余弦衰减的原文设置，输入加噪而目标用干净谱。
损失权重按原文频域、时域与正则分组实现，伪标签先用语音自相关、20 到 50 轮过渡到残差自相关。计算成本上原文只报告训练轮数与分段批量，未报告硬件时长与推理延迟，因此复现需自行记录每轮耗时与实时率。代码与权重是否公开不在本次证据中得到确认，只有第三方样例页可达，不能当作可运行实现。
什么时候值得尝试、还缺哪项验证
当任务需要一遍得到可解释的 F0、清浊、噪化比例、共振峰与鼻音反共振，且没有标注可训练有监督跟踪器时，这个方法值得尝试，特别是在需要分析 F2 与 F3 和鼻音凹陷的研究中，因为零点与有序约束正是针对这两处困难。语音合成与音色转换中，它可作为显式控制量，如平移共振峰、改变基频或增加气息感后再重合成，或作为神经声码器的条件，但这已超出本文的 PESQ 与 STOI 重合成验证。
临床与语音学的大规模测量想法也只是方向，因为本文只有健康成人朗读语音的证据，病理、儿童与噪声条件都待验证。容易产生的误解是把跨库基频持平当成全面超越有监督方法：粗帧错误率持平不等于细音高精度超越，CREPE 在浊帧细精度仍更好；把重合成 STOI 高当成合成器质量高也不对，原文明确说那是衡量参数保留的语言信息，而非合成器自然度。
下一步最需要补的是在噪声、病理与儿童语音上的同条件评估，以及对抖动、脉冲形状等时域激励的扩展是否仍保持现有共振峰与基频精度。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses