📄 可学习的谱激活：让隐式表示自己调整谐波组合
标签：#声场重建 | #时频分析 | #空间音频信号 | #语音 | #音乐
评分：7.5/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5
👥 作者与机构
- Tamir Shor：机构信息未在 arXiv HTML 中可靠披露
- Or Litany：机构信息未在 arXiv HTML 中可靠披露
- Alex Bronstein：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
隐式神经表示（Implicit Neural Representation，INR）把坐标映射为信号值，输入编码决定提供哪些基频，激活函数决定这些基频如何产生谐波并组合，异质信号中一条边缘或一段瞬态需要多个谐波以特定幅度协同出现。论文提出可学习谱激活（Learnable Spectral Activation，LSA），每层把固定激活替换为带残差恒等项的截断傅里叶级数，谐波幅度系数在训练中学习且在层内神经元间共享。前向时线性层先对上一层输出做仿射变换以选择特征并形成标量预激活，该预激活同时进入恒等分支与多个正弦分支，正弦分支按学习到的幅度加权求和后再与恒等项相加送入下一层。反向时线性权重与幅度系数的梯度分离更新，前者继续负责特征选择，后者专门负责谱形状塑造，从而改变表示的分解方式而不扩大渐近函数类。在24张Kodak图像的固定配置拟合中，LSA平均峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）为38.110 dB，高于FINER的37.317 dB与SIREN的34.990 dB。在Blender新视角合成的8个场景中，LSA在5个场景PSNR最好、7个场景结构相似性（Structural Similarity，SSIM）最好，声学场上对数谱误差相对降低约44.90%。该结论适用于具有足够输入带宽的固定预算拟合与可微渲染优化，当外部带宽过大导致采样点之间出现混叠歧义时泛化可能不稳定，逐点计算多个正弦项的代价在严格预算下也可能抵消增益，原文报告在全网格音频拟合中相对FINER有数倍时间与显存开销，融合实现仍待探索。
🔗 开源与复现资源
- 代码相关资源：https://github.com/tamirshor7/Learnable-Spectral-Activations — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
隐式表示要解决什么问题
隐式神经表示把信号看成坐标到信号值的连续函数。音频里输入是 1 维时间，输出是波形幅度；图像里输入是 2 维归一化像素坐标，输出是 3 通道颜色；神经辐射场和神经声场里输入还包含空间位置、观察方向或听者与声源配置，输出是密度颜色或房间脉冲响应的时频表示。网络训练好后可以在任意坐标查询、求导或做渲染积分，因此它替代的是离散网格。
对刚入门的读者，可以把整个任务理解成用一个紧凑的多层感知机记住并能插值出连续信号。论文讨论的设计核心是两处：输入编码把坐标抬升到什么频率支撑，以及激活函数把隐藏特征变成什么样的波形。两者共同决定网络手里有哪些谐波原子，以及优化是否容易找到目标组合。
已有方法在调什么
按论文引用的结构化字典视角，很多隐式表示都可以写成谐波原子的加权和，输入编码决定基频集合，激活在传播中产生谐波。傅里叶特征直接在输入端规定频率矩阵，带宽参数越大，高频越多，但也更容易在训练网格之外出现混叠。正弦网络在隐藏层用固定正弦激活，频率尺度控制可分辨的带宽，导数仍是正弦因而适合梯度监督。可变周期激活让局部频率随预激活幅度变化，通过偏置初始化选择不同的工作区间。
论文把这些方法归纳为频率中心路线：它们主要改变字典里有哪些原子、强调哪些有效频率，但每个神经元的非线性形状本身仍由结构预先写死。最近的可学习激活尝试改变这一点，其中与本文最接近的是层共享的正弦混合，它同时学习振幅、频率和相位。本文则固定整数谐波基，只学习相对振幅，并保留残差恒等起点，这是两者归纳偏置上的差别。
为什么只给频率还不够
论文用图像边缘做例子说明瓶颈。一个空间上局部的边缘特征，需要多个谐波按特定相对幅度协同出现。在固定正弦单元里，每个隐藏单元的谐波成分被它的权重锁死；想改频谱形状就必须同时改它计算的输入特征。在可变周期单元里，某一点的有效频率可以变化，但该点仍近似是单个局部振荡模式。
要拼出边缘，就只能靠很多单元去凑，而每个单元内部不能直接合成一个协调的多谐波波形。语音里的瞬态、乐音里的音色包络、声场中随位置变化的反射结构，都有类似的非平稳或空间变化特点。论文因此把问题定义为表示的分解方式问题，而不是渐近表达能力问题：足够宽的周期网络本来就能表示这些信号，难的是能否用较少的单元、更直接的优化子问题把谐波组合学出来。
可学习谱激活的整体做法
可学习谱激活把每一层的固定激活换成残差截断傅里叶级数。标量预激活先保留恒等项，再加上一组整数次正弦项，每项前面有一个可学习的谐波系数。系数在层内所有通道共享，按层分别学习，初始化为零均值小方差，使训练起点接近恒等残差多层感知机，再逐步长出层特有的谐波轮廓。整数谐波基是固定的，学习的是它们的相对幅度；层共享使新增参数很少，每层只增加与谐波个数相同的标量。
由于激活仍是光滑的谐波残差算子，自动微分可以给出解析导数，保留了周期表示在梯度监督和物理建模中的好处。正文用下面这条公式表示该层激活的形式，符号含义是逐层标量预激活与该层谐波系数。
\[\phi^{(\ell)}(u)=u+\sum_{k=1}^{K}a^{(\ell)}_{k}\sin(2\pi ku),\]这样，输入编码继续负责输入谱支撑，激活负责内部谱加工。线性权重选特征，谐波系数管整形，两者在联合优化中由不同梯度更新。论文强调这不扩大渐近函数类，改变的是分解方式。
输入经过网络时发生了什么
沿着一个样本走一遍更直观。音频样本是归一化到区间的时间坐标，可选地先经过傅里叶特征变成包含原始坐标与多组正余弦的向量；图像样本是归一化到正方形的 2 维坐标，论文主比较中直接用原始坐标，不做输入抬升。然后网络逐层做线性投影加偏置得到预激活向量，再把同一层的谱激活逐元素作用到每个通道，最后经线性输出层得到波形幅度或颜色。公式上就是先得到初始表示，再反复做线性加激活。
\[z^{(0)}=\gamma(x),\qquad z^{(\ell)}=\phi^{(\ell)}\big(W^{(\ell)}z^{(\ell-1)}+b^{(\ell)}\big),\]关键在于同一预激活同时经过多个谐波变换，它们的相对幅度可学，因此单个隐藏响应就能合成协调的多谐波波形，而不必只靠跨单元组合。论文用受控 1 维仿体实验说明，在原子预算有限且优化预算相同时，固定单元需要更多原子才能逼近目标结构，而该方法用较少原子就能拟合，这被解释为谐波分解的参数效率。
输入编码 × 谱激活： 输入编码指把坐标先映射成一组基频率，例如傅里叶特征，它决定网络能看到哪些频率；谱激活指作用在每个隐藏层预激活上的非线性，它决定这些频率在层内被加工成什么样的谐波组合。两者搭配时，前者提供频率支撑，后者负责把同一特征调制成多谐波响应，因此仅扩大输入带宽不等于学会了组合方式。
线性权重与谐波系数如何分工
把权重记成普通参数，把谐波系数记成另一组参数，残差是网络输出与目标之差。对固定样本，输出对权重的雅可比和对系数的雅可比分别刻画两组参数的学习方向。系数列向量对应的是正弦项经后层传播后的特征，系数更新沿着残差与这些传播后谐波特征的相关性进行。因为给定预激活时激活输出对系数是仿射的，调频谱形状成为更直接的子问题，而在固定激活结构里，调频谱与选特征纠缠在同一批参数中。
论文还讨论了恒等初始化附近的性态：在系数为零时，激活及其输入导数保持恒等，但系数方向仍保留非退化的谐波切方向；若同时学习频率和相位，它们的梯度会随振幅趋于零而变小，这被用来说明只学习振幅在小初始化下条件更好。
线性权重 × 谐波系数： 线性权重指矩阵与偏置构成的特征投影，它决定每个神经元看输入的哪个方向；谐波系数指激活中各整数次正弦项前面的可学习振幅，它决定同一预激活被整形成什么样的波形。两者分工后，调频谱形状不必同时改动特征方向，优化时也由不同的梯度分支更新。
结构化字典 × 经验神经正切核： 结构化字典指网络能提供的谐波原子集合，信号被看作这些原子的加权组合；经验神经正切核的前几个特征函数可以理解为梯度下降学得最快的方向。两者搭配的意义在于，如果目标信号的能量更集中在核的前列模态上，说明字典与目标更对齐，训练初期的下降会更直接。
训练时的损失与更新如何组织
论文的拟合任务大多用均方误差。音频是波形均方误差，图像是像素颜色误差，泊松重建是空间导数场的均方误差，声场沿用原声场实现的谱域重建损失，辐射场经可微体渲染得到像素颜色再算误差。优化用亚当优化器，按固定步数训练并在轨迹中选最优检查点报告拟合峰值信噪比。图像主比较中普通权重与谐波系数用不同学习率，系数学习率更高，并共用随步数衰减的乘子；音频与辐射场、声场也分别给出各自选定的学习率与谐波个数。
理论上，全批量梯度流给出损失下降率的有限宽度恒等式，系数部分恰好是残差在各传播谐波特征上投影平方和，这说明系数学习的瞬时收益取决于残差对齐，冻结系数与联合训练的核相差一个半正定项。
\[-\dot{\mathcal{L}}=\eta_{w}\|J_{w}^{\top}r\|_{2}^{2}+\eta_{a}\|\Psi^{\top}r\|_{2}^{2},\qquad\|\Psi^{\top}r\|_{2}^{2}=\sum_{\ell,k}\langle r,\psi_{\ell k}\rangle^{2}.\]该结论是局部的、依赖当前状态的，后续非线性轨迹仍需实证检验，泛化到未见坐标的部分由音频与神经场实验评价。
实验在什么条件下比较
要复述结论必须先记住比较条件。音频用固定清单的语音与乐音片段，重采样到 48 千赫，每段 1 秒共 48000 个样本，坐标归一化到区间，宽度 256、4 个隐藏激活层，训练 5000 步，傅里叶特征宽度 16 并在方法间固定同一采样矩阵，带宽单独为每种方法挑选。图像用 24 张柯达真彩图像，分辨率为 768 乘 512，坐标映射到正方形，原始坐标输入、无输入抬升，宽度 256、4 个非线性层、小批量 65536 像素、5000 次更新，超参数在 6 张校准图上选定，再到其余 18 张上评价，以避免用校准图自证。
辐射场用混合器数据集的 8 个物体场景，在同一种即时网格风格体渲染主干中只换激活，保留很少的训练视图并在留出视图评价。声场保持原声场的数据加载、空间特征网格、嵌入与训练流程不变，只把解码器隐藏激活换成 8 个谐波的可学习谱激活。峰值信噪比越高越好，结构相似性越高越好，学习感知距离越低越好；声场中波形与谱误差越低越好，相关与峰值信噪比越高越好。
音频拟合与网间稳定性说明了什么
先看在网拟合随带宽变化的规律。论文报告，在原始坐标下可变周期激活略好，这与方法定位一致：它不提供不同的输入基，而是加工已有的频率支撑。当傅里叶带宽增大后，该方法在语音与乐音上都在中高带宽取得最好平均性能，可变周期方法在低带宽有竞争力但随后饱和，固定正弦方法更敏感、波动更大。在相同片段与 5000 步预算下，该方法在乐音与语音上达到约 86.72 与 90.78 分贝，而最强的可学习正弦混合配置约为 68.79 与 68.40 分贝。读图时注意纵轴是平均峰值信噪比，横轴是带宽，阴影是片段间标准差。
看图路径： 1. 先看横轴傅里叶带宽与纵轴平均峰值信噪比的含义；2. 比较同一带宽下三条曲线的相对高低与阴影离散程度；3. 注意原始坐标处与高带宽处的趋势差异
论文图 2。原论文 Figure 2:：“SIREN/FINER/LSA comparison of on-grid audio fitting across Fourier-feature bandwidths \sigma.”。
上图显示该方法在中高带宽的优势来自对已暴露频率的内部加工，而不是换了输入基。网间实验用 16000 点训练网格与相邻点中点网格对比。高带宽下固定正弦在训练点很好，但在中点出现严重抖动；在网与网间差距很大。可变周期方法在外部带宽大时同样不能消除这种歧义，而该方法在有无傅里叶特征时都保持较一致的表现。教学上可以这样理解：高频支撑缓解谱偏置，但也带来混叠歧义，关键是内部是否把谐波组合成稳定的连续函数。
看图路径： 1. 先区分上两行与下两行分别对应的方法；2. 对比同一列中训练网格与中点网格波形的光滑程度；3. 注意高带宽列中预测与目标偏离的方式
论文图 3。原论文 Figure 3:：“On-grid vs. off-grid reconstruction under increasing Fourier-feature bandwidth.”。
该图上行波形光滑且两列峰值信噪比接近，下行在高带宽中点列出现毛刺且分贝大幅跌落，对应稳定性差异。结论只在该音频协议与带宽扫频内成立。
图像拟合与梯度重建的证据
图像主比较用固定配置拟合全部 24 张图。该方法平均 38.110 分贝，可变周期方法 37.317 分贝，匹配预算的可学习正弦混合 35.369 分贝，固定正弦 34.990 分贝；该方法在 24 张中超过可变周期方法 21 张、超过固定正弦全部 24 张。收敛上它与固定正弦很早拉开，与可变周期方法的差距随步数逐渐扩大。下面的柱状图按图像编号展示每图最优峰值信噪比，纵轴是分贝，同一编号下比较 4 种颜色柱高，顶部图例给出整体均值与离散度。
看图路径： 1. 先看横轴图像编号与纵轴最优峰值信噪比；2. 比较同一图像编号下四种颜色柱状的相对高度；3. 注意顶部图例中均值与标准差的整体差异
论文图 4。原论文 Figure 4:：“Per-image Kodak fitting comparison under fixed configurations. Per-image PSNR is shown for LSA, FINER, SIREN, and STAF under 5,000-update fits.”。
该图支持全集描述性结论，但其中包含 6 张校准图，严格的选择无关比较要看 18 张留出集。梯度监督实验只给空间导数、不给像素，靠通道均值对齐解决可加常数不定性。可变周期方法出现结构化梯度残差且积不出一致图像，固定正弦局部较好但有全局漂移，该方法梯度残差更低、重建更连贯，频谱残差的结构化伪影也更少。
看图路径： 1. 先看左侧真值图像与梯度场，再横向看三行重建；2. 比较梯度场残差中边缘轮廓的亮暗与连续性；3. 观察频谱残差中心亮斑的大小与扩散程度
论文图 5。原论文 Figure 5:：“Poisson reconstruction from gradient-only supervision.”。
该图用鹦鹉示例展示重建、梯度场残差、图像残差与对数频谱残差，数值仅针对该示例，不能直接当作全集均值。例子选自为定性清晰挑选的两张图，定量结论仍以全集表格为准。
像素监督 × 梯度监督： 像素监督指直接用图像颜色值作为回归目标；梯度监督指只用图像的空间导数场训练，再靠后处理对齐均值得到图像。前者考核函数值拟合，后者同时考核导数是否准确且全局可积，能否积出一致的图像，因此对激活的光滑性和导数行为更敏感。
神经场泛化是否也受益
辐射场在 8 个物体场景的新视图合成中比较，只换激活、主干与光线预算相同。该方法在 5 个场景峰值信噪比最好、7 个场景结构相似性最好，感知距离在多数场景持平或更好，增益比 1 维与 2 维拟合温和，但在互补指标上一致。这说明好处不限于直接回归，也出现在经可微渲染优化的表示中。定性残差显示，粗外观都能恢复，差异集中在细几何、物体边界与纹理区的结构化误差。
声场把原声场解码器激活换成 8 谐波版本，结构与训练预算不变，在 4 个基准场景的留出空间查询上评价。宏观按场景平均与微观按位置汇总下所有报告指标都改善，其中对时频结构敏感的指标改善更大，对数谱误差约 44.90% 与 50.84%，多分辨率短时傅里叶对数误差约 45.97% 与 51.54%，到达时间差约 67.55% 与 72.41%，波形均方误差约 9% 量级，相关提升约 40%。空间图显示改善分布在楼层平面多数查询位置，尤其谱指标更一致。
这类结论依赖原声场的数据划分、预处理与评价管线，换场景或换划分时幅度可能变化。
谐波个数与系数学习是否关键
下面几张表分别回答更细的对照问题。第一张是与可学习切比雪夫融合结构在柯达留出集上的比较，控制了参数量与作者式训练协议，指标方向是峰值信噪比越高越好。第二张是与小波、乘性滤波与分数阶雅可比块在同一校准留出协议下的比较，附带该方法平均增益的自助区间与胜出图像数。第三张是全局配置下 24 张全集的描述性均值，包含校准图，只能作背景参考。第四张给出逐图可调时的每图数值，用于核对逐图胜负是否集中在少数图像。阅读时注意全集均值与留出均值不要混用，胜负计数与平均增益是不同统计，前者看多少张更好，后者看平均高多少分贝。
| Method | Parameters | Holdout PSNR | All-24 PSNR | LSA wins |
|---|---|---|---|---|
| LSA | 199,043 | 38.045 | 38.110 | - |
| SL2A, full | 330,243 | 37.857 | 37.298 | 10/18 |
| SL2A, parameter matched | 199,171 | 35.910 | 35.995 | 18/18 |
| SL2A, author protocol | 330,243 | 37.463 | 37.541 | 15/18 |
上表显示，在留出集上该方法与完整规模的切比雪夫结构均值接近但参数少约 40%，参数量匹配时领先约 2.135 分贝且 18 张全胜，作者式协议下领先约 0.582 分贝。完整规模下 10 胜 8 负的符号检验并不显著，因此不能说在该协议下稳定全面超越，只能说描述均值略高且参数更少。
| Method | Holdout PSNR | LSA gain (dB) | 95% interval | LSA wins |
|---|---|---|---|---|
| LSA | 38.045 | - | - | - |
| fJNB | 22.985 | 15.060 | [14.595, 15.559] | 18/18 |
| WIRE | 36.477 | 1.568 | [1.143, 1.970] | 17/18 |
| MFN GaborNet | 35.086 | 2.959 | [2.764, 3.157] | 18/18 |
上表显示，对小波与乘性滤波等更广义的隐式表示，该方法在留出集上平均领先约 1.5 至近 3 分贝，分数阶雅可比块差距更大，但这只针对论文测试的单自由度序列构造与扫频范围，不能推广到该家族所有变体。
| Method | Mean PSNR (dB) |
|---|---|
| SIREN | 34.990 |
| FINER | 37.317 |
| STAF | 35.146 |
| WIRE | 36.596 |
| MFN GaborNet | 35.151 |
| fJNB | 22.948 |
| LSA | 38.110 |
上表是 24 张全集的描述性均值，训练步数在方法间并不一致，部分基线用了更多更新，因此不能当作同预算胜负证据，只能说明全局配置的整体位置。
| Image | LSA PSNR | STAF PSNR | LSA SSIM | STAF SSIM |
|---|---|---|---|---|
| kodim01 | 35.671 | 32.973 | 0.9562 | 0.9240 |
| kodim02 | 39.563 | 35.636 | 0.9529 | 0.8902 |
| kodim03 | 42.714 | 38.166 | 0.9737 | 0.9321 |
| kodim04 | 39.194 | 35.999 | 0.9563 | 0.9086 |
| kodim05 | 35.157 | 31.669 | 0.9605 | 0.9157 |
上表逐图列出与可学习正弦混合在每图 3 对 56 个候选下的最优值，该方法 24 张全胜，平均高约 2.883 分贝。候选数差异本身是协议的一部分，结论应表述为在该搜索预算下成立，而不是无条件更强。谐波数消融在 6 张图上从 4 增至 32 时明显提升，64 时饱和；冻结近恒等系数时留出集从 38.05 跌至 19.91 分贝，说明拟合质量确实依赖系数学习，但该冻结对照只针对近恒等起点，不能说明所有初始化都如此。
在网重建 × 网间插值： 在网重建指在训练用过的离散坐标上评价拟合误差；网间插值指在训练点之间的中点等未见坐标上评价连续函数是否稳定。高频注入常能压低在网误差，却可能让多个高频函数在采样点一致而在中间发散，因此需要把两种评价分开看，前者测记忆，后者测连续表示是否成立。
代价与尚未验证的范围是什么
论文明确报告了计算开销。新增可训练参数很少，音频宽度 256 深度 4 且 16 个谐波时只增加 64 个标量，但每步要在每个隐藏激活处计算并保存谐波响应，训练时间与峰值显存明显上升。代表性全网格音频设定中，相对可变周期方法训练时间约 7 倍、峰值显存约 9 倍，推理也有类似量级开销；谐波数越大，时间与显存越大。累加实现可省显存但更慢，分块与融合等优化留待未来工作。
部分收敛曲线显示达到目标质量可能用更少步数，但论文没有做系统的质量对墙钟时间的分析，因此不能把逐步质量优势直接说成总时间更少。未胜出项也要记住：原始坐标音频上该方法并不最好；辐射场个别场景的峰值信噪比不是最高；完整规模切比雪夫结构在留出集上有 8 张更好。声场与辐射场的泛化结论依赖各自的数据划分与评价实现，稀疏到稠密 Transformer 中的谱位置编码只是初步证据，不属于主结论。
复现第一步做什么
作者资源当前可用，代码地址在论文中给出，可据此获取参考实现。复现时先固定数据清单与网格：音频用固定 40 段语音与 10 段乐音清单、48 千赫与 5000 步，图像用 24 张柯达图并区分 6 张校准与 18 张留出，辐射场与声场分别沿用各自基准的划分与预算。实现上按公式写残差激活，系数按层共享、零均值小方差初始化，普通权重与系数用不同学习率并共用衰减；音频主配置谐波数 16，图像主配置谐波数 32，辐射场 24，声场 8。
评价时拟合任务报告轨迹最优峰值信噪比，网间任务同时报告训练网格与中点网格，泊松任务先做通道均值对齐再算峰值信噪比，声场同时报告宏观与微观两种汇总。随机种子、傅里叶矩阵与数据顺序要在基线与该方法间保持一致，否则带宽扫频与胜负计数不可比。
什么时候值得尝试还缺什么验证
当信号有局部或空间变化的谐波结构，且已给了足够输入频率仍拟合不好时，值得尝试这种分解：先让输入编码提供支撑，再让每层激活学习整数谐波的相对幅度，起点保持近恒等。复现第一步是按上节固定清单、网格与分开的学习率跑通音频或图像拟合，并同时检查在网与网间或留出集。还需要补的验证是质量对墙钟时间曲线、不同种子与划分下的稳定性、以及神经元独享或分组系数与谱正则化的效果。
常见误解是把它当作扩大了函数类或一定更快：论文的表述是分解与优化更直接，渐近可表示的信号本来就能被宽网络表示；逐步质量好不等于总时间少，显存与推理开销需要单独测量。另一个误解是把全集描述均值当作选择无关证据，应以 18 张留出集与报告的搜索预算为准理解胜负范围。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses