不用进消声室：用仿真 HRTF 反推个人参数再切换到真实域

英文题目：HRTF Personalization via Sim-to-Real Neural Field

会议身份：conference:interspeech:2026:conference-paper-id:masuyama26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#领域适应 #空间音频信号 #空间音频渲染

评分：7.6/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.1/1.5

排名：前25% | 文档类型：方法研究

👥 作者与机构

• Yoshiki Masuyama：机构信息未能从会议 PDF 纯文本可靠映射
• Gordon Wichern：机构信息未能从会议 PDF 纯文本可靠映射
• Christoph Boeddeker：机构信息未能从会议 PDF 纯文本可靠映射
• Julius Richter：机构信息未能从会议 PDF 纯文本可靠映射
• Takahiro Edo：机构信息未能从会议 PDF 纯文本可靠映射
• Swapnil Bhosale：机构信息未能从会议 PDF 纯文本可靠映射
• Jonathan Le Roux：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

头相关传输函数 Head-Related Transfer Function / HRTF个性化需从易获取输入预测任意方向双耳对数幅度谱，难点是数值仿真在高频存在系统性伪影而真实测量依赖消声室。所提仿真到真实神经场 Sim-to-Real Neural Field / S2RNF方法链分三步衔接：先以单步隐式梯度起点网络 Implicit Gradient Origin Network / IGON从仿真谱重建误差推断被试共享隐变量，再将域参数由仿真切换为真实以网格无关解码任意方向真实感谱。然后以真实域损失与仿真域损失联合优化网络与域参数，使推理时的仿真到真实切换在训练中显式一致。相对直接修正频谱的精修范式，该机制只用仿真谱估计身份而不逐点改谱，兼顾个性化与空间连续性。在扩展 SONICOM 25人测试集上 S2RNF以均方根误差 Root Mean Square Error / RMSE 4.90 dB优于非个性化平均基线5.05 dB，高频失真下降带来极角误差 Polar RMSE / PolRMSE 改善；在 HUTUBS 留一评估上幅度略优于人体测量基线但感知指标未超越。该结论限于对数幅度建模与高质量头模仿真输入，未验证摄影测量网格、相位与耳间时间差个性化及主观听感。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/merlresearch/s2rnf — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先保留哪些信息？

本文的输入是研究生可以直接复述的三件事。第一，目标对象是头相关传输函数，用白话说就是从某个声源方向传到左耳和右耳的声音各被耳廓、头部和躯干改变了多少，论文记为随方向变化的双通道频率响应。第二，可用的个人线索不是消声室实测，而是从 3 维头模用声学仿真器算出的仿真响应，日常室内采集网格即可得到，比进消声室容易得多。第三，输出要求是任意方向的真实感对数幅度响应，论文明确只建模对数幅度，不直接建模相位，相位后续可用最小相位重建得到，耳间时间差也被作者推迟到未来工作。

目标是免测量个性化。也就是说，对一个从未见过实测的新被试，只给他的仿真响应，就要预测他在任意方向的真实响应。必须保留的信息包括方向定义、频率点数、评价上限频率和聚合方式，否则不同论文的数字无法对齐。原文把方向记为方位角与俯仰角，把幅度取为 20 乘以常用对数模值，把误差算到 20 千赫兹且去掉直流分量，并同时报告幅度误差与基于听觉模型的极角误差。

头相关传输函数 × 神经场： 头相关传输函数负责描述从某个声源方向到左右耳的频率响应差异，是个性化双耳渲染的对象；神经场负责把方向连续映射到该响应，是无网格查询的函数载体。二者搭配的理由是方向空间稠密而实测稀疏，需要一个可微、可跨被试共享的连续函数来插值与外推，组合后神经场成为按方向查询个人头相关传输函数的生成器。

开场需要先固定一条样本路径，便于后文逐段回指。取测试集中的一个被试，他有 793 个方向的实测与同网格仿真。推理时只允许看他的仿真，把仿真压缩成一组被试参数，再把域开关拨到真实域，按任意查询方向输出预测，最后与他 withheld 的实测比较误差。训练时则用 160 人的成对仿真与实测学习共享网络与两个域开关，验证集 15 人选检查点，测试集 25 人报告泛化。

已有路线在什么输入下解决什么问题？

第一条路线是空间上采样。输入是该被试的少量实测方向，目标是补全未测方向。早期有用幅度声像定位与球谐基分解的信号处理方法，后来是深度学习与神经场。原文提到近期工作把一个神经场跨被试共享，再用紧凑的被试参数做个性化，甚至在 2024 年听者声学个性化挑战赛上只用 3 条测量也能做上采样。这条路线测量负担变小，但没有取消实验室测量。

第二条路线是免测量个性化。输入不再是该被试的实测，而是人体测量特征或 3 维网格。做法有两类，一类是从人体测量特征直接预测响应，例如用空间主成分分析分解响应再回归系数，或先训练响应自编码器再从特征映射到隐变量；另一类是先用物理仿真从网格算响应，再用神经网络精修仿真伪影。原文明确跟随第二类，并在神经场进展上继续做。

空间上采样 × 免测量个性化： 空间上采样负责用少数实测方向推断未测方向，仍需要被试进实验室测几条响应；免测量个性化负责完全不用该被试的实测，只用人体测量或 3 维网格等日常可得信息。前者分工是降低测量密度，后者分工是取消专用测量，搭配比较的意义在于明确本文属于后者，因此不能与需要实测的方法在同等输入下直接比上采样精度，只能与仿真、平均响应和同为免测量的方法比。

与本文最接近的已有工作是直接精修仿真的方法，它把仿真响应作为输入逐点修正输出。本文的不同在于仿真只用于求被试参数，不直接作为逐点输入，因此预测不受仿真网格限制，可以无网格查询任意方向。另一相关工作是同时处理多数据集的被试与数据集感知场，它也用域参数吸收数据集间测量差异，但原文指出它并非为仿真到真实迁移设计与评估，本文则围绕该迁移设计训练流程。

为什么通用响应不够，仿真响应又差在哪里？

通用响应不够的原因是耳头形状因人而异。用非个人的响应合成双耳音频会出现定位偏差，例如前后混淆。理想做法是给每人测稠密网格，但这需要在受控实验室花大量时间与人力。于是问题变成如何在不测该被试的前提下逼近他的稠密响应。

仿真看起来是捷径，因为它利用成熟的声传播先验，从网格数值求解即可。但原文与引用结论一致指出仿真在高频段伪影明显。实验部分的频率曲线也显示仿真误差在 5 千赫兹以上快速抬升，高频方差阴影很宽。教学上可以这样理解，例子：耳廓细结构决定高频峰谷，而网格精度与仿真简化恰好在高频最敏感，因此高频是仿真最不可靠的地带，而这段恰好影响俯仰感知。

所以任务矛盾是可得性与保真度的矛盾。平均响应容易得到且误差尚可，但没有个性化；仿真有个个性化但高频失真大。论文要做的是保留仿真的个性化线索，同时用数据驱动去掉系统性仿真偏差，得到比两者都更接近实测的预测。

方法全景：一条样本如何走完仿真到真实？

全景可以按图 1 的上下两路理解。上路是编码，输入是该被试的仿真响应与查询方向，网络暂用仿真域开关，从零向量出发做一步梯度下降得到被试参数，目标是让网络在仿真域重建这些仿真响应。下路是解码，把估计到的被试参数保持不变，仅把域开关换成真实域，再输入任意新方向，直接输出该方向的真实感预测。关键动作是参数复用与域切换，个体信息由被试参数携带，仿真与真实的差异由域开关吸收。

这种设计的教学价值在于它把迁移显式化。训练时每一步都真实执行 1 次上述编码再解码，而不是先学好重建再指望迁移自动发生。推理时不需要该被试的任何实测，也不需要仿真与实测网格对齐，因为编码只产生一个与网格无关的参数向量，解码可以查询任意方向。原文强调这与直接精修仿真网格的方法不同，后者受仿真网格束缚。

下面这张总览图把上述 2 阶段画成上下两个神经场调用，中间用梯度块与虚线回送连接，值得按箭头逐段核对。

看图路径： 1. 沿左上三维头模经仿真器到仿真 HRTF 的实线箭头确认仿真是唯一输入；2. 看中间红色梯度块标注的公式 6，确认被试参数来自仿真重建误差最小化；3. 沿右下虚线追踪估计参数如何回送到底部真实域分支；4. 对比上下两个方向输入，确认输出方向可以与编码方向不同，支持无网格查询

论文图 1。原论文 Figure 1：“Overview of S2RNF’s inference procedure.”。

读完图后要固定的结论是，仿真只参与被试参数的计算，不作为解码的逐点残差起点。域开关是可学习的向量，在训练中与网络权重一起优化。推理用全部仿真方向求参数，训练则把仿真方向随机分成一半求参数、一半算重建损失，以模拟泛化并简化实现。

被试特定参数 × 域特定参数： 被试特定参数负责携带个体耳头差异，在所有域之间共享；域特定参数负责携带仿真与实测的系统性偏差，按仿真域与真实域分别学习。搭配理由是若只有一个参数，个体差异与仿真伪影会被混在一起，无法只用仿真做推理；分开后可以先用仿真域固定域参数反推被试参数，再把域参数切换到真实域，从而实现仿真到真实的迁移。

网络内部如何注入方向、个人与域信息？

网络输入先处理方向。原文把方位角与俯仰角变成 4 个三角函数分量，再乘随机高斯矩阵做随机傅里叶特征，经正余弦展开后送入全连接层。这样做的白话解释是把低维角度映射到高维周期基上，让后续全连接更容易表示随方向快速变化的峰谷。随后特征进入两个带跳连的核心块，每个块内有多层全连接与层归一化。

个性化与域适应的注入采用偏置微调思想。每一层全连接的输出在加偏置处额外加一项，若该层被指定为被试相关就加被试偏置，若指定为域相关就加域偏置。原文实现是第一层用被试偏置，其余层用域偏置，跟随被试与数据集感知场的实验设置。预测头是无激活的全连接，直接输出双耳对数幅度谱。

随机傅里叶特征 × 偏置微调： 随机傅里叶特征负责把方位角俯仰角先变成高频可分的方向编码，缓解全连接网络学高频细节困难的问题；偏置微调负责把被试参数与域参数以各层偏置加项注入主干，而不是重训全部权重。搭配理由是方向编码解决输入表达，偏置注入解决条件控制，组合后同一个主干权重可被不同被试与不同域复用，只靠小偏置实现个性化与域切换。

隐式梯度原点网络 × 仿真到真实迁移： 隐式梯度原点网络负责不用额外编码器、只用 1 次从零点的梯度下降得到被试参数；仿真到真实迁移负责规定这次梯度只在仿真域计算、预测却在真实域执行。搭配理由是训练与推理要走同一条显式迁移路径，否则推理时无法复现；组合后每次训练迭代都真实执行 1 次用仿真求参数再预测真实的闭环，使优化目标直接对准最终要用的真实预测。

下面这张结构图把上述注入位置画得很具体，上下灰块是残差块，粉色是层归一化，蓝色是全连接，向下箭头标出哪一层加哪一种偏置。

看图路径： 1. 从左上方向输入经随机傅里叶特征与全连接层进入上分支，确认主干起点；2. 观察上下两个灰色残差块内部的层归一化与全连接交替结构；3. 找到注入被试参数与域参数的向下箭头，区分哪一层用个体偏置、哪几层用域偏置；4. 沿跨块残差加和符号追踪跳连，确认输出经末端全连接得到双耳对数幅度谱

论文图 2。原论文 Figure 2：“Network architecture for S2RNF. FC and LN stand for a fully-connected layer and layer normalization, respectively.”。

看图后要记住的执行细节是，方向只从左上进入，响应从左下输出，中间的残差加和符号是跳连，被试下标与域下标明确区分。隐藏层宽度为 512，激活为 Swish，预测头无激活。这些是复现时必须对齐的配置，改动任一处都会改变容量与条件方式。

训练如何组织编码方向、解码方向与损失？

训练的学习对象包括共享网络权重与两个域开关。每个训练迭代的动作顺序是固定的。先从仿真方向集合中随机取一半作为编码集，用仿真域开关与当前网络做一步从零点的梯度下降，得到该被试的参数估计，梯度用深度学习框架自动微分求得。接着用该参数分别在两个域解码，一路用仿真域开关重建仿真，另一路用真实域开关预测真实。

损失是两项对数谱失真之和。第一项是真实损失，在解码方向集合上比较真实预测与真实实测；第二项是仿真损失，在另一部分仿真方向上比较仿真重建与仿真输入，平衡系数取 1。原文报告去掉仿真损失会使性能下降，理由是既然参数是从仿真梯度求得，模型就应在仿真域也有良好拟合，否则编码基础不牢。整个计算图保留到域开关，反向传播一路传回网络与域参数。

方向集合的处理需要复述清楚。训练假设仿真与实测共享网格以简化实现，解码用的两组方向取相同下标。推理则不同，用全部仿真方向求参数，不再划分。优化器用 RAdam，学习率固定为 0.0005，训练 1500 轮，用验证集上实测的对数谱失真最低点选检查点。代码已公开，这是复现的起点。

在哪些数据、划分与指标下比较，条件是否一致？

第一个实验在扩展版 SONICOM 数据集上验证个性化能力。该版本提供 200 组成对的实测与仿真。实测每人 793 个方向，采样率 48 千赫兹，仿真用 Mesh2HRTF 在相同方向从头模算得。时域冲激响应经 256 点离散傅里叶变换到频域，频率点数为 129。划分是随机分 160 人训练、15 人验证、25 人测试。

评价用均方根误差即对数谱失真、平均绝对误差，以及基于听觉模型的极角均方根误差。幅度误差算到 20 千赫兹且去掉直流分量，极角误差只用极角是因本文只建模幅度。

基线选择体现免测量的公平性。不能与需要该被试少量实测的神经场上采样方法直接比，因此基线是仿真本身与训练集平均响应。平均响应虽非个性化，但以往挑战赛显示它已是不弱的起点。比较问题是只给仿真能否同时 beating 仿真与平均，并在感知相关的极角指标上也有增益。

第二个实验在 HUTUBS 数据集上与已有免测量方法比。该集有 96 人、每人 440 个方向，提供手工人体测量特征。原文为与依赖该特征的工作对齐，剔除特征缺失的 3 人与 2 次重复测量的 2 人，用前 85 人固定训练、对剩余 6 人做留一法，其中 5 人做验证。官方仿真网格与实测网格不一致，原文用基于声像定位的插值对齐网格，再经约 100 赫兹分辨率的频域转换。基线包括空间主成分回归、基于仿真失配的精修网络与基于预训练自编码器隐变量的方法，其中后者的训练设置与本文完全对齐，是最可比的对照。

主结果：相对仿真与平均的收益有多大？

先提出比较问题与方向。在 SONICOM 测试集上，幅度误差与极角误差都是越小越好，比较对象是仿真、平均响应与本文方法。下表把三者放在同一划分、同一频率上限与同一聚合下，表中条件列固定为扩展版 SONICOM 测试集，指标列固定为原文报告的 3 种误差。

上表显示本文方法在三项指标上同时优于仿真与平均响应。相对仿真的降幅很大，相对平均的降幅虽小但经跨被试配对单侧 t 检验在平均绝对误差上达到显著性，原文报告 p 值为 1.5%。跨被试标准差也从平均响应的 0.59 降到本文的 0.48，支持个体间更稳定。频率曲线进一步显示收益集中在 5 千赫兹到 15 千赫兹，正是仿真失真最大且影响俯仰感知的频段。

下面这张频率曲线把上述频段效应可视化，横轴是频率，纵轴是谱失真，实线是被试均值，阴影是被试标准差。

看图路径： 1. 先确认横轴为频率千赫兹、纵轴为谱失真分贝，图例区分仿真、平均与本方法；2. 观察 5 千赫兹到 15 千赫兹区间绿色仿真曲线明显抬升及阴影变宽；3. 对比同区间蓝色本方法曲线是否低于橙色平均曲线；4. 检查 20 千赫兹附近三条曲线是否收拢，判断高频端收益是否缩小

论文图 3。原论文 Figure 3：“Spectral distortion averaged over both ears and all directions. The solid lines and shaded areas correspond to the mean and standard deviation over subjects.”。

读图后应形成的有条件判断是，仿真曲线在高频显著抬升且阴影很宽，本文曲线在中高频低于平均曲线但在极高频与平均收拢。这支持方法主要修正了中高频系统偏差，而非全频段均匀提升。未胜出或需注意的边界是极角误差的绝对值仍在 40 度量级，说明幅度建模 alone 离完美定位还有距离，且相位与时间差尚未个性化。

拿掉仿真损失与换数据集后会发生什么？

消融问题是仿真损失是否必要。训练时去掉仿真损失，仅保留真实损失，SONICOM 上三项指标分别从 3.60 退到 3.66、从 4.90 退到 4.98、从 40.89 退到 41.07。一致退化支持保留仿真损失有助于从仿真梯度稳定求参的解释。但这只是有限解释，原文未进一步扫描平衡系数的连续曲线，因此不能断言 1 是最优，只能说在报告的设置下有仿真损失更好。

跨数据集问题是在 HUTUBS 上相对已有免测量方法的表现。下表把条件固定为与人体测量特征工作对齐的划分，指标方向仍是越小越好，表中同时保留官方仿真经插值后的起点。

表后解释需要区分可比性。相对基于仿真失配的精修网络，本文平均绝对误差低 1 分贝以上，远大于仿真插值差异带来的 0.09 分贝量级，支持改进主要来自方法而非测试人不同。但该对照的网络与训练细节未报告且测试人未明确，只能作为借用分数的粗比较。相对训练设置完全对齐的自编码器对照，本文在幅度误差上略优，但在极角误差上略逊，说明两者接近，本文优势在于不用人体测量特征也不需额外从特征到隐变量的编码器。未评测边界是该表未报告已有方法的极角误差，不能补猜。

哪些结论不能下，缺了哪些验证？

首先是建模范围的限制。论文明确只建模对数幅度，耳间时间差留待未来工作，相位靠最小相位重建。因此不能把幅度误差下降直接等同于整体沉浸感或定位误判率下降，极角指标虽是感知相关代理，但仍是模型估计的方向误差，不是真人听音实验。

其次是输入质量的依赖。本文用的仿真是官方数据集从高保真头模算得的高质量仿真，未来才计划探索摄影测量重建网格。若网格质量下降，编码得到的被试参数是否仍稳定，原文未验证，这是一个待验证的外推。网格对齐在 HUTUBS 上还依赖插值，插值本身会引入误差，比较时需记住这一点。

第三是成本与统计的缺项。原文未报告训练耗时、参数量、单次推理延迟与内存占用，也未报告除平均绝对误差显著性外的其他统计检验。因此不能承诺延迟或成本改善，总体趋势也不等于每个被试、每个方向都改善。频率曲线阴影仍宽，说明被试间差异大，个别被试可能收益很小。

要复现应先做什么，需要哪些超参数？

复现先做三件事。第一，按原文划分与频域处理对齐数据。SONICOM 用 256 点变换得 129 点频谱，HUTUBS 用约 100 赫兹分辨率的变换，评价到 20 千赫兹去直流。第二，固定网络配置，隐藏层 512 单元、Swish 激活、4 层结构中第一层加被试偏置、其余加域偏置，方向先做三角函数拼接再做随机傅里叶特征。第三，固定训练流程，编码用一半仿真方向、解码用另一半与对应实测，平衡系数 1，RAdam 固定学习率 0.0005，训 1500 轮后用验证集实测失真选点。

推理时切换流程。用全部仿真方向求被试参数，再把域开关换到真实域查询任意方向。不要把仿真响应拼到解码输入，也不要在推理时更新网络权重。代码当前可用，资源状态显示代码链接可达并返回 200，这意味着实现可下载，但不等于权重可下载或开箱可运行，复现仍需自行训练。

常见误解是把平均响应强当成个性化无用。平均强恰好说明跨人共享结构多，个性化要在平均之上抠出个体残差。本文的价值正在于用仿真提供个体残差线索，再用域切换去掉仿真系统偏差。若直接把仿真当真值使用，高频会被伪影主导，这是必须避免的用法。

何时值得尝试这种仿真到真实路线？

当你能低成本拿到 3 维头模仿真，但无法让用户进消声室，且已有成对仿真与实测可训练共享模型时，这条路线值得尝试。它保留了物理仿真的个体线索，又用数据驱动修正高频伪影，且推理可查询任意方向，不受仿真网格限制。若你已有可靠人体测量特征且网格质量差，可优先考虑基于特征的自编码器路线；若你能测到少量实测，则应优先考虑上采样路线，因为那是同输入下更直接的个性化。

收束时回到可核对的事实。方法报告在 SONICOM 上优于仿真与平均，在 HUTUBS 上幅度误差优于已有精修与对齐的自编码器对照，极角略逊于后者。限制是只做幅度、依赖高质量仿真、缺延迟成本与真人听音验证。下一步值得补的验证是低质量重建网格下的稳定性、相位与时间差个性化，以及小样本实测与仿真联合编码是否进一步提升。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总