测量点稀少时，用日常双耳声音补上数据库检索不到的个人线索

英文题目：SA-HRTF: A Sound-Assisted Approach to Personalized HRTF Modeling

会议身份：conference:interspeech:2026:conference-paper-id:zhao26f_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#检索增强 #少样本 #空间音频信号 #空间音频渲染

评分：5.6/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 0.9/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Qingying Zhao：机构信息未能从会议 PDF 纯文本可靠映射
• Siyuan Chen：机构信息未能从会议 PDF 纯文本可靠映射
• De Hu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

头相关传输函数个性化需从极少方向测量恢复全空间双耳幅度谱，高频受耳廓头与躯干散射影响呈强非线性，现有小库检索难以找到声学近邻，低频易预测而高频误差随频率快速增大。上分支用条件残差检索增强神经场以耳间时间差检索相似被试并生成初始估计，通过残差与调制融合多参考幅度与方向信息。下分支用声音引导模块从目标方向双耳声音频谱提取补充估计，经卷积编码与注意力校准捕获个体头耳声学线索。顶层融合模块学习频点权重向量做谱域加权并精炼输出，相对仅用位置信息的神经滤波与纯检索增强基线，引入日常双耳声音作为辅助信息，在稀疏测量下实现互补融合。在SONICOM测试集白噪声条件的设置下，测量方向数为5时SA-HRTF的LSD指标为2.53，低于测量方向数为3时SA-HRTF的LSD指标3.02。语音等窄带信号高频信息不足时需回退高频至检索分支输出，其适用边界受限于宽带辅助声音与准确定位假设，方位俯仰偏差下仅小幅退化。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，读完要能复述什么？

本文的输入有两类。第一类是小规模头相关传输函数数据库中的已有测量，以及目标人在极少数方向上的耳间时间差测量；第二类是目标人在目标方向附近实际采集到的双耳声音。目标是为数据库之外的新人生成未测方向上的双耳幅度谱，本文只建模幅度部分，相位按最小相位近似可重建的已有结论处理，不在本研究内重新验证。输出是每个目标方向上左右耳各一条随频率变化的幅度曲线，可直接用于耳机上的双耳渲染。

为刚入门的读者先把白话讲清。头相关传输函数，英文是 head-related transfer function，缩写为 HRTF，它表示声音从空间某方向传到左右耳时被头、躯干和耳廓滤波后的变化；个性化就是让这套滤波器更像目标人自己的耳朵，而不是用别人的平均耳朵。对数谱失真，英文是 log-spectral distortion，缩写为 LSD，是本文统一的误差指标，数值越小表示预测谱与真实谱越接近。稀疏测量指只提前测 3 到 9 个方向，远少于完整球面采样。

本解读的输出约定是：只讲论文实际做的任务与实际报告的数字，凡是举例会明确标为例子，不把例子中的数字当作论文结果。凡是说可用或已公开，必须以资源可达状态为准；本次没有发现完成验证的开源资源，因此不声称代码、模型或数据已公开。读完你应能复述双分支各自的输入输出、融合权重的计算位置、训练用的监督信号，以及 3 个实验表分别回答了什么问题。

已有路线各解决什么，各留下什么缺口？

第一条路线是从解剖特征直接映射到个人 HRTF，例如用耳廓点云、体素或人体测量参数去预测频谱。这条路线在数据充足时能学到非线性映射，但在数据稀缺时很难学准，因为声波与解剖结构的相互作用高度非线性，而可用的 HRTF 数据库规模小、多样性有限。第二条路线是检索生成，先按某种个体相似度从数据库中找到与目标人相近的若干人，再用这些人的 HRTF 去生成目标人的 HRTF。代表是检索增强神经场，英文是 retrieval-augmented neural field，缩写为 RANF，它只用 3 到 5 个方向的耳间时间差算相似度，缓解了对稠密解剖采集的依赖，但仍受数据库规模限制，找回来的人可能并不够像。

第三条路线是基于声音信号估计，例如让用户用手机播放扫频声并在几十个位置采集，或用消费级耳机在自然环境中采集。这类方法更贴近日常佩戴场景，但需要额外设备与配合动作，且自然声的质量与稳定性不易保证。本文的定位是把前两条路线的优点拼起来：保留数据库检索提供的结构先验，同时把用户在虚拟现实、增强现实与耳机聆听中自然遇到的双耳声音当作补充线索。这样既不需要几十个位置的主动配合，也不只依赖小数据库的相似人，从而在稀疏测量下仍能补足个人声学特征。

任务的形式化输入输出与检索集合如何定义？

论文把幅度建模写成明确的映射。记目标方向为方位角与俯仰角组成的二元组，记某人在该方向的幅度为左右耳乘频点数的矩阵。数据集包含人集合与方向集合，对数据库外的新人，个性化被写成从相似人集合在该方向的幅度到目标人幅度的映射。相似人集合的构造是按个体特征的欧氏距离取最近的若干人，阈值动态调整以保证人数固定。在现有最优工作中，个体特征取的是少量方向上测得的耳间时间差，而不是解剖参数。

头相关传输函数幅度 × 耳间时间差： 头相关传输函数幅度是本文要生成的目标，它描述每个方向、每个频点上双耳幅度谱的形状；耳间时间差是用于找相似人的个体特征，它只在少数方向上测量得到，用两耳到达时间差异刻画头尺寸带来的粗线索。二者搭配的理由是幅度难直接测全而时间差易测少许，先用时间差把数据库中声学特性相近的参考人找出来，再用这些人的幅度谱去映射目标人的幅度谱，从而把稀疏时间线索转化为稠密频谱先验。

沿一个样本走一遍有助于建立依赖顺序。假设目标人只在 3 个方向测了耳间时间差，系统先用这 3 个时间差与数据库中每个人比较，挑出最接近的若干参考人；给定一个待预测的新方向，取出这些参考人在该方向的幅度、各自的时间差与方向坐标作为主分支输入，同时取出目标人在该方向的双耳声音作为辅助分支输入；2 分支各给出一个幅度估计，再逐频点加权融合成最终输出。监督来自目标人真实幅度与预测幅度之间的对数谱失真，方向与频率的聚合方式在实验节交代。

双分支总览：谁给先验，谁给补充，在哪里汇合？

总览要先回答分工。主分支是条件残差检索增强神经场，英文是 conditional residual retrieval-augmented neural field，缩写为 CR-RANF，它负责利用小规模数据库中的结构特征给出初始估计；辅助分支是声音告知的 HRTF 模块，英文是 sound-informed HRTF，缩写为 SI-HRTF，它负责从双耳声音中提取感知线索给出补充估计；最后的 HRTF 融合模块负责把两份估计按频率自适应加权并精炼。这种安排的理由在原文中有明确动机：数据库信息在稀疏时不够像，日常双耳声恰好带有目标人自身的滤波痕迹，两者互补。

从数据流看，总览上方是主分支，下方是辅助分支。主分支输入包括目标方向、耳间时间差与个体方向坐标，以及相似参考人在该方向的幅度；辅助分支输入是一段双耳波形；2 分支输出的两份幅度先拼接，再进入融合模块得到最终双耳幅度。训练时 3 个模块都用对数谱失真做损失，分别约束各自的预测与真值之间的谱差异，融合后的输出再经卷积块精炼。

看图路径： 1. 先看最上方总览中两条分支的输入与输出符号，确认上支是方向加参考人幅度，下支是波形；2. 再看中间拼接符号与融合模块，确认两份估计在何处汇合成最终幅度；3. 对照下方四个子图，分别找到空间个体编码、残差调制、加权融合与声音编码的位置；4. 注意融合子图中两条加权支路与后续精炼卷积的连接顺序

论文图 1。原论文 Figure 1：“(a) The proposed sound-assisted HRTF personalization architecture; (b) The conditional residual retrieval-augmented neural field module; (c) The HRTF fusion module; (d) The…”。

上图把 5 个面板的协作关系 1 次讲清。总览面板给出双分支加融合的 3 段式结构，主分支面板给出空间个体编码、条件残差、适配与反卷积的串行顺序，条件残差面板给出卷积、仿射调制与归一化的内部顺序，融合面板给出拼接算权重再加权求和加精炼的顺序，声音面板给出频谱变换、卷积校准、池化与多层感知机的顺序。读图时不要把示意块的大小当作参数量，也不要从箭头猜出梯度是否截断，原文未报告梯度路径的细节，后文训练节会指出哪些属于缺项。

主分支如何把参考人幅度变成目标人幅度？

主分支的计算分 4 步。第一步把相似参考人的幅度用两层 1 维卷积加双曲正切编码成隐特征，通道数与频点数按原文符号保留，不在此猜具体数值。第二步把拼接后的耳间时间差与方向坐标送入空间个体线索编码器，该编码器由随机傅里叶特征、全连接层与 1 维卷积组成，目的是把低维方向与时间差展开成更丰富的辅助特征。第三步在条件残差模块中融合，主特征先经卷积变换，辅助特征先经全连接投影，再用特征线性调制做仿射变换，得到增强特征。第 4 步用带低秩适配的全连接层优化增强特征，再经 1 维转置卷积解码出双通道幅度。

CR- × RANF： RANF 是检索增强神经场基线，它把若干相似参考人的幅度谱与目标方向、个体线索一起编码再解码出目标幅度；CR-是本文主分支，它在同一输入输出关系上增加了条件残差模块。搭配原因是原检索融合对多参考人特征的条件利用不够灵活，新增的仿射调制与低秩适配让空间个体线索能逐频点调节参考人隐特征，因此 CR-在原文中被报告为在稀疏点下比 RANF 误差更低。

FiLM × 条件残差模块： 条件残差模块是 CR-RANF 内部负责融合两路特征的位置，一路是参考人幅度编码后的隐特征，另一路是方向与耳间时间差编码后的辅助特征；FiLM 是该模块内部采用的具体仿射调制计算，用辅助特征生成缩放与偏置去调节主特征。分工是模块定位置与数据流向，FiLM 定逐通道逐频点的数学操作，组合意义是让同一组参考人在不同方向和不同目标人下得到不同的加权强调，而不是简单平均。

这里要区分原始目标与具体实现。原始目标仍是检索映射，即用相似人的幅度预测目标人幅度；具体实现上的新增是调制方式更灵活，辅助特征以逐通道缩放与偏置的方式作用于主特征，而不是简单拼接。这种设计让同一组参考人在不同方向下能得到不同的强调，原文报告其在稀疏条件下的误差下降更明显。例子：若某方向对耳廓细节更敏感，辅助特征可以放大主特征中对应频段的通道，这只是帮助理解调制的说法，不是论文给出的逐通道可视化结论。

辅助分支与融合分支各自算什么？

辅助分支的输入是双通道波形，样点数记为时间长度。先经快速傅里叶变换得到单边幅度谱，再送入 4 个顺序块，每个块以 1 维卷积、线性整流与批归一化为骨干，并在第二与第三块后级联挤压激励网络做通道校准。经过四块后得到隐表示，再经平均池化、展平与多层感知机生成双通道幅度估计。该分支不使用方向坐标做显式条件，它的个人线索完全来自声音频谱中被目标人自身滤波塑造的部分。

SI-HRTF × 双耳声音信号： 双耳声音信号是辅助分支的输入，它是经过目标人头部、躯干和耳廓滤波后被双耳采集到的日常声，天然带有个人声学痕迹；SI-HRTF 是处理这路输入的估计器，它先做傅里叶变换取幅度谱，再用卷积块与注意力校准提取特征，最后池化加多层感知机输出另一份幅度估计。搭配原因是数据库分支只见过有限人的离散方向测量，而声音分支能从连续自然声中补充目标人自身的感知线索，两路在频域互补后融合。

融合分支的输入是两份估计的拼接。拼接张量经两层带线性整流的 1 维卷积，再经 1 维卷积加 Sigmoid 输出逐频点权重向量。该向量刻画不同分支在每个频点的相对可靠性，用它对两份预测做逐元素加权求和，权重与一减权重分别作用于主分支与辅助分支。加权结果再经 1 维卷积、线性整流、1 维卷积的精炼块得到最终幅度。

HRTF 融合模块 × 权重向量： HRTF 融合模块是双分支汇合处的计算单元，它把两份估计拼接后用卷积与激活算出逐频点权重；权重向量是该模块的输出，它在每个频点上给出更信任哪 1 分支的比例。分工是模块负责从拼接特征判断可靠性，权重负责执行逐频点加权求和，组合意义是不同频段 2 分支可信度不同时仍能逐频点动态分配贡献，融合后再经卷积块精炼得到最终幅度。

例子：若某频点上声音分支受噪声影响大，融合可以给主分支更大权重；这只是对加权公式的白话解释，实际权重由网络从数据中学到，论文未报告逐频权重的分布图，因此不把例子当作已验证的权重行为。

监督信号、数据构造与哪些实现细节未报告？

监督信号是明确的。三处都用对数谱失真最小化预测与真值之间的谱差异，公式中对每个频点的幅度比取 20 倍对数，再求均方后开方。需要区分的是优化目标与优化步骤：论文给出了损失的数学目标，但未报告优化器类型、学习率、批量大小、训练轮数与早停规则，也未说明三模块是联合训练还是分阶段训练，以及融合时是否冻结单分支参数。因此复现时不能从模块名称推定参数冻结或梯度截断，这些属于具体缺项。

数据构造分为公开与自制两部分。公开部分是 SONICOM 数据集，共 200 人，每人 793 个空间方向，采样率 48000 赫兹；划分是前 160 人训练、19 人验证、20 人测试，并剔除 1 名耳间时间差异常的被试。自制部分是把语音、白噪声与音乐在频域乘以 SONICOM 的 HRTF 以合成双耳音频，再加扩散场噪声模拟真实环境，信噪比从五与 10 分贝中随机选择，合成声用于训练声音分支。推理时目标方向的双耳声音若可用则进入辅助分支，否则系统退化为只有主分支的情形，论文对语音窄带的特殊处理在结果节展开。

评测条件如何设置，公平比较靠什么保证？

评测围绕稀疏测量展开。测量方向集合的大小记为测量点数，取三、五、七、九四档，目标是在未测方向上比较生成精度。被试划分与训练阶段一致，测试集为 20 人，验证集用于调参，训练集不含测试目标人，保证是个性化而非记忆。指标统一用对数谱失真，数值越小越好，聚合对象是目标人的未测方向与频点，原文未报告是否对方向做加权平均，也未报告置信区间或显著性检验，这是统计口径上的缺项。

基线覆盖传统与数据驱动两类。传统类包括最近邻方向复制，以及按耳间时间差或按谱失真选最相似人的直接套用；数据驱动类包括只用位置信息的神经无限冲激响应滤波器场，英文是 neural IIR filter fields，缩写为 NIIRF，以及检索增强神经场 RANF 与其改进版 CR-RANF。比较的公平条件是同一数据集划分、同一测量点数档位与同一失真指标，声音合成条件在类型对比中单独变化。硬件与耗时预算原文未报告，因此不能从精度优势推定延迟或算力优势。

主结果：在不同测量点数下谁更准，代价是什么？

要回答的核心问题是：在测量点数从三到九变化时，引入声音线索是否在同一指标下持续带来增益。公平条件是同一 SONICOM 划分与同一对数谱失真指标，方向越小表示越稀疏。下表按原文数字整理，指标数值越小越好，表头单位按原文在正文与图注中交代的失真单位理解，数据格为原文裸值，不另行换算。

上表显示数据驱动方法整体优于传统方法，而本文的双分支方法在四档测量点数下均为最低。直接报告的差距是：在三点时本文方法比 CR-RANF 低约 0.47，比 RANF 低约 0.71；在九点时仍保持最低，但与 CR-RANF 的差距收窄。支持的判断是检索加声音的组合在稀疏下有效，限制是这只是幅度谱的平均误差，未测量定位听感、误判率与推理开销，因此不能把失真下降直接等同于听感提升。同时要注意 RANF 在五点处略高于三点，说明小样本检索存在波动，总体趋势不等于每档单调下降，未胜出项中 NIIRF 因只用位置信息而精度最低，这与原文对位置单一线索的解释一致。

频率维度上的误差分布说明了什么？

除按测量点数平均的总体误差，论文还报告了随频率变化的失真曲线，目的是看改进发生在低频还是高频。比较对象是同一被试在只有 3 个测量点时的 4 种数据驱动方法，横轴为频率，纵轴为对数谱失真，曲线越低越好。导读时先确认坐标含义，再比较不同频段的相对位置，不要把某一段的升降直接推广为全频段结论。

看图路径： 1. 先确认横轴为频率、纵轴为对数谱失真，数值越低表示该频点估计越准；2. 比较低频段四条曲线的贴合程度，再看中高频段红色曲线的相对位置；3. 观察 9 到 15 千赫附近各方法的峰与回落，判断改进主要发生在哪个频段

论文图 2。原论文 Figure 2：“Comparison of the proposed SA-HRTF architecture with baseline methods in terms of LSD at different frequency bins.”。

从可见像素看，4 条曲线在低频端贴得很近，随频率升高整体上扬，高频端分化明显。红色代表的本文方法在中高频段持续处于最下方，蓝色代表的 CR-RANF 居中，另两条基线在高频峰附近更高。原文用物理直觉做有限解释：低频波长长，受耳廓与头躯干影响小而易预测，高频波长短，对几何细节敏感而难预测，因此失真随频率上升。这属于支持性解释而非因果证明，论文未做几何参数的受控实验。未评测边界是该图只展示单个被试的曲线，不能当作全体被试的平均频响，复现时应补全体平均与分频段聚合。

声音类型与定位偏差如何改变结论？

第一个要回答的问题是辅助声音的频谱覆盖是否重要。实验固定模型结构，只换输入声音类型，比较音乐、白噪声与语音三档，指标仍是四档测量点数下的对数谱失真，数值越小越好。下表按原文数字整理，数据格为裸值。

上表报告的结果是白噪声与音乐优于语音，白噪声在各档均为最低。原文给出的有限解释是白噪声与音乐频带更宽，能提供更丰富的空间与频谱信息，而语音能量集中在 300 到 3000 赫兹，缺少高频信息。基于此，论文对语音输入做了专门处理：只保留融合模块生成的低频段，其余频段用主分支估计补足，以弥补缺失的谱成分。这是一个实际可运行的策略，但原文未报告该切换阈值的选取过程与消融增益，因此只能说报告了该设计，不能断言它在所有语种与说话人下最优。

第二个问题是方向估计有误差时是否仍稳定。论文考虑方位偏差五度与俯仰偏差十度两种情形，下表按原文数字整理。

表后解释是有偏差时误差略升但仍保持在相近量级，原文据此认为有一定空间泛化能力，可能适用于存在轻微定位误差的真实场景。这里的可能属于待验证推测，因为只测了两个固定偏差角度与有限被试，未覆盖连续角度误差与动态头动，复现时应补随机偏差与头动轨迹的评估。

哪些结论不能从现有证据中推出？

首先是听感与任务迁移。论文只报告了幅度谱的对数谱失真，没有主观定位实验、语音可懂度或沉浸感评分，因此不能把失真下降说成定位更准或体验更好。其次是成本与延迟。训练资源、参数量、推理耗时与输出帧率均未报告，不能从精度优势推定系统更轻或更快，总体趋势也不等于每个被试与每个方向都成立。

其次是声音条件的覆盖。合成声只用了语音、白噪声与音乐 3 类，并在五与 10 分贝两种信噪比下加扩散场噪声，未覆盖混响、风噪、多人声与耳机佩戴差异，语音窄带的补足策略也只在该数据集上验证。再者是检索依赖。相似人仍来自同一小规模数据库，若数据库多样性不足，检索上限仍在，声音分支能补多少在跨库条件下未验证。最后是统计严谨性。原文未报告多次随机种子的方差、显著性检验与逐被试分布，单被试频率曲线不能代表全体，阅读时应把无偏差与有偏差的两套数字看作同一模型在不同测试条件下的表现，而不是不同模型的胜负。

要复现应先准备什么，按什么顺序检查？

先准备数据与划分。获取 SONICOM 的 200 人数据，按前 160 人训练、19 人验证、20 人测试划分，并剔除耳间时间差异常的指定被试；每人方向数与采样率按原文记录核对，不自行重采样或改划分。测量点数取三、五、七、九四档，目标人的耳间时间差只在测量方向上可见，其余方向视为未测。

再构造声音训练数据。把干净语音、白噪声与音乐在频域乘以真实 HRTF 合成双耳声，加扩散场噪声并从给定信噪比中随机选择；声音分支的输入是频域幅度谱，不是波形直投。模型按主分支、辅助分支与融合三部分实现，主分支需包含随机傅里叶特征、仿射调制与低秩适配，融合需实现逐频点权重与后续精炼块，损失统一用对数谱失真。检查顺序建议是先复现 CR-RANF 相对 RANF 的增益，再加入声音分支看总体增益，最后做声音类型与角度偏差两组鲁棒性检查。由于原文缺优化器与训练轮数等超参数，复现时应固定随机种子并记录完整配置，缺项部分明确标为自选而不归因于原文。

何时值得尝试这种声音辅助思路？

当你的场景同时满足三点时值得尝试：已有 HRTF 数据库不大且只能测极少数方向，用户日常佩戴耳机能自然采集到双耳声，你关心的是幅度谱精度的提升而非已验证的听感结论。此时用少量时间差做检索先验，用自然声补目标人自身的线索，再做逐频点融合，是论文已显示有效的组合。

当声音以窄带语音为主、环境噪声大或方向估计误差大时，应先做小规模验证，并保留主分支兜底与低频保留的切换逻辑。还需补的验证包括跨数据库泛化、真实而非合成双耳声、主观定位实验，以及延迟与算力的实测。只有在这些补足后，才能把失真优势转化为可部署的个性化收益。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总