只用单阵列相位谱估计说话人朝向：混响为何反而有帮助

英文题目：SPEAKER HEAD ORIENTATION ESTIMATION WITH A SINGLE MICROPHONE ARRAY USING PHASE SPECTROGRAM FEATURES

会议身份：conference:eusipco:2026:conference-paper-id:0000086

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#时频分析 #麦克风阵列 #语音 #声源定位

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Turi, Bálint：机构信息未能从会议 PDF 纯文本可靠映射
• Politis, Archontis：机构信息未能从会议 PDF 纯文本可靠映射
• Sudarsanam, Parthasaarathy：机构信息未能从会议 PDF 纯文本可靠映射
• Virtanen, Tuomas：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文处理单阵列方位角说话人头部朝向估计，输入为单句多通道语音，输出为0到360度连续角度，难点在于语音辐射方向性微弱且易被混响噪声与个体差异淹没。管线先用语音活动检测切除首尾静音，再对各通道做短时傅里叶变换并取相位正余弦构成特征，随后送入卷积循环注意力网络回归正余弦向量并经反正切恢复角度。卷积层压缩时频并保留通道空间结构，双向门控循环单元建模时序依赖，多头自注意力提炼全局方向线索后由自适应池化聚合为 utterance 级表示。与手工互相关特征或原始波形端到端学习不同，该方案直接利用多通道相位差与反射结构，避免手工信息损失也不让网络从零学习滤波器。在仿真集干净条件下，STFT相位方法的平均角度误差为19.9°，低于原始音频基线的平均角度误差44.8°。在真实8分类任务条件下，本方法的准确率为73.2%，高于既有基线的准确率65.4%，说话人与房间联合个性化后平均角度误差为11.3°。该结论适用边界限于单说话人静态朝向与固定高度圆阵，动态头部运动与多说话人重叠尚未验证，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么值得做？

这篇工作的输入是一句单说话人语音，被单个紧凑麦克风阵列录下。说话人和阵列可以在房间内任意位置，但高度固定，头部在水平面内朝向任意方向。输出是对这一句语音估计一个方位角，定义为说话人正脸朝向与嘴到阵列中心连线之间的夹角，范围是完整的 0 度到 360 度。任务假设一句内头部静止，所以模型是一句给一个角度，不是逐帧跟踪。

应用动机很具体。智能家居要判断命令是对哪台设备说的，会议要判断说话人在跟谁说话以做听者识别和转写，车内要监测驾驶员注意力。这些场景已有麦克风，不想再加标定相机，也担心遮挡、光照和隐私。语音本身是方向性声源，嘴的辐射在不同频率和方向上不均匀，通道间相位差、频谱着色和反射模式都会随朝向变化。音频方案就是想从这种方向性里反推朝向。

对刚入门的读者，先建立一个可复述的链条。声源有指向性，房间有反射，阵列有多通道，朝向变化同时改变直达声的相对时延和反射声的相对强度与相位。模型要学的就是从多通道相位结构到圆周角度的映射。后续所有特征选择和网络结构，都是围绕如何保留并利用这种结构，同时不被语音内容和噪声带偏。

已有路线走到了哪里，各自的代价是什么？

早期工作多是基于模型和大型阵列。论文回顾了用 448 个麦克风的巨大阵列估计朝向，以及用低通滤波后能量差估计的方法，还有用广义互相关估计麦克风对之间时延峰值，以及高低频带能量比等思路。这类方法训练需求小，但硬件庞大、计算重、对噪声敏感，难以部署。后来有人把硬件降到 6 个阵列或两个 4 通道阵列，但仍假设阵列几何和用户位置已知。

机器学习路线试图放宽标定假设。单通道隐马尔可夫模型性能有限，互功率谱相位系数从声源定位迁移过来但对噪声敏感。用频谱平衡、混响、自相关和广义互相关特征训练决策树，只能预测 8 个离散朝向。Soundr 收集了 700 分钟数据，用卷积加长短时记忆网络直接吃 16 通道原始波形，但在未见说话人和房间上平均误差仍有 57 度，说明泛化没有解决。

作者把已有路线归纳为两类。一类是基于传播物理的手工特征，可能丢掉有用信息。另一类是原始波形输入，要求模型从有限数据从零学表示，数据需求大且易过拟合。本文选择第三条路。用短时傅里叶变换的相位分量作主要输入，既比低维手工特征保留更多方向信息，又不像原始波形那样把特征提取完全交给模型。论文也承认短时傅里叶变换维度高、需要大量数据，因此配套做了大规模仿真预训练。

任务的形式化定义与必须固定的评测口径是什么？

形式化地说，给定一句多通道语音，估计标量朝向角。真值是在仿真生成时均匀采样 0 度到 360 度得到，测试时与预测角按圆周距离比较。连续预测用平均角度误差，即每句取预测与真值差的绝对值和 360 度减该差中的较小者，再对所有样本平均。离散任务用分类准确率，即 8 个方位中猜对的比例。方向是误差越小越好，准确率是越大越好，不能把两类指标直接换算。

实验条件必须先讲清，否则数字无法比较。仿真用 22 个语音指向性图模拟人头发声，配 VCTK 语料的语音内容。房间尺寸在 3 到 12 米乘 3 到 12 米乘 2 到 6 米均匀采样，墙面吸收系数在 0.2 到 0.6，散射系数在 0.1 到 0.5，镜像法阶数限制为 20，平均混响时间约 0.85 秒。说话人和阵列位置在房间内均匀采样，高度固定 1.5 米，全 3 维仿真。阵列是半径 4.5 厘米的圆阵，6 个麦克风每 60 度均匀分布，贴近智能音箱类硬件。

每句最长截断到 3 秒。训练 40295 句，测试 3947 句，且 11 个说话人和 6 个指向性图只出现在测试，用于检验真泛化。

一个容易误解的点是角度定义。它不是房间坐标系下的绝对头朝向，而是相对于说话人到阵列连线的相对角。0 度大致对应正对着阵列，180 度对应背对，90 度对应侧向。这个相对定义决定了后文消声与混响误差分布的解释，也决定了个性化实验中房间与说话人因素的划分。

三段式管线如何从一句语音走到一个角度？

整个管线分 3 段。第一段是语音活动检测，用已有的语音活动检测模块去掉首尾非语音段，避免静音帧引入伪影。第二段是特征提取，对每个通道算短时傅里叶变换并取相位，再转成正弦和余弦堆叠。第 3 段是深度网络，从相位特征估计朝向。

沿一个样本走一遍更直观。一句 6 通道语音进入后，先被切掉前后静音，剩下有效语音。再对每通道做窗长 4 毫秒、步长 2 毫秒的汉宁窗短时傅里叶变换，频率维度取 128 点。每个时频点的相位在正负派处不连续，所以存它的正弦值和余弦值，6 通道就变成 12 通道，形状是 2C 乘 T 乘 F，其中 T 是帧数，F 是 128。幅度谱也被试过，但论文报告没有带来好处，因此最终只用相位。

网络先用 3 层 2 维卷积加池化压缩时间和频率，再把特征 reshape 成时间序列送入两层双向门控循环单元，再过两块多头自注意力加残差与层归一化，最后用自适应最大池化把变长序列压成 128 维向量，经全连接输出预测的余弦与正弦，再用反正切恢复角度。这个从变长相位到定长再到圆周向量的过程，就是后文逐组件展开的对象。

为什么用 4 毫秒窗的相位正弦余弦，而不是幅度或原始波形？

特征选择是本文的核心判断。短窗相位被选中有两个依据。一是文献指出相位感知模型在 2 到 4 毫秒帧长 regime 表现最好，本文取 4 毫秒窗、2 毫秒步长。二是相位直接携带通道间时延和反射干涉信息，而幅度更多受语音内容起伏主导。论文明确说幅度与相位一起试过，但没有发现好处，所以只保留相位。

具体操作是对每通道短时傅里叶变换结果只保留相位角，再对每个角度存正弦和余弦。这一步不是为了增加信息量，而是为了消除正负派跳变导致的不连续。如果直接回归角度或直接用原始相位角，0 度和 360 度交界以及派的跳变会让损失函数出现人为大跳变。正弦余弦把圆周映射到连续平面，网络输出两个实数即可连续表示任意朝向。

语音指向性 × 相位谱特征： 语音指向性指人嘴发声在不同方向上频谱着色和辐射强度不同，是朝向信息的物理来源；相位谱特征指多通道短时傅里叶变换相位的正弦余弦堆叠，是保留通道间相位差和反射结构的表示。二者搭配的理由是相位差同时编码直达声到达时延和镜像声源反射，卷积加时序模型可以直接从该表示学习旋转相关的结构，而不必先压缩成手工能量比。

教学上可以举一个不带数值的例子。同一句元音正对和侧对录音，幅度谱的包络差异可能被音素变化淹没，但 2 通道同一时频点的相位差会随到达时延系统性偏移，反射声的相位叠加也会变化。例子只用于理解分工，不代表论文给出过该数值的对比。

卷积加双向循环如何把变长相位压成时间证据？

网络前端是 3 层 2 维卷积，每层 64 个 3 乘 3 卷积核加线性整流激活，后面分别跟 5 乘 4、1 乘 4、1 乘 2 的最大池化。输入是 2C 乘 T 乘 128，池化同时压时间和频率，但保留通道和空间信息。reshape 后得到 T 除以 5 乘 256 的特征图，再送入循环部分。

循环部分是两层双向门控循环单元，每层隐单元 128，输出 T 除以 5 乘 128 的嵌入。双向意味着每一时刻同时看到过去和未来语音上下文，这对一句内静止朝向的估计是合理的，因为整句都可以为同一个角度提供证据。卷积负责局部去内容化，循环负责长时聚合。

卷积层 × 双向 GRU： 卷积层负责在时间频率通道维度上提取局部相位模式并通过池化降分辨率，保留空间信息；双向 GRU 负责在压缩后的时间序列上建模前后向语音上下文，把一整句的朝向证据累积起来。搭配原因是单帧相位受语音内容和噪声起伏影响大，先用卷积去内容化再用循环做时间聚合，才能从一句变长语音输出一个稳定朝向。

复现时要注意输入形状与下采样倍数。时间维被 5 倍下采样，频率维被 32 倍压缩，循环看到的是压缩后的帧序列。如果把窗长或步长改大，T 会变小，循环步数和注意力长度都会变，池化核可能需要重调。论文固定窗长 4 毫秒、步长 2 毫秒、频率 128，这个三元组是复现相位特征的第一检查点。

注意力、池化与正弦余弦输出如何解决变长与圆周问题？

循环输出之后是两块多头自注意力，每块 8 头、注意力维度 128，带残差连接和层归一化。自注意力的作用是在时间维上重加权，让朝向线索强的帧获得更大影响，抑制噪声或弱语音帧。之后用 1 维自适应最大池化把 T 除以 5 乘 128 压成 128 维定长向量，再经全连接和线性投影输出预测的余弦与正弦。

输出设计值得单独记住。网络不输出角度本身，而是输出长度不一定为 1 的 2 维向量，训练时用均方误差约束它接近真值角度的余弦正弦。推理时用反正切求角度再转成度数并对 360 取模。这样 0 度附近的预测不会因为数值跳变被重罚。

自注意力 × 自适应最大池化： 自注意力负责在 GRU 输出的每段时间嵌入之间计算依赖权重，突出朝向信息强的浊音或反射段；自适应最大池化负责把变长序列压缩成固定 128 维向量，取每个通道上的最大值以应对不同句长。搭配意义是注意力先重加权时间证据，池化再做变长到定长的归一化，使后续全连接层总能收到同一维度的 utterance 级表示。

正弦余弦表示 × 平均角度误差： 正弦余弦表示指网络不直接回归角度而是输出 cos 与 sin 两个值，是为避开 0 度与 360 度不连续的训练目标；平均角度误差指预测角与真值在圆周上的最小夹角再平均，是圆周距离的评价。搭配原因是训练用均方误差约束正弦余弦向量，评价再用反正切恢复角度并按圆周距离计分，训练目标连续而评价符合方位语义。

需要提醒的是论文没有报告注意力权重可视化，也没有消融单头与多头的差异。解读时只能说注意力用于时间依赖建模和证据加权，不能声称模型确实关注了某类音素或某段反射，这是未验证的推测。

仿真数据如何生成，模型如何优化与微调？

训练分 2 个阶段。先在大规模仿真数据上预训练，再在真实数据或目标说话人与房间数据上微调。仿真生成每次随机选一个语音指向性图、一个 0 到 360 度均匀采样的朝向角、一个随机房间配置和 VCTK 中的一句语音，用 Pyroomacoustics 镜像法合成多通道信号。这种生成把内容、指向性个体差异、房间混响和几何位置解耦随机化，目的是让模型学到与内容无关的朝向映射。

优化统一用均方误差损失和 Adam 优化器，初始学习率 4 乘 10 的负 4 次方并线性衰减。仿真上每个配置训练 200000 步，批量 16。真实数据实验把最后回归层换成八分类线性层，按原数据集的会话一切换会话二的协议微调与测试。个性化实验分别在固定房间、固定说话人、固定房间加说话人条件下用少量样本微调。

仿真预训练 × 真实数据微调： 仿真预训练指在用语音指向性图与房间脉冲响应合成的大规模数据上先训练相位特征提取与时序模型，解决相位输入维度高而真实标注少的问题；真实数据微调指在目标房间或说话人的少量真实录音上继续更新模型，弥合仿真与真实混响及指向性差异。组合意义是先学通用相位到朝向映射，再用少量匹配数据校准个体与环境偏差。

论文没有报告冻结哪些层、梯度是否截断、何时早停，也没有给出学习率衰减的终点和权重衰减。这些是复现缺项，只能按原文已给的损失、优化器、初始学习率、步数和批量先跑通，再自行补验证。不能从模型名字推定它一定冻结卷积或只调分类头。

基线、噪声与房间条件是否放在同一尺子上比较？

基线有 3 个可运行策略。第一个是 Soundr 的原始音频加卷积长短时记忆思路，为适配本文设置重实现其卷积编码器并接入同一仿真框架。第二个是基于耳间时间差与强度差、高低频分离和逆卷积特征的方法，复刻其特征提取再送入同一网络。第 3 个是方向性语音估计的物理启发特征，包括频谱平衡、波前清晰度、自相关与广义互相关特征，原数据集公开所以直接在其实录数据上比较。比较的公平性在于仿真基线共享同一声学条件和同一后端训练流程，实录比较遵循原协议的会话划分。

噪声与混响条件分四档。消声干净用于看无反射时的相位线索，混响干净用于看中等混响是否有帮助，中噪声是信噪比 10 到 20 分贝，高噪声是 0 到 10 分贝。噪声来自 WHAM 单通道环境噪声，通过相位随机化与混合生成满足各向同性扩散场相干的多通道版本。训练与测试都加噪，以检验现实声学环境下的鲁棒性。

评价分两套口径。仿真连续角用平均角度误差，实录八方向用分类准确率。仿真测试用未见说话人和未见指向性图，个性化测试进一步划分未见房间与未见说话人。硬件预算、推理延迟和参数量原文没有报告，这是部署评估的缺项，不能从误差下降推定延迟也下降。

不同混响与噪声下谁更稳，代价在哪里？

要回答的核心问题是相位特征是否在混响和噪声下同时保持优势，比较条件是同一仿真房间分布、同一阵列和同一平均角度误差，误差越小越好。下表把 4 个声学条件并排放出，方法列是实际可运行的 3 种输入表示。表前需要明确指标方向，否则容易把消声与混响的升降读反。

上表显示相位方法在 4 个条件下全面领先。在混响干净时相位误差 19.9 度，比原始音频的 44.8 度和手工时延强度特征的 52.7 度低约一半。在高噪声下相位仍保持 29.5 度，而两个基线分别恶化到 75.1 度和 82.8 度。值得注意的反例是消声条件，原始音频和相位都比混响干净更差，而时延强度特征在消声反而更好。这说明适度混响对相位和波形方法是帮助，对手工双耳线索是干扰。论文据此推测早期反射给相位带来了可利用的朝向结构，但这属于有限解释，还需要进一步实验验证。

方位分 bin 的结果进一步支持该解释。在消声下 0 度和 180 度误差最低，侧向正负 90 度误差明显升高，说明无反射时侧向相位存在模糊。在混响下误差随方位更均匀，侧向不再突出恶化。复述时不要把均匀理解为每句都好，它只是平均趋势，单句仍受内容和位置影响。

真实录音验证了什么，没有验证什么？

真实验证用的是已公开八方向数据集，协议是会话一训练测会话二以及反过来，输出层换成八分类。报告显示仿真预训练加微调达到 73.2% 准确率，高于原基线 65.4%，而不做预训练只有 62.6%。这支持了仿真到真实的迁移价值，也说明相位模型的数据需求确实大，小数据从零训练会欠拟合或过拟合。

没有验证的边界要明确说。实录只有 8 个离散方向，不是连续 0 到 360 度，因此不能把 73.2% 直接换算成角度误差。真实房间、阵列型号、说话人数量和噪声条件都比仿真窄，论文也没有报告跨设备、跨房间的零样本结果。个性化在实录上没有展开，仿真个性化的 150 句和 500 句结论不能默认搬到真实手机或音箱上。训练资源、推理帧率和延迟同样缺失，部署成本无法从现有证据判断。

房间、说话人各自带来多少增益，需要多少样本？

个性化实验要回答的是环境匹配和用户匹配哪个更重要，以及用多少样本能换来多少误差下降。评价仍是平均角度误差，越小越好，基线是未做个性化的混响干净模型。下表把误差、微调数据量和测试设置放在同一行，便于核对代价。表前先固定比较问题，表后解释收益与未胜出项。

表后解读要同时看到收益与代价。从 19.9 度到 11.3 度是个性化全部加上后的结果，其中仅房间只降到 17.6 度，仅说话人降到 14.2 度，说明用户个体差异的贡献大于环境差异，这与语音辐射图因人而异是一致的。代价是每个目标说话人要 150 句微调，每目标房间要 500 句，这在实际部署中是校准成本。未胜出项是房间自适应，它改善最小，不能指望只做房间校准就解决泛化。

实录八分类结果放在同一绑定证据中一并核对。方向性语音基线准确率 65.4%，本文只用真实数据训练得到 62.6%，仿真预训练加真实微调后达到 73.2%。这个对照说明大规模仿真预训练是必要条件，单靠小规模实录训练相位模型反而低于手工特征基线。复述时不要把 73.2% 说成相对提升，它是绝对准确率，与仿真平均角度误差也不是同一指标，不能相减。

方法的脆弱点与论文自己承认的局限是什么？

第一个局限是泛化仍不强。个性化能把误差从 19.9 度压到 11.3 度，反过来说明不做个性化时模型对新用户和新环境有明显落差。论文在讨论中明确说需要更多样更大的数据才能实现鲁棒泛化。这不是训练技巧能掩盖的，而是相位到朝向映射本身受个体辐射图和房间反射共同影响。

第二个局限是机理解释停留在假设。论文提出相位为源与阵列相对旋转提供可靠线索，包括镜像声源回波，类似结论在单通道说话人距离估计中也被观察到，但都写明需要进一步实验验证。不能把混响有帮助的平均趋势说成因果证明，也不能说模型确实利用了某阶反射。

第 3 个局限是任务假设窄。单说话人、一句一估计、头部静止、固定高度、已知是语音段，这些条件在多人重叠、头部转动、阵列移动时会失效。幅度无增益的结论也只在本文网络和数据下成立，换了特征归一化或更大噪声范围可能不同。引用这些边界不是挑错，而是给复现者划出先做什么验证。

要复现这篇工作，先固定哪些参数与检查点？

先固定特征三元组。汉宁窗窗长 4 毫秒、步长 2 毫秒、频率维度 128，相位取正弦余弦后按通道堆成 2C 乘 T 乘 128。只用相位，不加幅度。语音活动检测先去掉首尾静音，否则静音帧会污染相位统计。阵列按 6 元圆阵半径 4.5 厘米建模，高度 1.5 米，这些几何决定了通道间相位差的尺度，改了几何就要重训。

再固定数据划分。VCTK 中留 11 个说话人和 6 个指向性图只做测试，训练 40295 句、测试 3947 句，房间与位置按原文均匀采样，镜像法阶数 20。噪声用 WHAM 并按扩散场相干生成多通道，信噪比分 10 到 20 分贝和 0 到 10 分贝两档，训练测试都加。优化用均方误差加 Adam，初始学习率 4 乘 10 的负 4 次方线性衰减，批量 16，仿真跑 200000 步。实录复现要把回归头换成八分类头并严格按会话划分微调测试。

资源状态必须如实写。当前证据中没有发现来源绑定且完成超文本传输安全协议状态验证的资源，不得声称代码、模型或数据已公开。复现只能从论文文字和公开语料自行搭建，缺失的冻结层、早停和衰减终点需要自己补对照实验并记录。

何时值得尝试这种方法，还需补哪项验证？

当你只有一个紧凑阵列、不能加相机、用户和设备位置都不标定时，相位谱加卷积循环注意力是值得尝试的起点。它在混响和噪声下比原始波形和手工双耳特征更稳，且仿真可以大规模预训练，适合真实标注少的团队。预期是混响干净仿真约 20 度误差，目标用户加目标房间小量微调后可到 11 度量级，八方向实录经预训练微调后可超 70% 准确率，但这些数字绑定特定阵列、房间分布和协议，换条件要重测。

还需补的验证很具体。一是消声侧向模糊是否可通过显式建模直达声时延消除，二是早期反射的贡献能否用阶数受控的仿真做因果消融，三是跨设备与跨房间零样本误差，四是多人、头动和在线流式估计。先做前两项能决定这个方向是继续加数据还是改特征，后两项决定它能否走出单句单人假设。对初学者而言，能复述从相位堆叠到正弦余弦输出的整条链路，并能指出个性化代价和未验证假设，就已经抓住了本文的学习价值。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

另有 3 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eusipco-2026 论文汇总