真人嘴与扬声器箱体辐射不同：用方向能量声学图做轻量多通道回放检测

英文题目：MULTI-CHANNEL REPLAY SPEECH DETECTION USING ACOUSTIC MAPS

会议身份：conference:eusipco:2026:conference-paper-id:0001212

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#波束成形 #CNN #麦克风阵列 #语音伪造检测

评分：5.6/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.7/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Neri, Michael：机构信息未能从会议 PDF 纯文本可靠映射
• Virtanen, Tuomas：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

重放攻击检测输入为多通道阵列录音，输出真人发声与扬声器重放的二分类判决，难点在于单通道谱线索易被伪造且混响与噪声干扰空间判断。先对多通道短时傅里叶变换谱在方位角与俯仰角离散网格上做延迟求和波束扫描，得到各方向的波束能量分布。再按频带划分与时间平均压缩为声学图张量，显式编码方向性能量与早期反射结构，该张量进入下一步分类器。轻量卷积神经网络在方位与俯仰维度提取局部方向模式，经下采样与多层感知机输出真伪二分类。与直接学习波束器或单通道倒谱特征相比，该方法将物理空间能量显式成图，使分类器聚焦人声与扬声器辐射体 directivity 差异，具有可解释性与参数效率优势。在ReMASC数据集D3阵列评测设置下，延迟求和声学图方法的等错误率为10.1±2.8%，高于MVDR波束成形的等错误率9.9±2.7%。该表示依赖固定频带与静态空间网格，在未见声学环境下性能明显退化，故适用边界受限于训练与测试环境接近的多通道场景。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，必须保留什么信息？

本文的输入是多通道麦克风录音，目标是判断一段语音是真人直接说话还是扬声器回放。应用背景是语音助手和说话人验证系统在实时控制家居设备和传递敏感信息时，必须在麦克风端挡住回放攻击。输出是二分类判决，真或回放，评价用等错误率，数值越低越好。

论文反复强调的物理动机是，真人发声来自复杂声道激励和人体辐射，扬声器发声来自电声换能器的频响、指向性和箱体辐射。二者在频谱内容之外的空间传播和与环境的交互方式也不同。因此作者要保留的信息不是单通道语谱纹理，而是声音在空间中如何产生和如何被阵列接收。

重放攻击 × 物理接入攻击： 重放攻击负责描述用扬声器把事先录制的话再播放出来以欺骗验证系统的具体动作，物理接入攻击负责界定在麦克风端实施欺骗的一类攻击范围，搭配理由是明确本文只研究麦克风层面的录音回放而不研究语音合成的内容伪造，组合意义是把防御位置固定在声场接收端从而引出多通道空间线索的必要性。

对刚入门的读者，关键是先分清两条路线。逻辑接入攻击研究语音合成和声音转换伪造的内容，物理接入攻击研究在麦克风前面动手脚。本文只做后者中的回放分支。单通道线索容易被模仿或被压缩掩盖，多通道空间线索不易伪造，这是全文选择多通道和声学图的出发点。

单通道与多通道重放检测各解决了什么？

单通道方面，论文回顾了基于公开单通道数据集的一系列工作，包括红点数据集和语音伪造竞赛相关年份的物理接入子集。在这些数据上，主流做法是手工单通道特征加简单分类器，例如恒 Q 倒谱系数加高斯混合模型，以及在波束形成之后提取 Teager 能量类倒谱特征。论文指出这类方法在测试声学条件变化时泛化能力弱，会退化到接近随机猜测。

多通道方面，论文指出进展受限于数据和专用模型。真实多通道重放数据集中，作者认定只有真实重放攻击麦克风阵列语音数据集同时提供多阵列、多回放设备和多环境录音。该数据集的基线包括恒 Q 倒谱系数加高斯混合模型，以及同时做可学习时域波束形成和重放分类的卷积循环网络。后续还有带自适应可学习波束形成器的方法，在该数据集上达到当时较好的性能。

本文与上述工作的对照关系是，输入同为多通道语音，目标同为真与回放二分类，运行阶段同为话语级判决。不同在于表示选择，本文不用可学习波束形成器加循环网络，而是用固定经典空间处理先算出可解释的方向能量图，再用轻量卷积网络分类。论文还提到近期有人提出声学仿真框架来补充合成数据以缓解真实数据稀缺，但本文实验仍用真实录音。

为什么真人与扬声器在阵列上看起来不一样？

从物理上看，真人不是理想点声源，头、躯干和声道辐射构成空间分布的声场。扬声器也不是理想点声源，它是有尺寸的物理物体，有自身指向性、振膜响应和箱体衍射。两者发出的声波经过直达路径和早期反射到达阵列时，在不同方向上的能量分布和随频率变化的指向性会留下差异。

举一个教学用的例子而非论文数据，当说话人转头或扬声器摆位不同时，阵列在某个方位角上收到的高频能量占比会变化。真人头部的遮挡效应和扬声器箱体的辐射模式变化规律并不相同。论文的假设是，只要把多通道信号按方向展开，就能把这种差异变成图像上可学习的结构。

这个假设的边界也要讲清。房间几何、混响、说话人与阵列距离、回放设备品质都会改变方向能量图。如果模型只记住某个房间的反射模式，换房间就会失效。因此后文的环境相关与环境无关划分，正是用来检验学到的是设备物理差异还是房间指纹。

一个样本如何走完输入到输出？

先取一个多通道音频段，记为有多个麦克风通道、每个通道有若干采样点的矩阵。第一步对每个通道做短时傅里叶变换，得到通道、频点、时间帧的 3 维复数谱。同时记录每个麦克风在空间中的 3 维坐标，构成阵列流形。

第二步定义离散空间网格。方位角集合取 91 个点，均匀覆盖负 90 度到正 90 度，俯仰角集合取 41 个点，同样覆盖负 90 度到正 90 度。对网格上每个方位俯仰组合，计算单位方向向量，再按平面波假设计算导向向量，其中声速取 343 米每秒。

第三步对每个频点和时间帧，用导向向量对多通道谱做加权求和并取功率，得到随频率、时间、方位、俯仰变化的窄带伪功率响应。然后在时间上平均，并把频点按低频、中频、高频和超高频 4 个频带分组平均，得到频带数乘方位数乘俯仰数的 3 维声学图张量。第四步把该张量送入轻量卷积网络，输出真与回放两类的概率。

图 1 在原文中展示了用延迟求和波束形成器在同一室内环境和位置下真样本和回放样本的声学图。按图注交代，顶行是真样本，底行是回放样本，列是 4 个频带，颜色表示归一化声强。由于本次没有收到该图像素，此处只能依据图注和正文归因引用，不能描述具体的坐标颜色或峰形细节。

声学图是怎样算出来的？

声学图计算的核心是经典波束形成。论文正文以延迟求和为例讲解，但明确说明该表示不限于某一种空间处理，后续还评估了最小方差无失真响应波束形成和带相位变换的转向响应功率两种做法。

具体操作是，对网格点对应的方向，先算单位方向向量，再算导向向量。导向向量编码了该方向平面波到达各麦克风的相位差。然后用导向向量的共轭转置对多通道频域向量做内积并取模平方，得到该方向、该频点、该时刻的能量。直观理解是，当扫描方向对准真实声源方向时各通道相干叠加，能量高，偏离时能量低。

声学图 × 波束形成： 波束形成负责把多通道频域信号按不同来波方向加权求和得到方向能量，声学图负责把这些能量按方位角、俯仰角和频带组织成 3 维张量，搭配理由是波束形成提供可解释的空间采样机制而声学图提供可供卷积学习的紧凑表示，组合后新增作用是把真人声道辐射与扬声器辐射的空间分布差异显式编码下来。

得到窄带时间方向谱之后，论文做两步压缩。一是在时间维平均，去除短时抖动，保留话语级的方向模式。二是把频点划分成不交叠的频带集合，在每个频带内平均。这样既降低维度，也让不同频段的指向性差异分别保留，因为扬声器与真人在低频和高频的辐射差异规律不同。最终表示方位 91，俯仰 41，论文称其能包含阵列流形结构、直达路径线索和早期反射。

需要提醒的是，时间平均会丢掉语音的时变细节，固定频带划分也不能自适应不同设备的分界。因此该表示更适合捕捉稳态的空间辐射模式，而不适合捕捉细粒度的语音内容变化，这是后文在小阵列和未见环境上性能受限的原因之一。

轻量卷积网络如何读声学图？

网络输入是频带、方位、俯仰 3 维声学图。主体是重复 3 次的卷积块，每块由在方位和俯仰维度上操作的深度可分离 2 维卷积、批归一化、指数线性单元激活和 2 乘 2 池化组成。3 次的通道数递增、卷积核减小，论文描述为逐级扩大通道并缩小核以分层提取局部方向模式，同时控制模型容量。

三块之后再做 1 次输入输出均为 32 通道、核为 3 的深度可分离卷积加批归一化和激活，但不再池化。论文解释早期空间下采样能降低中间表示分辨率，减少对噪声和细粒度变化的敏感性，有助于泛化。之后特征被投影到 2 通道并展平，再经过浅层多层感知机分类头。分类头涉及 110 个神经元和 32 个隐单元的描述，经批归一化和激活后由线性层映射到 2 维输出，对应真与回放。

深度可分离卷积 × 声学场景分析： 深度可分离卷积负责先对每个通道做空间滤波再做通道混合以大幅减少参数，声学场景分析要求模型从方向能量模式中判别声源物理属性，搭配原因是数据有限且希望模型轻量可实时运行，组合意义是用约 6k 参数实现对声学图局部方向模式的分层提取而不使用深层注意力结构。

整个网络约 6000 个可训练参数，远小于对比的多通道自适应方法和卷积循环基线。训练用带 softmax 的交叉熵损失，并用混合增强，混合系数为 0.05。论文没有报告优化器类型、学习率、训练轮数和早停规则，这些是复现时需要补齐的缺项，不能从模型名称推定。对初学者可以这样记忆，该网络不是在听语音内容，而是在看方向能量图像的斑块形状。

训练时更新什么，不更新什么？

本研究是有训练阶段的，训练对象是上述轻量卷积网络，监督来源是每个话语的真与回放标签，损失是分类交叉熵。声学图本身的波束形成部分是固定的经典信号处理，不参与梯度更新。也就是说，空间投影矩阵由阵列几何和网格方向预先决定，梯度只在卷积网络内部流动，不回传去调整导向向量或频带划分。

论文明确报告的训练细节只有损失形式和混合增强系数。未报告优化器、批量大小、学习率调度、验证集划分、随机种子管理和每个阵列模型的独立训练轮数。已知的是为每个麦克风阵列单独训练一个模型，共 4 个阵列，并且每个配置独立运行 5 次以计算 95% 均值置信区间。

混合增强在这里的作用是对声学图样本做凸组合，同时对标签做凸组合，以约束小模型的过拟合。论文没有给出去掉该增强后的对照，因此不能断言它带来多少增益，只能说它是原文训练流程的一部分。复现时应先按原文固定声学图计算，再只调分类器，并记录 5 次运行的均值和区间，否则单次结果的波动会掩盖真实差异。

数据、划分、指标和运行条件是什么？

数据集选用真实重放攻击麦克风阵列语音数据集，理由是它是唯一公开提供同步多通道真与回放录音的数据集，覆盖不同麦克风数、阵列几何、回放设备和声学环境。4 个阵列记为 D1 到 D4，分别配 2、4、6、7 个全向麦克风。D1 和 D2 是线阵，D3 和 D4 是六边形排布，D4 还多一个中心麦克风。总量包括 9240 条真语音和 45472 条回放语音。

采样方面，D1、D2、D3 采样率 44.1 千赫，D4 为 16 千赫。位深除 D3 用 32 位外其余 16 位。说话人 55 名，覆盖不同性别和音色。环境包括室外、两个室内和行驶车辆，共 4 种。真语音用两个伪造麦克风采集，再经 4 个不同品质回放设备重放，以模拟真实攻击。

划分沿用数据集作者提供的训练测试切分，每个阵列单独训练和测试。主结果是环境相关条件，即训练和测试都包含 4 个环境。另有环境无关条件，即每次留出一个环境只做测试，用其余 3 个环境训练。论文指出室内环境 B 缺少 D1 的真语音，原因是采集时硬件故障，这是解读该环境数字时必须记住的不平衡条件。指标用等错误率，误接受率等于误拒绝率时的错误率，越低越好。论文对自家方法报告 5 次运行的均值加减 95% 置信区间，对部分引用基线直接引用原文献数值。

多阵列主结果支持什么，不支持什么？

要回答的核心问题是，在相同数据集切分和相同等错误率指标下，固定声学图加小网络能否在不同阵列上给出有竞争力的结果。公平条件是每个阵列独立建模，指标方向都是越低越好，对比对象包括单通道网络、多通道网络以及自适应可学习波束形成器系列。关键控制变量是阵列通道数与几何，成本列给出参数量以判断轻量收益。

上表用原文连续句中的数字整理，置信区间保留 1 位小数写法，最后一列同时给出可运行对照的数值与模型复杂度背景。表后需要强调的是，本方法没有在所有阵列上一致胜出。在 D1 上本方法差于单通道和多通道基线，在 D2 上介于两者之间，在 D4 上与多通道网络基本持平，只有在 D3 六麦六边形阵列上明显更好，从 16.5 降到 10.1 左右。

环境相关 × 环境无关： 环境相关指训练和测试覆盖相同的 4 个声学环境，分工是检验匹配条件下的判别能力，环境无关指留出一个环境只做测试，分工是检验对未见房间混响和几何的泛化，搭配原因是空间特征对房间敏感，组合意义是同时给出上限性能和退化幅度以界定声学图的适用边界。

论文自己的解释是麦克风越多、空间采样越密，方向能量线索越可靠，小阵列空间分辨率不足会限制声学图的效果。从模型复杂度看，本方法约 6k 参数，远小于约 300k 的自适应方法和约 1M 的卷积循环基线，因此论文主张的是性能与计算代价的折中，而非全面最优。未胜出的 D1 例子必须点名，21.6 高于多个基线，说明固定网格表示在两麦线阵上信息量不够。

换波束形成器会改变结论吗？

第二个要回答的问题是，声学图是否必须用某种特定的空间处理。比较的公平条件是同一声学图网格和同一分类器，只更换生成能量图的方法，包括延迟求和、最小方差无失真响应和带相位变换的转向响应功率。指标仍是等错误率，越低越好，控制变量是阵列类型，解释列留给后文机制分析。

上表前四行直接来自原文波束形成器对照，数字与置信区间保留原文写法。表后解释是，波束形成器的影响与设备相关。延迟求和在所有阵列上稳定，尤其在麦克风少的 D1 上明显优于另两种。最小方差无失真响应在 D3 和 D4 上有时略好，但在短语音或噪声下对空间协方差估计误差更敏感。相位变换转向响应总体更高，论文推测与其对混响和噪声敏感、导致空间能量模式不可靠有关。

这些结果支持一个判断，论文报告为直接观察，而非因果证明。更先进的空间处理在多通道阵列上有益，但简单固定波束在该任务上仍是有效基线。复现时不应只在最好阵列上比较波束形成器，而应在 D1 到 D4 上分别报告，否则会掩盖小阵列上自适应方法失效的风险。

哪些对照说明表示的贡献与脆弱性？

论文没有做去掉某一频带或某一网格维度的标准消融，但用两组对照承担了类似职责。一组是波束形成器对照，另一组是环境留 1 对照，二者共同回答表示的贡献来自哪里、脆弱在哪里。

延迟求和 × 最小方差无失真响应： 延迟求和只按几何时延对齐各通道再相加，分工是稳健但分辨力有限，最小方差无失真响应还要用空间协方差抑制干扰方向，分工是分辨力更高但依赖协方差估计，搭配比较的理由是检验声学图是否必须依赖自适应空间处理，组合意义是说明简单固定波束在该任务上仍是有效基线。

从贡献看，即使是最简单的延迟求和，只要阵列有足够通道，声学图就能在 D3 上达到约 10% 等错误率，说明方向能量本身确有判别力。从脆弱性看，同一表示在 D1 两麦条件下退到 21% 以上，在未见环境下退到 30% 到 40% 以上，说明表示对空间分辨率和房间指纹敏感。论文还指出固定频带和静态空间处理是限制因素，未来应学习与频率相关的自适应空间表示。

另一组特有细节是按环境的细分对照。在环境相关条件下，声学图在环境 C 约 11.9% 相对较好，在环境 D 约 21.7% 较差。在环境无关条件下，留出车辆环境做测试时退化最严重之一。这与车辆噪声和混响结构不同有关，但原文没有分解噪声与混响各自的贡献，因此只能说支持环境敏感，不能归因到单一因素。复现时应保留按环境分解的报告，而不只报告平均值，否则会掩盖最差环境的部署风险。

当前结论的边界在哪里？

首先是阵列边界。结果明确显示麦克风数和几何决定声学图质量，六麦六边形最好，两麦线阵最差。把在 D3 上验证的结论直接推广到任意阵列是不成立的，换阵列需要重训并重估网格分辨率是否足够。

其次是环境边界。环境无关实验显示所有方法都退化，声学图退化幅度大，说明当前固定表示记住了部分房间特性。论文没有测试跨数据集、跨阵列失配和跨回放设备的系统对照，因此不能声称跨设备或跨场地通用。

第三是证据边界。论文未报告优化器、学习率、批量和训练轮数，未测量推理延迟和内存占用，未分解误接受与误拒绝，也未做统计显著性检验之外的误差分析。约 6k 参数只能说明模型小，不能等同于实时满足，因为声学图计算本身的波束形成开销未单独计时。缺失这些不是技术错误，但在部署前必须补测。

最后是表示边界。时间平均丢掉时变信息，固定频带不能自适应不同扬声器的分频特性，静态波束不能抑制未见干扰。论文结论也承认这一点，并把可学习的频带选择作为未来工作。

要复现这篇论文先做什么？

第一步复现数据条件。获取真实重放攻击麦克风阵列语音数据集，按作者提供的切分划分训练测试，为 D1 到 D4 分别准备实验。注意采样率差异，D4 为 16 千赫，其余 44.1 千赫，短时傅里叶变换的窗长和跳长要按采样率折算，不能直接共用同一频点数。还要记录环境 B 缺少 D1 真语音这一不平衡，避免把该环境的异常当成模型问题。

第二步复现声学图。实现多通道短时傅里叶变换，读入阵列几何，生成 91 乘 41 的方向网格，按声速 343 米每秒计算导向向量，用延迟求和计算窄带功率，再做时间平均和四频带平均。建议先可视化同一位置真与回放的方向能量差异，确认流程无误后再训练。最小方差无失真响应和相位变换转向响应作为第二步的扩展对照，需要单独估计空间协方差或相位加权，不能与延迟求和混用同一代码路径。

第三步复现分类器。按 3 次深度可分离卷积加池化、1 次无池化卷积、投影展平加浅层多层感知机的结构搭建，参数量对到约 6k。用交叉熵加混合增强训练，每个阵列独立训练 5 次并报告均值和 95% 置信区间。缺失的优化器和学习率需要自己网格搜索并如实记录，不能当成原文默认值。

关于可用性，本次收到的证据中资源状态为无绑定来源，不得声称代码、模型或数据已公开。应以论文正文和数据集官方渠道为准，区分代码开源、权重下载和系统可运行三件事。

何时值得尝试声学图，还需补哪项验证？

当你有多通道阵列且通道数不少于 4 到 6 个、阵列几何已知、部署环境相对固定时，声学图值得尝试。它的价值在于把物理可解释的方向能量作为先验，省掉大模型去从波形中重学空间结构，适合数据有限和算力受限的场景。D3 上的结果支持这一点，用很小的网络就达到有竞争力的等错误率。

当你只有两麦线阵或需要在未见房间、车辆和室外之间直接迁移时，不建议单独依赖当前固定声学图。此时应先补两项验证，一是跨环境留一测试并按环境分解报告，二是阵列失配测试，例如用一个阵列训练、另一个阵列测试，观察方向网格是否还对齐。

为同时给出匹配上限与未见代价，下表综合原文环境对照与模型复杂度讨论，数字为代表区间而非单点均值，最后一列给出适用判断而非重复数值。比较的公平条件是同一数据集切分与同一等错误率方向，越低越好。

上表综合原文环境对照与模型复杂度讨论，区间写法保留原文精度与置信区间形式。表后总结是，声学图的主要收益是紧凑可解释，代价是对小阵列和未见环境敏感。进一步研究应放在可学习的频带划分和自适应空间处理上，而不是记住房间反射。同时要补上声学图计算耗时、端到端延迟和误接受误拒绝分解，否则无法回答实时语音助手最关心的误放行代价。重提结果时必须同时给出未胜出的 D1 和未见环境的退化，否则会夸大该表示的通用性。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

区域 4 · 查看论文原页

区域 5 · 查看论文原页

区域 6 · 查看论文原页

另有 8 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eusipco-2026 论文汇总