📄 从声音判断房间是否有人:兼顾隐私的建筑音频占用感知

英文题目:From Sound to Occupancy: Privacy-Aware Audio Sensing for Buildings

评分:5.5/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.7/1.5

👥 作者与机构

  • Myeongwon Chae:School of Architecture;University of Illinois Urbana-Champaign
  • Seonghyuk Son:School of Architecture;University of Kentucky

📌 核心摘要

楼宇需按是否有人使用控制照明与通风,被动红外传感器在久坐不动时误报空置,声音能补充打字翻页咳嗽等线索,但麦克风会录下谈话内容。论文研究两段式传感,先由设备端编码器把64维对数梅尔能量减去同10秒块内每频带第10百分位数做背景归一化,再经卷积网络把每秒音频压成32维向量并发送,原始音频不出设备;再由服务端多层感知机输出16类声音概率并取13类人声的最大值作为人声得分,最后住宅侧用因果扩张卷积对包络统计量建模约11.4小时上下文并以层次对比损失预训练后做线性探针 occupancy 推断。在LibriSpeech未见说话人的语音重建攻击评测中,直接传送频谱的词语恢复率为94.3%,该每秒单向量设计至多恢复1.0%, intelligibility 指标STOI降至0.37至0.44,但40人闭集说话人仍可识别。在11段真实办公录音DCASE 2013上按秒检测人声的评测中,带背景归一化的编码器人声检出AUC为0.869,高于对数梅尔统计加归一化基线的0.760。在HPDmobile六户留一户评测中,预训练加线性探针平衡准确率为0.678,高于手工特征加逻辑回归基线的0.649,AUC为0.752对0.748,标注稀少时优势更大。结论适用范围限于合成训练加小规模办公测试与只提供包络的住宅数据,静默占用的直接验证与远场语音下的隐私仍未解决。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

建筑里为什么要用声音判断是否有人

这篇论文处理的是建筑控制里的占用感知,输入是房间里的麦克风录音,目标是输出房间是否有人,以便控制灯光和通风。必须保留的信息是在人不怎么动时仍能留下的存在证据,输出则要能驱动开关,而不是只报瞬时响动。

常见的被动红外传感器对移动敏感,当人久坐阅读、打字或思考时可能被判为空房。延长超时能减少误关灯,却会延迟人走后的关闭。声音提供了另一条线索,敲键盘、鼠标点击、咳嗽、椅子移动和翻页都发生在久坐工作中。难点在于麦克风也会录到谈话,直接传原始音频或高分辨率谱特征会泄露隐私,同时占用本身是有记忆的状态,安静几分钟不等于没人。

已有路线在相同任务上做到哪一步

在相近的输入和目标下,已有工作用高斯混合加隐马尔可夫或手工音频特征做商用和住宅占用检测,也有工作在扰动音频帧上数重叠说话人或在候诊室估计人群密度。另一条线研究音频表示的隐私,用掩蔽语音后仍能推断年龄性别,或在隐藏词内容后仍能识别说话人,说明只去掉词是不够的。

自监督表示方面,对比学习和 TS2Vec 的层次对比损失为时序预训练提供了工具。本文的不同在于评价方式:在同一表示上同时测量人声检测效果和攻击者能恢复的词与说话人信息,并且把短时检测与长时间占用记忆分开评估,而不是只报告一端的准确率。

论文把大问题拆成哪两个可测任务

论文把系统拆成两段。设备端编码器把每秒音频变成一个短向量,服务端时序模型读入向量流并跟踪占用状态。原始音频既不存储也不传输,攻击者拿到的是传输的表示,且已知编码器,最强设定下还有目标说话人的干净近讲标注语音。

由于没有公开的办公室音频加占用标签数据,两段只能分开用公开数据评估。办公室部分评估每秒是否含有人发出的声音,这是给时序模型累积的证据;住宅部分用 HPDmobile 的整屋占用标签评估长时间占用推断。安静秒在办公室标签里记为负,即使人可能在场,这一点决定了办公室数字不能直接理解为占用准确率。

人声检测 × 占用推断: 人声检测回答每一秒是否含有人发出的声音,是短时证据;占用推断回答人是否在场,即使当下安静也要靠记忆维持。前者为后者提供随时间累积的观测,后者靠长时间上下文把稀疏声音连成状态,两者分工不同不能互相替代。

两段式传感器的完整数据流

下面先沿一个样本走完全程。房间麦克风以 16 kHz 录音,设备把每秒音频先变成 64 频带对数梅尔能量,再做噪声基线归一化并送入卷积网络,输出每秒 32 个数。服务端先用两层感知机给出 16 类声音概率,取其中 13 类人声的最大值作为人声分数,再由因果时序模型结合长达约 11 小时的上下文输出占用状态用于灯光和通风控制。

这张总体框图正好对应上述主路径与攻击位置,适合先建立设备与服务端分工,再看隐私评估卡在哪一段,图中虚线与箭头含义需要对照正文理解。

看图路径: 1. 先沿麦克风到编码器再到服务端箭头看主数据流;2. 注意虚线框标出的攻击者只能拿到传输表示;3. 对比设备端与服务端各自承担的计算

原论文 Figure 1:Two-stage design. The device sends one embedding per second; the server detects sound classes and…

论文图 1。原论文 Figure 1::“Two-stage design. The device sends one embedding per second; the server detects sound classes and infers an occupancy state from hours of context.”。

图中左侧设备框内是麦克风、特征与编码器,中间每秒 32 个数是唯一上行数据,右侧服务端依次是声音类别与时序模型加占用输出,下方虚线框出的攻击者从传输表示出发尝试恢复词、说话人和性别。2 阶段在本研究中分别评估,时序模型在住宅实验里用的不是该编码器输出,而是包络统计,这是理解后续数字适用范围的关键。

设备端如何把一秒音频变成短向量

设备端输入是每秒 64×100 的对数梅尔块,窗长 25 ms、帧移 10 ms。噪声基线归一化在包含当前秒的 10 秒块内,按每频带取 1000 帧的 10% 分位数并相减,使特征描述偏离房间背景的部分。经过按频带批归一化后,4 组双 3×3 卷积加池化的网络把块映射为嵌入,输出在频率上平均、在时间上做均值和最大池化再投影,默认 32 维,参数量 0.59 M,每秒独立分类但特征依赖所在 10 秒块,因此按块输出最多延迟 10 秒。

\[\tilde{m}_{f,\tau}=m_{f,\tau}-Q_{0.1}\big(\{m_{f,\tau^{\prime}}:\tau^{\prime}\in\mathcal{W}\}\big).\]

服务端活动头的输入就是该嵌入,两层 128 隐单元感知机经层归一化输出 16 类概率,其中 13 类记为人声,3 类记为设备声。每秒的人声分数取人声类中的最大值,这个分数是办公室实验的排序依据,阈值 0.5 处的 F1 则还受校准影响。

\[s_{t}=\max_{c\in\mathcal{H}}p_{t,c}.\]

噪声基线归一化 × 卷积编码器: 噪声基线归一化先减去每个频带在 10 秒块内的低分位背景,使特征表示偏离背景的部分;卷积编码器再把归一化后的对数梅尔块映射为每秒一个短向量。前者处理房间和麦克风差异,后者学习区分人和设备声音,组合后跨房间更稳定。

服务端如何记住长达数小时的安静

时序模型是因果扩张卷积编码器,把截至当前时刻的输入序列映射为 64 维表示。线性投影到 64 通道后接 10 个残差块,每块两层核长 3、扩张率为 2 的幂的卷积并只向过去补零,感受野为 4093 步,在每步 10 秒时约 11.4 小时。住宅实验的输入是每 10 秒包络统计共 14 通道,因为该数据集不公开原始音频,这与部署时输入编码器嵌入的情况不同。

预测时在冻结表示加时刻正余弦特征上拟合类平衡逻辑回归,也报告微调和从零训练的对照。预训练用 TS2Vec 的层次对比损失,对随机重叠裁剪做时间戳掩码,时间损失对比同一序列内不同时刻,实例损失对比同批不同序列同一时刻,再沿时间逐层减半池化重复计算。

层次对比预训练 × 线性探针: 层次对比预训练在无标注传感器流上让重叠裁剪的同一时刻表示相近、不同时刻和不同序列远离,并逐层池化重复该约束;线性探针冻结时序编码器,只在表示加时刻特征上拟合逻辑回归。预训练负责学到长时间结构,探针用少量标签把结构映射到占用概率。

合成场景与对抗分支如何提供监督

编码器和活动头在图形处理器合成的 10 秒场景上训练。每场景从训练房间的一段空房录音出发,加入 0 到 4 个孤立声音和概率 0.4 的一段朗读语音,每个源各自卷积同一房间的不同脉冲响应再加随机增益,标签是每秒每类是否激活。训练用 6 个房间、每类前 15 个孤立声和 251 个说话人的语音,固定训练 3000 步、每步 48 场景,无验证集和早停。

主损失是 10 秒 16 类的二元交叉熵,编码器和活动头逐秒独立判断,不用跨秒上下文,上下文留给占用模型。

\[\mathcal{L}_{\mathrm{ev}}=-\frac{1}{16T}\sum_{t=1}^{T}\sum_{c=1}^{16}\Big[y_{t,c}\log p_{t,c}+(1-y_{t,c})\log(1-p_{t,c})\Big],\]

说话人对抗分支输入语音激活秒上嵌入的均值和逐元最大值,用两层 256 单元感知机预测 251 个训练说话人,无语音场景只贡献主损失。梯度反转层前向不变、反向乘以负权重,编码器在保持声音类别的同时去掉有助于对手的信息,对手则学习识别说话人,权重随训练进度增长,取 1 或 3。

\[\min_{\omega}\ \mathcal{L}_{\mathrm{adv}},\qquad\min_{\phi,\psi}\ \mathcal{L}_{\mathrm{ev}}-\lambda_{p}\,\mathcal{L}_{\mathrm{adv}}.\]

说话人对抗分支 × 梯度反转层: 说话人对抗分支用池化后的嵌入预测训练说话人,提供身份监督;梯度反转层让前向传播不变、反向传播把对抗梯度取反传给编码器。两者配合使编码器保留声音类别所需信息,同时去掉有助于识别说话人的信息。

数据划分、基线与指标如何保证可比

实验只用允许研究使用的公开录音。HPDmobile 是 6 个家庭共 152 个标注日,每 10 秒一个整屋占用标签,音频只发布经均值偏移、全波整流和 100 倍降采样的 80 Hz 包络;DCASE 2013 提供 320 个孤立声和 11 段真实办公室脚本录音共 1601 秒;DCASE 2016 提供 220 个孤立声和 54 段合成混合;LibriSpeech 提供训练 251 人与开发测试各 40 人的朗读语音;BUT ReverbDB 提供 9 个房间的空房噪声与脉冲响应。

下表先说明公开数据的分工,比较时任务与输入条件不同,不能把跨表数字直接排名,指标方向是 AUC 越高越好,F1 在阈值 0.5 处还依赖校准。

DatasetContent usedLabelsRole
HPDmobile [15]6 homes, 152 labelled days; 10-s clips of an 80 Hz rectified amplitude envelope from 3 to 5 hubs per homeHome occupied, every 10 sTemporal model
DCASE 2016 Task 2 [17]220 isolated office sounds (11 classes); 54 test mixtures of 120 sClass, onset, offsetEvent sources; test set
DCASE 2013 OL/OS [31]320 isolated office sounds (16 classes); 11 scripted recordings in real offices (1,601 s)Class, onset, offset (two annotators)Event sources; real test set

该表可见办公室部分用合成场景训练、在未见房间合成集、真实办公室和 DCASE 2016 混合上测试,人声占比约 40%;隐私攻击用编码器没听过的测试说话人;住宅部分留一户评估,在五户上训练并在第六户上测试。固定基线包括每秒对数梅尔均值方差、有无归一化以及 HPDmobile 风格包络,活动头结构与训练场景相同以保证公平。住宅手工基线还加入时刻与 1 到 120 分钟滑动均值,时序探针拟合在每分钟一步的标注上。

编码器在办公室人声检测上比固定特征好多少

办公室主结果按每秒人声分数排序,用 AUC 和阈值 0.5 的 F1 报告。学习到的编码器在 3 组测试上都超过固定表示,差距在真实办公室最大。噪声基线归一化给编码器带来提升并使固定阈值 F1 翻倍,作者解释为降低了对背景和麦克风差异的敏感。合成未见房间的三间 AUC 在 0.939 到 0.963 之间,房间差异大于较好配置之间的差异。

下表比较编码器与对数梅尔统计在相同活动头和相同场景下的检测效果,问题是学习表示是否跨房间更稳,公平条件是同训练同评分,指标方向 AUC 越高越好。

条件指标对数梅尔统计带归一化的编码器比较对象
真实办公室AUC0.760.87编码器对固定特征
真实办公室F10.250.50归一化前后

该表数字来自原文连续句的逐字引用,AUC 从 0.76 到 0.87 的差距经配对自助检验区间为 0.067 到 0.147,归一化带来约 0.035 提升且 F1 从 0.25 到 0.50。限制是真实集很小且与部分训练声音来自同一挑战,合成测试虽换房间和说话人但孤立声采集可能共享录音场次,办公室配置只训练 1 次,区间只覆盖测试录音差异。

攻击者能从传输表示中恢复什么

隐私攻击设定对攻击者有利:干净近讲语音、40 选 1 的已知候选集、每个候选都有标注语音可训练。帧级对数梅尔恢复 94.3% 的词、说话人识别 98.2%,是高信息参照。降到每秒一个向量后,词恢复最多 1.0%,短时客观可懂度降到 0.37 到 0.44,但每秒对数梅尔统计仍能识别 97.8% 的说话人,说明音色等稳定特征经受住 1 秒平均,而快速变化的词细节丢失。

下表比较同一攻击结构下不同传输内容的词与身份可恢复性,问题是降采样和任务训练各去掉多少信息,公平条件是同一未知说话人与同一攻击网络,识别率越低隐私越好。

条件指标每秒统计任务编码器降识别变体
40 选 1说话人识别率97.8%76.8%37.5% 到 55.3%

该表说明任务训练的编码器已把识别从 97.8% 降到 76.8%,加归一化到 68.6%,再加对抗到 60.3% 和 55.3%。词恢复在每秒表示下普遍至多 1%,对 94% 的帧级参照,说明解码器加识别器组合失效,但不代表所有攻击者都会失败,仍需按原文把传输数据视为可识别说话人。

重构转写攻击 × 说话人识别: 重构转写攻击先把每秒表示还原为语谱图再做语音识别,检验词内容是否泄露;说话人识别直接对表示序列分类,检验身份是否泄露。两者对象不同,前者依赖快速变化的语音细节,后者可利用整句稳定的音色和音高,因此词恢复很低时说话人仍可能被认出。

下一张响度曲线解释住宅占用为何稀疏,横轴是相对标签变化的小时,纵轴是包络分数,适合带着占用靠过渡事件携带、安静段需记忆的问题去看峰宽与基线,图中实线与虚线分别对应到达与离开。

看图路径: 1. 看时间零点到达与离开两条曲线的峰形差异;2. 注意安静时段响度回到基线说明事件稀疏;3. 理解为何需要跨越数小时的记忆

原论文 Figure 3:Loudness around changes of the occupancy label in HPDmobile: z-score of the per-minute maximum…

论文图 3。原论文 Figure 3::“Loudness around changes of the occupancy label in HPDmobile: z-score of the per-minute maximum envelope in 10-min bins, averaged over the six homes, from 3 h before to 3 h after…”。

图后可见到达与离开前后 10 分钟响度最高,峰值分数 0.63 到 1.01,其余时间回到低基线,直接用响度预测整屋占用的 AUC 在六户为 0.70、0.52、0.67、0.44、0.60 和 0.39,两户低于随机。这支持时序模型必须记住稀疏过渡,而不是平滑瞬时响度,也解释了为何需要数小时感受野。

住宅占用在标签稀少时谁更稳

住宅部分留一户平均,预训练探针与手工特征在全标签下 AUC 相近,探针平衡准确率略高;同一网络直接端到端训练泛化更差,提示在五户上过拟合。是否加入测试户无标注音频做传导预训练,差异在种子波动内。手工基线最长滑动均值只到 120 分钟,因此不能证明超过 2 小时的感受野是必需的,论文也未改变感受野做对照。

下表比较预训练探针与手工逻辑回归和梯度提升在相同留一户划分下的整屋占用效果,问题是无标注预训练是否在标签稀少时占优,指标方向 AUC 和平衡准确率越高越好。

条件指标手工基线预训练探针说明
全标签留一户AUC0.7480.752与手工特征持平
每户 1 天标签平衡准确率0.5650.616标签稀少时探针更好

该表全标签下探针 AUC 为 0.752,对手工基线的 0.748 和 0.743,平衡准确率探针略高;该优势在全标签时小,标签效率只跑了一个种子,且输入是包络统计而非部署时的编码器嵌入,两段尚未联调,因此只能说在该包络输入和该划分下预训练更省标签。

标签效率曲线横轴是每户保留 1、3、7 天或全部标签,纵轴是六户平均平衡准确率,适合比较预训练探针随标签减少的下降速度是否慢于手工特征和从零训练,图中 4 条线的起点与斜率差异是观察重点。

看图路径: 1. 横轴比较每户保留 1 天到全部标签的变化;2. 对比预训练探针与手工特征两条线的相对位置;3. 注意标签最少时哪条线下降更慢

原论文 Figure 4:Label efficiency on HPDmobile: balanced accuracy, averaged over the six held-out homes, when each…

论文图 4。原论文 Figure 4::“Label efficiency on HPDmobile: balanced accuracy, averaged over the six held-out homes, when each training home keeps the labels of 1, 3 or 7 random days or of all days…”。

图后解释可见每户 1 天标签时探针为 0.616,对手工基线的 0.565 和 0.590,从零训练仅 0.515;AUC 上探针在 1、3、7 天为 0.691、0.706 和 0.722,保持最好或并列。但该结果来自单个种子,且住宅输入与办公室编码器输出不同,推广到新建筑仍需重测。

降低说话人识别要付出什么代价

在保持检测的前提下,论文试了对抗训练、8 维嵌入和只发 16 类概率 3 种降识别手段。任务训练的编码器已把识别从 97.8% 降到 76.8%,加归一化到 68.6%,再加对抗到 60.3% 和 55.3%,性别分类从 75.3% 降到 60.1%。8 维无对抗为 46.6%,只发概率无对抗为 47.1%,只发概率加对抗为 37.5%,是保持检测的设置中最低,但服务端只见 16 类,加类需更新设备,灵活性下降。

这张权衡散点图横轴是说话人识别率,纵轴是真实办公室人声 AUC,适合 1 次看清检测与隐私的此消彼长,重点看左上是否有兼顾两者的标记,空心实心与形状差异对应不同归一化和维度设置。

看图路径: 1. 横轴看说话人识别率,纵轴看真实办公室检测效果;2. 区分空心与实心标记是否使用噪声基线归一化;3. 找到左上区域同时保持检测并降低识别的配置

原论文 Figure 2:Speaker identification accuracy among 40 speakers (Table 3) against the human-generated sound…

论文图 2。原论文 Figure 2::“Speaker identification accuracy among 40 speakers (Table 3) against the human-generated sound detection AUC on the real office recordings (Table 2), one marker per representation.”。

图后可见右下是对数梅尔统计高识别低检测,左上是概率输出和 8 维等低识别且检测多在 0.86 到 0.87,实心归一化标记整体更靠上。对抗在 32 维时 AUC 变化在区间噪声内但固定阈值 F1 下降,需按房间重校准阈值。虚线随机线为 2.5%,所有实用配置仍远在其右,这是论文强调尚未堵住的泄露。8 维加对抗降到 33.6% 却使检测掉 0.12 且性别分类升到 85.5%,说明压身份不一定压性别。

这些数字在什么边界外不再成立

办公室数字是声音事件检测而非占用,安静有人秒记为负,附录非语音评估也只是可听人声而非无声存在。训练场景合成、真实测试仅 11 段 1601 秒且与部分训练声同源,未与大模型音频标注器对比,每配置只训练 1 次。时序部分用住宅整屋标签和包络输入,标签对齐靠过渡峰判断而非时钟偏移,优势在全标签时小、少标签单种子下大,部署延迟功耗未测,编码器小只说明可部署的可能性。

隐私上训练对手是池化嵌入上的感知机,弱于评估用的双向门控循环攻击者,对抗可能低估可去除量;闭集识别不同于开集验证,准确率下降不一定迁移到匿名化文献的验证指标。校准上真实办公室固定阈值 F1 跨表示为 0.04 到 0.50,对抗越强 F1 越低而 AUC 可能不变,阈值必须按房间和模型重定,不能直接用 0.5 驱动控制。

复现第一步要准备什么

复现先按数据表找公开数据与许可,再跑作者仓库的数据准备、训练、攻击与自助分析脚本。仓库链接在论文中给出,第三方可达性检查显示当前可用,但这只证明链接可达,不证明长期维护或权重可下载,代码可用、权重可下载与系统可运行要分开验证。

先复现办公室合成流水线:空房背景加孤立声加语音、各自卷积同房间不同脉冲响应、事件背景比与信噪比按原文范围随机、标签按干源最大帧下 30 dB 规则生成;再在未见房间、真实办公室与 DCASE 2016 混合上用同一活动头评估。隐私部分用未见说话人训练重构解码器、40 分类与性别分类攻击者,注意 100 Hz 输入先降采样到 25 Hz、重构经 Griffin-Lim 60 次迭代再用 Whisper small.en 转写。住宅部分先按每中心六统计加跨中心最大均值、缺失标志共 14 通道并按户中位数四分位距标准化,再跑严格与传导两种预训练与留一户评估。

什么时候值得试,还缺哪项验证

当红外在久坐场景漏检、又不能传原始音频时,这套每秒短向量加长记忆的思路值得试:办公室人声检测在未见房间和真实录音上超过同条件固定特征,词恢复在测试攻击下很低,住宅在每户仅 1 天标签时预训练探针更稳。但试用前提是接受说话人仍可识别,且阈值按房间用无标签夜晚等空段重校准。

还缺的验证是带占用标签的办公室长时录音、两段联调、远场带噪语音下的攻击、开集验证、多房间多种子重复、感受野与平滑对照,以及目标设备的延迟功耗。常见误解是把 AUC 0.87 当成占用准确率、把词恢复低当成匿名、把单种子少标签优势当成稳定增益,原文证据只支持在所述输入、划分和攻击者下的相对判断,超出就要重测。

📎 论文与评分元数据

排名:前50% | 文档类型:应用研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-12 语音/音乐/音频论文速递