复杂声场景下环境声音的两阶段分层识别：轻量时频自适应网络

📄 复杂声场景下环境声音的两阶段分层识别：轻量时频自适应网络

英文题目：A Hierarchical Method for Environmental Sounds Recognition in Complex Acoustic Scenes

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Zhouwen Li：机构信息未能从 arXiv PDF 文本可靠映射
• Haijun Lin：机构信息未能从 arXiv PDF 文本可靠映射
• Bowen Lv：机构信息未能从 arXiv PDF 文本可靠映射
• Yupeng Chen：机构信息未能从 arXiv PDF 文本可靠映射

📌 核心摘要

城市环境声需在重叠与背景噪声下判断声源类型，输入为不同长度录音，输出为粗类别与细类别标签，难点是时间与频率轴物理含义不同且细类样本不均衡。论文先把录音重采样并提取滤波器组特征，再拼出静态特征加时间差分和频率差分的三通道时频表示送入网络。频率-时间自适应网络用两条并行非对称卷积分别沿频率和时间建模，再经1x1卷积融合与自适应融合注意力做通道重标定，随后经残差与池化输出类别分数。两级层次分类先判粗类别，再把样本送入对应粗类别下的专用子分类器做类内细分类，推理时只调用第一级加一个第二级模型。在自建集25类细分类评测中，与直接判25类的单级模型相比，两级方法整体准确率从71.32%提高到81.49%，宏平均F1分数从68.51%提高到79.58%。在自建集5粗类评测中，与3x3卷积基线相比，FTANet整体准确率从93.00%提高到95.45%，参数量仅0.2004M。该结论适用于自建集划分与UrbanSound8K十折评测，在天津实地多源共存且高度不均衡的788个有效样本条件下完整层次模型整体加权准确率为87.18%，而两级串行使推理时间从单级模型的0.2170 s增加到1.2390 s。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

城市噪声监测为什么只测声压级不够

这篇论文面对的输入是城市里用麦克风连续采集到的环境声音，目标是判断声音来自哪种声源。传统监测主要记录声压级这类强度指标，能说明吵不吵，但说不清是施工爆破、车辆引擎、广播、风机还是鸟叫。城市声音在时间、空间和频率上经常重叠，又是非平稳的，还受背景噪声影响，所以只靠强度无法做声源分析、定向治理或生态评估。

论文要做的输出是类别标签，而且是两层标签。粗粒度层有 5 类：工业噪声、施工噪声、交通噪声、社会生活噪声和自然声；细粒度层共 25 类，例如加工噪声、鼓风机噪声、虫鸣、蛙叫、蝉鸣、雨、雷、风、鸟叫、谈话、广播、放大的音乐、材料搬运机械、爆破、车辆制动、引擎、喇叭、火车、飞机等。研究生初读时要先建立这个层次关系：5 个大类互斥且合起来覆盖 25 个小类，后面的 2 阶段方法完全依赖这层划分。

已有路线卡在哪里

环境声音分类中常见做法是把音频转成语谱图，再用 2 维卷积网络直接分所有细类。论文指出语谱图的横轴和纵轴含义不同：时间轴描述声能量随时间的演变，频率轴描述能量在不同频带的分布。如果都用方形卷积核同等对待，容易引入冗余，也难以分别建模脉冲式爆破那种短时能量突变和风机、引擎那种长时间低频宽带稳态。

另一条困难是多类结构本身。类别一多，声学相似和小样本类别的混淆就加重。单阶段分类器要一次区分 25 类，决策空间大，不平衡数据下小类很容易被淹没。论文提到已有分层分类的尝试，但把轻量时频建模和分层多类识别结合起来、并在城市监测中验证的工作还不够，这就是本文的切入点。

论文要解决的两个具体问题

第一个问题是时频特征建模。如何用很少的参数，分别抓住时间动态和频带分布，又不让两路信息简单堆叠后产生冗余。论文为此设计了轻量主干网络 FTANet，即频率时间自适应网络，核心是前端的时频卷积模块和后面的自适应融合注意力。

第二个问题是多类混淆。如何在数据不平衡、25 类直接区分困难时，把一次 25 选 1 拆成先 5 选 1、再在类内少数几类中选择。论文为此构造了 2 阶段分层结构，第 1 阶段判粗类别，第二阶段只调用对应大类的子分类器。这样每把分类器面对的类别数变少，跨大类干扰被隔离。理解全文时要记住分工：FTANet 负责把声音变成好分的特征，分层负责把难的全局决策变小。

一个样本走完全流程是什么样子

拿一段原始录音为例。先统一成单声道、重采样到 16000 Hz，再按 25 毫秒窗长、80 个 Mel 滤波器提 Fbank 特征，得到频率×时间的 2 维表示。接着用自适应帧移保证不同时长录音输出相同的帧数 T，再把静态 Fbank、沿时间的 1 阶差分、沿频率的 1 阶差分堆成 3 通道张量，作为 FTANet 的标准输入。

这个 3 通道特征进入 FTANet 主干，经过 3 个阶段的时频卷积、注意力、残差和池化，变成共享声学表示。第 1 阶段分类器先给出 5 个大类的分数，经 Softmax 选出概率最大的大类。推理时只把原始 3 通道特征再送给这一个大类对应的第二阶段子分类器，在该大类包含的小类里选概率最大的细类作为最终结果。训练时第 1 阶段粗分类器和 5 个第二阶段子分类器是分开独立训练的，各自只看自己需要的数据。

时间与频率为什么要分两路卷积

论文用 6 个代表性声音说明两轴差异：鸟叫和蛙叫在时频谱上呈现横向窄带谐波线、谱质心随时间高频跳变；车辆引擎和鼓风机则长期集中在低频、呈现宽带稳态；爆破在短时能量曲线上是局部脉冲峰，鼓风机则是平稳包络。这意味着时间维要刻画事件如何发生，频率维要刻画能量落在哪些频带。

时频卷积模块 FTConv 因此设两条并行非对称 1 维卷积：频率分支用 3×1 核沿频率方向扫，时间分支用 1×3 核沿时间方向扫，各自输出后拼接，再经 1×1 卷积做跨通道线性交互、批归一化和 SiLU 激活，映射到统一特征空间。两路分别提取、再在统一空间融合，是为了既保留方向特性，又给后续筛选提供可比的尺度。

时间分支 × 频率分支： 时间分支用 1×3 卷积沿时间轴捕捉能量起伏和事件演变，频率分支用 3×1 卷积沿频率轴捕捉频带能量分布，二者并行是为了尊重语谱图两轴物理含义不同，拼接后再融合，形成同时保留动态与谱结构的联合表示。

融合后为什么还要按通道加权

两路拼接并经 1×1 卷积后，时间与频率信息已经初步混合，但不同通道对区分当前声音类别的贡献不同。如果对所有通道同等对待，冗余响应会保留下来。自适应融合注意力 AFA 的作用就是按输入样本动态决定每个通道该放大还是压低。

具体过程是先对融合特征在频率和时间 2 维做全局平均池化，把每个通道的 2 维响应压缩成一个标量，得到包含全局信息的通道向量。再经两层全连接构成瓶颈结构：先降维、SiLU 激活、再升回原通道数，最后用 Sigmoid 把权重约束在 0 到 1 之间。把权重乘回原融合特征，就得到重标定后的特征：判别力强的通道被增强，冗余通道被抑制。消融显示只加 1×1 融合而不加注意力时准确率反而从 93.59% 降到 92.94%，而两者一起用时达到 95.45%，说明混合之后必须有按样本的筛选。

1×1 融合 × 自适应融合注意力： 1×1 融合先对时间与频率两路特征做跨通道线性交互和尺度对齐，自适应融合注意力再按输入样本给每个通道学 0 到 1 的权重做加权，搭配的意义是先混合再筛选，得到更具判别力的联合时频表示。

三阶段建模与两阶段路由如何分工

重标定后的特征进入残差加池化结构。残差模块用两个 3×3 卷积学增量表示，再与输入恒等相加，保留已筛选的信息并帮助深层优化；随后 2×2 最大池化在频率和时间 2 维降采样，保留局部响应的同时让后续卷积覆盖更大的有效时频范围。3 个阶段重复同样的 FTConv、注意力、残差、池化模式，但通道和分辨率不同：第 1 阶段两路各 16 通道拼成 32 通道，第二阶段各 32 通道拼成 64 通道，第 3 阶段保持 64 通道以避免宽度继续增加带来的参数开销。最后经全局平均池化压成向量、Dropout 概率 0.5 正则、再经全连接映射到当前任务的类别分数。

在进入残差之前，FTConv 与自适应融合注意力已经完成前后分工。输入是自适应分帧后提取的 3 通道时频表示，分别装着静态 Fbank 特征、时间方向 1 阶差分和频率方向 1 阶差分。FTConv 用两条并行的非对称 1 维卷积分开处理时间动态和频带能量分布，再经 1×1 卷积做跨通道线性交互和尺度对齐。自适应融合注意力先把每个通道在频率和时间 2 维做全局平均池化，聚成反映全局响应的通道描述，再经降维与还原的两层全连接学通道间的非线性依赖，用 Sigmoid 生成权重回乘到融合特征上，压住冗余通道，突出当前声音类别下判别力强的通道。

分层路由不改变 FTANet 内部结构，只是组织多个独立 FTANet。第 1 阶段输出 5 维分数并经 Softmax 选最大者，索引决定调用 5 个第二阶段子分类器中的哪一个。每个子分类器只用属于自己大类的数据训练，标签空间就是该大类的细类子集，各子集互斥且合起来覆盖全部 25 个细类。推理时只运行第 1 阶段加一个被选中的第二阶段，而不是 5 个全跑，这控制了计算量，也把细分类限制在类内小空间。

粗粒度分类 × 细粒度类内识别： 粗粒度分类先在 5 个大类之间做决策并决定路由，细粒度类内识别只在被选中的大类包含的少数子类之间判别，组合后每把分类器的决策空间变小，减少了跨大类声学相似带来的干扰。

输入怎样统一尺寸以及模型怎样训练

不同设备录音时长和采样率不同，论文先统一到单声道 16000 Hz，非 16 kHz 的用 Torchaudio 的 sinc 插值加抗混叠滤波重采样。Fbank 用 80 个 Mel 滤波器，窗长 25 毫秒对应每帧 400 个采样点。Fbank 相比倒谱系数保留了频带间局部相关，更适合后续卷积。

为统一时间维，帧移按目标帧数 T 和固定窗长自适应决定，保证不同长度信号得到相同 T。静态 Fbank 记为 S，时间 1 阶差分是相邻帧相减，频率 1 阶差分是相邻频带相减，三者堆成 3×M×T 张量。自建集共 9029 个样本，每个细类按 6 比 2 比 2 随机划分训练、验证和测试。所有模型用 Adam 优化，初始学习率 5×10 的负 4 次方，权重衰减 1×10 的负 4 次方，批量 32，每个模型训练 15 轮，在单张 RTX 4090 上用 PyTorch 完成。

静态 Fbank × 时间一阶差分： 静态 Fbank 保留各频带的能量本身，时间一阶差分记录相邻帧能量变化，频率一阶差分记录相邻频带能量变化，三通道堆叠后网络同时看到稳态分布和动态变化，更利于区分爆破脉冲与风机稳态等声音。

数据、划分与指标如何定义

自建集的粗类参照噪声污染防治法中的噪声源划分再加自然声，共 5 粗类 25 细类，分布不平衡：常见环境声样本多，偶发或易被背景淹没的声音样本少。公开集用 UrbanSound8K 并遵循其 10 折划分验证泛化。天津外场数据来自汉沽教育中心近 5 个月采集，随机选 1000 条，剔除 212 条不可判的无效录音后剩 788 条有效样本。外场录音可能同时含多个声源，只要预测命中任一真值标签就算对；类别高度不平衡时用加权平均准确率和加权平均 F1，按各有效类样本占比加权。

指标方向都是越高越好。准确率是判对样本占总数比例，精确率、召回率和 F1 按每类真阳性、假阳性、假阴性计算，宏平均 F1 是各类 F1 的平均。理解结论时要注意分母：自建粗分类看总体和宏平均，UrbanSound8K 看 10 折平均，外场看加权平均，三者聚合对象不同，不能直接比大小。

总体准确率 × 宏平均 F1： 总体准确率是全部测试样本中判对的比例，反映整体水平但易被大类主导，宏平均 F1 是先算每类 F1 再平均，给予小类同等权重，二者搭配才能同时看到整体效果和不平衡数据下的小类表现。

自建集上轻量与准确是否兼得

在自建集 5 粗类任务上比较的问题是：在相同数据和粗粒度指标下，FTANet 能否以更小的参数和计算量达到接近最强模型的效果。指标越高越好，参数量和 FLOPs 越低越好。

上表说明 FTANet 排第二，仅次于基于 Transformer 的 AST，但参数和计算量小两个数量级。论文还报告相对 3×3 卷积基线从 93.00% 提升到 95.45%，相对 VGG16 和 ESResNet 分别提升 4.69 和 2.11 个百分点，同时参数更少；相对 SSRP-CNN 准确率高 0.75% 且参数少约 48.60%，但 SSRP-CNN 的 FLOPs 更低；ESC-NAS 参数最少但准确率只有 88.53%。因此结论是有条件的：在卷积模型范围内兼顾性能与轻量成立，若只看绝对准确率，AST 仍更高，代价是资源受限场景难以部署。

公开集 UrbanSound8K 上泛化如何

这里要回答的问题是换到公开数据和 10 折平均后，FTANet 在卷积模型里是否仍然领先。10 折下每折条件一致，比较的是折内准确率和 F1 的均值，越高越好。

论文进一步报告相对 VGG16、SSRP-CNN、ESResNet、ESC-NAS 的平均准确率分别高 6.98、2.92、3.08、13.88 个百分点，平均 F1 分别高 6.88、2.68、2.85、13.81 个百分点。这支持在卷积对照组内泛化较好的判断，但限制同样明显：优势只在卷积模型之间成立，对 AST 仍落后；10 折均值掩盖了各折波动，复现时应看完整 10 折分布而不仅看均值。

把 25 类拆成两阶段收益与代价是什么

这里比较的是同一 FTANet 主干下，单阶段直接分 25 类与 2 阶段先分 5 大类再在类内细分的效果。数据和特征主干相同，单阶段一次前向输出 25 类结果，2 阶段先由粗分类器给出 5 大类预测，再把原始预处理特征送入对应的第二阶段子分类器，推理时只调用被选中的一路细分类器。

2 阶段提升来自决策空间缩小：它在 25 个细类中的 20 个上提升了 F1，例如车辆引擎和火车轰鸣等易混类改善明显，混淆矩阵对角更集中，t-SNE 显示部分重叠簇出现更清晰的类间边界。但并非全胜，有少数类 F1 下降，例如个别爆破和广播子类，说明分层不能保证每一类都变好。

代价是推理要串行跑粗分类加一次细分类，时间从 0.2170 s 增加到 1.2390 s，这是性能与效率的权衡。外场部署时只为自然声配备了第二阶段细分，其余大类直接输出粗结果，因此外场整体加权准确率 87.18%、加权 F1 87.40% 是在该部署形态下成立，不能理解为 25 类全细分都已上线。

三个组件各自贡献了什么

消融要回答 FTConv 非对称卷积、1×1 融合和注意力各自是否必要，其他结构和训练保持相同，只看 5 粗类准确率、参数量和 FLOPs。基线是用标准 3×3 卷积、不用融合和注意力的方法 E，准确率 93.00%，参数 0.2232M，计算量 0.3179G。把标准卷积换成 FTConv 后的方法 A 准确率到 93.59%，参数降到 0.1861M，计算量降到 0.2847G，说明分开建模时间与频率既提分又降本。

在标准卷积上加注意力的方法 D 只到 93.10%，在 FTConv 上加注意力的方法 C 到 93.94%，额外开销约 0.005M 参数和 0.0003G 计算量，说明注意力是低成本的通道筛选。只加 1×1 融合的方法 B 反而降到 92.94%，说明简单线性混合不直接提分；只有融合加注意力一起上时完整 FTANet 才到 95.45%，比只融合高 2.51 个百分点，比只注意力高 1.51 个百分点。这支持先交互再加权的机制解释，也提醒不要单独使用融合。完整模型相对基线 E 提升 2.45 个百分点且参数少约 10.22%，但消融只在自建粗分类上做，能否推广到其他数据和细分类任务仍待验证。

结论在什么条件下才成立

首先是数据条件。自建集 9029 条且不平衡，结论依赖这次 6 比 2 比 2 的随机划分；UrbanSound8K 结论依赖 10 折平均；外场 788 条有效样本高度不平衡且无工业样本、无部分自然子类，C1 记为不可用，C4 只有 18 条，S06、S07、S10、S11 无有效样本。外场用命中任一标签算对、加权平均聚合，这些都会抬高在多声源和大类主导下的得分，换成严格单标签或宏平均结论会不同。

其次是部署形态。外场只上线了自然声的第二阶段细分，粗阶段正确 693 条、总体 87.94%，自然声类内加权准确率 97.21% 只针对被正确路由到 C2 的 215 条，若计入路由错误，C2 端到端准确率是 77.41%。全量 788 条的 87.18% 是这种部分细分架构下的结果，不是 25 类全细分的外场结果。

最后是成本口径。参数和 FLOPs 优势明确，但 FLOPs 低不等于延迟一定低，2 阶段时间增加已实测；训练只做 15 轮、批量 32、单卡 4090，换训练预算或硬件结论可能变化。没有收到可运行代码与模型资源，本篇未发现来源绑定且完成验证的资源，因此复现需自行实现。

要复现第一步做什么

先按论文重建标签体系和数据管线：5 大类与 25 小类的互斥完备划分、单声道 16000 Hz 重采样、80 滤波器 Fbank、25 毫秒窗、自适应帧移得到固定 T、3 通道堆叠。核对张量形状为 3×M×T，M 为 80，T 为自定目标帧数，所有样本一致后再进网络。

再实现 FTANet 3 阶段主干：每阶段按时频卷积、注意力、残差、池化顺序搭建，第 1 阶段输出 32 通道、第二和第 3 个阶段 64 通道，末端全局平均池化、Dropout 0.5、全连接输出当前任务类别数。分层部分保持主干不变，独立训练一个 5 类粗分类器和 5 个类内子分类器，推理时只调用粗分类器加一个被选中的子分类器。评估时保留论文口径：自建看总体与宏平均，UrbanSound8K 看 10 折均值与分布，外场看加权平均并记录无效样本剔除和多标签命中规则，同时记录参数量、FLOPs 和推理时间。

什么时候值得尝试以及还缺什么验证

当任务是类别多、类间相似、数据不平衡，且部署资源受限时，这套方法值得尝试：用 FTANet 以小参数获得较好的时频表示，再用分层把大决策拆小。城市监测、厂界或路侧设备上先做粗类别告警、对重点大类再做类内细分，是与论文外场形态最接近的用法。

还缺的验证包括：在其他城市和季节的外场数据上测试完整 25 类细分，报告严格单标签下的宏平均和每类召回；补充分层错误传播分析，即粗分错后细分的挽回能力；补充分组延迟、内存和功耗实测，而不仅是参数和 FLOPs；公开划分种子、每折结果和训练曲线以便核对波动。做到这些，才能把实验室的提升真正转化为可部署的监测能力。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-27 语音/音乐/音频论文速递