用轻量标注与轻量分离搭建空间语义分割系统

📄 用轻量标注与轻量分离搭建空间语义分割系统

英文题目：Lightweight Systems for Spatial Semantic Segmentation of Sound Scenes

标签：#音频分离 | #音频分类 | #CNN | #高效推理

评分：5.9/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Mayank Mishra：机构信息未在 arXiv HTML 中可靠披露
• Paul Magron：机构信息未在 arXiv HTML 中可靠披露
• Romain Serizel：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

空间语义分割（Spatial Semantic Segmentation of Sound Scenes， S5）要求输入多通道混合音频，输出每个目标声源的单通道波形及其类别标签，难点在于标记错误会直接改变分离模型要提取的对象，而分离模型又要处理多通道输入和可变数量声源。论文采用先标记后提取的流程，音频标记模型先预测混合中包含的类别，目标声提取模型（target sound extraction， TSE）再以类别独热向量为查询，每次提取一个声源。与检测与分类声学场景和事件（Detection and Classification of Acoustic Scenes and Events， DCASE）2025任务4基线相比，关键差异是用卷积类轻量标记模型和掩码卷积分离模型替换掩码建模双子（masked modeling duo， M2D）和残差U网（ResUNet），并给分离器增加了多通道输入、单通道投影和类别条件调制。开发集上轻量组合DyMN-full加SuDoRMRF-16的类别感知信干比提升（class-aware signal-to-distortion ratio improvement， CA-SDRi）为10.73 dB，接近原始基线系统的11.03 dB，同时参数量从115.38 M降至3.62 M，乘加操作数（multiply-accumulate operations， MACs）从835.89 B降至329.90 B。结论只在18类、每段10秒、含1至3个目标的合成数据上得到验证，真实录音、更多重叠和移动声源尚未检验。论文未报告真实设备延迟、吞吐与功耗。

🔗 开源与复现资源

• 第三方资源：https://dcase.community/challenge2025/task-spatial-semantic-segmentation-of-sound-scenes-results — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

空间语义分割要从混合音频中得到什么

这篇论文研究的空间语义分割，简称 S5，输入是一段多通道混合音频，里面同时混有若干个目标声源。系统要输出的是多个单通道的分离声源，并且每个声源都要带上类别标签。也就是说，它既要把声音分开，又要说清每个分开的声音属于哪一类。论文提到，这类系统的潜在用途包括沉浸式通信、扩展现实和智能家居中的辅助生活，这些场景往往需要在设备端运行。

读者可以这样理解任务边界：输入保留了空间多通道信息，输出则要求单通道加标签，中间必须保留类别语义，否则后续无法按类别对齐评价。论文把 S5 分解成音频标注和声源分离两个子问题，整体采用先标注后分离的顺序。标注先判断混合里有哪些类别，分离再以类别为查询条件逐个提取目标。这种顺序意味着标注的错误会直接传给分离器，分离器拿到的查询向量错了，输出的声源就可能对错类别，这是后文反复出现的复合影响。

已有路线为什么会把模型做大

论文梳理了 S5 的几种做法。一种是先标注后分离，此时分离常被称为目标声音提取，因为标签被当作查询送入分离模型；也可以反过来先分离后标注；还可以做端到端混合模型，同时完成标注与分离。作者指出，更好的标注器或更好的分离器通常能带来更好的 S5 个系统，而提升性能的常见办法是采用更复杂的结构，这会增大模型体积。

由于 S5 本身由两个分属不同领域的部件组成，体积膨胀是叠加的。文中提到 2025 年 DCASE 挑战第 4 题的投稿中，最大的 S5 系统大约是最小系统的 1000 倍参数。体积大的系统难以放入可穿戴或居家辅助等边缘设备，而最小的系统又往往性能不足。更广的音频领域已有轻量标注、语音增强和音频音乐分离的研究，但论文明确说这些工作都没有涉及完整的 S5 个系统。另一个难点是 S5 的两个部件相互牵连，把其中一个换轻可能严重影响另一个，这在以前的混合语音增强系统中也被观察到。

因此本文的定位是初步探索：分别换上更轻的标注与分离模型，看整体损失有多大。

本文要回答的轻量化损失问题

论文的核心问题不是提出全新的分离原理，而是评估替换代价。具体来说，第一步比较轻量音频标注模型相对基线 M2D 在标签预测准确率上的表现；第二步比较卷积型 SuDoRMRF 分离器相对基线 ResUNet 在尺度不变信干比意义上的分离性能；第三步把不同标注与分离组合起来，用类感知信干比评价整体 S5 性能。这里需要分清 3 个评价层次。

标注层次用混合准确率，只有混合中每个声源的标签都对才算对。分离层次在给定正确标签的条件下比较，称为 oracle 条件，也就是用真实类别做查询，排除标注误差。系统层次则用真实标注器的输出做查询，标注错了分离也要跟着受罚。论文同时保留了原始基线和用较小数据重训的基线，以便区分性能下降到底来自模型变轻，还是来自训练数据变少。理解这个对照是复述结论的前提，因为后文多次出现原始基线与重训基线之间的差距。

先标注后分离的整体流程是怎样的

整体流程沿着一个混合样本可以这样复述。输入的多通道混合先送入标注器，标注器只用第 0 通道，也就是全指向通道，做多标签分类，输出每个类别是否存在。论文把输出转成独热形式的类别向量，每个目标声源对应一个向量。然后分离器被多次调用，每次拿 1 个类别向量作为查询，输出对应类别的单通道估计。基线分离器的做法是先接受多通道混合，预测多通道的相位与幅度掩蔽，再经 1x1 卷积把多通道折成单通道。

类别信息通过特征线性调制进入网络层，本文只用加性参数。轻量方案保持同样的调用顺序，只是把标注主干和分离主干换掉。标注侧换成 CNN6 或 DyMN，分离侧换成改造后的 SuDoRMRF，并同样在分离器中加入类别调制与末端通道投影。训练时分离器用真实标签做查询，测试时用标注器预测的标签做查询，这就把标注误差引入了端到端评价。

标注部件与分离部件各自改了哪里

基线标注用掩蔽建模双人组模型，简称 M2D，它是在 AudioSet 上预训练的自监督基础模型，本文把它当作特征提取主干，再加分类头在挑战数据上训练。轻量标注有两个候选。第一个是预训练音频神经网络中的 CNN6 主干，由堆叠卷积层和最后全连接层组成，再加线性分类头与 S 形激活。论文选择它的理由是参数明显更少且在 AudioSet 上的平均精度相对较好。第二个是动态移动网络 DyMN，它在移动网络结构上加入动态卷积与坐标注意力，论文选用宽度乘子最小的版本。

两个轻量模型都在 AudioSet 的 527 类上预训练过，而本任务只有 18 类，因此需要换新分类头。分离侧基线是单通道输入单源输出的 ResUNet 的改进版，已被改成多通道输入、多通道掩蔽、再投影到单通道。轻量分离选用组通信版本的 SuDoRMRF，它是编码器解码器风格，靠变换平均拼接模块在分组间通信复杂度，并用 U 卷积块数量调节复杂度。改造包括三处：首层接受多通道混合，末端加 1x1 卷积把 4 通道压到 1 通道，只在分离器部分加类别调制而不加到编码器与解码器，以降低计算。

空间语义分割 × 音频标注 × 目标声音提取： 空间语义分割指从多通道混合中分离出单通道声源并给出类别；音频标注负责判断混合里出现了哪几类声音，输出类别向量；目标声音提取负责以类别为查询条件，一次提取一个目标声源，三者搭配形成先标注后分离的完整链路，标注错误会直接改变分离器的查询条件。

M2D × DyMN × CNN6： M2D 是基线用的自监督基础模型加分类头的标注器，参数多、依赖大数据；DyMN 是带动态卷积与坐标注意力的轻量移动网络，CNN6 是堆叠卷积加全连接的轻量网络，三者都是标注环节的不同主干，本文比较它们在 18 类混合标注上的取舍。

ResUNet × SuDoRMRF × FiLM： ResUNet 是基线分离器，预测多通道掩蔽并经 1x1 卷积得到单通道；SuDoRMRF 是编码器分离器解码器结构的卷积分离器，本文把它改成多通道输入与单通道输出；FiLM 是把类别独热向量转成加性偏置并调制分离器层的方法，使分离器按查询标签一次输出一个声源。

标签查询的调制与多通道投影细节

标签查询的具体路径值得单独讲清，因为它是连接两个部件的桥梁。标注器对每个目标声源给出独热类别向量，向量经线性层生成与被调制层通道数相关的参数向量。基线原本的特征线性调制会预测缩放与偏置两个参数，本文与基线一样只用加性偏置。偏置加到分离器的网络层上，使同一分离器在不同查询下输出不同声源。推理时混合中有几个声源就调用几次，每次换一个标签。

这种设计意味着分离器本身不决定类别，它只执行按查询提取，类别正确性完全依赖标注器。另一处细节是通道处理。输入是多通道混合，SuDoRMRF 原本只处理单通道，因此首层要适配多通道；输出先得到多通道估计，再用 1x1 卷积投影到单通道。论文对图 1 的说明是修改部分用红色轮廓标出，读者按图可以定位到末端投影与下方标签引导分支。

下面这张图展示了编码器、组通信分离块、解码器与投影的主链，以及标签向量经嵌入与生成器进入分离块的支路。 读图时先看主链的输入输出，再看支路如何汇入主链，注意调制只作用于分离块。

看图路径： 1. 从左侧多通道混合经编码器、分离块、解码器到单通道估计的主路径；2. 下方标签向量经嵌入与生成器产生每层偏置并指向上方分离块的分支；3. 末端通道数从 4 到 1 的投影位置

论文图 1。原论文 Figure 1:：“Overview of the label-queried SuDoRMRF separator, with the modifications highlighted in red outlines.”。

图中可见上方浅色大框为分离器，内部从左到右依次是卷积编码器、组通信分离块、反卷积解码器与 1x1 卷积投影，投影标注了从 4 通道到 1 通道且按每个声源输出；下方虚线框为标签引导分支，从标签向量经标签嵌入到只用偏置的生成器，再以每层偏置的箭头指回上方的分离块。这一结构说明查询不改变编码解码的通道变换，只通过偏置改变分离块的行为，与正文只在分离器加调制的说法一致。

标注与分离是如何训练的

训练分两部分独立进行。标注训练面临类别数不一致，原主干在 527 类的 AudioSet 上训练，本任务只有 18 类，因此论文换上新分类头，并比较两种策略。一种只训练分类头，主干冻结，记为头训练版本；另一种从头训练整个模型，记为全训练版本。CNN6 与 DyMN 都试了这两种策略，M2D 基线则沿用只训练头的版本。

标注用二元交叉熵损失，批量 32，最多 100 轮。输入只取第 0 通道，不用多通道信息。分离训练用每个声源的真实类别做查询，也就是 oracle 标签，损失用负信干比，批量 5，最多 100 轮。论文比较了 16 个与 4 个 U 卷积块的两个 SuDoRMRF 版本。基线方面，为公平比较，作者用自己的较小数据集重训了基线 S5 个系统，同时也报告原始更大数据训练的基线性能，带星号的表示原始部件。

这种双基线设置很关键，后文性能差距的一部分来自数据量而非模型本身。论文把每轮训练默认设为 25000 个样本，说明这是原始基线每轮样本数的 1/4，目的是减少内存问题并加快每轮训练。

数据生成与评价指标的统计方式

数据用 DCASE 2025 第 4 题的开发集思路，用空间场景库在线生成训练与验证混合，测试用 1500 个混合的开发集。每个混合长 10 秒，采样率 32 千赫兹，含 1 到 3 个目标声源，最多 3 个重叠。评价分三层。标注用混合准确率，要求混合中全部声源标签都对。分离单独评价用 oracle 标签，排除标注误差。

系统评价用类感知信干比提升，也就是相对混合的改善量，数值越高越好；它按标注给出的类别对齐计算，只有真正例才计算信干比，误检与漏检按零分处理。代价用参数量与乘加运算次数表示，分别以百万与十亿为单位。下表整理数据生成的基本条件，说明比较是在相同生成规则下进行的；再下一表整理训练的批量、轮数与监督条件，说明标注与分离的监督来源不同。

混合准确率 × 类感知信干比提升： 混合准确率要求一个混合中所有声源的标签全部预测正确才算对，衡量标注环节；类感知信干比提升按标注给出的类别对齐计算分离质量，漏检与误检按零分处理，衡量端到端系统，两者分工不同，第二个指标同时受标注与分离影响。

参数量 × 乘加运算次数： 参数量指模型权重数量，反映存储与部署体积；乘加运算次数反映一次推理的计算量，两者都是本文的代价维度，轻量化要在保持混合准确率与类感知信干比提升的同时降低这两项。

下表比较数据生成的类别、时长、采样与声源数量等基本条件，同一生成规则是后文公平比较的前提。

这些设置意味着，训练与验证采用在线生成以增加多样性，测试固定为 1500 个混合。本表数值与单位依据论文 PDF。

时长与采样率固定意味着标注与分离面对相同的时频分辨率，而每混合 1 至 3 个目标决定了混合准确率要求全部对的严格程度，也决定了分离器最多需要按不同查询调用三次。 下表比较标注与分离训练的监督与批量条件，指标方向是损失越小越好，与评价指标方向不同。

这些结果表明，标注只用单通道且监督来自 18 类标签，分离用真实标签做查询意味着单独评价分离时不受标注误差干扰。

批量 5 比批量 32 小得多，反映分离的多通道与掩蔽计算更占内存；保留原始基线是为了把数据量变化与模型变轻的影响分开，否则会把数据变少造成的下降误算到轻量化头上。

轻量标注器各自的准确率与代价

标注结果首先显示数据量的影响。原始 M2D 头训练版本混合准确率为 59.80%，重训 M2D 头训练版本为 45.47%，两者参数量与计算量相同，差距约 15 个百分点，论文将其归因于重训用了更少的每轮样本，而大变换器模型更能利用大数据。轻量方面，CNN6 头训练 19.73%，全训练 29.20%，参数量 4,580,000，计算量 6.20 十亿；DyMN 头训练 37.13%，全训练 53.87%，参数量 800,000，计算量 0.03 十亿。全训练版本都高于只训头的版本，论文据此认为预训练主干的知识没有被很好利用，需要在新数据上微调主干。

最值得注意的是 DyMN 全训练版本，它以最低的参数与计算量达到了 53.87%，超过重训 M2D 的 45.47%，接近原始 M2D 的 59.80%。论文因此在后文聚焦 DyMN 而不再主推 CNN6。这个结论成立的条件是相同的 18 类任务、相同的第 0 通道输入与相同的混合准确率统计方式，不能直接推广到其他类别数或多通道标注。 下表比较不同标注器的混合准确率、参数量与计算量，准确率越高越好，参数与计算越小越好。

这些结果表明，收益集中在 DyMN 全训练版本，它用 800,000 参数与 0.03 十亿计算实现 53.87%，代价是仍比原始 M2D 低约 6 个百分点；反例是 CNN6 的两个版本，即使全训练也只有 29.20%，说明并非所有卷积轻量主干都适合该任务；限制是重训基线本身已因数据变少而下降，因此轻量模型超过重训基线不等于超过原始大数据基线，比较时必须注明对照的是哪一个基线。

轻量分离器在真实标签下的分离质量

分离单独评价用真实标签，排除了标注误差。原始 ResUNet 为 12.93 分贝，参数 29,870,000，计算 809.39 十亿；重训 ResUNet 为 10.74 分贝，同样体积；SuDoRMRF16 为 13.61 分贝，参数 1,910,000，计算 329.87 十亿；SuDoRMRF4 为 13.20 分贝，参数 1,340,000，计算 256.63 十亿。

也就是说，两个 SuDoRMRF 版本不仅超过重训基线，也超过原始基线，同时参数降为约三十分之一，计算降为约三分之一。论文因此认为 SuDoRMRF 是可行的轻量分离替代，并在后文聚焦 16 块版本，因为它略高于 4 块版本。这里的代价细节值得注意：参数下降倍数很大，但计算量下降倍数只有 3 倍左右，说明该分离器仍是计算密集的，体积小不等于同比例省算力。

该结论成立的条件是 oracle 标签查询与相同的类感知信干比提升统计，一旦换成预测标签，排序仍可能受标注误差影响，这正是下一节系统组合要检验的。 下表比较不同分离器在真实标签下的提升值、参数量与计算量，提升值越高越好。

这些结果表明，主要收益是 SuDoRMRF16 在更小体积下达到 13.61 分贝，比原始基线高约 0.68 分贝；代价是计算量仍有 329.87 十亿，约为标注器的上 10000 倍，系统总计算主要由分离器决定；未胜出项是重训 ResUNet 的 10.74 分贝明显低于原始的 12.93 分贝，再次说明数据量对大模型的影响，单独看分离器提升不能直接当作端到端提升。本表数值与单位依据论文 PDF。

组合成完整系统后整体性能如何

系统组合结果把标注误差放了回来。原始基线组合为 11.03 分贝，重训基线组合为 7.89 分贝，两者体积相同，差距与前两节的数据量影响一致。把大标注配轻分离，即原始 M2D 加 SuDoRMRF16，得到 11.01 分贝，基本保持原始性能，验证了轻量分离器的潜力。把轻标注配大分离，即 DyMN 全训练加原始 ResUNet，得到 10.36 分贝，比原始基线低约 0.7 分贝，但体积明显减小。双轻量组合 DyMN 全训练加 SuDoRMRF16 得到 10.73 分贝，超过重训基线的 7.89 分贝，与原始基线的 11.03 分贝相差约 0.45 分贝，而参数从 115.38 百万降到 3,620,000，约降 97%，计算从 835.89 十亿降到 329.90 十亿，约为 2.5 倍下降。

作为反例，CNN6 头训练加 SuDoRMRF16 只有 5.00 分贝，比双轻量低 5 分贝，说明标注太差会拖垮系统。论文还做了人为标签替换实验，发现系统性能随标注准确率近似线性上升，且 SuDoRMRF 在各准确率下多优于基线；但用真实标注器时的提升往往低于同等准确率下的人为错误曲线，论文解释是人为错误只做替换，而真实标注还会有删除等问题，且真实错误数可能更多。 下图先看 3 条随标注准确率变化的曲线，再看真实标注散点与曲线的关系，注意纵轴是改善量且越高越好。

看图路径： 1. 横轴混合准确率从低到高三条曲线的整体走向；2. 同一横轴位置红色曲线与两条蓝色曲线的高低关系；3. 散点标记相对各自颜色曲线的上下位置

论文图 2。原论文 Figure 2:：“Comparing CA-SDRi for different separators as a function of tagger accuracy.”。

图中横轴为混合准确率，纵轴为类感知信干比提升，单位分贝；3 条带阴影的曲线随横轴上升而上升，红色 SuDoRMRF16 在多数位置高于深蓝原始 ResUNet，深蓝又高于橙色重训 ResUNet；代表真实标注器的散点多落在曲线下方，说明同等混合准确率下真实错误造成的损失更大，这与正文对删除错误与多错误数的解释一致，不能把人为单替换曲线的高度当作部署性能。 下表比较不同完整组合的提升值与总体代价，包含原始与重训两类基线以及实际可运行的轻量组合。

这些结果表明，双轻量组合的意义在于用约 3% 的参数达到接近原始基线的分离质量，但计算量仍有 329.90 十亿，主要来自分离器，因此离某些边缘应用仍有距离；限制是该表同时混有原始大数据部件与重训小数据部件，跨行比较时必须看清哪一行用了带星号的原始部件，否则会把数据红利误读成模型优势；未评测的范围包括更细粒度的多错误数与删除替换组合，论文明确留作未来工作。本表数值与单位依据论文 PDF。

标注错误类型与数量为什么会影响结论

论文用受控错误实验来拆解标注与分离的复合影响。做法是从真实标签出发，人为引入错误，再看不同分离器的曲线。结果是每条曲线的提升都随标注准确率近似线性增加，且 SuDoRMRF16 在几乎所有准确率下都高于两种 ResUNet，只有一个例外是配原始 M2D 标注时与 ResUNet 结果相近。这支持了轻量分离器本身更强的判断，但也说明在高性能标注下分离器的差距可能缩小。更重要的是真实标注散点与人为曲线的落差。

论文给出两个原因：人为错误每次只做一个替换，而真实标注可能 1 次错多个，混合准确率同样记为错，但分离器拿到的错误查询更多；人为错误只有替换，而真实标注还可能有删除，语义缺失更多，而交换则不影响该指标。原文还引用先前研究说明交换对该指标无影响。因此不能用单替换曲线的斜率去承诺部署时的线性收益，实际收益取决于错误类型分布。这个消融没有进一步控制错误数量与来源组合，论文明确说超出范围，但指出了未来可研究的方向。

这组结论的边界与尚未验证的部分

首先是数据规模边界。重训统一用了每轮 25000 样本，为原始 1/4，验证每轮 544 个混合，测试 1500 个混合，所有重训与轻量结果都受此约束。原始基线的高分部分来自更大数据训练，不能直接要求轻量模型在小数据下全面超越它。其次是代价边界。标注侧参数与计算可降约 105 倍而不严重损失准确率，但分离侧参数只能降约 15 倍，计算量下降倍数更小，系统总计算仍以分离器为主。

论文结论明确说这种压缩对某些边缘应用仍不够，还需知识蒸馏、量化或剪枝。再次是评价边界。混合准确率要求全对，类感知信干比对误检漏检按零分处理，这种严格统计放大了标注错误的影响，换一种更宽容的统计可能得出不同的取舍。最后是错误建模边界，人为实验只做单替换，未系统控制删除、替换数量与多错误组合，真实部署的错误分布未知。缺这些验证不等于方法有错，只是说明线性趋势与双轻量接近原始基线的说法只在本文的数据与指标下成立。

复现第一步要准备什么

复现应从数据与双基线开始，而不是直接训轻量模型。先按原文用空间场景库生成 10 秒、32 千赫兹、每混合 1 至 3 个目标的混合，固定验证 544 个与测试 1500 个的划分逻辑，并记录每轮 25000 样本的在线生成设置。然后重训基线 M2D 头训练与 ResUNet，确认能否复现混合准确率从 59.80% 到 45.47% 附近的下降，以及分离从 12.93 分贝到 10.74 分贝附近的下降，这一步能验证数据量设置是否一致。接着再训 DyMN 全训练与 SuDoRMRF16，分离训练必须用真实标签做查询，标注训练注意只用第 0 通道与新 18 类分类头。

关键超参数要保留：标注批量 32、分离批量 5、最多 100 轮、标注用二元交叉熵、分离用负信干比。组合评价时用预测标签调用分离器多次，每源 1 次，并用官方类感知信干比提升计算。论文未报告随机种子、学习率与优化器细节，复现时需自行记录这些缺失项。资源方面，原文实验用了 Grid5000 平台，分离批量小意味着显存压力仍大，需预留足够计算。

关于可用性，本文证据只确认挑战结果页为第三方可达链接，不证明作者已公开代码或权重，因此代码、权重与可运行系统要分开核实，不能默认下载即能运行。

什么时候值得尝试轻量组合

当部署受参数体积限制、但仍需要接近基线的分离质量时，双轻量组合值得尝试。它的证据是 DyMN 全训练加 SuDoRMRF16 在本文条件下达到 10.73 分贝，接近原始基线的 11.03 分贝，参数降约 97%，计算降约 2.5 倍。如果设备同时受计算量严格限制，则还不够，因为分离器仍需三百多 1000000000 次乘加运算，此时应先做进一步压缩再考虑部署。如果标注场景类别更多或重叠更严重，也不能直接套用本文的差距数字，因为混合准确率的全对统计会更严格。复现第一步是先对齐数据生成与双基线，再引入轻量部件。

还需要补的验证包括多错误数下的曲线、删除与替换分别的影响，以及在真实房间与真实录音下的表现。总体而言，论文支持的是在给定小数据训练与严格指标下，轻标注加轻分离可以大幅减小体积而只损失约 0.45 分贝与约 6 个百分点，但不支持把它推广为所有边缘设备都能直接部署的结论。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-15 语音/音乐/音频论文速递