METADATA-CONDITIONED AUDIO TRANSFORMERS FOR ADAPTIVE RESPIRATORY SOUND CLASSIFICATION

英文题目：METADATA-CONDITIONED AUDIO TRANSFORMERS FOR ADAPTIVE RESPIRATORY SOUND CLASSIFICATION

会议身份：conference:eusipco:2026:conference-paper-id:0001322

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#医疗音频 #Transformer #预训练 #生理信号 #音频分类

评分：6.2/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

Kontogiannis, George：机构信息未能从会议 PDF 纯文本可靠映射
Tzamalis, Pantelis：机构信息未能从会议 PDF 纯文本可靠映射
Nikoletseas, Sotiris：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

呼吸音分类输入为最长10秒呼吸周期音频，输出为爆裂音与哮鸣音多标签判定，难点在于设备频响、听诊部位与患者特征引入的系统性偏移会掩盖病理信号。本文先以按患者聚类的广义估计方程量化上述混杂，确认部位与年龄等因素显著改变分类难度，其输出的偏置结构直接驱动后续调制设计。接着以音频频谱Transformer为声学骨干构建元数据调制链，门控残差融合将拼接元数据仅作用于最终表征以提供基线对照。特征线性调制在各层归一化后注入尺度与偏移，使上下文逐层重塑中间特征，令牌感知变体进一步分离全局与局部令牌的调制，软因子分解变体则为设备、部位与连续变量学习特征维掩码以对齐解耦子空间。与统一拼接或文本化融合相比，该链条让不同来源上下文作用于不同网络深度与不同特征子空间，因而更贴合设备影响频谱而部位决定可闻肺音的物理分工。在ICBHI官方60-40%划分基准下，SoftFiLM-AST的Score为72.40%，高于Fraihi et al.的Score 70.08%。该结论适用边界受限于ICBHI已见设备与部位分布，尚未验证对全新听诊器或人群的外推能力。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决什么矛盾？

本文的输入是数字听诊器采集的呼吸音记录，输出是对每个呼吸周期的类别判断。官方任务把每个周期分为正常、爆裂音、哮鸣音、同时出现爆裂音和哮鸣音 4 类，另有一个 2 类任务只判断正常还是异常。初学者容易把这件事理解为把频谱图丢给分类器即可，但论文指出采集条件本身会系统性改变声音：不同设备的频率响应和噪声不同，不同听诊位置能听到的肺音不同，病人的年龄、体重指数和呼吸周期时长也会改变呼吸强度与基线。如果模型只看声音，就可能把设备痕迹当成疾病痕迹。

本文的目标是让元数据显式参与声学编码器的内部计算，而不是事后校正或只做文本拼接。必须保留的关键信息是数据集构成与官方划分：ICBHI 数据库来自 126 名病人共 920 个采集会话，切分为 6898 个呼吸周期，其中正常占 52.8%，爆裂音占 27.0%，哮鸣音占 12.8%，两者并发占 7.3%，训练测试按官方 60 比 40 划分。输出是本文提出从门控残差融合到标准调制再到两种新变体的完整家族，并在相同主干下比较增益与代价。

阅读时要区分论文直接报告的事实和待验证的推测。已报告的是设备偏斜、位置效应和连续变量关联的统计结果，以及各调制方法在统一训练配置下的得分；待验证的是这些调制能否推广到训练中完全没见过的新设备或新采集条件。资源状态方面，本次未发现完成超文本传输安全协议状态验证的代码与数据资源，因此不能声称代码、模型或数据已公开，只能按正文描述复述方法与实验条件。

已有路线做了什么，为什么还不够？

第一条路线是纯声学分类。从早期把梅尔频谱送入残差网络和视觉几何组网络，到用卷积加循环网络建模呼吸相的时间结构，再到音频频谱 Transformer 及其变体通过大规模音频预训练迁移，都在不断提升对时频模式的建模能力。这条路线把所有录音当作独立同分布样本，忽略了每次录音附带的设备与位置信息。

第二条路线尝试利用元数据，但方式受限。一种做法是把元数据写成自由文本，例如用某种听诊器在左前胸录制，再用对比语言音频预训练风格的架构融合文本与音频，论文报告其相对纯音频基线只提升约 1.17% 得分。另一些做法把性别年龄当作自监督预训练的辅助任务，或把听诊器类型当作不同域做域对抗训练与域泛化。这些方法要么需要昂贵的多模态编码器，要么只在表示学习阶段使用元数据而推理时不做条件化，要么只处理设备或人口学中的孤立因素，要么用特征拼接这种朴素融合，不能刻画不同元数据如何影响声学表示的不同部分。

本文与上述工作的对照点在于同输入、同目标、同运行阶段：同样以呼吸音波形为声学输入，以 ICBHI 官方划分为评估目标，但在推理阶段仍然输入元数据并逐层调制编码器。这不是类别差异下的胜负比较，而是是否在推理时显式建模采集上下文的方法差异。理解这一点才能正确解释后文的消融： late-fusion 只能改最后表示，而层内调制可以改变中间特征提取。

ICBHI 的元数据偏差具体表现在哪里？

论文先做了 1 次元数据层面的全面分析，方法是按病人聚类的广义估计方程模型，以处理同一病人多次测量的重复测量问题。设备偏差最突出：全部周期中约 63% 来自 AKGC417L 设备，且爆裂音标签在两个划分中超过 80% 来自该设备；LittC2SE 设备有 594 个周期且只出现在训练集中，测试时完全不见；126 名病人中有 122 人只用一种设备，因此病人身份与设备高度混淆。模型完全可能学会设备频谱特征作为病理的代理变量。

位置效应同样系统。论文列出 7 个位置：左前、右前、左后、右后、左外侧、右外侧和气管。后部与外侧位置异常周期占 35% 至 40%，而气管录音 71% 为正常，且测试集中气管位置的并发类事件为零。统计上后部位置出现爆裂音的比值比是气管的 2 至 4 倍，右后位置出现并发类的比值比约为 4.2 倍，且位置分布在训练测试之间也发生漂移，构成额外的域失配。

连续变量方面，校正后性别与任何声音类别无显著关联，因此被排除出调制向量；异常周期比正常周期长 0.1 至 0.4 秒；年龄每增加与并发类比值比为 1.07 相关，体重指数越高正常越多而并发越少。最终进入调制的连续向量只含年龄、体重指数和周期时长 3 维。举例来说，这相当于告诉模型同一个哮鸣音出现在气管与后背时先验概率不同，解读时必须把这种先验与声音证据分开。

四种调制方法如何从浅到深排列？

所有方法共享同一个声学主干：基于 ImageNet 与 AudioSet 预训练的音频频谱 Transformer 基础版。对数梅尔频谱被切成 16 乘 16 小块，线性投影到高维，前面拼接分类标记与蒸馏标记，再经过多层 Transformer 处理，最后把两个特殊标记的输出平均得到音频表示。元数据表示分为 3 路：设备索引与位置索引分别查表得到可学习嵌入，年龄、体重指数与时长组成标准化 3 维连续向量。

沿一个样本走完全流程有助于建立整体图像。输入为 10 秒音频与对应的设备编号、位置编号和 3 个连续值；音频走频谱分块与 Transformer 主干，元数据走各自编码器生成条件向量；条件向量在选定层内生成缩放与平移参数，对归一化后的特征做逐元素仿射变换；最后的音频表示送入两层多层感知机分类头，用两个 S 型输出分别预测有无爆裂音和有无哮鸣音，再映射到 4 类评估。

4 种方法的递进关系是调制位置与结构不断增强。门控残差融合只在最后把元数据投影加到音频向量上，中间层不受影响；标准特征线性调制把合并后的元数据向量送入每层的条件生成器，实现层内调制；标记感知变体进一步区分全局标记与局部 patch 标记；软因子化变体把 3 路元数据分开编码，并用可学习掩码把特征维度划分给不同因子。这是后文理解公式与消融的主线。

门控残差与标准调制分别如何计算？

门控残差融合是结构最简单的基线。做法是把设备嵌入、位置嵌入和连续向量拼接成一个元数据向量，经过多层感知机投影到与音频嵌入相同的维度，再乘以一个可学习标量系数后加到音频表示上。它的优点是参数少、实现简单，缺点是元数据无法影响中间层的特征提取，只能修正最终表示，因此只能作为检验深层调制是否必要的对照。

标准特征线性调制把干预提前到中间层。共享编码器先把拼接后的元数据映射为条件嵌入，每一被选中的层再用独立线性投影生成该层的缩放参数与平移参数。计算位置在第二层归一化之后、前馈子层之前，并广播到所有标记。参数化采用以恒等变换为中心的形式，即缩放在 1 附近、平移在 0 附近初始化，从而在训练初期近似保持预训练特征不变，再逐步学习条件性偏移，同时保留 Transformer 块的残差结构。

音频频谱 Transformer × 特征线性调制： 音频频谱 Transformer 负责把对数梅尔频谱切块并提取声学表示，特征线性调制负责把元数据编码成每层的缩放与平移参数，二者搭配的理由是声学主干保留预训练特征而调制分支只做条件性仿射变换，组合后元数据可以在中间层逐层重塑表示而不是只在最后拼接。

门控残差融合 × 特征线性调制： 门控残差融合只在最终音频向量上加一个可学习系数控制的元数据投影，特征线性调制则在多个 Transformer 层内对归一化后特征做缩放和平移，搭配比较的意义是前者验证 late-fusion 是否足够，后者验证中间层干预是否更有效，组合对比说明了调制深度带来的增益来源。

标记感知调制为什么要区分两类标记？

在 Transformer 中，分类标记与 patch 标记承担不同角色。分类标记通过自注意力不断聚合全局信息，最终用于判别；patch 标记对应频谱上的局部时频块，负责保留细粒度的喘息带与爆裂音瞬态。标准调制对所有标记使用同一组缩放与平移，隐含假设元数据对全局聚合与局部提取的影响相同，这与物理直觉不符：设备噪声更多改变局部谱特征，而病人整体状态可能更多改变全局聚合。

标记感知调制的具体操作是为每层生成两套参数，一套用于分类与蒸馏标记，另一套用于其余 patch 标记，分别由独立线性投影从同一条件嵌入产生。公式含义是在同一层内按标记位置选择不同的仿射变换，再送入后续前馈网络。论文报告该设计每层只增加不到 0.4M 参数，总量仍不足主干的 1%，但让元数据可以独立调整全局路径与局部路径。

分类标记 × patch 标记： 分类标记负责汇总全局信息用于最终判别，patch 标记负责保留局部时频细节，二者分工不同所以统一调制会混淆全局聚合与局部提取，TAFiLM 为两类标记生成独立调制参数，组合意义是让元数据同时以不同方式影响全局决策路径和局部特征提取路径。

初学者常见误解是参数翻倍就必然过拟合。这里的关键是增加的参数只用于条件生成而非声学主干，且初始化接近恒等变换，因此在小数据上仍能稳定训练，后文实验也显示其一致优于标准调制。

软因子化调制如何把不同来源分到不同维度？

标准调制与标记感知调制都把所有元数据先合并成一个向量，忽略了设备主要改变频谱特性与噪声、位置决定可听肺音、病人因素影响呼吸强度与基线这种因子特异结构。软因子化调制的思路是为设备、位置、连续变量分别设置独立编码器与调制生成器，各自产生一套缩放与平移，再通过可学习掩码决定每个特征维度主要听谁的。

掩码由可学习逻辑向量经温度缩放的 S 型函数产生，训练初期温度为 1.0 偏软，后期按余弦退火到 0.2 接近二值划分。最终每层的组合缩放是各因子掩码加权之和，组合平移同理。优化目标除任务损失外还加了重叠惩罚与覆盖惩罚，前者 discourages 多个掩码争夺同一维度，后者要求所有维度尽量被使用。掩码逻辑向量使用 10 倍学习率并初始化为近似三等分，以保证梯度从第一步就能传到掩码参数。

软掩码 × 因子解耦： 软掩码负责在特征维度上为设备、位置和连续变量分配各自可调的权重，因子解耦负责要求不同元数据来源占据尽量不重叠的子空间，二者搭配的理由是不同来源影响声音的物理环节不同，组合后 SoftFiLM 形成可解释的按因子划分的特征分区而非无结构的相加调制。

与朴素多分支相加不同，该方法通过掩码与正则联合优化形成结构化的因子对齐特征空间，论文用定性分析验证了设备占用维度最少、连续病人元数据占用近一半且两两重叠低于 0.1，支持了元数据沿低维结构化轴影响嵌入空间的假设。

训练、增强与优化如何组织，哪些细节未报告？

任务被建模为多标签分类，用两个 S 型输出分别预测爆裂音与哮鸣音，优化二元交叉熵损失。音频统一重采样到 16 千赫兹，用交叉淡化重复补齐到 10 秒，转为 128 乘 1024 对数梅尔频谱并用 AudioSet 统计量归一化。增强包括频谱增强、加性噪声、变速扰动与音调偏移。分类头为隐藏维度 64、丢弃率 0.4 的两层多层感知机。训练 100 轮，批量 16，AdamW 优化器，余弦调度加 10 轮热身，基础学习率 3 乘 10 的负 5 次方，并采用差分学习率：主干 0.01 倍、嵌入 0.5 倍、分类器 2 倍，软因子化额外加掩码重叠正则系数 0.01。

关于参数冻结与更新，论文明确主结果使用全量微调，即主干不冻结而是以小学习率更新，条件模块与分类头以更高学习率更新；消融比较了只调制后 2 层、后 6 层与全部 12 层。监督来源是呼吸周期级别的爆裂音与哮鸣音标签，梯度路径为分类损失经调制参数回传到元数据编码器与掩码。未报告的具体缺项包括各增强的精确强度分布、掩码覆盖正则的权重、随机种子与硬件耗时，复现时需按原文超参数先跑通，再补测这些缺项的影响，不能从模型名称推定其实现细节。

在什么数据、划分与指标下比较，条件是否一致？

评估严格使用 ICBHI 官方 60 比 40 训练测试划分，不做病人层面的重新划分，因此测试集中包含训练未见的设备域与位置分布漂移，这正是检验元数据调制的合适压力测试。指标为特异度、灵敏度与二者平均值 Score，方向都是越高越好，平均基于 5 次运行。需要强调百分点与相对百分比不同：论文说的提升 3.94% 指 Score 的百分点差值，不是相对增长率。

比较对象包括同主干的内部基线与外部已发表方法。内部比较固定声学主干、预训练、增强与分类头，只改变调制机制，因此能分离调制结构的作用。外部比较列出不同主干与预训练的方法，例如多视角频谱 Transformer 与分层 Transformer，但其主干与训练流程并不完全一致，只能作为基准参考而不能视为同条件胜负。论文特别指出，在同时报告两类任务的方法中，软因子化在 2 类上最高，而只报告 4 类最高分的方法未报告 2 类结果，因此不能跨任务直接推定全面最优。

成本方面，论文只报告条件模块增加不足 1% 参数，约 87M 主干上的额外开销很小，但未报告训练时长、推理延迟与显存占用。总体趋势不等于每组都成立，例如门控残差在某些种子下灵敏度波动较大，解读时应结合均值与标准差。

主结果测了什么，谁赢了，代价与反例是什么？

要回答的核心问题是更结构化的调制是否逐步带来增益，以及在官方 4 类与 2 类任务上相对可运行基线的实际收益。公平条件是同一音频频谱 Transformer 主干与同一训练配置，指标方向为 Score 越高越好。下表整理 4 类任务的主结果，数值保留原文写法。

条件	指标	基线	本方法	比较对象
ICBHI 官方 4 类	Score	60.17%	64.11%	FiLM 62.37%
ICBHI 官方 4 类	Score	60.17%	63.52%	TAFiLM 63.52%
ICBHI 官方 4 类	增益	基线	+3.94%	SoftFiLM 相对基线

表后解释需要同时说明收益与代价。4 类任务上基线为 60.17%，标准调制到 62.37%，标记感知到 63.52%，软因子化到 64.11%，呈现单调递进，支持调制结构越精细越能刻画元数据作用的判断。外部对照上软因子化超过元数据感知的对比学习与桥接文本方法，但在 4 类上仍低于多视角与多视图融合的最高分，后两者未报告 2 类结果且主干或特征不同，因此不能视为同条件被超越。未胜出项是门控残差仅 61.19%，说明只改最后表示是不够的，这正是深层调制的反证。

特异度 × 灵敏度： 特异度衡量对正常呼吸周期的判对比例，灵敏度衡量对异常呼吸周期的检出比例，二者在 ICBHI 上存在权衡因为正常样本占 52.8% 而异常分布不均，论文用二者平均值 Score 作为主指标，组合意义是避免只优化多数类而忽视对 crackle 与 wheeze 的检出能力。

2 类任务的比较问题是正常与异常判别是否更受益于采集上下文校正。下表整理 2 类关键数字。

条件	指标	基线	本方法	比较对象
ICBHI 官方 2 类	Score	前最优	72.40%	前最优 +2.32%

软因子化在 2 类达到 72.40%，超过前最优约 2.32 个百分点，建立了论文声称的 2 类新纪录。论文的解释是设备与位置偏差主要影响正常与异常的区分，因此元数据校正在 2 类上更有效，这属于有限解释而非因果证明。代价是 2 类上标准调制与标记感知的灵敏度与特异度 trade-off 不同，例如标准调制灵敏度更高而特异度偏低，实际部署需按漏诊与误诊成本另行选阈，不能只看平均分。

调制放在哪些层最有效，掩码学到了什么？

消融要回答两个问题：调制深度是否重要，以及软掩码是否真的形成因子分区。实验固定全量微调，只改变被调制的层集合，比较最后 2 层、最后 6 层与全部 12 层。指标仍为 4 类 Score，方向越高越好。下表整理论文明确给出的软因子化层数对照。

条件	指标	浅层调制	深层调制	全层调制
4 类 FiLM	趋势	低	中	62.37%
4 类 TAFiLM	趋势	低	中	63.52%

表后解释是全层调制在 3 种方法上都最大，软因子化从后 2 层的 62.45% 提升到全 12 层的 64.11%。论文的机制解释是早期层可做设备相关的谱归一化，后期层可优化任务决策，因此逐层调制都有贡献。这支持全层调制为默认选择，但代价是调制参数与计算随层数增加，尽管总量仍小。需要注意原文未给出每层的逐层贡献曲线，不能断言每一层都同等重要。

定性分析看掩码结构。论文报告尽管初始化为近似三等分，训练后设备占用维度最少，连续病人元数据占用近一半，各因子占据大体不交叠区域，覆盖率达 95.6% 且两两重叠低于 0.1，位置与连续变量的重叠略高为 0.095，与位置和身体特征相关的直觉一致。这支持了各向异性分配的假设，但属于观察性证据而非拿掉掩码必然崩溃的证明，仍需补做掩码随机化或置换的对照才能加强因果结论。

哪些结论还不能下，边界在哪里？

首先是泛化边界。测试集虽有域漂移，但仍来自同一数据库的同一批设备与医院流程，论文未来工作也明确提出要增强对未见设备与采集条件的鲁棒性。因此不能把当前增益直接承诺为跨医院、跨新听诊器的增益，相关性不等于因果，统计上的比值比也不能直接当作模型学到的因果效应。

其次是评估边界。4 类最高分仍由未报告 2 类结果的多视图方法保持，本文在 4 类上是竞争性而非全面最优；2 类新纪录只在同时报告 2 类的方法集合内成立。不同指标的差值不能混放，自动 Score 也不能当作临床可用性的直接证明，因为未测量误诊率的临床代价、推理延迟与部署成本。

第三是方法边界。标记轴分区与特征轴分区尚未结合，掩码的可解释性尚未经干预实验验证，训练资源与推理开销未报告。缺失证据不是技术错误，但复现与选型时必须把这些缺项当作待验证项：若要在资源受限设备部署，需另测每层调制的延迟；若要用于辅助诊断，需另做阈值校准与医生一致性评估。

复现先做什么，需要哪些信息条件？

复现的第一步是重建数据管线：按官方 60 比 40 划分切分 6898 个周期，重采样到 16 千赫兹并补齐到 10 秒，生成 128 乘 1024 对数梅尔频谱并用 AudioSet 统计量归一化，同时准备设备编号、位置编号与年龄、体重指数、周期时长 3 维连续向量，注意排除性别以与原文条件一致。任何重新划分或加入性别都会改变与原文的可比性。

第二步是固定主干与训练配置：使用 ImageNet 加 AudioSet 预训练的音频频谱 Transformer 基础版，两层分类头隐藏维度 64 丢弃率 0.4，多标签二元交叉熵，100 轮批量 16，AdamW 余弦调度加 10 轮热身，基础学习率 3 乘 10 的负 5 次方并按主干 0.01 倍、嵌入 0.5 倍、分类器 2 倍设置差分学习率，增强包括频谱增强、加性噪声、变速与音调偏移。先复现无调制基线约 60.17% 附近，再依次加入门控残差、标准调制、标记感知与软因子化，软因子化需加掩码重叠正则 0.01、温度从 1.0 退火到 0.2、掩码 10 倍学习率。

第三步是核对评估：报告特异度、灵敏度与平均分 5 次平均，避免只报单次最优；层数消融从后 2 层、后 6 层到全 12 层逐步验证。由于本次未确认代码链接可达，应以正文超参数为准手写实现，不声称权重可下载或系统可直接运行，仍需补测种子方差、训练时长与推理延迟才能形成完整复现报告。

何时值得尝试这种调制，还需补哪项验证？

当你的音频任务附带明确的采集上下文，且该上下文在训练测试之间分布不均时，值得尝试本文的思路。典型信号是按设备或位置分组后性能差异大，或多数类标签集中在某一设备上。此时应先做与本文类似的分组统计，确认偏差来源，再从标准调制起步，因为它改动最小且初始化接近恒等变换；若发现全局决策与局部细节受影响不同，再试标记感知；若多个元数据来源物理机制不同，再试软因子化与掩码分区。

选择时要保留关键超参数与信息条件：推理时必须能拿到设备、位置与连续变量，否则条件化无从执行；全层调制与全量微调是本文最大增益的配置，冻结主干可能显著削弱效果。常见误解是把掩码不交叠当作模型理解了因果，实际上那只是正则约束下的相关性分区；另一个误解是把 2 类提升直接等同于临床漏诊率下降，实际还需阈值与成本分析。

还需补的验证包括未见设备上的留一设备测试、掩码置换与随机基线的对照、以及训练与推理开销的实测。只有补齐这些，才能判断软因子化是从采集偏差中学到了可迁移的校正，还是仅仅在当前划分上做了更精细的拟合。