噪声下保住机器线索：用保留混合表示做域泛化异常声音检测

英文题目：RETAINING MIXTURE REPRESENTATIONS FOR DOMAIN GENERALIZED ANOMALOUS SOUND DETECTION

会议身份：conference:eusipco:2026:conference-paper-id:0000231

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#工业应用 #知识蒸馏 #自监督学习 #鲁棒性 #异常声音检测

评分：6.3/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Saengthong, Phurich：机构信息未能从会议 PDF 纯文本可靠映射
• Nishida, Tomoya：机构信息未能从会议 PDF 纯文本可靠映射
• Dohi, Kota：机构信息未能从会议 PDF 纯文本可靠映射
• Yamashita, Natsuo：机构信息未能从会议 PDF 纯文本可靠映射
• Kawaguchi, Yohei：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

异常声音检测以正常机器录音为参考、用最近邻匹配为测试片段计算异常分，在低信噪比混合与参考测试噪声失配下通用音频编码器易丢失机器线索，导致匹配不可靠。方法先做神谕诊断，将干净机器与噪声分别经冻结教师编码后平均为神谕嵌入，发现其最近邻性能明显优于直接混合嵌入，从而确认瓶颈在表征缺失。随后按信噪比混合正常机器音与工厂噪声生成训练混合，教师分别编码干净双源并按固定权重合成为混合一致目标，学生编码器接收混合输入学习保留式表征。学生端联合优化机器与噪声多标签标注损失与向神谕嵌入对齐的混合损失，前者保留类别信息，后者约束混合表征不坍缩，对齐后的混合嵌入直接进入后续最近邻检索。与去噪式微调抑制噪声学习不变性不同，该方法明确保留双源信息，避免学到与预训练机噪条件绑定的抑制模式，因而在冻结骨干的免训练部署中更具泛化意义。在Mismatch失配条件评测下，所提对齐方法的得分为64.2，高于基线的得分60.4。该结论适用边界受限于六类ToyADMOS+评估机型与人工信噪比混合，尚未验证双向域失配与大规模多样噪声外推，且神谕增益的机型差异表明线性合成并非对所有机器同样有效。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：要解决的部署问题是什么？

这篇论文研究的是机器状态监测中的异常声音检测，输入是工厂环境下录制的机器运行声音，目标是只用正常声音判断测试片段是否异常。部署约束很关键：新机型上线时往往没有异常样本，也没有时间做目标域训练，因此论文采用免训练流水线，即用大规模通用音频上预训练好的自监督编码器提取嵌入，再用最近邻匹配打分。参考库是若干正常片段的嵌入集合，测试片段的异常分是它到参考库中最近邻嵌入的平均距离，距离越大越可能是异常。

论文指出这类通用嵌入在干净声上可用，但在含噪混合下变得不可靠，尤其在低信噪比或参考与测试噪声不一致时性能明显下降。原因被归纳为表示瓶颈：预训练语料以语音和音乐为主，机器运行声相对较少，混合时机器线索被削弱或与噪声纠缠，最近邻于是既可能被噪声相似误导，也可能丢失机器本身的差异。后续解读必须保留的信息是任务只用正常声、编码器初始冻结可用、评测要跨机型和跨噪声条件。

异常声音检测 × 最近邻匹配： 异常声音检测的分工是只用正常机器声建模正常分布并给测试片段打异常分，最近邻匹配的分工是用测试嵌入到参考正常嵌入的平均距离作为该分数，二者搭配的理由是新机型部署时无需异常样本和目标域训练，组合意义是嵌入质量直接决定分数是否可靠，噪声下机器线索被削弱就会导致距离失真。

已有路线为什么在噪声变化下不够稳？

论文把相关路线分成两类。第一类是冻结骨干的免训练方法，直接用音频编码器做特征提取加最近邻匹配，优点是部署快、无需目标域数据，在第一视角评估中仍有竞争力。第二类是对编码器做去噪导向微调，例如用机器身份监督在含噪机器录音上微调，或用掩蔽建模等目标促进隐式去噪，但训练时噪声只覆盖有限类型和信噪比。

论文的判断是这类微调学到的不变性可能不迁移：当背景噪声、信噪比或机型在测试时变化且事先未知，去噪学到的抑制模式就可能失效。文中还提到在相关挑战评估中，冻结骨干的免训练流水线与在多机型含噪录音上做过去噪微调的系统相比仍具竞争力，这支持了去噪目标迁移性有限的担忧。因此作者不选择继续强化去噪，而是转向保留机器可分线索。

教学上可以举一个例子：若微调时只见过风扇加平稳厂噪，测试变成研磨机加非平稳撞击噪声，模型原来学会的抑制方向就对不上新噪声，这只是帮助理解的例子，不代表论文给出该具体数值。

去噪式微调 × 保留式再预训练： 去噪式微调的分工是抑制噪声并强化训练时见过的机器噪声组合下的不变性，保留式再预训练的分工是显式建模噪声标签并保留机器可分线索，二者搭配比较的理由是前者在噪声类型、信噪比或机型变化时可能学到不可迁移的抑制模式，组合对照的意义是说明在未知目标条件下保留可能比抑制更稳健。

诊断性对照：混合嵌入到底缺了什么？

论文先做了一个诊断来定位问题，对象是语音编码器在机器噪声混合上的嵌入。做法是比较两种表示：一种是直接从含噪波形混合中提取的嵌入，另一种是理想合成嵌入，即分别用编码器提取干净机器嵌入和纯噪声嵌入再取平均。评估方式同样是最近邻匹配，条件控制在失配噪声下。报告显示嵌入混合明显优于波形混合，这说明直接从混合波形得到的嵌入欠表示了机器可分线索，而理想合成保留了更多可用于区分正常与异常的结构。

这个差距被称为理想差距，动机就来自这里：既然理想合成更好，就可以用它作为训练目标，让编码器从混合输入出发逼近理想合成。需要强调的是该理想合成在部署时不可用，因为测试时无法获得干净机器和纯噪声的分离信号，它只是诊断和训练时的上界参照。

域泛化 × 噪声失配： 域泛化的分工是要求在未见机型、工况和记录环境下仍可靠，噪声失配的分工特指参考库与测试的背景噪声分布不一致，例如参考用非平稳噪声而测试用平稳噪声，二者搭配的理由是实际部署中参考采集噪声往往不稳定，组合意义是匹配不能依赖噪声相似，必须依赖机器本身的可分线索。

方法全景：一个样本走完保留式训练链路

方法全景可以沿一个训练样本走一遍。输入是按信噪比合成的波形混合，来源是一段干净机器声和一段工厂噪声。学生编码器只看到这个混合波形，输出混合嵌入。另一路是冻结教师编码器，它分别看到干净机器波形和纯噪声波形，得到两个嵌入后再按固定系数做凸组合，形成混合一致目标。学生侧还有一个线性分类头，从学生混合嵌入同时预测机器类和噪声类。

训练目标是两项之和：标注损失保留类别信息，对齐损失拉近学生混合嵌入与教师合成目标。推理时不再需要教师和干净分离信号，只用训练好的学生编码器提取参考与测试嵌入，再做最近邻匹配并按域做分数标准化。整体口号是保留而非去噪：不要求把噪声去掉，而是要求混合嵌入中仍能分辨机器。

两个损失各自算什么、为什么要一起用？

第一个组件是音频标注。每个混合被赋予多热标签向量，维度是机器类数加噪声属性类数，混合中出现的机器和噪声位置标为 1。学生嵌入经过线性层得到预测概率，用二元交叉熵计算损失。它的作用是显式告诉模型混合里有什么机器和什么噪声，避免模型把噪声成分当作无关扰动直接丢掉，同时也避免把机器线索淹没。第二个组件是混合对齐。

教师是同一自监督骨干的复制且训练中不更新，它对干净目标和噪声分别编码，再用固定系数做加权平均得到教师目标。学生对混合波形的嵌入用均方误差向该目标对齐。论文固定该系数为 0.5 作为实用近似，并明确说明它没有建模随信噪比变化的机器噪声能量比例，更一般的系数留作未来工作。最终目标是两项加权相加，权重分别控制保留类别信息与对齐混合嵌入的相对重要性。

音频标注损失 × 混合对齐损失： 音频标注损失的分工是让学生编码器从混合声同时预测机器类和噪声类以保留两类信息，混合对齐损失的分工是把学生从波形混合得到的嵌入拉向冻结教师分别编码干净机器和噪声后再凸组合的目标，二者搭配的理由是一个保类别可分性、一个保混合表示结构，组合意义是既不做去噪抑制又让混合嵌入更接近理想合成。

学生与教师如何分工、梯度流向哪里？

学生与教师的分工必须讲清参数状态。学生是需要更新的预训练编码器，例如语音编码器的迭代版本，它接收含噪混合并参与梯度更新。教师是同一骨干的冻结复制，不更新，用于提供稳定目标。监督来源有两处：一是人工给定的机器与噪声多热标签，用于标注损失；二是教师从干净成分算出的合成嵌入，用于对齐损失。

梯度路径上，标注损失经过线性分类头回传到学生编码器，对齐损失直接比较学生混合嵌入与教师目标的均方误差并回传到学生，教师分支不接受梯度。论文还说明只对混合输入施加频谱增强，对干净分支不做同样增强，这是为了让学生学会在扰动下仍对齐稳定目标。未报告的缺项是分类头之外的细节初始化和教师是否做指数滑动平均，论文明确教师是冻结复制而非动量教师，这与相关混合预训练方法不同。

学生编码器 × 教师编码器： 学生编码器的分工是接收原始波形混合并更新参数以学习保留式表示，教师编码器的分工是复制同一自监督骨干并冻结以分别编码干净机器和噪声成分提供稳定目标，二者搭配的理由是避免目标随训练漂移，组合意义是学生只见混合输入却能以干净成分的组合为监督方向。

混合波形与训练流程如何构造？

训练数据的构造是按信噪比混合。做法是先把噪声归一化到单位功率，再按目标信噪比调整信号幅度，使两者功率比满足分贝换算关系，然后相加得到混合波形。预训练语料与评估严格不重叠：预训练用 8 种机器类型，包括轴承、齿轮箱、风扇、滑块、阀门以及 3 维打印机、空气压缩机、扫描仪，并包含来自真实工厂录音的 4 种噪声属性类；评估用 6 种不重叠机型。训练时每个干净机器录音配一段不重复的噪声段，保证数据集层面信噪比标准化同时保留样本级差异。

优化配置按原文交代：用加权采样处理类别不平衡，训练 20000 步，优化器为解耦权重衰减的自适应优化器，学习率较小并带预热的余弦调度，批量为 64 并做梯度累积。评估时用生成式表示框架，域内标准化打分，关闭记忆混合，用一近邻匹配。除特别说明，训练混合信噪比固定为零分贝，特征取自编码器中间层而非最后一层，因为预备实验发现中间层在训练与目标域不同时更稳健。

评测条件如何控制信噪比、噪声与失配？

实验设计围绕 3 个受控子集。第一个是平稳厂噪混合，第二个是非平稳噪声混合，第 3 个是失配条件，即参考片段用非平稳噪声而测试片段用平稳噪声，用来模拟参考库采集于不稳定厂噪而部署时噪声已变化的情况。论文还说明反方向的失配也很重要，但留作未来工作。信噪比按机器单独设定目标值，覆盖从负 10 到 30 分贝的多个档位，噪声波形相对干净信号平均功率缩放。所有录音为 10 秒 16 kHz 采样，特征是 128 维梅尔滤波器组。

指标是挑战官方分数，定义为源域曲线下面积、目标域曲线下面积与部分曲线下面积的调和平均，分数越高越好。基线包括多个冻结自监督编码器，以及在不重叠机器噪声语料上继续预训练的去噪基线及其线性混合与信噪比混合扩展，保证改进反映对未见机型和噪声的鲁棒性而非记住评估分布。

主结果：在什么条件下保留式训练真正带来增益？

论文报告的主趋势是去噪式再预训练相对原始骨干下降，而保留式方法在平稳、非平稳和失配 3 种噪声设置下都提升。标注损失通过利用机器与噪声标签带来提升，混合损失在低信噪比区间增益更明显，两者结合在全信噪比上更均衡。原文总结的增益量级是低信噪比相对语音编码器提升约 4.1，全部范围平均提升约 3.1。

作者的解释是去噪训练学到与预训练时机器噪声条件绑定的抑制模式，在机噪变化下不迁移，而保留目标让编码器偏向在混合中保存机器可分信息。需要保留的限定是这些是受控混合下的平均趋势，不等于每个机型每档信噪比都同样提升，后文消融显示机型差异很大。 表 1 把诊断性对照讲成可核对的闭环：比较问题是直接从波形混合提取是否不如理想嵌入合成，公平条件是同一失配子集与同一最近邻框架，指标方向是官方调和平均分越高越好。

诊断对照表：波形混合、嵌入混合与学到的对齐

下表整理论文在零分贝失配条件下报告的特征对齐分析，数值与单位保留原文写法。波形混合是基线做法，嵌入混合是分别编码干净与噪声再平均的理想参照，混合损失是仅用混合输入训练后达到的可部署性能。该表承担宽表要求，用五列呈现条件、指标与 3 种策略，便于核对差距与剩余空间。

表后解释必须同时讲收益与代价。

理想嵌入合成相对波形混合大幅提升，支持混合嵌入欠表示机器线索的判断，也支持用它做训练目标。混合损失相对基线提升，但与上界仍有明显差距，说明对齐有益但未完全解决问题。论文还指出增益与机型有关，例如在振动类机器上理想提升大而在研磨类上不明显，提示线性平均作为理想合成的适用性随机器与失配条件变化，不能把平均增益推广为每类机型都有效。

消融与反证：信噪比、数据与层选择如何影响结论？

论文做了 3 组有教学价值的消融。第一是预训练混合信噪比。用标注损失训练时，固定零分贝混合最好，优于在正负五或正 -10 分贝区间均匀采样。作者给出的有限解释是零分贝是均衡混合，与固定 0.5 的理想组合更一致，而宽范围采样带来变化的源主导性，标注目标 alone 没有显式控制这一点，这属于支持性解释而非因果证明。第二是预训练数据构成。

用精选的机器与噪声数据做混合损失优于用通用音频集子集，说明与领域相关的机器噪声信号对鲁棒预训练更重要；若用评估参考域数据则进一步提升，说明缩小预训练与测试域差距仍有强收益。第三是层选择与公开基准。在公开评测集上按层评估，保留式方法避免了去噪变体在深层出现的退化，但增益温和且不均匀，可能与多样噪声和信噪比有关。未胜出项必须保留：去噪基线及其混合扩展在这些变化下低于原始骨干，这是关键反证。

下表把主增益、信噪比选择与训练预算放在同一宽表中，数值写法来自原文连续句，文本列用于交代条件，数字列不自行换算。

增益与训练条件汇总：数字、单位与适用边界

本表第二张宽表用于核对可复述的量级与条件。前两列是比较问题与适用范围，中间是报告的增益量级，后两列是训练预算与混合信噪比选择，便于判断复现时应先固定什么。

表后解释要讲清支持的判断与限制。双目标组合在全信噪比上更均衡，支持保留类别信息与对齐结构互补的判断。

固定零分贝优于宽范围均匀采样，支持均衡混合与固定 0.5 目标更一致的猜测，但论文明确未验证其他系数，待验证。训练预算较小且数据与评估不重叠，说明增益来自方法而非记住评估分布，但也意味着扩大机器与噪声多样性可能进一步改变结论，不能承诺在完全开放工厂噪声下同样幅度。

还有哪些缺项、冲突与不能承诺的事？

局限要按证据分级。直接报告的是固定 0.5 系数不建模随信噪比变化的能量比例，反方向失配未评测，公开基准上增益温和且不均匀。有限解释的是零分贝最好可能与 0.5 目标一致，但未做系数扫描因而不是定论。未验证推测是更大更多样机器噪声预训练会更好，论文只在结论中作为未来工作提出，不能当作已证效果。资源方面原文未报告训练耗时、推理延迟、输出帧率与误判率分解，因此不能承诺延迟或成本改善，中间层与最终层的选择也随方法与数据集变化。

数据方面噪声片段无放回配对保证了数据集层面信噪比标准化，但保留了样本级波动，复现时若改成有放回或不同缩放会改变难度。另一个易误解点是理想嵌入混合分数高不代表可部署，它需要测试时已知干净分离信号，只能做上界与训练目标，不能替代实际系统收益。

复现先做什么：数据、特征与打分的检查清单

复现应先锁定信息条件：预训练机器与噪声必须与评估机型不重叠，否则无法声称域泛化。第一步按原文重建混合：16 kHz 10 秒音频转 128 维梅尔谱，用骨干预训练时的统计量标准化以匹配输入分布，再按目标信噪比缩放噪声相对干净平均功率。第二步重建模型状态：学生为可更新的语音编码器，教师为同一骨干的冻结复制，训练时只更新学生与线性头，教师分支停止梯度，只对混合输入做频谱增强。

第三步固定超参数起点：20000 步、小学习率、权重衰减、批量 64 加梯度累积、余弦调度与预热，并用加权采样处理类别不平衡，特征取第六层做一近邻匹配。第四步核对评估：用域内标准化打分，关闭记忆混合，分别在平稳、非平稳与失配子集的多档信噪比上报告源域、目标域与部分指标的调和平均。资源状态方面，本次未发现来源绑定且完成安全验证的资源，因此不得声称代码模型或数据已公开，复现需按论文文字自行实现。

何时值得尝试、如何一句话记住方法？

当部署满足 3 个条件时值得尝试该方法：只有正常参考声、目标噪声未知且可能与参考不一致、低信噪比下仍需分辨机器差异。记住的方法是训练时用干净成分的理想合成教混合输入，推理时只用混合输入。操作上先沿样本走完输入到表示到目标再到输出，再看公式符号：混合波形进学生，干净机器与噪声分别进冻结教师，教师输出加权平均后与学生输出算均方误差，另加多标签交叉熵保留类别。

还需补的验证是扫描混合系数、评估反方向失配、报告按机型分解的误判与校准，以及在更大噪声库上的扩展。最终判断保留原文分级：论文显示保留式目标在受控条件下一致优于原始骨干并优于去噪微调，支持保留比抑制更适合未知机噪变化，但具体幅度依赖信噪比、机型与数据构成，可能有待验证。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

另有 24 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eusipco-2026 论文汇总