📄 电动车内噪声四分量分离：混合 Transformer 与合成训练怎么做
评分：5.7/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.7/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Philipp Diel：Chair of Thermodynamics of Mobile Energy Conversion Systems, RWTH Aachen University, Aachen, Germany
- Zhuo Cao：IAS-8, Forschungszentrum Jülich, Jülich, Germany
- Arne Hildenbrand：Chair of Vibroacoustics of Vehicles and Machines, Technical University of Munich, Garching, Germany
- Marco Günther：Chair of Thermodynamics of Mobile Energy Conversion Systems, RWTH Aachen University, Aachen, Germany
- Stefan Pischinger：Chair of Thermodynamics of Mobile Energy Conversion Systems, RWTH Aachen University, Aachen, Germany
- Hanno Scharr：IAS-8, Forschungszentrum Jülich, Jülich, Germany
- Steffen Marburg：Chair of Vibroacoustics of Vehicles and Machines, Technical University of Munich, Garching, Germany
📌 核心摘要
读者需要理解的对象是行驶中驾驶员双耳处录到的混合车内噪声，任务是将其分解为风噪、胎噪、动力总成与辅助驱动四路双耳估计波形，困难是四源始终同时存在并受共同行驶状态驱动，宽带强掩蔽下动力总成阶次线与辅助驱动弱音调成分频谱重叠。方法先把混合波形送入波形与语谱图并行的双U-Net，在瓶颈用跨域Transformer融合两域表示，再经对称解码与逆短时傅里叶变换求和输出各源波形。接着行驶工况向量经特征线性调制按通道缩放与平移各层激活，为分离提供转速决定的频率与幅值先验，其输出作为受调制的编码特征进入后续解码。然后模型按源加权的时域平均绝对误差加语谱图辅助损失训练，只预测幅度并用维纳滤波恢复复数谱以保证混合一致性。与已有音乐分离和图像直线检测方法的区别是模型可恢复混合中不可见的被掩蔽低频阶次，并从数据分布学习宽带分解而非使用固定频率比。在语谱图分支瓶颈处比较窗长4096与8192两种设置，有效频率分辨率指标分别为250 Hz与125 Hz，后者低于前者，减小跳长能提高时间分辨率并改善工况对齐但增加计算代价。结论适用范围是合成单车与多车虚拟车，实测两辆量产车出现阶次错分与高车速幻觉，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
电动车内声音由什么叠加而成
刚进音频领域先要建立物理图像：电动车没有内燃机宽带低频掩蔽，车内听到的声音是风噪、胎噪、动力总成含逆变器噪声、辅驱噪声同时叠加，它们的相对强弱决定响度和音质。论文只研究这 4 个分量的分解，不做路径排序和声源强度加传递函数的显式标定。
输入是驾驶员左右耳的双耳混合，输出是 4 个分量的双耳估计，要求混合等于各分量之和。4 个分量全程同时激活，能量差可达数量级， tonal 的动力总成阶次和辅驱阶次长期被宽带胎噪风噪掩蔽，且没有现成的孤立实录可作真值，这是后文合成数据和评价都要回应的难点。
已有路线为什么不够直接用
车声工程一侧的成熟做法是传递路径分析家族。经典做法要给各传递路径布话筒和三轴加速度计，再补静止传递测量，正向合成各贡献；运转变体只用运行数据拟合传递矩阵来重建接收信号，省去部分测量，但传递估计误差、缺失路径和指示信号强相关都会带来问题。图像式做法把幅度谱看成图像，用霍夫变换检测直线阶次，能处理逆变器、胎腔和电驱的可见线，但宽带风噪胎噪分解仍需另设基于宽带模型和中值比的机制。
音频分离一侧多来自音乐与语音。早期谱域模型预测时频掩蔽或直接预测谱，再经多通道维纳滤波结合复数混合得到复数估计并促进混合一致性；时域模型则直接在波形上做。混合时域频谱的 Hybrid Demucs 用波形与频谱双 U-Net 并行编码，在瓶颈交互后分别解码再相加，HT Demucs 把最内层换成跨域 Transformer，域内自注意加跨域注意。频带切分思路则认为能量集中在有限频带，用子带更高效。通用提示分离更灵活，但论文引用观点认为在专门领域常吃力，因此选择有监督、面向本域的轻量路线。
传递路径分析 × 工作运转传递路径分析： 传递路径分析指先标定声源强度和传递函数再合成各路径对车内噪声的贡献，属于正向方法，需要布设指示传感器并做静止传递测量；工作运转传递路径分析指只用运行工况数据以最小二乘拟合传递矩阵来重建接收信号，属于逆向方法，省去显式传递测量但受传递估计误差、缺失路径和指示信号相关性影响，论文方法则只用接收点双耳测量做学习分离，与两者形成不同测量代价和能力定位。
论文要回答的两个实际问题
第一个问题是自动分离是否可行：在给定设置下，学习模型能把实测车内噪声分成 4 个可归因的贡献吗，质量上限是多少。第二个问题是只用物理合成训练能否用到实车，即宽范围随机虚拟硬件的域随机化能否弥合仿真到现实差距。这两个问题服务于同一个决策：是否值得花大力气做需要传递路径分析的实测带标签数据采集。
问题形式化是双耳混合等于 4 个双耳分量之和，模型同时输出 4 个估计。评价沿用音乐分离的信号失真比 SDR，同时作者强调只看时域能量比不够，还要看谱图和听感，因为有利 SDR 的估计可能谱质量很差。
\[\mathbf{x}(t)=\sum_{s=1}^{S}\mathbf{y}_{s}(t),\]整体流程：合成数据如何变成四个估计
沿一个样本走一遍最清楚。先采样一套虚拟车辆硬件和一段 10 s 驾驶场景，合成 4 个单声道分量，再经随机双耳传递函数得到左右耳分量并相加成混合；混合与同步工况信号一起进网络，网络输出 4 个双耳波形估计。训练时合成的真值分量已知，可直接算波形与频谱损失；推理时只需接收点双耳测量，若用条件版本再加 4 维工况。
所有源信号与混合都是双耳信号，每段长 10 s，生成采样率为 44.1 kHz。训练时音频重采样到 16 kHz，再按段长 6 s、步移 2 s 切分，每段驾驶场景得到 3 个训练样本。这种切分处理的对象是已合成的长时双耳波形，前一步产生的是连续驾驶过程的混合与分量真值，下一步进入网络的是定长短段，便于批量训练并保留加速过程的时间变化。
分离主体是轻量化的混合时域频谱变换器，两条编码解码分支分别处理波形和频谱，瓶颈处的跨域变换器在各自域内做自注意力、在两域之间做交叉注意力，再由对称解码器展开并经逆短时傅里叶变换后相加得到各源波形。频谱分支窗口为 4096、跳长为 1024，采用幅度预测加一次维纳滤波细化，并关闭残差分支，使混合能量只分配给 4 个建模声源，以保证混合一致并抑制幻觉成分；同时关闭会破坏音频与工况对齐的数据增强和归一化，以保留车速与噪声电平的关系。
训练目标处理的是幅度差异很大的 4 个分量，波形损失按轮胎、风、动力总成与逆变器、辅助驱动的顺序取权重为 1、1、20、20，以加强对被掩蔽弱分量的学习；需要归一化的变体再除以各源真值的平均绝对幅度，需要频谱损失的变体只用谱收敛项。单车与多车的比较条件相同，只有硬件是否变化不同，由此分离出条件、损失归一化和频谱损失各自的作用。
单车数据集固定一套硬件以便做对照，多车数据集采样 300 种硬件以考验泛化。实验只筛选最高车速 100 km/h 的加速场景。合成的各分量相对电平经过校准，但未对应绝对声压，分贝只能相对理解，实测推理前还做了归一化，幅度尺度同样相对。
分离网络的双分支与条件注入位置
主干是轻量 HT Demucs：波形与频谱双分支各 3 级编解码，初始通道宽 24，增长因子 2，核 8 步幅 4，每级含 DConv 残差，瓶颈是 2 层跨域 Transformer，4 头，隐藏倍率 4，正弦位置编码。频谱分支默认复数通道直预测被关闭，改为幅度预测加一步维纳精炼，训练和推理各一步，且关闭残差分支，使混合能量只分配给建模的 4 个源，这有助于抑制幻觉内容并促进混合一致性。选择细频谱分辨率是因 tonal 成分窄带，报告窗口取大值。
工况向量是 4 维时间序列，包含电驱转速、负载、车速、辅驱转速。物理含义是车速控制宽带胎噪风噪电平并经硬件决定电驱转速，电驱转速决定动力总成阶次瞬时频率，负载影响阶次幅度，辅驱转速决定辅驱阶次频率。不同层时间分辨率不同，工况先对齐到该层再经两层 FiLM 网络生成缩放和平移，作用于波形分支、频谱分支和 Transformer 表征。
\[\mathbf{o}(t)=\left[\,f_{\mathrm{drive}}(t),\ L(t),\ v(t),\ f_{\mathrm{aux}}(t)\,\right]^{T}\]混合时域频谱结构 × 跨域 Transformer 瓶颈： 混合时域频谱结构指波形分支和频谱分支并行编码解码，分别保留时域波形细节和时频幅度结构；跨域 Transformer 瓶颈指在两分支最窄处做域内自注意力和跨域注意力，让两类表征交换信息后再各自解码，组合后既有波形输出又有频谱约束，汇合方式是频谱分支经逆短时傅里叶变换后与波形分支相加得到每个声源波形。
\[\widetilde{\mathbf{h}}_{l}(\tau)=\boldsymbol{\gamma}_{l}(\tau)\odot\mathbf{h}_{l}(\tau)+\boldsymbol{\beta}_{l}(\tau)\]工况信息 × FiLM 调制： 工况信息指与混合同步的电驱转速、负载、车速和辅驱转速，它们提示各分量在何时、何频、以多大能量出现；FiLM 调制指由工况向量预测每个特征通道的缩放和平移系数，再对声学特征做逐通道仿射变换，组合意义是不把工况拼接到音频上，而是让工况改变各层特征的激活强度，从而在多层影响特征提取和跨域交互。
训练目标如何平衡响度悬殊的四个源
时域部分先对每个源算预测与目标波形的平均绝对误差，再按源权重加权平均。原文把胎噪、风噪、动力总成逆变器、辅驱的权重设为 1、1、20、20，意图把学习重心拉向被掩蔽的弱源。进一步可选按目标平均幅度归一化，使各源损失同量级，公式分母取目标平均绝对幅度与小常数的最大值。
\[L_{\text{time}}=\frac{\sum_{s=1}^{S}w_{s}\,\ell_{s}^{\text{time}}}{\sum_{s=1}^{S}w_{s}}.\]频谱辅助损失用与模型内部分支相同的窗长跳长，对幅度谱算对数幅度项、幅度项和谱收敛项，多项启用时等权平均再按同组源权重加权，总目标是时域损失加系数乘频谱损失。报告的带谱损失运行只开谱收敛项，对数和幅度项关闭，归一化常数与谱损失权重在实验设置中给定。
虚拟车辆硬件 × 域随机化： 虚拟车辆硬件指每次采样轮径、减速比、极对数、定子槽数、齿数、逆变器开关频率、胎腔频率和双耳传递函数等构成的一套车辆参数；域随机化指在合理范围内大范围随机这些参数来合成训练数据，期望真实车辆看起来像又一次随机采样，组合后训练集覆盖多种传递特性和阶次结构，以促进向未见车辆的泛化。
时域波形损失 × 频谱域辅助损失： 时域波形损失指预测波形与目标波形逐采样绝对误差按声源加权平均，直接优化波形重建；频谱域辅助损失指对预测与目标的幅度谱计算对数幅度、幅度和谱收敛等差异，约束频谱成分干净，组合后总目标同时要求波形能量接近和频谱结构少串扰，论文用加权系数平衡两者。
\[\mathcal{L}=L_{\text{time}}+\lambda_{\mathrm{stft}}\,L_{\mathrm{STFT}},\]八个对照变体要比较什么
下面这张表要回答的比较问题是：在主干和优化固定时，是否注入工况条件、是否做波形损失归一化、是否加频谱辅助损失，各自改变了什么。公平条件是同一单车数据与同一轻量主干，指标方向是 SDR 越高波形能量越接近，但后文证明它并不充分，需要结合谱图一起看。
| 变体 | 是否条件 | 损失归一 | 频谱损失 | 说明 |
|---|---|---|---|---|
| UC-BASE | 否 | 否 | 否 | 无条件无归一无频谱 |
| UC-N | 否 | 是 | 否 | 无条件有归一 |
| UC-STFT | 否 | 否 | 是 | 无条件加频谱 |
| UC-N-STFT | 否 | 是 | 是 | 无条件归一加频谱 |
| FiLM | 是 | 否 | 否 | 有条件无归一无频谱 |
| FiLM-N | 是 | 是 | 否 | 有条件归一 |
| FiLM-STFT | 是 | 否 | 是 | 有条件加频谱 |
| FiLM-N-STFT | 是 | 是 | 是 | 有条件归一加频谱 |
这张表只说明对照维度，不含性能数字，性能见后文 SDR 图与谱图分析。它的限制是单车固定硬件下的结论不能直接推广到多车与实车，条件与损失的作用需要在跨硬件时重新评估。
音频表示与切段方式是什么
这张表要回答的比较问题是模型实际看到的时间尺度是否一致。所有源与混合都是双耳，合成长度与重采样、切段方式决定输入帧数，理解泛化结论必须回到这个时间基准上来。
| 项目 | 取值 |
|---|---|
| 合成时长与生成采样 | 10 s，44.1 kHz，双耳 |
| 训练重采样与切段 | 16 kHz，段长 6 s，步移 2 s，每场景 3 段 |
该表说明合成与训练的表示差异，训练段更短且采样更低。它的限制是未列出单车与多车的样本划分，划分差异带来的数据量不同需要在原文划分句中另行确认，切段重叠也增加了样本相关性。
波形损失权重如何向弱源倾斜
这张表要回答的比较问题是波形重建时损失如何分配 4 个响度悬殊声源的关注度。公平条件是同一波形与频谱目标下比较加权设置，指标方向是加权后弱源误差被放大，从而不被胎噪主导。
| Abbrev. | Conditioning | Loss Norm. | LSTFT | Description |
|---|---|---|---|---|
| UC-BASE | – | – | – | Baseline: unconditioned, unnormalized waveform loss, no spectrogram loss |
| UC-N | – | ✓ | – | Unconditioned with normalized waveform loss |
| UC-STFT | – | – | ✓ | Unconditioned, unnormalized waveform loss, with auxiliary spectrogram loss |
| UC-N-STFT | – | ✓ | ✓ | Unconditioned, normalized waveform loss, with auxiliary spectrogram loss |
| FiLM | FiLM | – | – | FiLM-conditioned, unnormalized waveform loss |
| FiLM-N | FiLM | ✓ | – | FiLM-conditioned with normalized waveform loss |
| FiLM-STFT | FiLM | – | ✓ | FiLM-conditioned, unnormalized waveform loss, with auxiliary spectrogram loss |
| FiLM-N-STFT | FiLM | ✓ | ✓ | FiLM-conditioned, normalized waveform loss, with auxiliary spectrogram loss |
该表结果是把胎噪，风噪，动力总成逆变器，辅驱的权重取值为 1，1，20，20，把动力总成与辅驱设为宽带源的 20 倍，意图补偿掩蔽。它的限制是权重只是放大梯度，不能创造缺失的信噪比，归一化更多表现为拉低宽带 SDR 而非稳定提升弱源 SDR，实际效果见消融对比。
条件伪影与实测频率各是多少
这张表要回答的比较问题是伪影周期与真实逆变器频率能否区分开。条件估计的横纹间隔对应瓶颈分辨率，实测两车的逆变器频率被正确归入动力总成，这是部分迁移的证据。
| 现象 | 取值 |
|---|---|
| 条件横纹间隔 | 250 Hz |
| 实测 A 逆变器 | 约 7.5 kHz |
| 实测 B 逆变器 | 约 5 kHz |
该表结果的限制是只在加速且非满载场景下成立，动力总成激励最强、最少被掩蔽的满载加速被排除，因此弱源结论偏保守。高速段宽带误归与辅驱幻觉说明分布失配未解决，不能当作可用分离。
单车合成上什么分得好
这张 SDR 柱状图的读图任务是比较 8 组实验下 4 个声源的高低落差。横轴是实验分组，纵轴 SDR/dB 越高波形能量越接近，颜色区分胎噪、风噪、动力总成逆变器与辅驱。先看无条件基线的高柱，再看归一化与频谱损失如何拉低宽带柱，最后注意个别条件组的负值柱，它们提示时域指标与谱质量脱节。
看图路径： 1. 先看横轴八个实验分组与图例四种颜色代表的声源；2. 再看纵轴 SDR/dB 方向，比较胎噪风噪高柱与动力总成辅驱矮柱的落差；3. 注意 UC-STFT 组风噪接近零、辅驱为负，以及 FiLM-STFT 组风噪为负值的异常柱
论文图 1。原论文 Figure 1:：“SDR separation results for single virtual vehicle.”。
从图中确实可见 UC-BASE 胎噪约 44.9 dB、风噪约 32.7 dB 而动力总成与辅驱仅数 dB，FiLM 基线胎噪约 45.1 dB，归一化与谱损失组宽带明显回落，个别条件组出现负值柱。它帮助理解后文为何不以 SDR 论胜负：有利 SDR 的条件估计在谱图上出现沿时间或频率周期复现的能量突发，听感与谱检查更差。谱图例子显示胎噪低频重建好但 1 kHz 以上底噪偏高，风噪 2 kHz 以下较好，动力总成在加速初段 4 kHz 以上弯曲阶次可见而 2 kHz 以下被掩蔽阶次分离模糊，辅驱低频窄带弱阶次最难。多车训练后胎噪风噪仍可，动力总成出现伪影并丢失低频阶次，辅驱因全程被掩蔽且跨车变化大而最差。
损失归一化与条件各自带来什么代价
消融要同条件比：无条件基线 UC-BASE 波形重建最直接，SDR 最高；加归一化后优化重心移向弱源，但 SDR 上更多体现为宽带下降而非弱源稳定上升。加频谱损失后 SDR 下降是预期的，因为优化目标不再只是波形，谱上更干净，论文因此认为辅助谱损失合理有益。
对数幅度项被发现矫枉过正：它偏向低电平背景而欠拟合高能量区，整体分离变差；多分辨率谱损失被点为自然扩展，但本篇未实际验证。条件注入在单车上可能是冗余的，因为车速与转速可从混合本身推断，期望收益本应在未见硬件和被掩蔽阶次上，但实际条件变体谱质量更差，伴随 250 Hz 横纹，减小跳长提高条件注入率才缓解。未探索的是工况表示本身，四变量量纲范围不同、到幅度的映射非线性，只换注入点不够，还需设计表示。
结论在什么条件下才成立
合成域可行结论只在给定技术噪声、加速非满载、相对电平校准下成立，离开该激励与掩蔽比不能推广。SDR 不充分是本域重要限制，论文建议补三分之一倍频程误差与沿阶次轨迹的电平误差，但两者可否反传、如何设计损失仍需推敲。
迁移结论是部分且选择性的：阶次谐波误入风噪胎噪、高速宽带误归动力总成、辅驱幻觉都是训练分布系统性偏差，不是分离器容量问题，因此作者判断更优路线是用实测带标签数据而非继续精修生成器，合成可作预训练再微调以省数据。未评测的范围包括满载加速、静止辅驱主导场景、风洞鼓轮台架分录求和等更易获得标签的场景，以及推理延迟与算力开销，缺误判率与成本测量就不能承诺省时一定保质。来源方面本次未确认作者代码模型数据可用，不得声称已公开，复现应以论文参数与自建生成器为准。
复现第一步做什么
值得尝试的情形是标签可得：静止时宽带缺席、辅驱可单独驱动；或风噪胎噪动力总成可在风洞、鼓轮、测功机分录再求和；最难才是全系统运行需传递路径分析拿标签。复现第一步是按原文范围实现 3 阶段生成器，先跑单车加速固定硬件，关闭复数直预测与残差分支，用幅度预测加维纳、源权重 1、1、20、20、谱收敛单项训练无条件基线，再对比归一化与条件注入。
关键信息条件是 4 维工况必须与音频同步，禁用破坏对齐的增广与输入归一化，推理前注意归一化使幅度相对化。硬件预算参考单 H100 节点，条件模型若要复现更小跳长需预留更多计算。评价不要只跑 SDR，必须看谱图、听感，并按宽带与 tonal 分别统计频带与阶次误差，否则会被高 SDR 误导。
一句话总结与后续方向
这项工作把电动车内噪声分解首次做成四源有监督分离，用轻量混合 Transformer 学会了合成域中可听可见成分的分离，证明了数据驱动在给定技术噪声上的可行性，但域随机化 alone 未能闭合实测差距，工况条件注入出现与分辨率相关的横纹伪影而未达预期。
后续最值得做的是表示与注入方式一起改的工况条件研究，以及用少量实测标签微调合成预训练，并把三分之一倍频程与阶次轨迹误差纳入评价乃至损失。应用定位是传递路径分析与运转变体之外的第三种低代价选择：训练好后只需接收点双耳测量，也可与运转方法互补，例如难布传感器的胎噪由模型估计、其余路径仍用运转方法覆盖。
📎 论文与评分元数据
排名：前50% | 文档类型：应用研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses