英文题目：TOWARDS ON-EDGE PERSONALIZED SPEECH ENHANCEMENT WITH FEATURE-BASED KNOWLEDGE DISTILLATION
会议身份：
conference:eusipco:2026:conference-paper-id:0000206
✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。
标签：#知识蒸馏 #高效推理 #端侧运行 #目标说话人提取
评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Khodakov, Ivan：机构信息未能从会议 PDF 纯文本可靠映射
- Serre, Thomas：机构信息未能从会议 PDF 纯文本可靠映射
- Fontaine, Mathieu：机构信息未能从会议 PDF 纯文本可靠映射
- Benhaim, Eric：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
个性化语音增强以含噪混合波形与目标说话人注册语音为输入，输出目标说话人干净波形，难点是在强噪声与干扰说话人下同时保留目标音色与抑制背景。所提DualDF先由编码器对输入幅度谱做卷积编码并经FiLM注入192维ECAPA-TDNN嵌入，输出进入可重复B次的分离器块逐块提纯掩蔽表示，编码器输出经残差与归一化送入解码器预测幅度掩蔽。掩蔽后波形进入深度滤波分支，该分支以前一分支末块隐表示经FiLM条件化，用因果单GRU预测复数滤波系数精修谐波与相位。蒸馏时以12块教师指导因果学生，同时对齐掩蔽logits均方误差、滤波系数均方误差与经线性投影器对齐的编码器加逐块特征均方误差，块数不一致时用均匀映射分散对齐。与仅做粗估计的掩蔽分支相比，每块重复FiLM条件与精修掩蔽设计强化了目标说话人保持，串联先掩蔽后滤波分工使背景抑制与信号保真解耦。在DNS5盲测集Track 1耳机场景下，6块DualDF学生的OVRL指标为3.16，高于3块学生的OVRL 3.12。该结论适用边界仅为16kHz单通道电话场景与个性化DNSMOS评价，跨语言、强混响与真实耳机助听设备的泛化尚未验证。学生以0.89M参数与0.42G计算量实现40ms延迟，满足端侧推理开销约束。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，本文要解决哪一步？
本文输入是含目标语音、干扰人声和背景噪声的混合录音，外加一段目标说话人的注册语音，目标是在耳机、助听器等端侧设备上只提取目标人声。输出是增强后的目标语谱图对应的波形。必须保留的信息是说话人身份条件、因果与低延迟约束，以及参数量与乘加量的复杂度预算。本文解读的输出是一套可复述的方法流程、训练损失构成和实验条件对照。
先把语音增强和个性化语音增强分开。普通语音增强只管压噪声，不管留下的是谁的声音。个性化语音增强多了一个身份约束，要在有其他人说话时也不跟错对象。为此系统先用预训练说话人验证模型把注册语音压成嵌入，再把嵌入送给提取网络做条件控制。论文沿用 ECAPA-TDNN 这类已验证的编码器思路，提取网络则需要同时完成背景抑制和目标锁定。
个性化语音增强 × 说话人注册： 个性化语音增强负责从噪声和干扰人声中只保留目标说话人，说话人注册负责提供一段目标语音并经说话人编码器转成判别性嵌入；前者是分离执行者，后者是身份条件源，二者搭配的原因是仅靠降噪无法区分谁是谁，组合后提取网络才能按嵌入锁定目标声。
端侧部署是本文的硬约束。大模型如 TEA-PSE 系列提取能力强，但参数和计算太大，难以放进实时耳机链路。轻量路线已有 pDeepFilterNet2 等尝试，把深滤波和粗掩码结合。本文要解决的一步是，在保持目标音质的前提下，进一步把重复块结构压缩到 1000000 参数以下，并让跨结构的蒸馏真正可用。
已有路线各解决了什么，还缺什么？
时频模型路线如 pDCCRN 和 pPercepNet 在幅度与复数谱上做掩码或滤波，时域模型如 E3Net 和 SpEx 直接在波形或可学习基上分离。近期 Transformer 与状态空间模型提升了建模能力，双阶段结构把任务拆成两步，先后在 TEA-PSE 上取得较好效果。这些工作主要解决提取上限问题，代价是复杂度上升。
轻量路线解决部署问题。pDeepFilterNet2 把深滤波和粗掩码结合，论文报告其参数量级明显小于 TEA-PSE 3.0。原文写明，结合深滤波与粗掩码的该模型参数规模与 TEA-PSE 3.0 的对照关系，是理解轻量收益的起点。但粗掩码分支对个性化任务可能不够精细，且只做 1 次条件注入，对目标说话人的持续跟踪有限。
知识蒸馏路线解决小模型训练问题。此前在个性化增强中多为基于响应的蒸馏，用教师输出做软标签。在普通语音增强中已有基于特征的蒸馏，多依赖 U-Net 类对称结构，师生结构差异大时难以对齐。投影器加线性映射的思路曾被研究可缓解不对称，但论文指出其尚未用于个性化增强任务。本文的缺口正是跨结构、可变块数下的特征级蒸馏。
任务设定与成功标准是什么？
给定混合语音的幅度谱与复数谱，以及 192 维左右的说话人嵌入，模型要输出只含目标语音的谱图。举例来说，例子中 2 人同时说话加风扇噪声，系统应压住干扰说话人与风扇声，保留注册人的音色与内容，这只是教学例子，不代表论文的数值效果。
成功标准分两类。效果侧用个性化 DNSMOS 评估信号质量、背景去除和总体分，分数越高越好，测试集是 DNS5 盲测集的头戴与免提实录。复杂度侧用参数量与乘加量，越低越好。论文强调端侧可用，因此还隐含因果、前视受限与低延迟要求。
一个常见误解是把背景压得越干净等同于越好。论文的对照显示，轻量学生首先掉的是背景去除分，而信号质量分相对保持。也就是说，保住目标人不丢、不失真，与压干净背景是两个可分离的目标，方法设计需要分别给容量。
DualDF 如何走完从混合谱到增强谱？
沿一个样本走一遍。输入混合语音先算短时傅里叶谱，幅度谱进入掩码估计分支的编码器，编码器由两组 1 维卷积加激活与归一化构成。编码器输出先做 1 次说话人条件的 FiLM 调制，再进入重复 B 次的分离块堆叠。每块内部做归一化、FiLM 条件、门控循环单元与线性层，并带残差连接。解码器把最后一块的表示映射成掩码，经 Sigmoid 后乘到输入幅度谱上，得到初增强幅度谱。
随后深滤波分支接管精修。它沿用深滤波框架但只保留单个门控循环单元，并在门控循环单元之前用掩码分支最后一块的隐表示做 FiLM 条件，使深滤波能吸收掩码分支已学到的目标信息。最终把学到的复数滤波系数作用于掩码分支输出，得到增强谱图。2 分支因此是粗分加精修的关系，而不是并列投票。
下面整理师生在结构规模上的关键差异，表中数字均来自原文连续句，参数对照针对 pDeepFilterNet2 与 TEA-PSE 3.0 的背景，块数与维度对照针对本文 DualDF 师生。
| 模型 | 块数 B | 隐层维度 | 分组门控循环单元分组数 | 深滤波与参数对照 |
|---|---|---|---|---|
| pDeepFilterNet2 对照 | 不适用 | 不适用 | 不适用 | 2.31M，对照 22.24M |
| DualDF 教师 | 12 | 224 | 不适用 | N = 5，作用于前 48 个频点 |
| DualDF 学生 | 6 | 120 | 2 | N = 5，作用于前 48 个频点 |
该表说明压缩主要来自三处，减少重复块数、缩小隐层维度、把普通门控循环单元换成分组版本。深滤波分支在师生间保持相同维度与系数设置，这为直接用教师权重初始化学生深滤波分支创造了条件。教师用全局层归一化以利收敛，学生为实时因果改用累积层归一化，这是因果约束带来的实现差异。
掩码分支的每个块在算什么？
掩码分支采用编码器、分离器、解码器结构。编码器只处理幅度谱，卷积核尺寸为 3，每层卷积带 1 帧前视，因此掩码分支共有 2 帧前视，对应约 40 毫秒延迟，适合电话场景。编码器后先做 1 次 FiLM 条件与线性层，使身份信息尽早进入。
分离器由相同块重复 B 次构成。每块的计算顺序是归一化、FiLM 条件、门控循环单元、线性层，再与块输入残差相加，最后加 PReLU。论文说明该块受 DPRNN 启发，但保持因果与简单，以符合复杂度约束。每块都接受说话人嵌入调制，与 pDeepFilterNet2 只做单次条件注入不同，这种逐块条件被认为是提升目标人检测的可能原因，原文表述为推测性解释，需进一步消融验证。
掩码估计 × 深滤波： 掩码估计分工是在幅度谱上做粗抑制，压住背景噪声但保留目标语音能量，深滤波分工是用复数滤波器在时频邻域内进一步精修目标语音；搭配理由是单靠幅度掩码难以恢复相位细节和残留干扰，组合后先由掩码给出干净幅度初值，再由深滤波做复数域精提取。
解码器先经线性、激活与归一化，再经线性加 Sigmoid 预测掩码。掩码作用对象是输入幅度谱，目标是压背景噪声同时保留目标语音。论文的结果分析支持这一分工判断，学生相对教师的主要下降出现在背景去除分，而信号质量分保持较好，说明掩码分支容量直接影响背景抑制。
深滤波分支与条件注入如何配合？
深滤波分支处理复数谱细节。它使用因果深滤波，系数个数与频带在师生间一致，因此学生可以直接复制教师的深滤波权重做初始化。条件注入点选在门控循环单元之前，条件来源是掩码分支最后一块的隐表示，经 FiLM 调制后进入深滤波的循环层。
这样安排的理由是让深滤波看到掩码分支已提炼的目标结构，而不是从零重新判断谁是目标。动作上是先有幅度初值，再学复数邻域滤波。论文在蒸馏时也对深滤波系数做均方误差对齐，并单独考察了权重初始化的增量。
FiLM 条件 × 说话人嵌入： 说话人嵌入分工是携带目标音色身份信息，FiLM 条件分工是把该嵌入转成缩放和平移参数去调制分离网络特征；搭配原因是直接拼接难以逐层控制，组合后编码器输出和每个重复块都能按身份重加权，使网络持续关注目标说话人。
复杂度控制上，学生把门控循环单元换成分组门控循环单元，并缩小隐层。分组会减少跨通道连接，表达能力下降，论文用逐块特征蒸馏补偿。
分组门控循环单元 × 知识蒸馏： 分组门控循环单元分工是以分组方式切分隐层来降低参数量与乘加量，知识蒸馏分工是用教师隐特征和输出补偿小容量带来的表达损失；搭配原因是单纯缩小隐层会削弱背景抑制，组合后学生用更少计算去逼近教师的逐块表示，维持可部署的复杂度与性能折中。
蒸馏与监督损失如何相加，梯度从哪里来？
学生训练的总损失是监督损失加蒸馏损失。监督部分沿用个性化增强常用组合，包括谱损失、尺度不变信噪比损失和过抑制损失，权重分别取较大谱权重与较小信噪比及过抑制权重。蒸馏部分包括三项，掩码响应蒸馏、深滤波系数蒸馏和基于投影的特征蒸馏。
掩码蒸馏取 Sigmoid 之前的 logits，用均方误差对齐师生，以保留更丰富的非饱和信息。深滤波蒸馏直接对滤波系数做均方误差。特征蒸馏把学生编码器输出与每个学生块输出经线性投影后，与教师对应表示做均方误差。由于师生块数不同，采用均匀映射策略选择教师块，使学生的少块能覆盖教师的分离隐空间。
特征蒸馏 × 响应蒸馏： 响应蒸馏分工是让学生模仿教师掩码分支输出和深滤波系数等最终响应，特征蒸馏分工是让学生各块隐表示经线性投影后对齐教师对应块；搭配原因是只学输出会丢失中间分离过程，组合后学生既学到每层如何逐步去噪，又学到最终输出形态。
原文明确给出各损失权重是通过预备实验确定的，但未报告梯度是否截断、投影层与主干是否联合更新的全部细节，也未说明教师在蒸馏时是否冻结之外的额外更新。复述时只能说教师提供固定目标表示，学生侧产生梯度，缺失的优化细节应记为未报告项，不从模型名推定。深滤波初始化是把教师同维度权重直接赋给学生对应分支，作为训练起点，而非替代系数蒸馏。
数据、协议与复杂度如何度量？
训练数据沿用此前工作的生成策略，目标语音、干扰语音与噪声取自 DNS5 挑战源文件，并补充 Mozilla Common Voices 片段。合成样本长 10 秒，采样率 16 千赫兹，信干比与信噪比分布沿用引用的先前设置，说话人嵌入选用预训练 ECAPA-TDNN。评估用 DNS5 盲测集，包含头戴录音与免提录音的真实片段，无干净参考，因此用个性化 DNSMOS 给出信号质量、背景去除与总体分。
谱与延迟条件是复现关键。原文给出窗长、重叠与前视的完整描述，教师与学生在此保持一致。训练用 Adam 优化器，先 warmup 再余弦衰减，并用验证损失早停。损失权重数值原文已列出，可直接复用。
| 配置项 | 窗长 | 重叠 | 编码器每卷积前视 | 总前视与延迟 |
|---|---|---|---|---|
| 谱与延迟设置 | 20-ms | 50% | 1 frame | 2 frames，40-ms |
| 训练样本设置 | 10-s | 16 kHz | 不适用 | 不适用 |
该表把可直接照抄的实验条件集中呈现。复杂度用参数量与乘加量衡量，数值方向是越低越好。基线包括 TEA-PSE 3.0 直接引用原论文结果、E3Net 按同类设置自训练、pDeepFilterNet2 把拼接条件换成 FiLM 后按同类设置训练。比较时需注意 TEA-PSE 结果非复跑，训练数据与评估协议是否完全一致存在不确定性。
主结果支持什么判断，不支持什么？
论文报告 DualDF 教师在信号质量上接近 TEA-PSE，同时参数与乘加量大幅降低，并超过自训练 E3Net 的信号质量与总体分。这是论文直接报告的主结果，支持双分支精细掩码设计在保目标音质上的价值。但该比较中 TEA-PSE 为引用值，E3Net 为自训练版本，公平性受训练配置差异限制。
学生侧，6 块监督学生相对教师的主要差距在背景去除分，信号质量分保持相对较好。加入蒸馏策略后，背景去除分在头戴与免提两轨均有明显回升，总体分随之提升。论文将此归因于对掩码分支每块的强蒸馏，因为掩码分支主要负责背景抑制，这属于有限解释，得到背景分回升的支持，但未做拿掉逐块蒸馏只留响应蒸馏的完全对照以证明因果。
深滤波初始化在较难的免提轨略有提升，整体增量有限。论文据此认为深滤波系数蒸馏已足够，初始化的额外价值不大。这是对特定配置的判断，不支持推广为所有结构下初始化无用。未胜出项是 pDeepFilterNet2 仍在背景去除与总体分上高于 3 块学生，但 3 块学生在信号质量上仍有竞争力，且参数量更小，说明收益与代价分属不同指标。
块数减少后性能与复杂度如何变化？
论文比较了蒸馏训练下 3 块、4 块与 6 块学生。报告的趋势是块数减少带来参数与乘加量相对教师下降 80% 左右，总体分仅轻微下降，背景去除分下降相对更明显，尤其在头戴轨。这支持蒸馏策略在减少块数时具有鲁棒性的判断，但原文未给出每档的完整方差与显著性，趋势不等同于每组都成立。
一个需要保留的细节是块数描述存在两处不同表述。方法部分写师生块数差异时提到分为 2、3 或 4，而超参数与结果部分明确写学生取 6 块及 3、4、6 块对照。复述时应明确标注这一冲突，不自行猜测哪一处为笔误，复现时以结果部分的 3、4、6 块为准，并检查教师 12 块到学生的均匀映射实现。
代价侧，减少块数主要压缩分离器容量，对背景抑制的影响大于对目标音质的影响。若应用更在意背景干净而非目标保真，选更小块数前需补做主观听感与过抑制检查，原文的主观听感描述仅为定性补充，未提供可复核的评分协议。
哪些边界没有测，哪些结论不能推广？
未评测边界较多。评估依赖个性化 DNSMOS 这类客观代理指标，没有可复核的主观平均意见分与误判率统计，不能把总体分提升等同于人耳偏好提升。未测量端侧真实延迟、内存峰值与功耗，参数量与乘加量下降不等于实际帧级延迟下降。未报告跨语种、跨设备与强混响下的系统性失败条件，免提轨虽更难但仍只是 DNS5 盲测集的子集。
方法缺项也需记下。投影线性层的维度、初始化与是否参与推理，均匀映射的具体索引规则，教师是否全程冻结，过抑制损失的触发阈值，均未在给定证据中完整交代。蒸馏权重是通过预备研究确定的，但预备搜索空间未报告，复现时只能先用原文权重。
相关性不等于因果。逐块条件与精细掩码可能同时带来信号质量收益，但论文未提供拿掉逐块条件或换回粗掩码的对照，不能断言收益必然来自某单一改动。深滤波初始化增量有限的结论只在当前同维度分支下成立，换结构后可能不同。
要复现应先固定什么，再跑什么？
先固定信息条件与数据管线。注册嵌入用预训练 ECAPA-TDNN 的 192 维向量，混合样本按 10 秒、16 千赫兹合成，谱用 20 毫秒窗、50% 重叠，前视按编码器每卷积 1 帧、共 2 帧实现 40 毫秒延迟。因果约束下学生用累积层归一化，教师用全局层归一化，深滤波保持因果且系数与频带在师生间一致。
再固定模型与优化。教师设 12 块、隐层 224，学生先跑 6 块、隐层 120、分组数 2 的版本，编码器卷积核尺寸取 3。优化用 Adam，100 轮内训练，warmup 3 轮从 1e-4 到 1e-3，再余弦衰减至 1e-6，验证损失早停耐心 15 轮。损失权重按原文掩码 1、深滤波 1、块特征 2、谱 900、尺度不变信噪比 0.5、过抑制 0.1 起步。蒸馏时掩码取 Sigmoid 前 logits，深滤波对系数，特征经投影后按均匀映射对齐。
资源状态方面，本次收到的证据中没有绑定且完成校验的代码、模型或数据链接，因此不能写代码或权重已公开。复现应自建训练管线，并先复跑监督学生基线，再加入蒸馏，以分离结构收益与蒸馏收益。还需补做真实设备延迟与主观听感验证，才能支撑端侧可用的结论。
何时值得尝试这种双分支蒸馏？
当任务必须区分目标人与干扰人，且设备只允许 1000000 参数量级与数十毫秒延迟时，这种先掩码粗分、再深滤波精修、逐块蒸馏补偿容量的路线值得尝试。它把容量优先留给背景抑制分支，用教师的中间表示教会小模型如何分步去噪，适合重复块结构天然可压缩的场景。
当目标是极致背景干净而非保真，或注册语音不可靠时，不应直接套用。此时应先验证嵌入质量与过抑制行为，因为本文学生的短板正在背景去除，且过抑制损失的权重与阈值会直接影响目标丢失的主观不适。
收束一句话，DualDF 的价值在于用更精细的逐块条件掩码保住目标人，用跨结构的响应加特征蒸馏保住小模型的背景抑制，复现时抓住块数、隐层、分组、前视与损失权重这组可执行条件，再补上延迟与人评这两项未验证证据，才能把论文结果转成可用的端侧方案。
📐 原文公式与排版
以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。
另有 8 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses