不只抵消噪声，还要主动补回语音：主动语音增强如何把扬声器变成修复器

英文题目：Active Constructive Interference for Speech

会议身份：conference:interspeech:2026:conference-paper-id:yaish26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#状态空间模型 #Transformer #主动降噪 #去削波 #去混响

评分：6.6/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Ofir Yaish：机构信息未能从会议 PDF 纯文本可靠映射
• Yehuda Mishaly：机构信息未能从会议 PDF 纯文本可靠映射
• Eliya Nachmani：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

主动语音增强 Active Speech Enhancement（ASE）要求从参考麦克风的畸变语音 \(x(n)\) 出发，经由抵消扬声器与次级路径，在改造麦克风处合成逼近洁净目标 \(c(n)\) 的物理声场 \(e_h(n)=d(n)+a(n)\)，难点在于同时抑制干扰并补偿混响与削波造成的语音缺损且满足因果时延。所提主动语音增强 Transformer-Mamba（ASE-TM）先以短时傅里叶变换 Short-Time Fourier Transform（STFT）堆叠幅度与相位并经稠密编码器抽取时频特征，再交替使用双向时频 Mamba 路径建模长程依赖并在中段插入降维多头注意力补充全局上下文，随后由幅度与相位双解码器预测抵消信号 \(y(n)\) 并经电声非线性 \(f_{LS}\{\cdot\}\) 与房间脉冲响应合成为增强波形，最后以时域加频谱加相位加感知对抗损失联合优化抑制与富化。与仅追求残差归零的传统主动噪声控制 Active Noise Control（ANC）相比，该机制允许输出能量高于输入以主动恢复语音谐波结构。在 VoiceBank-DEMAND 去噪测试（\(T_{60}=0.25\)s，\(\lambda^2=\infty\)）中 ASE-TM 取得宽带感知语音质量评估 Perceptual Evaluation of Speech Quality（PESQ）2.98，明显高于最强基线注意力循环网络 Attentive Recurrent Network（ARN）的 2.45和传统滤波基线 THF-FxLMS 的 2.37。该结论目前仅在合成主次路径与固定麦克风扬声器布局下验证，强非线性扬声器与未知房间的外推能力尚未证明。原文未披露训练、推理或部署成本的实测细节。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这次解读要保留什么？

这次解读的输入是会议论文正文与本次实际收到的 3 张原图像素，目标是让刚进入语音与音频方向的研究生能复述主动语音增强的做法、训练与评测条件。必须保留的信息包括任务定义中物理信号的加减关系、模型从输入到输出的完整路径、损失函数的组成、声学通道仿真参数、数据集划分与基线配置，以及主结果数字的任务条件与指标方向。

输出按学习依赖展开，先讲任务与相关路线，再讲方法全景与组件计算，然后讲训练与仿真实现，最后讲实验条件、结果反证与复现要点。教学用的例子会明确标为例子，不把例子当作论文报告的数值。凡是论文未报告的实现细节，本解读会指出缺项，不从模型名字推定。关于代码与演示链接，论文正文写了一个地址，但本次没有完成可达验证的绑定资源，因此不能写已公开或当前可用，只能按正文转述作者的声明并说明本次未能确认可达。

被动增强与主动抵消各解决什么，为什么都不够？

传统语音增强的输入是已经录到的退化波形，做法是在数字域把噪声减掉或把频谱映射回干净频谱。白话说，它是事后修图，修的是已经混合好的照片。论文回顾了谱减、维纳滤波、统计模型，以及后来的卷积网络、循环网络、生成对抗网络、Transformer 与扩散模型，指出它们在非平稳噪声下仍吃力，且都属于被动重构，不触碰发声的物理过程。主动噪声控制的输入是参考麦克风与误差麦克风的两路信号，做法是经扬声器发出反相声波，让两路声波在误差麦克风处相消。

白话说，它是现场用反向声波把噪声按住。从早期专利到自适应滤波、多通道与耳机应用，这条路线擅长压制可预测或窄带噪声，但目标是让残差趋近于零，不负责把语音中有用的频率补回来。两条路线的缺口正好互补：被动增强缺物理执行器，主动抵消缺语音重塑目标。论文提出的主动语音增强就是把两者拼起来，用主动声学叠加同时做衰减干扰与放大语音。

理解这一点后，后面看到误差麦克风被改称为修正麦克风就不会困惑，因为它的角色从验残差变成了验收重构。

主动语音增强的物理回路与三类失真如何定义？

先沿一个样本走完物理回路。记失真语音为参考信号，记初级通道冲激响应为房间从干扰源到修正麦克风的传播，记主信号为两者卷积。数字处理器输出抵消器信号，经扬声器电声传递函数与次级通道传播后形成反信号。传统主动噪声控制定义残差为两者相减，目标是残差趋零。主动语音增强把加法点符号改成相加，修正麦克风信号等于主信号加反信号，目标是让该混合逼近声学干净目标，偏差越小越好。

换句话说，模型不能直接交出干净波形，只能交出抵消器输入，真正的增强效果要在空气中叠加后才能量到。论文把 3 类失真适配到这个框架。加性噪声是干净语音加噪声。混响是干净语音与房间冲激响应卷积，语音被拖尾模糊。削波是幅度超过阈值被截平，阈值在零到一之间，带来谐波失真与可懂度下降。

不同任务的目标定义不同，去噪任务的目标是干净语音再经初级通道到达修正麦克风的样子，去混响与去削波任务的目标是没有任何通道与削波的原始干净语音。这个区分很关键，因为后两类任务要求模型不仅抵消干扰，还要逆转通道影响。

主动噪声控制 × 主动语音增强： 主动噪声控制的分工是产生与噪声反相的声波，让误差麦克风处残差趋近于零，只做减法；主动语音增强的分工是产生经过扬声器与次级通道后的修正声波，让误差麦克风处总混合逼近干净语音目标，既做减法又做加法。搭配理由是前者提供了参考麦克风、抵消扬声器、初级与次级通道的物理闭环，后者把该闭环的目标从静音改写为重构。组合意义是把声学叠加从干扰抑制工具变成可塑形的增强通道。

下面这张前馈结构图是理解全文的锚点，读图时先分清数字域与物理域的边界，再确认加法与回路方向。

看图路径： 1. 先从左侧失真语音分叉看两条路：上一路经初级通道直达加法点，下一路经数字处理与扬声器再到加法点；2. 再看加法点符号是加号而非传统主动噪声控制的减号，确认目标是构造性叠加；3. 最后看修正麦克风回连到数字处理模块的箭头，确认系统利用物理混合做闭环

论文图 1。原论文 Figure 1：“A feedforward ASE setup diagram. TM model targets the restoration of speech s(n) degraded by: (i) Additive noise: This common distortion, where unwanted background sounds obscure…”。

图中左侧失真语音分出两支，一支直接进入代表初级通道的方框形成主信号，另一支进入标为主动语音增强的数字模块形成抵消器信号。该信号经扬声器符号与次级通道方框形成反信号，两路在加法圈处相加得到修正麦克风信号。修正麦克风同时回连到数字模块，构成可利用物理混合的闭环。浅色大框把扬声器、次级通道、加法点与麦克风划为物理环境与硬件，深色小框把增强模块划为数字信号处理，直观对应了数字信号必须经物理通道才能生效的约束。

模型全景：从波形输入到抵消器信号输出经历什么？

模型全名可简称为主动增强 Transformer-Mamba，输入是采样率为 16 kHz 的含噪波形，输出不是增强波形而是抵消器信号的复频谱。第一步是短时傅里叶变换，采用汉恩窗、窗长四百点、跳长一百点、傅里叶点数四百点，每帧得到 201 个频率特征，幅度与相位横向堆叠后送入网络。这个选择把问题放在时频域处理，便于同时约束幅度与相位。第二步是稠密编码器，用卷积层与稠密块从堆叠表示中提取初始特征，输出为 128 个通道、每通道 100 维特征。

第三步是核心建模，共 8 个时频 Mamba 块，每个块内部分时间路径与频率路径，用双向 Mamba 分别捕捉时间与频率依赖。在前 4 个块之后插入一个注意力模块，先用 2 维卷积把通道与特征维度压缩，再做位置编码与十头多头注意力，然后用转置 2 维卷积恢复维度，并与压缩前的表示做残差相加，再送入后 4 个块。第 4 步是幅度与相位双解码器，结构沿用先前语音增强 Mamba 工作中的稠密块与转置卷积，并在幅度分支用原始频谱幅度与预测幅度逐元素相乘做残差连接。

关键区别是解码器预测的是抵消器信号的复频谱，该信号经扬声器与次级通道后才与主信号相加得到最终增强信号。

初级通道 × 次级通道： 初级通道的分工是描述失真语音从参考点到修正麦克风的房间传播，用冲激响应卷积得到主信号；次级通道的分工是描述数字抵消信号经扬声器非线性与房间传播后到达同一麦克风的路径，得到反信号。搭配理由是最终麦克风信号是两路物理声波的和，模型不能直接输出干净波形，只能输出抵消器输入。组合意义是训练必须把次级通道与扬声器特性包含在前向仿真里，否则数字信号与物理效果脱节。

这样设计的原因在原文有明确安排：Mamba 负责高效的时频序列建模，注意力负责在压缩表示上引入全局加权，混合结构借鉴了语言模型中混合注意力与状态空间的思路。需要提醒的是，论文只说采用第二代 Mamba 是看中潜在效率提升，没有给出本任务上的完整复杂度对照，因此不能把效率当作已验证结论。

注意力块与解码器具体算什么，残差连在哪里？

把注意力块拆开看计算过程更清楚。假设编码器输出是通道数与特征维度的 2 维特征图，先用核尺寸为一乘特征维一半加一的 2 维卷积把通道压到 1/4、特征维压到一半，得到紧凑表示。位置编码加到该紧凑表示上，多头注意力在压缩空间计算全局权重。之后用同样核尺寸的转置 2 维卷积把通道与特征维恢复，再与压缩前的原始特征相加。

这个先压缩再恢复加残差的做法有两个作用，一是把注意力计算量控制在小尺寸上，二是保留原始时频细节不被压缩丢失。后半段时频 Mamba 块继续在恢复后的表示上建模，避免注意力成为信息瓶颈。解码器侧，幅度与相位分支各自用稠密块与卷积重构目标表示，幅度分支额外乘回原始短时幅度，相当于让网络学习增益而非绝对幅度。最终逆短时傅里叶变换得到时域抵消器波形，再经物理仿真得到麦克风处增强波形。

整个前向链是数字预测加物理传播，训练损失量的是物理混合与干净目标的距离，而不是数字输出与干净目标的直接距离。

Transformer 自注意力 × Mamba 状态空间： Transformer 自注意力的分工是在压缩后的时频表示上捕捉长程全局依赖，对哪些时频区域需要整体抬升或压制给出权重；Mamba 状态空间的分工是在时间维和频率维分别以双向选择性扫描建模局部与序列依赖，承担主要的时频建模计算。搭配理由是纯 Mamba 对全局结构的显式加权不足，纯注意力对长语音序列代价高，论文在前半段时频 Mamba 块后插入 1 次降维注意力再恢复维度。组合意义是以较小的注意力开销为后续 Mamba 块提供全局上下文调制。

举一个教学例子帮助记忆，但例子数值是虚构的：假设某帧元音谐波在低频能量弱，编码器给出模糊特征，注意力可能给该时频区更高权重，Mamba 据此在时间上延续浊音段、在频率上延续谐波结构，解码器输出更大的抵消器增益，经扬声器叠加后把该频段补起来。这只是帮助理解分工的例子，不代表论文实测了该帧行为。

损失函数监督谁，训练按什么流程跑？

监督来源是配对的增强波形与干净目标波形，距离同时在时域、频域与感知层面计算。论文沿用先前并行幅度相位增强模型的多层损失框架，并做了适配。第一项是时域损失，为增强波形与目标波形差的绝对值距离加平方距离，前者对异常值更稳健，后者鼓励平滑。第二项是幅度谱损失，对两者幅度谱做同样的绝对值加平方组合。第三项是复谱损失，对实部与虚部分别算平方距离，约束相位相关结构。

第四项是抗缠绕相位损失，包括瞬时相位、群延迟与瞬时角频率三部分，直接优化相位谱并处理相位跳变问题。第五项是基于度量的对抗损失，用一个判别器预测感知分数，引导生成器输出在该分数上更高。第六项是一致性损失，约束解码器直接输出的复谱与把时域增强波形再做短时傅里叶变换得到的复谱一致，避免频域预测与时域波形脱节。

总体生成器损失是这些项的加权和，但论文正文没有给出各项权重数值，这是复现时需要对照代码或附录补齐的缺项。

干扰抑制 × 信号增补： 干扰抑制的分工是把增强后波形与目标波形在时域、幅度谱、复谱上的距离压小，去除噪声、混响尾巴和削波谐波；信号增补的分工是用相位抗缠绕损失、感知度量对抗损失和一致性损失把语音相关频率的能量与结构补回来。搭配理由是只做抑制会得到偏小、偏闷的残差，而只做增补会放大失真。组合意义是生成器损失以加权和同时约束波形数值接近与听感指标变好。

训练流程按原文交代是：音频切成三万两千点、即 2 秒一段做批量训练，批量大小为四，用 AdamW 优化器训练 350 轮，初始学习率为万分之五，两个动量系数分别为 0.8 和 0.99，以验证集语音质量分数选最优参数做最终测试。论文说明 2 秒切段仅用于批量训练，实际部署可连续保持状态以消除边界伪影。关于梯度是否经过声学通道仿真、扬声器非线性是否可导、判别器更新频率等细节，正文没有展开，不能从名称推定实现，复现时必须回到代码核对。

数据、声学通道与基线在什么条件下比较？

实验覆盖 3 类任务。加性噪声任务用语音库噪声数据集，干净语音来自语音库语料，噪声来自多环境噪声库。训练集为 28 个说话人、10 种噪声、信噪比零、五、十、15 分贝，验证集从训练说话人中取 2 人，测试集为两个未见说话人的 824 条、5 种未见噪声、信噪比 2.5、7.5、12.5、17.5 分贝。

去混响与去削波任务用语音库中的干净语音自行合成，混响用语音大脑工具包按卷积方式合成，训练用伴随语音修复器提供的房间冲激响应训练部分，测试用其固定且不同的测试部分。削波按阈值截幅生成，训练时阈值在 0.1 到 0.5 均匀采样，测试用固定阈值，重点报告 0.25，另有 0.1 的强削波分析。

声学通道仿真模拟 3 乘 4 乘二米矩形房间，用镜像法生成房间冲激响应并高通滤波，修正麦克风、参考麦克风与抵消扬声器分别位于给定坐标，初级与次级通道长度均为五百一十二抽头。扬声器非线性用缩放误差函数建模，参数控制饱和严重程度，越大越接近线性。训练时房间混响时间与扬声器参数分别从给定集合随机采样，测试用固定值。

评价指标包括宽带语音质量感知分数、短时客观可懂度、复合感知指标语音失真、背景噪声、总体效果，以及归一化均方误差，分数越高越好、误差越低越好。基线包括传统滤波扩展算法、卷积循环深度主动噪声控制网络与注意力循环网络，三者都被适配到主动语音增强框架并重新训练或配置，因此比较的是同框架下的实际可运行策略，不是原任务上的直接引用分数。

主结果测什么，谁在什么条件下胜出，代价是什么？

主结果要回答的问题是：在同样的主动声学回路里，只做相消的基线与同时做抑制加增补的新模型，谁的物理混合更接近干净目标。公平条件是同一房间仿真、同一修正麦克风位置、同一任务目标定义，指标方向为语音质量与可懂度越高越好、归一化误差越低越好。下表整理去噪任务在混响时间为 0.25 秒、扬声器为线性条件下的核心数字，表格为五列以同时核对任务条件、方法与 3 个方向不同的指标。

上表显示本文模型在 3 个方向同时领先，语音质量分数从最强基线的 2.45 提升到 2.98，可懂度接近上限，误差低到 -21.76 分贝。代价是生成器参数量为二千二百三十万，且需要未来样点预测来抵消推理延迟。未胜出项同样重要：深度卷积循环基线在该框架下语音质量分数只有 1.48，低于未处理，说明直接把旧主动噪声控制网络搬过来而不改目标与损失，会在新任务上失效。

论文还报告该模型在复合指标上领先，但受篇幅限制本表只保留 3 个最能对照抑制与增补的指标。下图从频域侧面解释增补行为，读图时注意纵轴是功率谱分贝值，不是质量分数，曲线抬升代表能量被补回，不直接等于听感变好。

看图路径： 1. 先确认左右两面板分别是去混响与去削波任务，横轴为频率、纵轴为功率谱分贝值；2. 再比较每个面板中蓝色失真曲线与橙色增强曲线在低频与中高频的相对位置；3. 最后观察蓝色曲线向下尖刺缺口处橙色曲线是否被填平，以判断补频行为

论文图 2。原论文 Figure 4：“Power spectra for the dereverberation and declipping tasks over the entire test set.”。

左右两面板分别对应去混响与去削波任务在整个测试集上的平均功率谱，蓝色为经初级通道后的失真信号，橙色为增强后信号。可见橙色在宽频段上整体高于蓝色，尤其在失真曲线出现向下尖刺缺口的位置，橙色把缺口填得更平滑。右侧去削波面板的低频抬升更明显，论文指出低频对可懂度关键，因此该抬升支持了削波恢复的解释。但这只是频谱层面的支持证据，最终判断仍要回到语音质量与可懂度表格。

新损失、注意力与第二代状态空间各起什么作用？

消融要回答的问题是：模型相对先前语音增强 Mamba 的改动中，哪一部分对验证集分数贡献最大，注意力是否只是加速收敛。论文在去噪任务上做了 5 种配置的训练曲线对照，包含是否用新损失、是否用注意力、是否用第二代状态空间模块。完整模型在整个训练过程中验证集语音质量分数始终最高，替换为第一代模块或去掉新损失都会下降，其中从第一代换到第二代加新损失带来的提升最大。

带注意力的配置收敛更快、更早到达较高分数，论文据此认为注意力帮助高效学习相关特征，但这属于有限解释，不是因果证明，因为学习率与初始化等条件未做额外随机种子统计。下表把去混响与去削波在固定阈值与固定通道下的核心数字放在一起，列数同样为五列，便于对照目标更难的两类任务。

上表显示去混响任务中基线分数反而低于未处理，传统方法与注意力基线分别只有 1.43 与 1.35，而本文模型达到 2.43。去削波阈值为 0.25 时，本文模型从初始 2.17 恢复到 3.09，而基线最高只有 1.92。这支持了论文的判断：当目标是原始干净语音而非经通道后的语音时，只做相消的基线难以调整到恢复任务。

更强的削波阈值 0.1 的分析显示，未处理分数为 1.53，本文模型恢复到 2.52，误差从 -0.18 分贝降到 -1.22 分贝，虽低于温和削波，但相对提升仍大。下面这张模型分析图同时给出训练动态与单样本语谱图，需要把曲线趋势与语谱图细节分开读。

看图路径： 1. 先看左侧横轴为训练步数、纵轴为验证集语音质量分数的五条曲线相对高低与收敛速度；2. 再对照图例中是否包含新损失、注意力机制和第二代状态空间模块的组合；3. 最后看右侧三行语谱图从上到下目标、含噪输入与增强输出的谐波结构相似程度

论文图 3。原论文 Figure 3：“Model analysis of the denoising ASE-TM model: ab- lation study (left) and enhanced signal spectrogram (right). 5.2. Dereverberation and Declipping Performance”。

左侧 5 条曲线中蓝色完整模型始终在最上方，橙色去掉注意力后略低，绿色与红色去掉新损失后更低，紫色用第一代模块最低，右侧纵轴末端标注的分数从高到低依次对应这种排序。右侧三行语谱图从上到下为经初级通道后的干净目标、含噪输入与增强输出，横轴为时间秒、纵轴为频率千赫，颜色代表幅度分贝。可见增强输出的谐波块与目标更接近，背景噪声的弥散能量被压暗，说明抑制与保留同时发生。但像素不能精确读出每步数值，本解读不硬写中间步分数，只报告相对排序与论文文字确认的结论。

鲁棒性、实时性与结论边界在哪里？

鲁棒性方面，论文报告在线性扬声器下不同混响时间保持较高分数，混响时间为 0.15 秒时三分之零二，0.2 秒时 3.13，引入强非线性后在混响 0.25 秒时仍有 2.74，随非线性减弱回升到 2.97。这显示模型对通道变化有一定耐受，但测试仍是合成房间与固定参数，不能推广到真实房间、移动声源或麦克风失配。

实时性方面，论文按因果条件要求模型延迟小于初级与次级声学延迟之差，算得约 4.37 毫秒，为此预测未来 500 个样点、即 16 kHz 下 31.25 毫秒。带未来上下文时去噪分数为 2.96、可懂度 0.99，相对不预测仅轻微下降，但论文没有报告实测端到端延迟、每帧计算量与功耗，因此不能把参数量与预测长度直接等同于可部署。

结论边界方面，作者明确指出基线是为传统主动噪声控制设计的，适配到新任务可能解释其偏低表现，未来需要主观评测、超越合成通道的验证，以及统一处理多目标的模型。本解读把这些表述当作待验证方向，不当作已证明的优势。缺失证据不是技术错误，但复现者不应承诺未测量的误判率、延迟与成本得到改善。

复现先做什么，需要哪些超参数与信息条件？

复现的第一步是重建物理回路，而不是先调网络。需要按 3 乘 4 乘二米房间、给定三点坐标、五百一十二抽头长度生成初级与次级冲激响应，用缩放误差函数模拟扬声器，并把混响时间与非线性参数的训练采样集合与测试固定值分开。数据侧按语音库噪声数据集的说话人与噪声划分、信噪比集合重建 3 类任务，特别注意去噪目标是经初级通道的干净语音，而去混响与去削波目标是原始干净语音，否则损失会对错对象。

第二步是按短时参数、编码器通道与特征维度、8 个时频块与十头注意力、批量与优化器设置搭建模型，训练时切 2 秒段、验证选最优。第三步是实现六项损失的加权和与判别器训练，论文未给出权重，需要从作者声明的代码中核对，本次解读因没有可验证可达的资源，不能写代码已公开，只能说论文正文声明了地址，本次未能确认可达，复现者需自行核对权重、梯度是否经过通道仿真以及判别器更新细节。

第 4 步是补两项验证：真实房间录音的主观听感，以及在目标硬件上的实测延迟与未来样点预测的稳定性。只有这 4 步都对齐，才能判断表格中的提升是否可重复。

何时值得尝试这个路线，还需补哪项验证？

当系统同时有参考麦克风、抵消扬声器与修正麦克风，且目标不仅是静音而是让人听清时，这条路线值得尝试，例如助听或车载通话中既要压噪声又要补语音的场景。当只有单麦克风录音、没有声学执行器时，该方法不适用，应退回被动增强。值得尝试不等于可以直接部署，因为当前证据全部来自合成通道与客观分数，缺少真实房间、器件差异与主观可懂度的验证。初学者复述时可抓住一句话：模型学的是抵消器输入，效果要在空气叠加后验收。

进一步工作应先补真实环境的主观评测，再做统一多任务模型与跨房间泛化，最后给出实测延迟与算力预算。只有补齐这些，才能把客观分数上的领先转化为可运行系统的收益。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总