三路不对齐时先对齐再融合：LMPAN 用轻量多路径校准保住双讲语音

英文题目：LMPAN: A Lightweight Multi-Path Alignment Network for Joint Full-Duplex Acoustic Echo Cancellation and Noise Suppression

会议身份：conference:interspeech:2026:conference-paper-id:liu26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#注意力机制 #端侧运行 #回声消除 #全双工语音交互 #语音增强

评分：6.3/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Chengwei Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Shaofei Xue：机构信息未能从会议 PDF 纯文本可靠映射
• Haoyin Yan：机构信息未能从会议 PDF 纯文本可靠映射
• Xiaotao Liang：机构信息未能从会议 PDF 纯文本可靠映射
• Zheng Xue：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

全双工语音对话中的联合回声消除与噪声抑制需从麦克风信号中恢复近端语音，难点在于硬件非线性、时变延迟与能量失配会破坏参考信号与麦克风信号的融合。本文提出轻量多路对齐网络，先以子带时延估计加归一化最小均方线性回声消除粗抑线性回声，再用三路软对齐校正参考信号、麦克风信号与线性回声消除输出之间的时延与幅度偏差。随后以增强网络分别提纯麦克风与线性回声消除支路并经注意力掩码自适应融合，最后经后滤波与残留缩放缓解过抑制。相比隐式对齐的端到端基线，该设计用显式软延迟分布与双流融合降低对单一线性回声消除支路的依赖。在AEC Challenge 2023盲测集评测下，LMPAN的MOSavg得分为4.49，高于DeepVQE的MOSavg得分4.40。结论受限于单通道16kHz英语为主的回声加噪场景，尚未验证多麦克风、强混响与多语言外推，动态目标策略会轻微牺牲回声抑制强度。该模型计算量为0.48M参数与126M MACs，原文未披露训练硬件、训练时长与端侧实测延迟。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，为什么难？

这篇论文研究的是放在手机等端侧设备上的全双工语音对话前端，输入有 3 路可以拿到的数据。第一路是麦克风信号，用 y 表示，它混入了近端说话人语音 s、加性噪声 n 和回声 e，论文把观测写成 y 等于三者相加。第二路是远端参考信号，用 r 表示，也就是对端要播放的声音原文。第 3 路是传统线性回声消除的输出，它已经用自适应滤波器减掉一部分线性回声，但会留下非线性残留和失真。目标是从 y 中恢复 s，同时完成回声消除和噪声抑制，并且让后面的语音活动检测、语音识别和对话打断功能不受损。

难的地方不在单点降噪，而在真实硬件带来的持续失配。不同手机的播放音量、功放非线性、软件链路延迟不同，延迟可以从几毫秒漂到几百毫秒，而且在低信噪比下传统时延估计会明显退化。如果参考信号与麦克风信号在时间上差了几十毫秒，能量上又差了一大截，直接把它们拼在一起送入神经网络，融合层看到的是错位特征，容易把近端语音当作回声抹掉，或者留下回声伪影。论文把这种失配称为跨流的时间与能量不匹配，这是全文反复要解决的矛盾。

下面先看全双工对话的信号环路，理解回声从哪里来、前端放在哪里，后文才能沿着同一条样本路径讲对齐、融合、训练目标和评估。图中左侧是目标说话人与环境噪声进入麦克风的过程，下方是系统回应经过语音合成再经扬声器播放形成回声的过程，中间串着回声消除、语音活动检测和语音识别，最后进入大语言模型驱动的对话引擎。

看图路径： 1. 沿左侧目标说话人与噪声进入麦克风的蓝色箭头看用户输入路径；2. 沿下方系统回应经语音合成到扬声器再形成回声的绿色箭头看回声环路；3. 确认回声消除、语音活动检测、语音识别串在麦克风之后的位置关系；4. 对比用户输入与系统回应两条粗箭头的方向差异

论文图 1。原论文 Figure 1：“Full-Duplex Spoken Dialogue Architecture.”。

从像素看，这张架构图用颜色区分了两条方向相反的流。蓝色偏向用户输入方向，橙色方块依次标出回声消除、语音活动检测和语音识别，说明前端处理必须在识别之前完成。绿色偏向系统回应方向，从对话引擎回到语音合成再到扬声器，并分叉出一路回声进入麦克风。麦克风图标同时接收蓝色目标语音和绿色回声，直观解释了为什么麦克风观测是加性混合。

图中还标出参考信号由语音合成模块提供给回声消除，例子中的 Hello 与 Hi, how are you 只是示意两端同时说话的双讲情形，不代表实验文本。理解这张图后，关键是记住 3 路输入在时间和能量上都可能错位，后文所有模块都是为纠正这种错位服务的。

附录：关键数字的原文出处与单位口径

为便于核对，这里把正文表格数字的口径集中说明。挑战赛表格中参数量单位为 M，计算量为 M，回声分、退化分与平均分为无量纲主观分，回声返回损耗增强单位为分贝。原文中最终轻量模型写作 0.48M 参数与 126M 计算量，基线写作 0.82M 与 315M，对齐混合基线写作 0.69M 与 100M，这些单位与数值在正文中一一对应。动态目标表格中词错误率单位为百分比，感知分为无量纲，回声返回损耗增强单位为分贝，训练目标信号回声比单位为分贝且为超参数而非输出。

需要特别提醒的是，百分点与相对百分比不同。下游任务中检测代价、词错误率与真实打断率的改善应表述为百分点变化，不能写成相对提升百分之多少。不同指标的差值不能放到模型列下比较，自动指标也不能当作人工评分。若发现表头、图注或算术冲突，应以原文为准并标注冲突，本解读中未发现需要编造划分来弥合的冲突，但部分表格的短横表示未报告，已在表注中说明。

已有路线各解决了什么，还缺哪一块？

按相同输入、相同目标来对照，论文梳理了 3 条路线。第一条是传统数字信号处理路线，例如基于归一化最小均方自适应滤波的线性回声消除，优点是不需要训练、线性部分可解释，但在异构硬件、设备非线性、时变延迟和多变声学环境下能力有限。第二条是端到端神经网络路线，例如 DeepVQE 把回声消除、噪声抑制和去混响联合建模，优点是可以在模型内隐式学习对齐，适应性更强。第 3 条是混合路线，即先做线性回声消除再接神经后处理，并配合多任务学习或注意力对齐，例如 Align-ULCNet 与基于交叉注意的流式对齐，优点是兼顾线性先验与非线性建模。

论文认为缺的一块是显式的多路径时间与能量补偿。已有神经方法虽然能隐式对齐，但在持续的时间偏移和能量差异下缺乏显式机制，跨流失配会扭曲特征融合，放大残留伪影，进而影响对失真敏感的下游组件。已有工作也尝试用数据增强和后处理缓解与语音识别的失配，但没有把 3 路信号的两两失配单独建模。这一定位决定了本文不是单纯把模型做大，而是增加对齐与融合的结构，再用训练目标控制过抑制。

对初学者要提醒一点，类别差异不能直接当作同条件胜负。例如纯线性方法参数极少但处理不了非线性，扩散生成方法质量可能好但计算与延迟未必满足端侧实时。论文的比较基准因此选了轻量可运行的 DeepVQE、Align-ULCNet 与频带分裂混合模型，重点看在相近复杂度下结构改进是否带来可复述的增益，而不是用大模型压小模型。

附录：与同类轻量方法的对照要点

把输入、目标、监督与运行阶段对齐后，对照会更公平。DeepVQE 是端到端联合建模的代表，输入同样利用麦克风与远端信息，目标同样覆盖回声、噪声与混响，监督为联合增强目标，运行为实时。Align-ULCNet 是低复杂度混合对齐的代表，强调鲁棒的回声与噪声降低，适合端侧。频带分裂两步网络是全频带残留回声抑制的代表，强调分频带处理。LMPAN 与它们的区别在于显式地对 3 对组合分别做软时间对齐与能量补偿，再做双流注意力融合，并用动态目标与 2 阶段表示训练分别控制下游失真与听感。

对照时不要把类别差异当作胜负。例如生成式扩散方法可能在听感上有优势，但计算与延迟口径不同，不能直接与轻量实时模型比参数。传统自适应滤波在无训练条件下可运行，但处理非线性能力不同，也不能直接比主观分。本解读的表格因此只放同一盲测与同一分层下的可运行策略，搜索最优或事后最优值另行标明，不代替可部署收益。

问题如何形式化，评测要看哪些条件？

形式化上，麦克风信号 y 是近端语音 s、噪声 n 与回声 e 之和，回声 e 由远端参考 r 与声学回声路径冲激响应 h 卷积得到。已知 r，要求从 y 中提取 s，同时抑制 n 与 e。论文把双讲、远端单讲和近端单讲分开评估，因为三者的失败模式不同。双讲最难，需要在保留近端语音的同时压住回声；远端单讲主要看回声压制是否干净；近端单讲主要看是否损伤语音。

评测条件按论文证据分为两套。第一套是公开的声学回声消除挑战赛 2023 盲测集，用于报告回声与主观质量。第二套是自采的真实双讲集，包含 4000 条含噪双讲，扬声器音量覆盖较大范围，用于评估语音活动检测、语音识别与对话打断。训练数据则用 2000 小时仿真数据，按双讲、远端单讲、近端单讲约 8 比 1 比 1 划分，双讲段信号回声比覆盖负 20 分贝到 15 分贝，双讲与近端单讲段信噪比覆盖负 5 分贝到 25 分贝。这些范围决定了模型见过强回声与低信噪，不能把某一窄条件下的数字推广到全部条件。

指标方向需要先讲清。回声返回损耗增强越大越好，它反映远端单讲时回声被压掉多少分贝。回声主观分中的回声分与退化分越大越好，平均分也是越大越好。下游的检测代价与词错误率越小越好，真实打断率越大越好。不同指标不能互相换算，也不能把自动听感分当作人工评分。

沿一个样本走完全流程：三输入到单输出

拿一个双讲样本为例，输入是同一时刻的麦克风波形、远端参考波形和线性回声消除残差波形。第一步是传统前端，先用基于互相关的子带时延估计得到参考与麦克风的粗延迟，再用归一化最小均方线性滤波估计线性回声并输出残差。这一步不追求干净，只提供一个有用的线性先验。

第二步是特征提取与多路径对齐。3 路信号先做短时傅里叶变换并做功率压缩，把实部虚部拼成双通道特征。然后 3 个对齐块分别处理参考与麦克风、麦克风与线性输出、参考与线性输出 3 对组合，输出校准后的特征。第三步把对齐特征与原始参考特征拼在一起，再分别去精炼麦克风谱与线性谱，所用精炼主干是轻量的门控时频卷积循环网络。第四步是注意力融合，用一个掩码在每个时频点上加权混合精炼后的两路谱，得到融合谱。第五步由掩码生成增强输出，再经后滤波缩放得到最终波形。

线性回声消除 × 神经后处理： 线性回声消除负责用自适应滤波器估计并减去线性回声分量，分工是处理可建模的线性路径；神经后处理负责处理非线性残留、噪声与失真，分工是修复线性模块处理不了的部分；两者搭配的原因是单独线性模块在硬件非线性和时变时延下残留多，单独神经网络又容易过抑制，组合后神经网络以线性输出和麦克风为双流输入，既有先验参考又有原始观测，新增作用是降低对单一线性输出质量的依赖。

下图是全文的方法总览，左侧是三输入与传统模块，中间是特征、对齐、精炼与融合，右侧是对齐块与融合模块的放大细节。读图时先走主路径，再看两个放大子图如何对应回主路径中的方块，这样就不会把对齐块内部的查询键操作与融合模块的池化操作混为一谈。

看图路径： 1. 从左侧麦克风、参考与线性输出三输入出发跟踪到特征提取与对齐块；2. 比较三个并行对齐块的输入对组合与输出命名差异；3. 观察中间两个精炼分支如何汇入注意力融合模块再生成掩码；4. 查看右侧对齐块内部的查询与键交互以及融合模块的池化分支

论文图 2。原论文 Figure 2：“Overall structure of the proposed LMPAN system.”。

从像素看，总图左侧明确画出麦克风、参考、时延估计与线性回声消除的连接，线性输出同时送入特征提取，说明神经网络不是替代线性模块而是复用它。中间 3 个并行对齐块的输入标注区分了 3 对组合，输出分别进入拼接层。拼接后的特征分成上下两路精炼分支，再进入纵向的注意力融合模块。右侧子图分别展示对齐块内部的卷积、展开、点积、卷积与加权求和链路，以及融合模块内部的全局平均池化、逐点卷积、相加激活与卷积块链路。

图中还画出动态目标与损失模块作用于训练、后滤波模块作用于推理输出，说明训练目标与推理输出是分开控制的。记住这个顺序后，后面两节再展开每个方块的计算与训练。

对齐块与融合模块各自算什么？

对齐块要解决的是时间错位与能量错位。以参考与麦克风为例，输入是功率压缩后的复谱特征。先沿频率做最大池化下采样以降低计算，再 reshape 成时间帧序列，分别投影得到查询与键。对键按候选延迟做零填充与裁剪的人工移位，再与查询做点积得到每个延迟的相似度，形成长度为最大延迟的似然向量，经 softmax 得到延迟分布。最大延迟在论文中对应 100 帧、约 1 秒覆盖。

用该分布做软加权求和就得到对齐后的远端特征，避免了硬判决延迟。能量补偿则用每条路径可学习的缩放因子在融合前归一化幅度。3 个对齐块并行处理 3 对组合，分别得到 3 组校准特征。

融合模块要解决的是该信谁的问题。传统管线高度依赖线性输出，一旦线性输出失真就会连带损伤。论文采用双流思路，同时精炼线性谱与麦克风谱，再用多尺度通道注意力生成掩码，用掩码与互补掩码加权相加得到融合谱。直观说，在回声占优的时频点更信任线性支路的抑制能力，在近端语音占优的时频点更信任麦克风支路的保真度。实现上用 1 乘 1 卷积做查询键值投影，单注意力头，精炼分支沿频率用 1 乘 3 的逐点卷积，这些选择都是为了把计算量压低。

多路径对齐 × 注意力融合： 多路径对齐负责把参考信号、麦克风信号和线性回声消除输出三者在时间和能量上拉到可比的表示，分工是消除延迟与幅度差异；注意力融合负责在每个时频点决定更信任增强后的线性支路还是麦克风支路，分工是按场景动态加权；搭配理由是若不对齐就融合，掩码会学到错位特征而损伤近端语音，组合意义是先校准坐标系再做选择，使双讲时的语音保留更稳定。

后滤波与动态目标是另一组配合，放在下一节训练目标中细讲。这里先记住推理时选用的残差缩放参数为 0.4，作用是抑制神经网络引入的非线性伪影。动态目标中的残留因子则作用于训练，控制目标中保留多少噪声与回声，避免模型为了追求干净而把语音一起抹掉。

动态目标生成 × 后滤波： 动态目标生成负责在训练目标中按目标信噪比和目标信号回声比保留受控的残留噪声与残留回声，分工是定义学什么；后滤波负责在推理输出端对神经网络结果做残差缩放以减轻非线性失真，分工是控制怎么输出；搭配原因是训练时完全干净的目标会诱导过抑制，推理时直接输出又会放大失真，组合后训练保留适度干扰、推理保留适度残差，共同保护语音识别与语音活动检测所需的语音完整性。

教学上可以用一个例子理解，但例子不是实验结论。例如某帧以回声为主，掩码接近 1 则输出偏向线性支路；某帧以近端语音为主，掩码接近 0 则输出偏向麦克风支路。实际掩码是连续值且随频率变化，论文没有给出逐点数值，因此不要把例子中的 0 或 1 当作论文报告的测量值。

两阶段训练与动态目标如何构造监督？

训练分两个阶段。第一阶段是自监督表示对齐，冻结预训练的 WavLM-Large 模型，最小化增强输出与干净语音在该模型各层嵌入上的均方误差。此时网络学习的是让输出在感知与语义表示上接近干净语音，而不是只拟合频谱数值。第二阶段是任务微调，联合优化频谱重建、回声感知损失、尺度不变信噪比损失与感知质量损失，并把自监督损失作为一致性正则项保留。论文给出的权重是回声项 0.1、信噪比项 0.2、感知项 0.8，总损失再乘 10 后加上 0.5 倍的自监督损失。这些权重是按消融选择的，换数据集时不应默认最优。

动态目标生成是构造训练目标的关键。先按期望的目标信噪比由输入信噪比算出噪声残留因子，再按期望的目标信号回声比由输入信号回声比算出回声残留因子，最终目标等于干净语音加上按比例保留的噪声与回声。这样目标不是完全干净的语音，而是保留了受控干扰的语音，目的是缓解过抑制并保留双讲的自然动态。论文还报告目标信号回声比是一个超参数，决定训练目标中保留多少残留回声，而不是输出指标，选 25 分贝时词错误率最优，选 30 与 35 分贝时感知分与回声抑制更高，说明不同下游目标需要不同的保留水平。

自监督表示 × 2 阶段训练： 自监督表示指冻结的 WavLM-Large 各层嵌入，分工是提供感知与语义层面的相似性度量；2 阶段训练指第一阶段只对齐该表示、第二阶段再联合优化频谱与感知损失，分工是分开解决听感保真与回声噪声抑制；搭配理由是一步到位容易偏向频谱误差而损伤听感，先对齐表示再微调可以把解拉到感知友好的区域，新增作用是在不增加推理参数的情况下提升主观质量。

下图展示了 2 阶段管线，左侧 3 路输入进入轻量网络，中间分出两条监督路径，上方经逆短时傅里叶变换计算任务总损失，下方经后滤波再进入冻结的语音表示模型计算表示损失。读图时注意后滤波模块同时出现在训练与推理，但作用不同，训练时参与表示对齐，推理时参与伪影控制。

看图路径： 1. 确认左侧三路输入同时进入轻量网络的主干位置；2. 区分上方任务微调分支与下方表示对齐分支的输出去向；3. 观察后滤波模块输出如何接入冻结的语音表示模型；4. 核对两类损失如何汇成第二阶段总损失

论文图 3。原论文 Figure 3：“Two-stage training pipeline for LMPAN: Stage 1: SSL representation alignment using a frozen pretrained WavLM model; Stage 2 jointly optimizes spectral fidelity, echo suppres-…”。

从像素看，该图顶部标注任务优化微调，底部标注表示对齐，中间蓝色方块是轻量网络，右侧绿色方块分别是逆变换与语音表示模型。箭头显示网络输出同时走向两条路径，输入波形也有一条回路指向后滤波，说明后滤波的缩放需要参考输入条件。右侧大括号把两类损失汇成第二阶段总损失，与正文的 2 阶段公式对应。实现细节上，输入特征用 32 毫秒帧长、16 毫秒帧移、幅度压缩因子 0.3，训练时截断为 5 秒，用 AdamW 优化 100 轮，学习率经 4000 步预热到 0.001 后每轮衰减 0.98 倍。论文未报告梯度是否截断到冻结模型内部，但明确冻结了表示模型，因此第一阶段的监督来源是固定表示的距离，不是更新表示本身。

数据、仿真、基线与指标如何保证可比？

数据分为训练仿真与两套评测。训练用声学回声消除挑战赛 2022 与 2023 的干净与含噪对、深度噪声抑制挑战赛的噪声，再加自采的 40 部智能手机在 30% 到 100% 播放音量下录制的真实回声，每部约 180 分钟，覆盖不同硬件与软件配置。仿真时用混合法生成 10000 个房间，尺寸从 3 米见方到 8 米量级，混响时间 0.2 秒到 1.2 秒，并对参考信号做时频掩码、0 到 80 毫秒时移、动态拼接与标准增强，最终得到 2000 小时数据。评测用挑战赛 2023 盲测集与自采的 4000 条含噪双讲，音量 60% 到 100%，音频重采样到 16 千赫。

基线选择覆盖端到端与混合两类。端到端以 DeepVQE 为代表，混合以 Align-ULCNet 与频带分裂两步网络为代表。论文还做了从轻量基线逐步叠加多路径对齐、注意力融合、自监督单阶段与 2 个阶段、动态目标的消融，保证每次只增加一个可运行策略，而不是用不可部署的事后最优值代替收益。指标上，挑战赛盲测报告回声分、退化分、平均分与回声返回损耗增强，自采双讲按信号回声比分层报告检测代价、词错误率与真实打断率。分层很重要，因为强回声段与弱回声段的难度不同，总体平均会掩盖双讲的真实表现。

资源状态需要如实说明。本次收到的证据中没有发现来源绑定且完成安全验证的代码、模型或数据资源，因此不能声称代码、模型或数据已公开。复现时应按论文文字重建仿真与训练流程，并把缺失的超参数与划分细节记为待确认项，而不是默认它们与公开仓库一致。

主结果：在相近复杂度下赢在哪里？

要回答的核心问题是，在端侧可接受的参数与计算下，结构改进是否带来主观质量与回声抑制的同时提升。比较条件是同一盲测集上的回声分、退化分、平均分与回声返回损耗增强，方向都是越大越好。论文报告最终模型参数量为 0.48M，计算量为 126M，低于 DeepVQE 的 0.82M 与 315M，也低于部分混合基线。

下表整理挑战赛盲测集上的关键数字，列数满足宽表要求，数值保留原文写法。阅读时先看双讲的回声与退化，再看远端单讲，最后看计算量是否更小。表中短横表示原文未报告，不是零。

表后解释需要同时讲收益与代价。从论文报告看，叠加多路径对齐后平均分从 4.17 提升到 4.31，再加注意力融合后到 4.39 且回声返回损耗增强到 48.22 分贝，2 阶段自监督训练后到 4.49，为双讲回声与退化以及近端单讲的最高值。最终可部署模型在平均分上超过所列基线，且复杂度更低，论文据此认为增益来自架构设计而非规模。但反例同样明确，DeepVQE 在双讲回声返回损耗增强上报告为 65.7，高于 LMPAN 的 47.15，说明若只看该单一抑制指标，LMPAN 并未胜出。远端单讲回声分上混合基线报告为 4.77，也高于 LMPAN 的 4.71。因此结论应限定为在平均主观质量与轻量约束下有竞争力，而不是所有指标全面最优。

频谱可视化进一步支持双讲语音保留的判断，但属于单样本定性证据，不能当作定量证明。下图是真实双讲样本的四面板频谱，左上为麦克风，右上为基线输出，左下为多路径对齐阶段，右下为注意力融合阶段，绿色框标远端单讲段，黄色框标双讲段。

看图路径： 1. 先看左上麦克风频谱中远端单讲与双讲框标记的位置；2. 对比左上与右上在远端单讲框内能量是否被压暗；3. 对比左下与右下在双讲框内近端谐波是否被保留或增强；4. 观察基线输出与融合阶段输出在双讲段亮斑连续性上的差别

论文图 4。原论文 Figure 4：“Spectrum visualizations of different stage on real double-talk sample of blind test.”。

从像素看，左上面板整体偏亮、背景能量高，说明混入了较强回声与噪声。右上面板在绿色远端框内明显变暗，说明回声被压住，但在黄色双讲框内亮斑也变弱，提示基线可能同时损伤了近端语音。左下面板在绿色框内进一步压暗，黄色框内保留中等亮斑。右下面板在黄色框内的亮斑更连续、谐波结构更清晰，同时绿色框内仍保持压暗，论文据此认为融合阶段在压住远端的同时更好地保留了双讲语音。需要强调这是盲测中一个样本的可视化，支持机制解释，但不能推广为所有双讲样本都如此，定量结论仍以表格中的分层词错误率与检测代价为准。

消融与反证：哪个模块在强回声下最关键？

消融按可运行策略逐步叠加，重点看自采双讲上按信号回声比分层的下游任务。论文把信号回声比分层为负 15 到负 10 分贝与负 20 到负 15 分贝两档，信噪比随机在 5 到 20 分贝，后者回声更强、更难。报告显示从单阶段基线到完整管线，在更难档上检测代价、词错误率、真实打断率分别改善 5.63、9.87 与 8.68 个百分点。分步看，加对齐主要改善检测与识别，加融合在各档上进一步改善识别，说明融合机制确实有助于语音保真。2 阶段训练与动态目标联合在保留受控残留的情况下仍提升下游任务，支持目标信号保留比一味追求干净更重要的判断。

另一个关键消融是训练目标信号回声比的选择。论文明确它不是输出指标，而是定义训练目标保留多少回声的超参数。下表整理仿真双讲集上的词错误率、感知分与回声返回损耗增强，单位按原文保留在表头说明中，数值保留原文精度。

表后解释要讲清取舍。目标信号回声比为 25 分贝时词错误率最低，为 30 分贝时感知分最高，为 35 分贝时回声返回损耗增强最高。这支持论文的有限解释，即应按下游目标选择干扰保留水平，做识别时保留适度回声以减小语音失真，做纯听感时可以压得更干净。同时要指出未胜出项，动态目标在挑战赛盲测的最后一步使整体平均分从 4.49 回落到 4.44，双讲回声返回损耗增强也从 47.15 回落到 45.04，说明为下游任务保留残留是要付出主观与抑制指标代价的。论文把最终推荐模型定为 2 阶段无动态目标版本，而把动态目标版本作为下游任务导向的变体，这种区分不应混为单一最优模型。

失败条件与边界也需点明。论文未报告在极低信噪或超过 1 秒延迟下的表现，对齐块的最大延迟按 100 帧约 1 秒设计，超出部分没有证据保证。真实测试音量上限为 100%，仿真时移上限为 80 毫秒，超出这些范围属于未评测边界。

哪些结论不能下，缺了哪些验证？

首先区分 3 类表述。论文直接报告的是盲测平均分、回声返回损耗增强、分层检测代价、词错误率与真实打断率，这些可以用报告或显示来表述。论文的有限解释是架构设计而非规模驱动增益、对齐加融合保护双讲语音、按任务选择保留水平，这些可以用支持来表述，但仍受基线与数据集限制。未验证的推测是实时推理能力与端到端对话体验的全面提升，论文虽称保证实时，但未给出具体设备、帧率与实测延迟，因此不能承诺延迟得到改善，只能说参数与计算量较低，可能有利于端侧部署，待验证。

缺失的证据不是技术错误，但复现时要记清。第一，训练资源、推理开销、输出帧率与实际延迟是分开的量，论文只给了参数与计算量，没有给出硬件预算与延迟测量。第二，统计显著性与多人主观评测的方差未报告，不能把小数点后第二位的差距当作必然显著。第三，噪声类型、房间与设备的划分细节只给了范围，没有给出随机种子与划分文件，严格复现需要补做多次运行。第四，相关性不等于因果，频谱变干净与识别变好同时出现，不能直接断定是某一模块单独导致，还需结合逐步消融来读。

还有一个特有误解需要澄清。动态目标保留残留不是模型没学好，而是故意为之，目的是减少过抑制。挑战赛平均分回落恰好说明干净目标与下游友好目标之间存在权衡，选模型时要先问为谁优化。若为听感与抑制选 2 阶段版本，若为识别与打断选动态目标版本，不能用一个数字同时证明两件事。

要复现先做什么，需要哪些超参数？

复现的第一步是重建 3 路输入。按论文实现传统前端，先做子带互相关时延估计，再做归一化最小均方线性滤波，得到线性残差。然后按 32 毫秒帧长、16 毫秒帧移做短时傅里叶变换，幅度压缩因子取 0.3，训练时截断为 5 秒。网络侧按 3 对组合搭建并行软对齐块，最大延迟取 100 帧，查询键投影用 1 乘 1 卷积、单注意力头，精炼分支沿频率用 1 乘 3 卷积，融合掩码按加权相加实现。对齐后把多路特征与参考特征拼接，再分别精炼两路谱。推理输出端加残差缩放，后滤波参数取 0.4。

第二步是重建 2 阶段训练。第一阶段冻结 WavLM-Large，只最小化各层嵌入均方误差。第二阶段按权重 0.1、0.2、0.8 分别加权回声感知、尺度不变信噪比与感知损失，总损失乘 10 后加 0.5 倍自监督正则。优化器用 AdamW，共 100 轮，学习率经 4000 步预热到 0.001 后每轮乘 0.98 衰减。动态目标按期望信噪比与信号回声比算出两个残留因子，识别导向可先试 25 分贝，听感导向可试 30 分贝，抑制导向可试 35 分贝，并记录三者在识别、感知与抑制上的分叉。

第三步是重建评估。挑战赛盲测看双讲与远端单讲的回声分、退化分、平均分与回声返回损耗增强，自采双讲按信号回声比分层看检测代价、词错误率与真实打断率。仿真房间尺寸、混响时间、信号回声比与信噪比范围按前文设置，音量与数据划分如实记录。由于本次没有可用资源绑定，不得声称代码或权重已公开，所有缺项应列为待确认，而不是从模型名称推定实现。

何时值得尝试这个方案？

当部署场景同时满足 3 个条件时，这个方案值得优先尝试。第一，设备异构且延迟漂移明显，传统时延估计在低信噪下不稳，需要显式的时间与能量校准。第二，需要同时处理回声与噪声，且下游有语音识别或打断功能，不能接受过抑制带来的 deletions。第三，端侧预算紧张，参数与计算需要控制在数百 K 与百 M 量级，但仍希望接近轻量最优模型的听感。此时多路径对齐加注意力融合提供了一个可复述的结构起点，2 阶段表示对齐提供不增加推理成本的质量增益，动态目标提供按任务调节保留水平的旋钮。

反之，若场景是固定硬件、延迟稳定且只考核远端单讲抑制，那么更简单的混合管线可能已够用，不必引入 3 路对齐的复杂度。若考核的是纯抑制分贝数，论文也显示 DeepVQE 在该单项上更高，应按目标选模型。若追求极致听感，应选无动态目标的 2 阶段版本；若追求识别与打断，应选动态目标版本并接受平均分回落。

对研究生而言，可核对的复述方法是，输入 3 路、输出一路，中间经过粗时延估计、线性滤波、3 对软对齐、双流精炼、注意力加权、掩码增强与后滤波缩放，训练先对齐冻结表示再联合微调，目标按需保留受控干扰，评估分公开盲测与真实双讲两套、分层看下游。这条链路每一步都有论文给出的参数与条件，缺失的延迟实测与统计显著性则是下一步需要补的验证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总