无干净目标时用带文本的噪声学增强：开关控制的双模式微调

英文题目：Text-Annotated Noisy Speech as Supervision: A Dual-Learning Framework for Target-Domain Clean-Free Speech Enhancement

会议身份：conference:interspeech:2026:conference-paper-id:liu26j_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#领域适应 #低资源 #语音识别 #语音增强

评分：5.8/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.9/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Xin Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Shulin He：机构信息未能从会议 PDF 纯文本可靠映射
• Xueliang Zhang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音增强（Speech Enhancement, SE）模型多在合成干净与噪声配对上训练，输入为退化语音、输出为干净波形与复谱，难点在于真实房间、设备与噪声分布下缺乏配对干净目标导致跨域失配。本文提出的 SwitchSE 先将门控卷积循环网络（Gated Convolutional Recurrent Network, GCRN）在合成集上预训练，再以开关嵌入交替消费合成配对与目标域噪声文本配对，前者用时频 \(L1\) 约束重建，后者用冻结识别模型提供的联结时序分类（Connectionist Temporal Classification, CTC）损失引导可识别性，推理时切换嵌入偏置输出取向。与单目标微调相比，该机制以每批次单损失激活避免感知质量与识别友好性直接冲突，并实现增强模式与识别模式的可控切换。在 CHiME-3 真实集上增强模式将 P.808 MOS 从 2.77 提升至 3.23，识别模式将词错率（Word Error Rate, WER）从 63.66% 降至 20.27%，同时 VCTK 合成集性能基本保持。结论仅在单真实场景与同源识别器贪婪解码下成立，跨识别器、跨语种与多骨干外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决什么卡点？

本文的输入是目标环境中的真实含噪语音，输出是增强后的语音波形。目标有两个，一是让人听着质量更好，二是让语音识别器更容易识别。必须保留的信息是方法只用了什么监督、训练了多少真实数据、基线条件是否一致、指标方向如何。

初学者先建立一条链路：麦克风收到的是干净语音被人声、交通声、房间混响和设备染色叠加后的结果。深度增强模型通常在合成数据上训练，也就是把干净语音和噪声按信噪比人工混合，得到成对的噪声干净样本。这种做法训练方便，但合成混合难以复刻真实的房间、设备、说话人适应和非平稳噪声，所以模型搬到真实环境常常失效。

更难的是真实环境一般没有与噪声录音逐样本对齐的干净目标，无法直接做有监督训练。论文抓住另一类更易得的监督：真实噪声语音附带的文本标注，例如语音识别语料中的转录。思路是先在合成对上预训练一个增强模型，再用少量带文本的真实噪声做目标域无干净微调。全文围绕这个做法讲清数据如何组织、开关如何条件化、损失如何切换、推理如何选择偏置。

本文没有声称代码或数据已公开，资源状态证据为空，因此不写可用或已公开。后续所有数字只引用论文报告的 VCTK 和 CHiME-3 结果，不做跨识别器的泛化承诺。

同输入同目标的已有路线为何不能直接用？

与本文同输入同目标的路线至少有 4 条。第一条是噪声到噪声的去噪，假设同一句话有 2 次不同的噪声观测，用噪声预测噪声来摆脱干净目标，但真实环境很难拿到同一句话的配对噪声观测。第二条是域对抗训练和自监督表示，用无配对目标域数据做域适应，但缺少指向可懂度和识别友好的显式监督。第三条是真实数据或感知代理方法，用真实语音或非侵入式目标做噪声抑制，但代理目标与识别准确率不完全一致。第 4 条是非常近的 SelfSE，构造更噪到噪声对并迭代精炼噪声语音，既不用干净参考也不用转录，属于另一种监督设定。

本文的差异在于监督设定明确为目标域噪声转录对。也就是说，训练时见过真实噪声的声学形态，也见过它对应的文字，但从未见过它对应的干净波形。增强分支靠合成对维持声学重建能力，识别分支靠冻结声学模型把文字信息反传给增强模型。这种分工让真实数据真正参与梯度更新，而不是只做特征对齐。

理解这条差异对复述很关键：不要把本文说成多任务联合训练的常规做法。常规多任务是在同一批内加权两个损失，本文是每批只含一种数据类型并只激活一个损失，用随机切换实现双模式。消融中去掉开关嵌入后性能落在两模式之间，正好支持这种显式条件化的必要性。

问题如何形式化，评测要看哪两类指标？

形式化地说，源域有噪声干净对，记为噪声谱和干净谱加干净波形；目标域只有噪声转录对，记为噪声波形和文本序列，没有干净参考。模型要在源域不明显退化的前提下提升目标域。论文用跨数据集验证表达这一点：在 VCTK 上测保留，在 CHiME-3 上测适应。

评测分两类。声学质量用 PESQ、STOI 和 DNSMOS P.808，数值越高表示感知质量或可懂度预测越好。识别友好用词错误率，数值越低表示同一识别器越容易识别。这里的词错误率默认用提供训练信号的同一英文 U2++ 模型做 CTC 贪婪搜索得到，因此它反映的是对该识别器的友好程度，而不是对所有识别器的通用增益，论文在实验部分明确提醒了这一点。

举一个教学例子帮助区分：同样一段公交噪声语音，增强偏置可能让残留噪声更少、人声更自然，感知分数高；识别偏置可能保留一些人耳不喜欢但有助于声学模型对齐的细节，词错误率更低。例子不附加论文之外的数值，只是说明两类指标可能分叉，这也是后文必须同时报告两类指标的原因。

双模式微调的全景：一个样本走完全程

先沿一个样本走完输入到输出。假设当前批次是增强模式，输入是一段 VCTK 合成噪声的复数短时傅里叶谱，形状为时间帧数乘频率格数乘实虚 2 通道。模型先把模式指示符映射为 1 帧可学习的开关嵌入，拼在谱的时间轴最前面，形成多 1 帧的扩展谱。扩展谱送入 GCRN 做复数谱映射，输出同样多 1 帧的增强谱，去掉第 1 帧开关位置后得到增强复谱，再经逆短时傅里叶变换恢复时域波形，最后与干净谱和干净波形算 L1 损失。

若当前批次是识别模式，输入换成 CHiME-3 真实噪声谱，同样前拼开关嵌入并走同一 GCRN 和逆变换得到增强波形。不同的是增强波形不再与干净目标比较，而是送入冻结的 U2++ 声学模型得到帧级 CTC 对数，再与真实转录算 CTC 损失。训练时随机选择批次类型并设定模式指示符，增强模式记为 0，识别模式记为 1，最终目标按模式二选一并乘固定缩放系数。

下图是理解分叉位置的关键，读图时先看主干再看两条监督分支的汇合点。

看图路径： 1. 先从左侧增强模型出发，沿中间箭头找到 ISTFT 再到右侧开关分叉；2. 再看上方红色分支如何经冻结声学模型连到 CTC 损失；3. 再看下方蓝色分支如何连到干净语音并算 L1 损失；4. 最后确认左下角开关嵌入在输入端的位置

论文图 1。原论文 Figure 1：“SwitchSE fine-tuning framework”。

从像素可见，中间是增强模型和逆短时傅里叶变换的主路径。主路径之后出现一个二选一开关，上方红色分支标为识别偏置，经冻结声学模型连到 CTC 损失，上方还有转录图标提供文本；下方蓝色分支标为增强偏置，连到干净语音图标并算 L1 损失。左下角虚线框标出开关嵌入在输入端的位置，说明条件化发生在输入级而非主干内部改结构。这种画法对应正文的安排：开关嵌入在输入级引入，目标函数在主干外部按模式切换。

开关嵌入与增强主干各自做什么？

开关嵌入是白话说的模式提示帧。术语首次出现时解释：把离散的模式编号经嵌入层变成 1 帧与频谱同宽的向量，拼在输入最前面，让模型知道当前该偏向哪种监督。英文可记为 switch embedding，记作 zs，形状为 1 乘频率格数乘 2，2 对应实部和虚部。增强主干是 GCRN，一种做复数谱映射的卷积循环网络，负责同时恢复幅度和相位，英文为 gated convolutional recurrent network。

语音增强 × 自动语音识别： 语音增强分工是把含噪波形恢复得更干净更自然，用 L1 损失约束时频和波形；自动语音识别分工是判断增强结果是否容易被识别，用冻结声学模型的 CTC 损失打分；二者搭配的原因是目标域没有干净语音，只能用文本提供弱监督，组合意义是同一增强主干在不同批次接受不同监督，推理时用开关偏置选择保质量还是保识别。

具体计算分 3 步。第一步按公式思路把模式指示符映射为嵌入向量，第二步把嵌入与噪声谱在时间轴拼接，第 3 步让 GCRN 输出扩展增强谱并切掉首帧。切掉首帧的动作很重要，因为首帧对应开关位置，不属于语音，不能送去算损失或听感评价。时域波形由剩余谱经逆变换得到，后续损失都基于这个波形和谱。

增强模式 × 识别模式： 增强模式分工是处理干净噪声对并只开 L1 损失，保持合成域的声学质量；识别模式分工是处理噪声转录对并只开 CTC 损失，学习目标域的噪声和信道特性；搭配理由是每批只含一种数据类型避免两目标在同一批内打架，组合意义是随机切换让同一模型保留两种能力，推理时靠开关嵌入选择输出偏置。

需要强调的是论文只在 GCRN 上验证了该机制，并明确把其他主干的验证留给未来工作。因此复述时不能说该方法与主干无关，只能说条件化位置和损失位置在主干外部，理论上可迁移但未经验证。冻结与更新的报告是：增强主干参与微调，声学模型冻结，只提供 CTC 梯度来源，论文未报告逐层冻结细节，缺项如实指出。

训练如何组织：批次、损失与缩放系数

训练组织的核心是每批只含一种数据类型。增强批来自 VCTK 的噪声干净对，识别批来自 CHiME-3 的噪声转录对。训练时随机选一批，根据数据类型设定模式指示符，再激活对应损失。增强损失同时约束频域复谱和时域波形的 L1 距离，实现多域约束；识别损失是 CTC 损失，衡量增强语音经冻结声学模型后与文本的对齐代价。

最终目标按模式二选一，权重系数固定为 0.8，只是缩放当前激活损失的幅度，而不是在同一批内平衡两任务。论文这样做的原因是单批单目标，不存在批内竞争，系数不承担权衡作用。优化器用 Adam，预训练在 VCTK 上用学习率 0.001 并在验证停滞 4 轮后减半，微调时学习率 4e-4 并用 10,000 步的 U2 式预热，检查点按验证损失选择。声学模型的 80 维对数梅尔滤波器组特征在线计算，窗长 25 毫秒、帧移 10 毫秒，CTC 用均值归约。

开关嵌入 × 复数谱映射： 开关嵌入分工是在时域维度前拼 1 帧可学习的模式向量，告诉主干当前是增强监督还是识别监督；复数谱映射分工是由 GCRN 估计干净复谱的实部和虚部并经逆短时傅里叶变换恢复波形；搭配原因是嵌入只改变输入条件不改变主干结构，组合意义是用极小的条件开销实现可控的双目标微调，默认长度为 1 帧，加长到 4 帧会增强识别偏置。

推理时的操作是手动指定开关。想要保质量就送增强偏置的开关，想要保识别就送识别偏置的开关。论文把 1 帧开关的模型作为默认保质量设置，把 4 帧开关的模型作为识别偏置的消融变体。这种可控偏置是方法的可复述要点：同一权重靠输入端的 1 帧或多帧提示产生不同取向的输出，而不是训练两个独立模型。

实验条件：数据、划分、特征与基线

数据分两块。VCTK 提供干净噪声对，训练用 99 个说话人，验证和测试用 10 个性别均衡说话人。训练混合在线生成，信噪比在负 10 到 10 分贝均匀采样，测试用负 6、负 3、0、3、6、9 分贝。噪声训练用 Sound Ideas 的 110,000 种约 126 小时噪声，评测用 Auditec 的巴士和自助餐厅类噪声。CHiME-3 提供公交、咖啡馆、步行和街口场景的真实噪声，官方划分是 1600 句约 2.9 小时训练、1640 句验证、1320 句测试。所有语音采样 16 千赫，复数短时傅里叶特征用 20 毫秒汉恩窗、10 毫秒帧移、320 点傅里叶变换。

基线有 3 个实际可运行策略。未增强噪声代表不做任何处理；GCRN 代表只在 VCTK 合成对上预训练的模型；GCRNCTC 代表只用 CHiME 做识别监督的单目标对照。SwitchSE 记为 GCRNpro，有增强偏置和识别偏置两种推理模式，另有去开关和加长开关的消融。指标方向是感知质量越高越好，词错误率越低越好，词错误率默认绑定同一 U2++ 识别器。

公平性上，跨数据集验证的含义是同一微调模型同时在 VCTK 和 CHiME-3 测试集上评价，前者看是否忘记源域，后者看是否适应目标域。论文未报告统计显著性、多次随机种子方差和推理延迟，复现时应把这些记为缺项，不要把单次提升说成稳定显著。

主结果：目标域改善了什么，源域保住了什么？

比较问题是：在只用 2.9 小时真实带转录噪声的条件下，目标域的感知质量和识别友好能否同时改善，且源域不明显退化。公平条件是同一 GCRN 主干、同一 U2++ 识别器、同一 CHiME 划分，指标方向是 P.808 越高越好、词错误率越低越好。下表把关键可运行策略放在同一 CHiME 条件下对比，不混入不同信噪比或不同识别器。

表后解释要同时说收益和代价。收益是单目标的跷跷板被缓解：GCRN 在 CHiME 上词错误率恶化到 63.66，说明合成训练迁移差；只做识别监督的对照虽把词错误率压低，但感知质量降到 2.36 左右，弱于 GCRN 的 2.77 并削弱 VCTK 增强质量。SwitchSE 用双模式后，增强偏置在 CHiME 拿到 3.23 的最佳感知质量，识别偏置把词错误率降到 20.27。代价是两模式仍分叉，去开关对照的 22.44 和 3.20 正好落在中间，说明没有开关时模型只能折中。未胜出项也要点名：识别偏置的 20.27 仍高于未增强的 18.38，说明默认 1 帧开关还没有超越不增强的识别下限，论文靠加长开关才进一步逼近。

合成噪声对 × 真实噪声转录对： 合成噪声对分工是提供有干净参考的 VCTK 数据，用于守住源域的增强基准；真实噪声转录对分工是提供无干净参考但有文本的 CHiME-3 真实数据，用于适应目标域；搭配原因是前者有强声学监督但与真实失配，后者无声学参考但携带真实环境信息，组合意义是交替训练缓解单目标微调的跷跷板，只用 2.9 小时真实数据就改善目标域并保留源域。

源域保留方面，论文报告 SwitchSE 在 VCTK 上保持有竞争力的增强表现，没有出现单目标识别微调那样的质量滑坡。但要注意 VCTK 的具体 PESQ 和 STOI 数字在正文证据中以表格裸值出现，本文为避免误引单位只做定性复述：保留源域是报告的结论，不是本文外推的保证。

开关长度与去开关：取舍如何移动？

消融问题是：开关嵌入是否必要，开关变长会把偏置推向哪一边。比较条件是同一微调数据和同一 CHiME 测试集，只改变开关有无和长度，指标方向同上。下表聚焦开关长度带来的取舍，不引入新的数据集或识别器。

表后解释先给机制再给数字。去掉开关后模型失去显式模式条件，两目标的梯度在同一参数上混合，行为落在两专用模式之间，CHiME 词错误率 22.44 和感知质量 3.20 支持了这一点。把开关从 1 帧加到 4 帧会增强识别偏置：识别偏置的词错误率（%）从 20.27 改善到 18.09，甚至略好于未增强的 18.38，但增强偏置的感知质量从 3.23 回落到 3.17。也就是说短开关保感知，长开关保识别，没有免费的双赢。

感知质量 × 词错误率： 感知质量分工是用 PESQ、STOI 和 DNSMOS P.808 评价听感和声学完整性，数值越高越好；词错误率分工是用同一 U2++ 模型的 CTC 贪婪搜索评价增强语音对该识别器的友好程度，数值越低越好；搭配原因是二者经常不一致，组合意义是必须同时报告才能看清取舍，论文显示增强偏置拿最高感知质量而识别偏置拿更低词错误率。

复现启示是推理时必须明确报告用的是哪种开关和哪种模式，否则数字无法对比。论文把 1 帧模型作为默认保质量设置，把 4 帧模型标为识别偏置的消融变体，这个命名要在复现脚本里原样保留，避免把加长开关的最优词错误率当成默认收益。

哪些结论有边界，哪些验证还没有做？

直接报告的是：在 VCTK 预训练加 2.9 小时 CHiME 真实转录微调的条件下，目标域感知质量提升且源域保持竞争力，开关能实现可控偏置。有限解释的是：这种改善支持了文本监督能引导增强模型适应真实噪声和信道，但不能证明因果链条中哪部分噪声被去除，因为没有干净参考可做分解。未验证推测必须用可能和待验证表达：更强主干或外部识别器可能带来更大增益，但论文明确把其他主干验证留给未来工作，且词错误率绑定同一 U2++ 模型，因此不能承诺换识别器仍有相同幅度。

缺失证据不是技术错误，但要列清。论文未报告多次种子方差和显著性检验，未测量误判率之外的延迟、算力和实时因子，未评测除 CHiME-3 之外的真实目标域，也未开源代码权重可供核对。训练资源只给了优化器和学习率安排，没有给出总步数和硬件预算。推理开销方面，多 1 帧或 4 帧输入对 GCRN 的计算量影响很小，但论文没有实测延迟，复现时应分别记录增强帧率和端到端延迟，不要把总体趋势说成每组信噪比都成立。

另一个边界是单目标对照的代价。只做识别监督的模型在 CHiME 感知质量上回落，在 VCTK 上也削弱增强质量，这说明文本监督单独使用会损伤听感。SwitchSE 的价值正在于用交替训练守住听感，但守住不等于在所有子场景都最优，街口和公交等子场景的分别数字论文未展开，复现时如需细化应按官方场景分别聚合后再下判断。

复现先做什么，需要哪些超参数和检查点？

复现的第一步是重建基线。按论文配置实现 GCRN 的分组 LSTM 编解码结构，组大小 2、隐层 1024、分层卷积加实虚双解码，复数特征用 20 毫秒汉恩窗、10 毫秒帧移、320 点变换，采样 16 千赫。在 VCTK 合成对上用 Adam 预训练，学习率 0.001，验证停滞 4 轮后减半，测试信噪比覆盖负 6 到 9 分贝。先确认基线在 VCTK 上有合理增强，再确认它在 CHiME 上词错误率明显恶化，这样才能复现迁移缺口。

第二步是加入冻结的英文 GigaSpeech 训练的 U2++ 模型，只用其 CTC 分支，去掉注意力解码器以节省开销。在线计算 80 维对数梅尔滤波器组，窗长 25 毫秒、帧移 10 毫秒，CTC 用均值归约。微调时把 VCTK 干净噪声批和 CHiME 噪声转录批交替送入，学习率 4e-4 加 10,000 步预热，模式指示符按批类型设定，损失按模式二选一并乘 0.8 缩放，检查点按验证损失选择。开关默认长度 1 帧，加长消融用 4 帧。

第 3 步是按模式分别推理并分别记录。增强偏置和识别偏置各跑一遍 CHiME 测试集，报告 P.808 和同一 U2++ 的 CTC 贪婪词错误率，同时回测 VCTK 看是否退化。必须保留的关键信息是 2.9 小时真实数据量、1600 句训练、1640 句验证、1320 句测试的划分，以及词错误率绑定同一识别器的条件。由于本次无代码可用声明，复现缺项应记为实现细节需自行补齐，不把无训练等同于确定性求解，也不从冻结声学模型推定输出确定。

何时值得尝试，一句话如何带走？

当你手里有少量真实噪声但没有干净目标，却有比较可靠的转录，且已有合成对预训练的增强模型时，本文的方法值得尝试。它的动作很具体：不改主干，只在输入前拼开关帧，按批切换 L1 和 CTC 损失，推理时用开关选择保质量还是保识别。这种做法的数据效率是其卖点，2.9 小时真实数据就带来目标域改善，同时用合成批守住源域。

带走的判断是：开关双模式缓解了单目标微调的跷跷板，但没有消除取舍。默认 1 帧开关更保感知质量，加长开关更保识别，选型前先想清楚下游是人听还是机器听。如果下游是人听，优先报告增强偏置的感知质量；如果下游是识别，优先报告识别偏置的词错误率，并注明识别器型号和解码方式。

还需要补的验证是换主干、换外部识别器、换目标域三件事。只有在这三处都复测后，才能判断文本监督的增益有多通用。在此之前，复述应停留在论文直接报告的范围内：目标域声学质量改善、源域性能保留、模式可控，而延迟、成本和跨识别器泛化仍待验证。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总