实数做幅度掩蔽、复数做残差修正：参数对齐下的混合语音增强

英文题目：HYBRID REAL- AND COMPLEX-VALUED NEURAL NETWORK ARCHITECTURE FOR SPEECH ENHANCEMENT

会议身份：conference:eusipco:2026:conference-paper-id:0000216

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#CNN #高效推理 #单通道 #语音增强

评分：6.0/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 0.7/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Fiorio, Luan：机构信息未能从会议 PDF 纯文本可靠映射
• Young, Alex：机构信息未能从会议 PDF 纯文本可靠映射
• Aarts, Ronald：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

单通道语音增强需从单路含噪短时傅里叶变换中同时恢复幅度与相位，小参数量下实数分支难建模相位而纯复数分支计算膨胀且优化困难。混合架构先对输入做域转换，复数谱取幅度送入实数分支而保留完整复数谱送入复数分支，实现幅度去噪与复数建模分工。两分支分别用减半实等效参数的编码器提取潜特征，瓶颈处经笛卡尔域转换与拼接做双向特征融合，使实数结构信息进入复数域参与旋转组合。融合特征分别进入各自解码器，实数解码器输出有界幅度掩蔽，复数解码器输出加性复数残差，再按掩蔽滤波加残差补偿合成增强谱。与单分支复数掩蔽需在单个乘性因子内同时编码抑制与相位旋转不同，该分解将大部分衰减交给实数掩蔽而把残差校正留给复数分支，降低小模型优化负担。在LibriTTS与TAU2019合成的20小时测试集下，hCDAE的STOI为0.844，高于cCDAE的STOI 0.836。该结论适用边界受限于小型卷积去噪自编码器与卷积循环网络族及受控合成噪声条件，尚未验证对大模型、混响与真实录音的外推性。在计算量上原文以乘加运算计数披露，hCDAE与hCRN相对纯复数基线分别降低27.1%与31.5%，但未给出训练成本与推理开销的延迟与硬件实测。

🔗 开源与复现资源

• 第三方资源：https://doi.org/10.1109/TASLP.2020.2968738 → https://ieeexplore.ieee.org/document/8966946/ — 链接可访问（HTTP 202） 预印本/扩展版链接未在会议页展示；会议版来源见页首官方记录与 PDF。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，为什么必须保留相位信息？

本文的输入是单通道含噪语音，目标是从一路录音中抑制背景噪声并恢复清晰语音。初学者可以把任务想象成一条时间波形被噪声污染，模型要在时频域中逐点决定保留多少语音、去掉多少噪声。论文采用短时傅里叶变换，把波形切成重叠短帧并做傅里叶变换，得到每个时间索引与频率索引上的复数谱。记清晰语音谱、噪声谱与含噪语音谱分别为清晰、噪声与混合的复数表示，理想关系是混合等于语音加噪声。

增强的输出是估计的清晰语音谱，再经逆变换回到波形。必须保留的信息包括幅度与相位。幅度决定各频率能量强弱，相位决定波形对齐与听感质量。早期只增强幅度而沿用含噪相位的做法简化了数据处理，但会限制可懂度与感知质量。把复数谱拆成实部与虚部独立处理的两路实数操作，又可能引入额外失真。

复数神经网络能直接在复数域做乘法与旋转，理论上更适合处理相位，但小模型下计算开销大、训练可能更慢。因此论文要回答的是如何在固定参数预算下同时兼顾幅度效率与相位精度。输出是 1 篇可复述的方法解读，读者读完应能说出混合结构中哪一路负责什么、信息在哪里交换、实验在什么条件下比较。

同输入同目标的已有路线如何处理幅度与相位？

在相同输入与相同目标下，已有路线大致分为 3 类。第一类是丢弃相位的实数掩蔽，只估计幅度掩蔽并复用含噪相位，复杂度低但高质量重构受限。第二类是纯复数增强，直接估计复数掩蔽或复谱映射，代表性做法包括深度复数卷积循环网络等相位感知模型，能联合优化幅度与相位，但复数乘法需展开为多个实数操作，小模型下操作数膨胀明显。

第 3 类是分离幅度与相位处理，例如双流幅度相位网络用两路通信流分别预测幅度与相位，深度滤波网络把幅度增强与复数滤波结合实现低复杂度实时处理，另有先平均实数与复数模型结果或 2 阶段串联实复处理的做法。论文明确区分自身与这些工作的差异。差异不在于是否分离幅度相位，而在于分离是否显式绑定到数值域。

混合结构把实数计算与复数计算作为一等分支并联，用确定性代数映射在瓶颈处交换信息，从而构成参数对齐的可控试验，用于检验混合处理能否在相同实等效参数下提升性能并降低操作数。理解这 1 对照有助于避免把类别差异误读为同条件胜负。

问题如何形式化，掩蔽与加性修正各表示什么？

形式化上，含噪谱等于清晰谱加噪声谱，时间与频率索引在后文省略。传统做法是估计一个比率掩蔽，与含噪谱逐点相乘得到清晰谱估计。比率掩蔽可以是实数幅度掩蔽，也可以是复数掩蔽。论文的混合输出采用两项之和。第一项是估计的幅度掩蔽与含噪谱相乘，负责大部分衰减去噪。

第二项是估计的复数修正量，直接加到第一项结果上。写成估计清晰谱等于幅度掩蔽乘含噪谱加复数修正。初学者可以这样理解。乘法项像可调衰减器，每个时频点决定保留几成能量，有界且稳定。加法项像细修笔，能在复平面上同时调整幅度残差与相位残差，弥补乘法滤波难以表示的误差。

论文强调加法形式的动机是残差估计。小模型不必用复数分支重现整个清晰谱，只需补偿幅度掩蔽后的剩余误差。参数计数规则需要先讲清。一个复数参数由两个实数参数构成，其实部与虚部各占一个，因此计数时一个复数参数等价于两个实数参数。后文所有参数对齐都按实等效数量计算，这是公平比较的前提。

混合结构让一个样本走完输入到输出经历什么？

沿一个含噪复数谱样本走完全程最容易建立整体感。输入是归一化后的含噪复数谱。进入混合网络后出现分叉。实数分支先经过幅度域转换，取模去掉相位，通道数减半，得到纯幅度表示。复数分支保留复数谱输入。

两路编码器分别提取隐特征，实数隐向量是实向量，复数隐向量是复向量。在瓶颈处发生跨域拼接。实数侧把复数隐向量经笛卡尔转换拆成实部虚部拼接，复数侧把形状调整后的实数隐向量按两元一组重解释为复数再拼接。两路解码器分别在融合表示上解码。实数解码器输出幅度掩蔽，末层用 sigmoid 保证有界。

复数解码器输出复数修正量，末层无激活。最后按幅度掩蔽乘含噪谱加复数修正得到增强谱。教学例子仅为帮助理解，不代表论文报告数值。例如某时频点含噪向量同时含语音与噪声能量，幅度掩蔽先衰减噪声主导的能量比例，复数修正再在复平面上微调剩余向量的长度与角度。两步分工不同但目标一致。

幅度掩蔽 × 复数残差修正： 幅度掩蔽由实数分支承担，负责对含噪短时傅里叶变换幅度做有界衰减，承担大部分去噪；复数残差修正由复数分支承担，以加法形式补偿相位旋转与幅度掩蔽后剩余的细粒度误差；二者搭配的理由是把易于优化的衰减与需要旋转组合的精修解耦，组合意义是输出为幅度滤波加复数残差，避免单个复数乘性掩蔽同时编码抑制、旋转与重构修正的优化负担。

该全景的要点是混合不是简单并联两个完整模型，而是编码分开、瓶颈互通、解码各保留一半原始解码容量，并在输出端按乘加分工汇合。

编码器解码器如何切分容量，瓶颈拼接后如何保持总参数不变？

容量切分是方法可复现的关键。设基线实数模型由编码器解码器对构成，参数量分别为编码部分与解码部分。混合模型的实数编码解码对复制基线结构但将层宽缩小，使参数量变为原来的一半。并行实例化复数编码解码对，保持层排列与激活位置相同但使用复数参数，并调整层宽使复数可训练参数数量为原来的 1/4。按一复数参数计两实数参数的规则，复数分支恰好占据另一半实等效容量。

若存在循环瓶颈，将其计入编码器。由于拼接增大了解码器输入维度，解码器首层需缩小输出宽度，使 2 分支总体解码预算仍各为原来的一半。复数基线则由实数模型导出，编码与解码各取一半实参数，用于对照。等分不是调优后的超参数，而是中性设计点，避免先验偏向任一数值域。其他比例可能更优，但留作未来消融。

实数分支 × 复数分支： 实数分支处理取幅后的实张量，保持原模型的归纳偏置并用受限宽度保留一半实等效参数容量；复数分支用复数参数处理复张量，以 1/4 数量的复数参数实现另一半实等效容量；二者并联是为了在固定总参数下同时保留高效幅度处理与复数域旋转组合能力，组合后经瓶颈拼接与解码器降宽实现耦合。

瓶颈耦合的具体形式是对称拼接加转换。记实隐向量与复隐向量，经转换后得到扩展表示，再分别送入各自解码器。形状调整的作用是使实向量长度为偶数倍以便两两成对解释为复数。论文特别说明，该转换不应理解为从实分支恢复短时傅里叶变换相位，而是把学到的实特征重解释为抽象复隐表示的实虚坐标，供后续复数层旋转组合。这种表述防止初学者误以为网络在做显式相位反演。

域转换与复数层在计算上做了什么，为什么需要约束激活？

域转换都是确定性代数映射，不引入可训练参数。输入端幅度转换是有损的，去掉相位并减半通道。瓶颈处笛卡尔转换是信息保持的形状兼容操作，实转复按两元组拼成复数，复转实按实部虚部拆开。这种设计使 2 分支能互相提供结构化信息，而不增加参数。复数层的实现遵循复数乘法展开。

对复输入张量，用两个同类型实层分别处理实部与虚部，再按实部减虚部交叉项、虚部相加交叉项组合成复输出。循环层同样按此规则把复矩阵乘法表示为实矩阵运算，这也是复数循环开销膨胀的来源。激活采用受约束多项式形式的复数修正线性单元与复数双曲正切。分母中含有模长项，使模长趋于无穷时至多线性增长，保证稳定性。若输入退化为实张量，二者近似退化为实数修正线性单元与双曲正切。

最后一层编码器用双曲正切或复数双曲正切，解码器除末层外用修正线性单元或其复数版本，实分支末层用 sigmoid 估计幅度掩蔽，其余末层无激活。

笛卡尔域转换 × 幅度域转换： 幅度域转换用在混合网络输入端，把复数含噪谱取模去掉相位并将通道数减半，供实数分支做纯幅度去噪，是有损操作；笛卡尔域转换用在瓶颈处，把实向量按相邻两元重解释为复数的实部与虚部及其逆操作，实现无可训练参数的形状兼容拼接；前者分工是输入解耦，后者分工是隐层互通，搭配使 2 分支在编码后交换结构化信息。

把握这组组件后，才能理解操作数差异主要来自复数展开与分支宽度，而非参数量本身。

训练用什么监督信号，优化如何推进，哪些实现细节未报告？

训练是有监督回归。输入是归一化含噪谱，监督来源是配对的清晰语音。损失采用负尺度不变信号失真比，已在语音增强中显示有效。优化器采用带权重衰减的自适应矩估计，权重衰减为万分之一，初始学习率为千分之一，按指数衰减到末轮的万分之一，共训练 100 轮。评估指标为尺度不变信号失真比、短时客观可懂度与语音质量感知评估，前者数值越大失真越小，后两者数值越大表示可懂度与感知质量越好。

论文未报告梯度是否在域转换处截断、掩蔽是否限幅、批量大小与随机种子、学习率调度具体曲线与早停规则，也未说明是否对编码器或任 1 分支做参数冻结。证据只说明域转换无可训练参数，因此梯度路径按常规可微拼接与复数展开回传，但原文未给出梯度公式，解读不猜测复数反向传播细节。复现时应先按常规端到端可微实现，再通过对照实验确认稳定性，未报告项应在复现记录中明确标注缺项，而不是从模型名称推定实现。

数据如何生成，基线如何对齐，输入归一化如何计算？

数据来自朗读语音库与城市噪声库。原始音频重采样到 16 kHz。每段 10 秒噪声与拼接抽取的 10 秒清晰语音按均匀采样的信噪比混合，信噪比范围为负 5 分贝到 20 分贝。所有文件施加时长在 0.2 秒到 0.3 秒间均匀采样的升余弦淡入淡出。时频信号经短时傅里叶变换得到，采用二百五十六点汉恩窗、同长度傅里叶变换与一半重叠。

幅度规整采用对数幅度函数，先计算 20 分贝对数幅度并在 -80 分贝处截断，再把 -80 分贝到零分贝线性压缩到零到一，并用极小常数避免除零。训练用 100 小时朗读训练子集与全部开发集噪声生成的 100 小时增强音频，测试用测试清晰子集与评估集噪声生成的 20 小时增强音频。该协议意在相同训练测试条件下受控比较实数、复数与混合变体。

架构基线是实数卷积去噪自编码器与实数卷积循环网络，卷积仅沿频率维以保持时间不变并降低复杂度。复数与混合模型按前述容量切分得到，层通道数在原文表格中列出。所有网络末层策略不同，实数分支估计幅度掩蔽，复数整体估计复数掩蔽重组为复张量，混合则为幅度掩蔽加复数修正。

卷积去噪自编码器 × 卷积循环网络： 卷积去噪自编码器只沿频率维卷积并保持时间不变操作，用于检验纯卷积编码解码下的混合增益；卷积循环网络在卷积之外加入循环瓶颈与线性层，用于检验含时序建模时复数循环展开为多个实运算的高开销是否可被混合拆分缓解；二者同按实数、复数、混合 3 种形式对齐参数，共同构成受控对照。

该节的复现要点是混合比例、窗长重叠与对数压缩必须与原文一致，否则信噪比分档结果不可比。

主结果在四个信噪比下显示什么，谁未胜出，反例在哪里？

比较问题是在参数量对齐且训练测试条件相同的条件下，混合模型是否在可懂度与质量上超过实数与复数对照，指标方向均为越大越好。下表整理原文报告的 4 个信噪比下的短时客观可懂度、语音质量感知评估与尺度不变信号失真比，单位与原文一致，信噪比分档写法保留原文组写法。表前已说明公平条件，表后将解释收益与代价。

表后解释如下。混合模型在几乎所有条件下取得最优，论文报告为最佳值加粗。最大绝对增益出现在尺度不变信号失真比上，支持混合分解特别有助于降低重构波形失真。对复数基线的增益较小但一致，支持混合不只是恢复复数处理的优势，还从幅度滤波与复数残差分离中获益。必须指出的未胜出项是 23 分贝附近的高信噪比语音质量感知评估。

混合自编码器在 20 分贝为 3.703，低于复数自编码器的 3.708，这是唯一的自编码器质量反例。另一反例是实数自编码器在负 5 分贝的短时客观可懂度为 0.714，与含噪输入相同，显示该小实数模型提升了质量与失真比却未提升客观可懂度。循环网络整体强于自编码器，但这不改变同架构内混合最优的结论。

尺度不变信号失真比 × 短时客观可懂度： 尺度不变信号失真比作为训练损失取负值优化，直接衡量重构波形失真，对残差修正最敏感；短时客观可懂度衡量客观可懂度，语音质量感知评估衡量感知质量；三者搭配是为了同时观察波形保真、可懂度与听感，组合意义是避免单一指标掩盖小模型在低信噪比下只提升质量却不提升可懂度的现象。

计算代价如何度量，参数量相同为何操作数不同？

比较问题是参数量对齐后，乘加操作数是否仍能区分效率，度量口径是以底层实数运算计数的乘加操作数。复数乘法需展开为多个实数操作，因此参数量相同不代表操作数相同。原文明确只有转置卷积层计入解码器，卷积、循环与线性层归入编码器计数。下表整理各模型的参数量与实分支、复分支及总操作数，单位保留原文千与十亿写法。

表后解释主要收益与具体代价。混合自编码器总操作数为 3.31 吉，比实数自编码器降低约 29.9%，比复数自编码器降低约 27.1%。混合循环网络总操作数为 5.51 吉，比实数循环网络降低约 19.9%，比复数循环网络降低约 31.5%。复数循环网络尽管参数量对齐却比实数循环网络更贵，主因是循环复数操作展开为多个实操作。

论文据此指出仅看参数量不足以评估效率，将网络拆成更小的实复分支可降低维度与总操作数，同时保留复数表示收益。代价是混合结构实现更复杂，需要维护两套编码解码宽度与域转换形状对齐，且操作数降低不等于实测延迟降低，因为原文未测量延迟与硬件利用率。

增益来自耦合还是输出结构，原文做了什么对照与自我限定？

论文没有提供消融表，因此本节只能依据正文论述组织可验证的对照逻辑，而不是补充无源消融数字。已验证的对照是 3 路参数对齐比较。实数对照操作拆分的实虚短时傅里叶变换分量，复数对照原生处理复谱，混合对照同时做幅度掩蔽与加性复数修正并在瓶颈耦合。原文明确解释，当前增益应理解为分支特化、瓶颈耦合与残差复数修正的联合设计结果，而不是耦合机制单独的贡献。作者用两段自我限定防止过度归因。

第一段指出乘性复数掩蔽需在单个因子中同时编码幅度抑制、相位旋转与重构修正，而分解把大部分衰减交给有界实掩蔽，把残差补偿留给复数分支，可能更易优化，尤其对小模型有利，但同时强调乘性复数修正与不同分支容量分配是自然的消融方向，不宣称其普遍更差。

第二段指出混合增益也可能与输出结构有关，这与分离幅度处理与相位滤波的先进架构一致，幅度掩蔽提供稳定去噪路径，加性复数项补偿有界或乘性掩蔽难表示的误差，但因实验未分离输出结构与混合耦合，各自相对贡献仍是开放问题。初学者应把这两段理解为作者主动标注的因果边界，相关性不等于因果，缺失的耦合开关与输出形式对照需要后续补做。

哪些结论有边界，与既有复数低效结论是否矛盾？

直接报告是混合模型在受控概念验证中取得几乎所有信噪比下的最优，并降低乘加操作数。有限解释是复数基线在该匹配参数设置下优于实数基线，这与既有文献报道复数操作在小单通道模型中可能低效甚至有害的总体结论看似不同。论文解释差异来自实验设置与架构。

基线是紧凑频率卷积模型且操作模式受限，而既有文献评估不同架构与复数构建块，因此不应解读为推翻更广泛的复数低效发现，而应解读为在所考虑的自编码器与循环基线上原生复数处理有益，但计入操作数后仍非最高效。未验证推测包括最优分支比例、乘性复数修正是否更差、耦合开关的独立贡献，均明确留作未来工作。测量边界也很清晰。

原文未测量误判率、逐帧延迟、内存占用与实际推理帧率，未做统计显著性检验与人评听感实验，自动指标不能当作人评。总体趋势不等于每组每步都成立，高信噪比下的质量反例已说明这一点。训练资源、推理开销与实际延迟应分别讨论，不能用操作数降低直接承诺延迟改善。

复现应先固定什么，再跑哪三组对照？

复现先固定信息条件与数据管道。按原文固定 16 kHz 重采样、10 秒混合时长、负 5 分贝到 20 分贝均匀信噪比、0.2 秒到 0.3 秒淡入淡出、二百五十六点汉恩窗与一半重叠、对数幅度压缩到零到一。训练集为 100 小时朗读训练子集加全部开发集噪声生成的 100 小时，测试为测试清晰子集加评估集噪声生成的 20 小时。

优化按 100 轮、权重衰减万分之一、学习率千分之一指数衰减到万分之一、负尺度不变信号失真比损失执行，并记录批量大小与种子以填补原文缺项。再跑 3 组对照。第一组跑实数自编码器与实数循环网络，输入为实虚拼接，输出为复数掩蔽实虚部。第二组按一半实参数导出复数基线，保持层排列与激活位置，用复数修正线性单元与复数双曲正切。

第 3 组按一半实分支加 1/4 复数分支构建混合，输入端加幅度转换，瓶颈加笛卡尔拼接，解码首层降宽以保持总预算，输出为幅度掩蔽乘含噪谱加复数修正。核对点包括参数量是否在约一百七十千与约八百一十六千附近，总操作数是否在混合自编码器约 3.31 吉、混合循环网络约 5.51 吉附近，以及负 5 分贝下实数自编码器可懂度是否无提升。

资源状态方面，本次收到的官方资源中第一项为第三方预印本链接当前可用，第二项为期刊链接当前可用，复现时应以原文与可用链接为准，不把权重可下载等同于系统可运行。

何时值得尝试混合，何时坚持纯实数或纯复数？

当任务中幅度与相位分工明确、模型预算小且希望在固定参数下同时保住可懂度与感知质量时，值得尝试实数幅度掩蔽加复数残差修正的混合分解，尤其循环部分复数展开开销大时，混合拆分对操作数的缓解更明显。当部署只允许极简实数算子或硬件对复数展开不友好时，坚持纯实数并接受相位精度损失可能更务实。当已有纯复数管线成熟且操作数不是瓶颈时，继续用纯复数并调优掩蔽形式可能更省工程成本。论文特有的误解需要澄清。

笛卡尔转换不是恢复短时傅里叶变换相位，而是重解释隐特征供复数层旋转组合。参数量对齐不代表操作数对齐，效率必须看底层实运算。混合最优不等于耦合单独有效，输出结构的影响尚未分离。读完后可复述的方法是输入分叉、瓶颈互通、输出乘加汇合，以及用 3 路对齐与四档信噪比验证增益与操作数降低的完整链路。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

另有 9 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eusipco-2026 论文汇总