同一套因果 Mamba 核心如何兼顾 16 毫秒流式与高延迟离线增强

英文题目：A Unified Latency-Flexible Framework with a Causal Mamba Core for Multichannel Speech Enhancement

会议身份：conference:chime:2026:conference-paper-id:chao26_chime

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#助听器 #状态空间模型 #严格因果 #多通道 #语音增强

评分：5.8/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.8/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Rong Chao：机构信息未能从会议 PDF 纯文本可靠映射
• Zeen Jhou：机构信息未能从会议 PDF 纯文本可靠映射
• You-Jin Li：机构信息未能从会议 PDF 纯文本可靠映射
• Sung-Feng Huang：机构信息未能从会议 PDF 纯文本可靠映射
• Moreno La Quatra：机构信息未能从会议 PDF 纯文本可靠映射
• Sabato Marco Siniscalchi：机构信息未能从会议 PDF 纯文本可靠映射
• Wen-Huang Cheng：机构信息未能从会议 PDF 纯文本可靠映射
• Szu-Wei Fu：机构信息未能从会议 PDF 纯文本可靠映射
• Yu Tsao：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

面向助听器等多通道场景，需从强噪声混响多通道观测中恢复目标说话人干净语音，同时满足严格流式因果与低延迟约束。方法链分为三步：延迟感知外壳先对多通道幅度相位与说话人条件特征做局部谱空间编码，外壳输出进入因果核心做长时建模，最后由外壳解码器重建目标语音幅度与相位。核心采用时频双路径选择性状态建模，时间分支强制单向而频率分支保留双向，外壳以左侧填充与可控移位提供显式前视。与全注意力方案的关键差异在于以线性时间状态递推替代二次自注意力，使长上下文建模与流式因果约束天然兼容并降低计算负担。在HA设备开发集整体评测设置下，Ours（causal）的STOI为0.53，高于Baseline（official）的STOI 0.51。该低延迟配置以0.016s延迟与0.005实时率运行，参数量仅1.36M，其延迟与推理开销均显著优于基线。该结论适用边界受限于仅在HA开发集整体与目标说话人评测验证，尚未验证Aria设备、测试集泛化与主观听感，且离线高性能需1.136s延迟与更大计算量。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，延迟为何卡住性能？

这篇论文研究的输入是助听器采集的多通道带噪语音，CHiME-9 Task2 设定为 4 通道助听器与 7 通道智能眼镜两种设备，采样率 16 千赫兹，场景包含多人交谈与真实环境噪声，目标是从混合信号中增强出目标说话人的干净语音。输出是与输入通道对应的增强波形，论文图注说明系统最终经幅度解码器与相位解码器重构多通道音频，再经逆短时傅里叶变换与重叠相加得到时域波形。

必须保留的信息包括设备通道数、因果约束、延迟预算与客观指标方向，输出是 1 篇能复述外壳核心分工、因果实现动作与实验对照条件的解读。学习依赖是先理解多通道与延迟的矛盾，再看外壳如何控制前视、核心如何保证因果，最后核对训练损失、评估划分与可运行性。延迟之所以关键，是因为助听器要求输出时刻不能依赖未来输入，官方流式预算为 20 毫秒，任何对称填充、双向循环或非因果注意力都会引入未来依赖。

论文把总延迟拆为模型前视加短时傅里叶变换窗长延迟，零模型前视时仅剩 256 除以 16000 约 16 毫秒，从而满足预算。初学者可以这样沿样本走一遍，一段 4 通道 16 千赫兹波形先经因果分帧得到幅度谱与相位谱，再与说话人标识谱拼接送入外壳编码器，核心沿时间单向递推后由外壳解码器输出增强谱，最后逆变换为波形，整个链条中只要有一处用了未来帧，流式因果即被破坏。

已有路线提供了什么，缺了哪一块延迟控制？

论文把相关工作分为两类。第一类是结构化状态空间模型做长序列建模，原文指出这类模型是注意力的替代方案，Mamba 引入选择性状态空间参数化并实现线性时间序列建模，能高效处理长上下文。白话解释是，传统自注意力计算量随序列长度平方增长，上下文越长显存与计算越重，而选择性状态空间用递推方式沿时间传播隐状态，计算量随长度线性增长。第二类是 Mamba 做语音增强，原文提到 SE-Mamba 研究了因果与非因果配置下的回归模型，MC-SEMamba 将其扩展到多通道且参数增长不大。

教学例子是，单通道因果 SE-Mamba 好比只看过去做降噪，非因果版本好比允许偷看未来再做平滑，后者指标常更高但不能直接流式部署。本文与同输入同目标同运行阶段的对照在于，同样处理多通道幅度相位、同样以增强目标说话人为目标，MC-SEMamba 已验证多通道扩展可行，但原文未在同一延迟预算下给出显式前视控制与系统级因果验证。本文的增量正是把外壳的前视做成可调旋钮，把核心固定为因果算子，从而在同一模型家族内支持流式与离线两种运行点。

需要提醒的是，类别差异不能当同条件胜负，离线大前视 beating 流式零前视不证明算子更强，只能证明延迟质量折中存在。

要解决的矛盾是什么，什么算满足因果？

形式化地说，设输入为通道数为 C 的含噪复谱，目标为目标说话人的干净复谱，系统在时刻 t 的输出只允许依赖小于等于 t 的输入帧，任何依赖大于 t 帧的操作都计为前视。论文强调的 3 个子挑战是跨通道建模、长时依赖捕获与高效计算。跨通道建模要求联合利用多通道幅度相位间的电平差与相位差，长时依赖要求记住数百毫秒至秒级的语音连贯性，高效计算要求在助听器延迟与算力下实时运行。

满足因果的操作清单在原文有明确动作，第一是把时间 Mamba 改为单向，第二是把对称填充改为仅左侧填充，第三是在外壳引入显式时间移位以允许 0 至 N 帧可控前视，第四是推理采用中心为假的因果短时傅里叶变换并用标准重叠相加且无未来上下文。由于核心本身不引入未来依赖，系统级前视等于外壳移位。反例是，若保留双向时间 Mamba 或对称填充，即使外壳移位为零，未来信息仍会经感受野泄漏到当前输出，此时名义上的流式不再成立。

论文因此设计了两项诊断，未来帧扰动测试与单帧空值注入测试，用来在实现层面确认零前视，而不只是结构声称。

外壳加核心的全景是什么，数据如何流过？

整体可复述为 3 段。第一段是延迟感知外壳做谱空间编解码，输入为 C 通道幅度与相位堆叠，外加说话人标识谱的幅度相位条件，编码器采用类 DenseNet 结构把多通道观测映射到共享隐空间，解码器分幅度与相位两路输出增强谱。第二段是因果核心做长时建模，由时频 Mamba 块堆叠组成，每个块内时间 Mamba 单向、频率 Mamba 双向，低延迟配置用 1 层因果核心且外壳前视为零，离线配置把核心加深到 4 层并打开非零前视。

第 3 段是波形重构，用因果短时傅里叶变换参数 256 点傅里叶变换、64 样点跳长、中心为假，推理时逐帧因果执行并经重叠相加得到波形。沿一个样本走完就是，4 通道波形分帧为幅度相位，拼接说话人条件后送入密集编码器，得到隐表示后经 1 层或 4 层时频 Mamba 沿时间递推与沿频率双向融合，再经幅度相位解码器与逆变换输出干净波形。关键设计理由是解耦，延迟控制只动外壳移位与卷积填充，长时能力只靠因果核心深度，同一套因果 Mamba 算子无需改结构即可在两种延迟点复用。

原文明确说系统级前视等于外壳移位，这句话是复现时核对延迟的第一依据。

外壳如何编码多通道，填充与移位做了什么？

外壳的输入组织是教学重点。相比原始单通道 SE-Mamba，本文做了三处修改，第一是密集编码器改为处理 C 通道输入，对助听器 C 等于 4，联合编码 C 通道幅度与相位到共享隐空间，第二是把说话人标识谱图转为幅度相位形式并拼接为条件特征，第三是把所有 2 维实例归一化替换为 2 维通道归一化，跨通道归一而保留时频结构以改善通道间一致性。填充动作是把对称填充替换为仅左侧填充，白话是卷积在时间边界补零时只在左侧补，右侧不补，从而卷积核看不到未来帧。

移位动作是在外壳引入显式时间移位，允许 0 至 N 帧可控前视，白话是人为把特征向过去错开若干帧，等于允许看固定长度的未来，再把该长度计入系统延迟。由于核心无未来依赖，系统前视即外壳移位，复现时若要做零前视流式，必须同时保证移位为零、填充为左填充、时间 Mamba 为单向、短时傅里叶变换中心为假，缺一即可能泄漏。

外壳 × 核心： 外壳负责多通道局部谱空间建模，用类 DenseNet 卷积编码器解码器处理幅度相位并通过左填充与时移控制前视，核心负责长时时间依赖建模，用因果 TF-Mamba 堆叠在隐空间传播信息，二者搭配的理由是把延迟控制集中在外壳、把长上下文能力集中在因果核心，从而同一套核心算子既能零前视流式运行又能加深加前视做离线增强。

离线配置的代价在脚注有明确拆解，总系统延迟 1.136 秒由 1.0 秒额外未来缓冲前视与 0.136 秒膨胀卷积感受野引入的算法延迟组成，这说明即使核心因果，外壳的卷积感受野与缓冲仍会计入延迟，不能只看模型前视标称值。

核心的时频 Mamba 如何保证因果又看到全频带？

核心由时频 Mamba 块组成，每个块包含时间 Mamba 与频率 Mamba。时间 Mamba 被改造为单向，白话是隐状态只沿时间正向递推，当前帧的输出只由过去隐状态与当前输入决定。频率 Mamba 保持双向，白话是在同一时间帧内沿频率轴正反 2 个方向都扫一遍，因为同一时刻的所有频点都已观测到，双向不会引入未来时间。计算目标是原文所说的捕获长程时间依赖，同时保持线性时间复杂度，区别于全自注意力随上下文平方增长的代价。

实现上左填充保证卷积部分因果，单向保证递推部分因果，双向频率分支只在频率维混合信息。初学者易误解为双向即非因果，关键是区分维度，时间双向破坏流式，频率双向不破坏流式。论文用两项诊断验证，第一是未来帧扰动测试，修改大于等于 t 的输入帧，未受影响的过去输出变化最大值小于 10 的负 5 次方，括号注明计入 256 点窗 64 跳长的短时傅里叶变换重叠，第二是空值注入测试，把时刻 t 单帧替换为空值，最早受影响输出帧恒等于 t，有效前视为 0 帧。

这两项分别从不变性与故障传播角度确认零模型前视。

时间 Mamba × 频率 Mamba： 时间 Mamba 沿时间轴做单向选择性状态空间递推，只用过去帧保证因果，频率 Mamba 沿频率轴做双向建模以充分利用同一帧内全频带结构，二者搭配的原因是时间方向必须服从流式因果而频率方向不存在未来时间依赖，组合后每个时频块既看到完整频谱形状又不引入未来时间信息。

复述时要保留诊断阈值与窗跳参数，因为重叠会导致相邻帧共享样点，不注明重叠就无法解释为何扰动测试要特别说明短时傅里叶变换重叠。

从谱到波形的因果链条如何闭环？

输入表示是幅度谱与相位谱堆叠，输出表示是增强后的幅度谱与相位谱，再经逆变换为波形。外壳编码器把多通道谱压为隐表示，核心在隐空间做时频建模，外壳解码器分为幅度解码器与相位解码器，图注明确写出幅度解码器输出多通道音频幅度、相位解码器输出目标语音相位相关量，最终经短时傅里叶变换逆过程重构。监督来源在训练节交代为多分辨率短时傅里叶变换损失，推理链条为因果分帧、逐帧增强、标准重叠相加且无未来上下文。

延迟公式在原文给出为模型前视加窗长除以采样率，零模型前视时为 256 除以 16000 约 16 毫秒，满足 20 毫秒约束。复现时必须用 256 点傅里叶变换、64 样点跳长、中心为假，否则窗长延迟与重叠逻辑都会改变，扰动测试的容差解释也不再成立。

因果短时傅里叶变换 × 重叠相加： 因果短时傅里叶变换负责把 256 点 64 跳长的波形分帧变为幅度相位谱且分帧时不使用未来样点，重叠相加负责把增强后的谱逆变换回波形且只用已生成帧做拼接，二者分工是前者决定算法延迟下界为窗长除以采样率，后者保证重构过程不额外引入前视，组合意义是零模型前视时系统总延迟仅由窗长决定。

说话人标识谱图 × 多通道幅度相位： 多通道幅度相位提供 4 个助听器通道观测到的混合语音空间谱特征，说话人标识谱图经幅度相位变换后作为目标说话人条件特征，二者搭配的理由是仅靠混合谱难以在多人多噪声下锁定目标，加入标识条件后编码器可以在共享隐空间中偏向目标说话人，新增作用是把无约束增强变为目标说话人增强。

需要指出，原文未给出幅度相位解码器输出激活、复谱重构细节与通道合并策略的具体公式，复述到解码器输出增强谱为止，不猜测是用复数掩码还是直接映射。

用什么损失训练，优化与归一化如何设置？

训练任务是在 CHiME-9 Task2 的 16 千赫兹数据上优化多分辨率短时傅里叶变换损失，计算在 3 个分辨率下进行，窗长跳长组合为 256 与 64、512 与 128、1024 与 256。白话是把增强波形与参考波形分别在 3 个不同时频分辨率下比较谱差异再求和，短窗看重时间细节，长窗看重频率细节。优化器为 Adam，初始学习率 5 乘以 10 的负 4 次方并用指数衰减，共训练 50 轮。归一化方面，所有 2 维实例归一化被替换为 2 维通道归一化，跨通道归一而保留时频结构，论文称其改善通道间一致性。

参数冻结、梯度截断、说话人条件是否截断梯度、采样策略与数据增强在给定证据中未报告，复述时明确标为缺项，不从模型名称推定。组合机制上，通道归一化与多通道编码器搭配的原因是编码器需要保留通道间相对差异，而实例归一化会抹掉这部分空间线索。

通道归一化 × 实例归一化： 实例归一化在单样本单通道内做均值方差归一，会削弱通道间相对电平差与相位差，通道归一化改为跨通道维度归一而保留时频结构，二者替换的理由是多通道增强依赖通道间一致性线索，组合意义是在稳定训练的同时保留空间判别信息。

教学例子是，若把左右耳通道分别做独立归一，两耳电平差会被拉平，声源方向线索即丢失，跨通道归一则保留该差异。原文未报告验证集划分、早停与学习率衰减系数，复现时需按官方 Task2 划分补齐并记录。

数据、设备、基线与测量条件是什么？

实验在 CHiME-9 Task2 助听器数据上进行，报告聚焦助听器设备的开发集，分为整体求和评估与仅目标说话人评估两种聚合口径。基线包括官方直通与官方基线，官方基线参数量 2.78M，实时率为 0.020，本文因果配置参数量 1.36M，实时率 0.005。指标方向为除实时率越低越好外其余越高越好，指标包括分段信噪比、复合信号失真、背景失真、整体失真、语音质量感知评估与短时客观可懂度。实时率在离线模式下测得，不含输入输出开销，使用单张英伟达 RTX 5090 显卡批量为 1。

短时傅里叶变换固定为 256 点、64 跳长、中心为假，训练损失为上述三分辨率。两种配置共享同一架构，低延迟模型用 1 层因果核心加零外壳前视做完全流式，离线配置把核心增至 4 层并在放宽延迟下启用非零前视。资源状态方面，本次收到的证据中未发现来源绑定且完成超文本传输安全协议状态验证的资源，不得声称代码模型或数据已公开，复现只能依据论文文字与表格参数重写。

缺项是官方未在结构化证据中给出基线延迟标称值与眼镜端结果，解读不把助听器结论推广到眼镜端。

主结果测了什么，谁与谁比，条件是否一致？

主结果要回答零前视因果模型能否在更少参数与更快速度下超越官方基线，以及加深加前视后质量如何变化。比较问题是，在同一助听器开发集与同一整体求和口径下，因果配置与离线 4 层配置的客观指标、参数量、实时率与延迟如何排序，公平条件是同设备同划分同指标方向，指标方向为除实时率外越高越好。下表选择原文结果矩阵的表头与整体口径下两行可运行配置，保留分段信噪比、语音质量感知评估、短时客观可懂度、参数量、实时率与延迟，行列均来自证据实际给出的零基坐标，未补列未改数字。

表后解释是，因果配置以 1.36M 参数实现 0.005 实时率与 0.016 秒延迟，离线 4 层配置以 1.98M 参数实现 0.012 实时率与 1.1361 秒延迟，两者在分段信噪比与感知指标上均高于正文叙述的官方基线水平，且离线配置进一步高于因果配置，呈现清晰的延迟质量折中。代价是离线延迟进入秒级，不再满足 20 毫秒流式约束，只能用于可容忍缓冲的离线场景。

未胜出与边界方面，仅目标说话人口径下因果配置的短时客观可懂度为 0.45，低于整体口径的 0.53，说明目标说话人单独评估更难，总体趋势不等于每个子条件都同等提升。原文还报告改进在整体与目标说话人评估下一致且多数指标有增益，但结构化矩阵省略了直通与基线行，完整基线数字需回到原文表格核对，此处不把自动指标当人评，也不把开发集增益直接当测试集增益。百分点与相对百分比不同，复述时只说方向与绝对值，不自行计算提升百分比。

延迟质量折中与效率优势能否拆开验证？

该节把效率与延迟拆为可核对的对照。比较问题是，在参数量与实时率上，因果配置相对官方基线是否同时更小更快，以及延迟从毫秒到秒级时质量如何变化，公平条件是同显卡同批量同离线测速口径且不含输入输出，指标方向为参数量与实时率越低越好。下表用全文逐字连续原句支撑的引用表整理效率对照，不复用上一张原表矩阵中的数字以避免重复绑定，列数满足宽表要求且每格数字与单位由引文覆盖。

表后解释是，正文直接报告因果配置以 1.36M 参数超越参数量为 2.78M 的官方基线，实时率 0.005 对比基线 0.020，延迟约 16 毫秒满足 20 毫秒约束，这支持参数效率与运行速度两项判断。离线配置的代价是总延迟 1.136 秒，其中 1.0 秒为额外未来缓冲前视，0.136 秒为膨胀卷积感受野引入的算法延迟，质量提升是以明确延迟为代价换来的。反证是，若把离线配置强行用于流式而不改缓冲，其 1 秒前视即违反因果，实时率再低也不能按流式延迟 reporting。

论文未报告去掉说话人条件、换回实例归一化或逐层加深的消融，解读不补写拿掉后必然怎样，只指出这些是待验证项。训练部署成本方面，原文仅报告推理实时率与参数量，未报告训练时长、显存与功耗，不承诺训练成本更低。

哪些结论有边界，哪些验证还缺？

直接报告的是助听器开发集上的客观指标提升与两项因果诊断通过，有限解释是解耦设计支持即插即用扩展，未验证推测是该扩展在任意延迟点都单调有效。边界有四处，第一是仅报告助听器开发集，未在给定证据中呈现眼镜端与测试集数字，不能推广到全任务。第二是指标全为客观指标，分段信噪比、复合指标、语音质量感知评估与可懂度均非人听评价，不能当作听感改善证明。

第三是实时率在 RTX 5090 离线模式批量为 1 且不含输入输出下测得，不等于助听器端侧芯片延迟与功耗，训练资源与输出帧率也未分别讨论。第四是结构化矩阵缺少直通与基线行，完整对照需回原文大表，本文解读保留了正文叙述的基线参数量与实时率但未硬写未见基线指标值。原文表头图注或算术若冲突应标注冲突，本次可见的潜在冲突是离线延迟 1.1361 秒与脚注 1.0 加 0.136 等于 1.136 秒存在 0.0001 秒量级尾数差异，应理解为四舍五入而非新条件，不编造划分来圆。

缺失证据不是技术错误，相关性不是因果，未来帧扰动小于阈值支持因果实现，但未测量误判率与实际流式丢帧，不承诺部署零故障。

复现先做什么，如何一步步对齐因果？

复现起点是按 16 千赫兹重建数据管线，短时傅里叶变换固定 256 点、64 跳长、中心为假，重叠相加无未来上下文，多分辨率损失用 256 与 64、512 与 128、1024 与 2563 组，优化器 Adam 初始学习率 5 乘以 10 的负 4 次方指数衰减训练 50 轮。模型按三修改重写多通道适配，第一是密集编码器输入改为 4 通道幅度相位堆叠并拼接说话人标识幅度相位条件，第二是全部 2 维实例归一化换为 2 维通道归一化，第三是时频 Mamba 块中时间分支单向、频率分支双向且卷积用左填充。

延迟对齐分两档，流式档用 1 层核心加零外壳移位，离线档用 4 层核心加脚注所述 1.0 秒缓冲与膨胀卷积感受野，分别核对 0.016 秒与 1.136 秒。验证动作是先跑空值注入确认最早受影响帧等于注入帧，再跑未来帧扰动确认过去输出变化小于 10 的负 5 次方并注明窗重叠，任一项失败即检查对称填充、双向时间分支或中心为真三处最易泄漏点。硬件预算按单张 RTX 5090 批量 1 离线测速且不含输入输出记录实时率，另行记录端侧延迟。

代码权重方面，本次未发现可用资源声明，不得写已公开，复现视为依据论文重写。还需补的验证是眼镜端、测试集与人听评价，以及去掉说话人条件与换回实例归一化的对照。

何时值得尝试，一句话如何带走？

当任务同时要求多通道空间线索、长上下文与严格流式延迟时，这套外壳管延迟、核心管因果长时的分工值得尝试，复现应先对齐因果链再调质量。若只能容忍 20 毫秒以内，选用 1 层零前视因果配置并接受离线配置不可用，若可容忍秒级缓冲，再考虑 4 层加前视以换取客观指标提升。带走的判断是，同一套因果 Mamba 算子通过只调外壳前视与核心深度即覆盖两种运行点，但质量增益的代价是明确延迟，开发集客观指标增益不等于人听与端侧增益。

初学者复述方法时应能说出输入为 4 通道幅度相位加说话人条件、表示为共享隐空间、外壳用左填充与移位控前视、核心用时间单向频率双向、目标为多分辨率谱损失、输出经因果逆变换重叠相加，以及 16 毫秒延迟的窗长来源与两项因果诊断阈值。未报告的训练细节、眼镜端结果与主观评价是使用前必须补的验证，不把离线最优当可部署收益。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

另有 5 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 chime-2026 论文汇总