📄 Neuromamba: Adaptive Frequency Filtering with a Pyramid Mamba for sEEG-driven Speech Synthesis

#语音合成 #信号处理 #状态空间模型 #脑机接口 #低资源

🔥 8.0/10 | 前25% | #语音合成 | #信号处理 #状态空间模型 | #信号处理 #状态空间模型

学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中

👥 作者与机构

• 第一作者：Jiayue Xie†, Ruicong Wang† (†共同第一作者，单位：香港中文大学（深圳）人工智能学院、数据科学学院、深圳湾实验室)
• 通讯作者：Siqi Cai⋆ (⋆通讯作者，单位：哈尔滨工业大学（深圳）智能科学与工程学院、深圳湾实验室)
• 作者列表：Jiayue Xie (香港中文大学（深圳）人工智能学院、数据科学学院、深圳湾实验室), Ruicong Wang (香港中文大学（深圳）人工智能学院、数据科学学院、深圳湾实验室), Xueyi Zhang (香港中文大学（深圳）人工智能学院、数据科学学院、深圳湾实验室), Siqi Cai (哈尔滨工业大学（深圳）智能科学与工程学院、深圳湾实验室), Haizhou Li (香港中文大学（深圳）人工智能学院、数据科学学院、深圳湾实验室; 深圳湾实验室)

💡 毒舌点评

论文的亮点在于其模块设计（AFM与TPM）逻辑清晰，针对sEEG信号特性的动机阐述充分，消融实验和多任务（发声/默念/想象）评估也显得扎实可靠。然而，将实验仅局限于2名被试的sEEG数据，虽然这是领域早期常见情况，但论文并未充分讨论其结论在更广泛人群和非癫痫患者中的潜在泛化性限制，这使得“有效性”的声明略显单薄。

📌 核心摘要

1. 要解决的问题：现有从立体脑电图（sEEG）信号合成语音的方法存在两大局限：一是依赖固定的、预定义的频率频段，无法充分利用sEEG丰富的频谱信息；二是使用单一时间尺度的模型（如LSTM），难以捕捉语音产生过程中多层级的时间动态（如快速音素与慢速韵律）。
2. 方法核心：论文提出了NeuroMamba框架，包含两个核心模块：自适应频率模块（AFM）和时间金字塔Mamba（TPM）。AFM通过可学习的频域滤波器，为每个sEEG通道动态优化并提取关键频率成分，然后通过卷积层融合跨通道特征。TPM采用多级金字塔结构，在不同时间分辨率上使用Mamba块建模，并通过上采样和逐级融合，整合多尺度的时间动态信息。
3. 与已有方法相比新在哪里：1）首次在sEEG语音解码中引入可学习的、通道特定的频域滤波，取代固定的频带提取；2）创新性地将金字塔结构与Mamba状态空间模型结合，构建TPM，以高效、分层地建模语音的多尺度时间结构，同时保持线性计算复杂度。
4. 主要实验结果：在两位sEEG被试的发声、默念和想象三种语音任务上，NeuroMamba在皮尔逊相关系数（PCC，↑）和梅尔倒谱失真（MCD，↓）两项指标上均优于所有基线（CNN+LSTM, AFM+LSTM, CNN+TPM）。例如，在Subject 1的发声任务中，PCC达到0.757，MCD为2.901，相比最强基线CNN+LSTM分别提升0.035和降低0.283。消融实验证实，移除AFM或TPM都会导致性能下降。
5. 实际意义：该工作为下一代低侵入性神经语音假体提供了新的技术框架。通过更充分地挖掘sEEG信号的时频特性，有望提升对言语意图（尤其是想象语音）的解码质量，从而帮助因ALS或脑干中风等疾病而失去语言能力的患者恢复交流。
6. 主要局限性：1）数据规模极小，仅包含2名接受临床sEEG植入的癫痫患者，模型的泛化性（如对健康人、不同语言）未得到验证；2）实验未与近年基于高密度皮层电图（ECoG）的前沿解码工作进行直接性能对比；3）论文未提供模型参数量、具体训练时长及硬件细节，对完全复现有一定影响。

🏗️ 模型架构

图1展示了NeuroMamba的整体架构，分为(a)整体流程、(b)自适应频率模块（AFM）内部结构和(c)时间金字塔Mamba（TPM）内部结构。

整体流程 (a)：输入为sEEG信号，依次经过AFM进行频率感知的特征提取，Dropout层进行正则化，TPM进行多尺度时间建模，最后通过全连接层预测梅尔频谱图。预测的梅尔频谱图再送入声码器（Vocoder）重建为语音波形。

自适应频率模块 (AFM) (b)：该模块旨在为每个sEEG通道自适应地强化任务相关的频率成分。

1. 自适应频率过滤：首先对输入的时域信号 x 进行FFT变换到频域 X(f)。然后应用一个通道特定的可学习滤波器矩阵 W 进行点乘，得到滤波后的频谱 X̂(f)。这相当于让每个通道独立地学习一个带通或频率选择性滤波器。最后，通过IFFT变换回时域 x̂(t)。
2. 卷积特征融合：将多通道的滤波后时域信号 x̂(t) 通过一系列一维卷积层。第一个卷积层（kernel size=4, stride=4）在提取特征的同时将时间分辨率降低4倍（T -> T/4）。后续的卷积层进一步提炼和压缩特征通道。最后经过Dropout层得到融合后的特征表示 F_S。

时间金字塔Mamba (TPM) (c)：该模块旨在建模语音生成所需的多尺度时间动态。

1. 多尺度金字塔：将来自AFM的特征 F_S 作为短时特征。通过平均池化进行下采样，分别得到时间分辨率减半的中期特征 F_M 和减至1/4的长期特征 F_L。
2. Mamba块处理：每个尺度（F_S, F_M, F_L）的特征序列分别输入一个独立的Mamba块 G(·) 进行处理。Mamba是一种基于状态空间模型（SSM）的序列模型，能高效处理长序列。
3. 递归融合：处理后的特征通过转置卷积进行上采样，并逐级相加融合。长期特征 Y_L 上采样后与中期特征 Y_M 相加得到 Y'_M，Y'_M 再上采样后与短时特征 Y_S 相加得到最终的融合特征 Y'_S。
4. 输出投影：融合特征 Y'_S 通过全连接层映射到梅尔频谱图的维度，作为模型的输出。

💡 核心创新点

1. 自适应频率模块（AFM）：

   • 是什么：一个可学习的、端到端的频域特征提取前端，它为每个sEEG电极通道动态学习一个最优的频率响应滤波器。
   • 之前局限：先前方法通常使用固定的频带划分（如仅关注高gamma频带），或者对所有通道应用相同的频率分解，忽略了通道间的异质性和跨频相互作用。
   • 如何起作用：通过FFT-iFFT结构在频域进行可学习的线性滤波，让模型自主决定每个通道应保留或增强哪些频率信息，从而捕捉与语音相关的个性化神经振荡模式。
   • 收益：消融实验表明，移除AFM（即用标准CNN替代）会导致PCC下降0.014-0.021，MCD上升0.142-0.151，证实了其对频谱特征增强的有效性。

2. 时间金字塔Mamba（TPM）：

   • 是什么：一种分层的时间建模架构，结合了多分辨率金字塔下采样/上采样策略和高效的Mamba状态空间模型。
   • 之前局限：传统的RNN/LSTM等序列模型通常以单一时间尺度处理信号，难以同时捕捉语音中快速的音素转换（毫秒级）和缓慢的韵律轮廓（秒级）。
   • 如何起作用：通过构建短、中、长三个时间尺度的特征金字塔，让不同层级的Mamba块分别专注于不同粒度的动态。然后通过递归的上采样和逐级相加，将全局的上下文信息（来自长期层）与精细的细节信息（来自短期层）融合。
   • 收益：相比使用LSTM的基线（AFM+LSTM），使用TPM的变体（CNN+TPM）在多数任务上性能更优，且完整模型NeuroMamba达到最佳，说明TPM能更有效地利用经过AFM增强的特征进行多尺度时间建模。

3. 针对sEEG的端到端语音合成框架：

   • 是什么：首次将上述AFM和TPM两个针对性设计的模块整合到一个统一的、端到端的sEEG到梅尔频谱的生成框架中。
   • 之前局限：现有sEEG语音解码架构往往是通用模型的简单应用，未充分考虑sEEG信号在频谱和时间结构上的特殊性。
   • 如何起作用：AFM负责“听得更准”（精炼输入特征），TPM负责“理解得更深”（建模时间结构），二者协同工作，直接输出语音的中间表示（梅尔频谱）。
   • 收益：整体框架在三个挑战性任务（包括想象语音）上均取得SOTA性能，证明了其设计的有效性和针对性。

🔬 细节详述

• 训练数据：来自2名因癫痫接受临床sEEG植入的男性被试。Subject 1: 9个电极轴，140个电极触点（去除病理通道后为110个）。Subject 2: 8个电极轴，118个电极触点（去除病理通道后为81个）。每名被试执行三种任务：发声（Vocalized）、默念（Mimed）、想象（Imagined），每种任务200句，每句5-10个词。信号采样率1kHz，音频采样率16kHz。预处理包括：去除病理通道、双极重参考、0.5-150Hz带通滤波、按试次归一化。梅尔频谱图参数：窗口长度64ms，帧移20ms，80个频率区间。
• 损失函数：均方误差（MSE）损失，用于衡量预测的梅尔频谱图与真实梅尔频谱图之间的差异。论文未提及任何损失权重。
• 训练策略：使用Adam优化器。采用5折交叉验证，确保每名被试的数据在各折中均匀分布。具体的学习率、batch size、训练轮数/步数论文中未提及。
• 关键超参数：AFM中，第一层卷积核大小4、步长4；后续两层卷积核大小5、步长1。Dropout层存在，但比率未说明。TPM采用三级金字塔（1x，1/2x，1/4x）。Mamba块参数：SSM状态扩展因子16，局部卷积宽度4，块扩展因子2。下采样使用平均池化，上采样使用转置卷积。
• 训练硬件：在PyTorch 2.0.0、Python 3.8、Ubuntu 20.04、CUDA 11.8环境下实现。具体的GPU型号、数量和训练时长论文中未提及。
• 推理细节：论文未提供推理阶段的特殊细节（如温度、波束搜索等）。流程应为：输入sEEG -> AFM -> TPM -> FC -> 梅尔频谱图 -> 声码器 -> 波形。
• 正则化/稳定训练技巧：在AFM的卷积特征融合阶段末尾使用了Dropout层，以稳定训练并防止过拟合。

📊 实验结果

主要对比实验结果：下表汇总了论文中表1的关键数据。

结论：NeuroMamba在所有6个测试条件（2名被试 x 3种任务）中均取得了最高的PCC和最低的MCD。与最强基线（CNN+TPM）相比，在Subject 1的想象任务上，PCC提升0.015，MCD降低0.073。

消融实验：论文文本中描述了消融结果，但未提供完整表格。关键结论如下：

• 移除AFM（用CNN替代）：在发声任务上，PCC降低0.014-0.021，MCD增加0.142-0.151。
• 移除TPM（用LSTM替代）：在发声任务上，PCC降低0.015-0.022，MCD增加0.143-0.193。 这证明了AFM和TPM模块各自对最终性能都有不可替代的贡献。

实验结果图表：论文提供了sEEG电极位置图（图2）和样本解码梅尔频谱图（通过GitHub链接提供，但未在文中直接展示）。图2用于说明被试的电极植入位置，图中以不同颜色标识同一电极轴上的触点，直观展示了sEEG的空间覆盖范围。 图2：两名被试的sEEG电极位置。相同颜色的点表示来自同一电极轴的触点。位置通过术后CT与术前MRI配准确定。

⚖️ 评分理由

• 学术质量：6.0/7
  • 创新性（2.0/2）：提出了AFM和TPM两个针对sEEG信号特性和语音生成任务的关键设计，组合为NeuroMamba框架，创新点明确且有动机支撑。
  • 技术正确性（1.5/2）：模型架构描述清晰，所使用的技术（FFT滤波、Mamba SSM、金字塔融合）均为成熟或前沿且合理的技术，组合逻辑自洽。
  • 实验充分性（1.5/2）：进行了多任务、多被试的对比实验和必要的消融研究，评估指标合适。但数据规模过小（2被试）是其最大的实验弱点，限制了结论的普适性。未与更多领域SOTA（如基于ECoG的工作）对比也稍显不足。
  • 证据可信度（1.0/1）：实验报告规范，有均值和标准差，消融实验支撑了结论。但受限于数据量，整体可信度为中等。
• 选题价值：1.5/2
  • 前沿性与影响（0.8/1）：sEEG驱动语音合成是脑机接口的前沿且极具挑战性的方向，研究直接面向临床需求（ALS、中风患者），社会价值高。
  • 应用空间与读者相关性（0.7/1）：对于从事BCI、神经工程、语音合成交叉领域的研究者具有较高参考价值。对于更广泛的音频/语音研究者，其信号处理思想（自适应滤波）和序列建模思路（金字塔Mamba）也有启发意义。
• 开源与复现加成：+0.5
  • 论文承诺将代码公开至GitHub，这为复现和后续研究提供了重要基础。然而，未提及模型权重、独立数据集以及详细的训练超参数和硬件环境，使得完全复现仍存在一定门槛。

🔗 开源详情

• 代码：论文明确表示“Our code will be publicly accessible via https://github.com/ruicongwang/NeuroMamba”。代码仓库链接���提供。
• 模型权重：论文中未提及是否公开训练好的模型权重。
• 数据集：实验数据来自临床sEEG记录，论文中未提及是否会公开原始数据或处理后的数据集。
• Demo：论文中未提及提供在线演示。
• 复现材料：论文提供了架构图、主要的超参数设置（如滤波器尺寸、Mamba块参数、金字塔结构）和训练环境信息（PyTorch, CUDA版本）。但关键的训练超参数（如学习率、batch size、优化器参数）未提供，也未提供具体的检查点或附录。
• 论文中引用的开源项目：论文引用了LeGUI（MATLAB包）用于电极定位可视化，LibROSA用于音频处理，以及Mamba的核心代码实现（参考文献[19, 20]）。
• 总体开源情况：论文中提供了代码仓库链接，承诺了开源计划。但对于支持完全复现的详细训练配置和数据，公开计划不明确。

← 返回 ICASSP 2026 论文分析