英文题目:G-Mamba: Sparse Graph-Guided Mamba for Audio-Visual Speech Enhancement
标签:#语音增强 | #图神经网络 | #状态空间模型 | #音视频 | #语音
评分:7.6/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Guo-Ruei Tseng:Dept. of Computer Science and Information Engineering, National Taiwan Normal University, Taiwan Inst. of Information Science, Academia Sinica, Taiwan Grad. Inst. of AI Interdisciplinary Applied Technology, National Taiwan Normal University, Taiwan
- Hung-Shin Lee:Dept. of Computer Science and Information Engineering, National Taiwan Normal University, Taiwan Inst. of Information Science, Academia Sinica, Taiwan Grad. Inst. of AI Interdisciplinary Applied Technology, National Taiwan Normal University, Taiwan
- Hsin-Min Wang:Dept. of Computer Science and Information Engineering, National Taiwan Normal University, Taiwan Inst. of Information Science, Academia Sinica, Taiwan Grad. Inst. of AI Interdisciplinary Applied Technology, National Taiwan Normal University, Taiwan
- Berlin Chen:Dept. of Computer Science and Information Engineering, National Taiwan Normal University, Taiwan Inst. of Information Science, Academia Sinica, Taiwan Grad. Inst. of AI Interdisciplinary Applied Technology, National Taiwan Normal University, Taiwan
📌 核心摘要
面向含噪与多人干扰的音视频语音增强(Audio-Visual Speech Enhancement,AVSE),输入为带噪语音谱与同步唇部视频,输出为增强波形,难点在于轻量预算下跨模态对齐既要容忍音画微异步又要避免错误全局关联。所提稀疏图引导Mamba(Sparse Graph-Guided Mamba,SG-Mamba)先由音频编码器与冻结视觉前端抽取特征并经位置编码形成图节点,再由分层图结构特征融合模块在局部窗口内完成跨模态聚合,接着将聚合后音频表示送入单向Mamba建模长时依赖,最后经音频跳连与多层全连接网络生成幅度掩膜并结合原始相位重构波形。与无约束拼接或稠密跨注意力不同,该方法以稀疏非对称边与内容自适应注意力显式界定对齐范围。在LRS3噪声混合条件下,SG-Mamba的SI-SDR为13.091 dB,高于RAVEN基线的SI-SDR 12.648 dB,同时保持可比的感知质量与可懂度。作者承认当前拓扑固定且假设视觉输入完好,未验证遮挡与大范围失配下的外推能力。该后端约需5.3 M参数与3.45 G乘加操作,原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 代码相关资源:https://github.com/0u5gary/SG-Mamba — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音增强要解决的输入输出是什么?
输入是含噪语音和同步唇部视频,目标是从混合观测中恢复出目标说话人的干净波形。做法不是直接回归波形采样点,而是先对音频做短时傅里叶变换得到幅度谱和相位谱,只对幅度做增强,再结合原始含噪相位逆变换回波形。视觉线索的作用是提供与发音相关的唇动信息,在噪声把声学特征淹没时给出一个相对稳定的锚。评价沿 3 个方向展开:感知质量用 PESQ,越高越好;可懂度用 ESTOI,越高越好。
信号失真用 SI-SDR,单位是 dB,越高表示目标信号相对失真和残留干扰更强。初学者容易把三者混为一谈,论文的写法是分开报告,因为信号电平提升不一定同步带来听感和可懂度提升。另一个关键背景是轻量约束,论文把轻量限定为可训练的融合与增强后端,不含冻结的视觉前端,因此比较参数量和计算量时只看后端。代码当前可用,已公开在https://github.com/0u5gary/SG-Mamba,本次核对资源状态为 available。
已有路线在融合上各自卡在哪里?
第一条路线是简单拼接或特征调制,把音视特征拼在一起或用视觉去缩放音频通道,再交给主干隐式学习对应关系。优点是便宜,缺点是论文所称的拼接陷阱:没有显式结构约束,主干要在共享空间里自己猜跨模态对应。第二条路线是稠密全局交叉注意力,让音频去查全部视觉帧,表达力强但复杂度随帧数平方增长,且在强干扰下可能把干扰声对到目标唇形上,造成负迁移。
第三条路线是重型生成与大 Transformer 主干,性能强但采样或参数开销大,不适合手机助听等部署场景。图神经网络在多模态融合和语音增强中有过成功先例,Mamba 则以线性复杂度做长程建模。本文的定位是中间地带:不用全局稠密对齐,改用稀疏局部图给出结构边界,再用 Mamba 补全局时序。理解这一定位才能看懂后文为什么窗口只取±3 帧,为什么跨模态边是单向的。
为什么局部异步和全局错配必须同时处理?
音视之间存在动态微异步,发音动作与声音到达不是严格同帧,且随句子变化。只做逐帧硬对齐会丢掉前后文,只做全局软对齐又会让远处无关唇形参与当前音频的加权。更麻烦的是干扰说话人不可见,背景人声在声学上与目标相似,若允许全局传播,1 次错对齐会被放大到整句。论文因此提出两个同时成立的要求:融合机制要容纳局部时间偏移,又要阻止错误对齐全局传播。固定对称小窗口就是这个折中:窗口内允许内容自适应加权,窗口外直接不建边。
拼接融合 × 稠密跨模态注意力: 拼接融合分工是把音频和视觉特征投影到同一空间后直接拼起来,计算最省但不建模谁对谁;稠密跨模态注意力分工是让每一音频帧去查询全部视觉帧,表达力强但计算量大且在强噪声下容易对错。两者搭配的教训是:需要在中间加一个有边界的稀疏结构,既保留选择性,又不让错配全局扩散,这正是后文异构图要承担的位置。
沿一个样本走一遍会更清楚:5 秒含噪音频与同步唇部感兴趣区域进入系统,音频经幅度谱编码得到每帧特征,视频经预训练前端加时间上采样得到同帧率特征,两者在图里先做局部对齐,再经时序模型得到掩码,最后重构波形。后续所有模块都是为这条链服务的。
SG-Mamba 的四阶段链路如何分工?
系统按 4 个阶段组织。第一阶段是特征抽取与节点嵌入,音频幅度谱经 5 层卷积编码加全连接降维得到音频特征,视频经冻结前端加全连接得到视觉特征,两者都加正弦位置编码形成图节点,因为图消息传递本身不保留时序。第二阶段是异构图构建,把每帧音频节点和视觉节点连成稀疏图,含自环、模态内前后各 3 帧边,以及视觉局部窗口指向音频的单向跨模态边。第三阶段是分层图结构特征融合,用 U-Net 式图网络做多尺度聚合,只保留聚合后的音频表示。
第四阶段是 Mamba 建模与语音重构,用单向 Mamba 补长程依赖,再经音频跳连和 3 层全连接生成掩码。下面导读对应论文图 1 的像素内容。 导读:先看左右两路输入如何进入中间的图与 Mamba,再看跳连与掩码如何回到幅度谱,这能 1 次性建立全景,避免陷入单个公式。
看图路径: 1. 沿左下含噪音频经 STFT 分出幅度与相位两条线,确认幅度进编码器而相位直达末端;2. 对比左上视觉输入经冻结编码器与 FCN 的支路,确认两路在位置编码后汇入图构建;3. 找到 HGFF 到 Mamba 再到 3 层 FCN 的主链,确认音频跳连回加的位置;4. 核对末端逐点掩码、幅度相乘与相位结合再 ISTFT 的顺序
论文图 1。原论文 Fig. 1::“Architecture of the proposed SG-Mamba.”。
像素显示左下含噪音频经短时傅里叶变换分成幅度与相位,幅度走音频编码器与全连接得到音频特征,相位直接送往末端;左上视觉输入走冻结视觉编码器与全连接得到视觉特征;两路特征各自加位置编码后进入异构图构建,输出两组节点矩阵;随后经绿色分层融合模块得到聚合音频表示,进入蓝色 Mamba 块;Mamba 输出与来自音频编码器的跳连相加,再经 3 层全连接生成掩码,与压缩幅度相乘、解压缩、结合原始相位后逆变换为增强语音。图例还区分了可训练与冻结、加法、逐点掩码与相位结合符号,复述时不要把跳连位置记错。
异构图具体连了哪些边?
节点集合分成音频子集与视觉子集,每帧各一个节点,初始特征来自位置编码后的嵌入。每个节点保留自环以维持本帧固有特征。模态内边连接当前帧前后各 3 帧,用于建模时间连续性。跨模态边只从局部视觉窗口指向当前音频节点,大约对应±30 毫秒,不允许音频反向污染视觉流。实现上不用展开 2T 乘 2T 稠密邻接矩阵,而是用两张 T 乘 k 的稀疏邻居索引表,k 等于 7,一张共享给音频自聚合与视觉自聚合,一张给视觉到音频。邻域定义为当前帧加减 3 帧内且不越界的有效帧集合。
音素 × 视素: 音素分工是描述声音层面的发音单位,视素分工是描述唇形层面的可视单位,两者不是一一对应且存在前后错位。搭配理由是音视增强需要用唇形锚定声音,但不能硬对齐同一帧,组合意义是图用局部窗口传播来覆盖这种即时相关,而不是要求全局精确同步。
下图是理解单向局部窗口最直接的材料,导读是先确认模态内与跨模态箭头方向,再理解为什么只做局部。
看图路径: 1. 先数当前音频节点 At 周围左右各 3 帧的音频邻居连线;2. 再数指向 At 的来自视觉窗口 Vt±3 的单向黑箭头;3. 确认自环保留本帧自身特征的含义
论文图 2。原论文 Fig. 2::“The proposed heterogeneous graph centered at the current frame t.”。
像素以当前音频节点为中心,蓝色下排为音频邻居,橙色上排为视觉邻居,红色与蓝色箭头表示各自模态内的时间连接,黑色箭头全部从视觉窗口指向中心音频节点,没有反向箭头。这种画法把单向性与局部性同时表达出来:音频可以挑着看邻近唇形,但唇形表示不被含噪音频改写。复述方法时要强调窗口大小与方向是固定拓扑,内容自适应只体现在权重上。
异构图 × 动态图注意力: 异构图分工是规定有哪些边可以传信息,区分音频-音频、视觉-视觉和视觉-音频 3 种边类型;动态图注意力分工是在允许的边上按内容计算权重,决定邻居贡献多少。搭配理由是只定拓扑不够灵活,只算注意力又缺边界,两者组合实现在局部窗口内自适应对齐,新增作用是把音视微异步容纳在±3 帧缓冲里。
分层融合如何算出每帧的新表示?
分层图融合模块对 3 种边采用不同算子。音频自聚合与视觉到音频聚合用动态图注意力:邻居先经线性投影,再对查询键对做联合非线性变换后经可学习向量打分,加可学习温度后做归一化得到权重,两类边的参数各自独立。视觉自聚合用图卷积均值聚合,因为上采样后唇特征帧间高度相关,平均已足够且更稳定。逐帧消息堆成消息矩阵后,音频节点更新为残差投影加两路消息再做层归一化,视觉节点更新为残差投影加视觉消息再做层归一化。
这些层堆成 4 层 U-Net,编码端压缩维度,解码端对称放大,末个解码块前有跳加,有效感受野扩大到±12 帧。最终只取音频分支送往 Mamba。 下面先给出注意力聚合的计算形式,符号含义是逐帧消息向量等于邻域内加权投影邻居之和,权重按内容动态计算。
\[[\mathbf{m}_{(\cdot)}]_{t}=\sum_{j\in\mathcal{N}_{t}}\alpha_{tj}\mathbf{W}_{(\cdot)}\mathbf{h}^{(l)}_{j},\]该式输入是第 l 层邻居特征与投影矩阵,目标是得到当前帧的聚合消息,实现上对音频自边与视觉跨边各训一套注意力参数。视觉自聚合则用均值形式,不计算注意力权重。 音频与视觉的节点更新分别对应残差加消息再归一化的两条式子,输入是本层节点矩阵与 3 类消息矩阵,目标是得到下一层节点矩阵,维度变化时才用残差投影。
\[\mathbf{H}^{(l+1)}_{A}\leftarrow\text{LN}\!\left(\mathbf{W}_{A}\,\mathbf{H}^{(l)}_{A}+\mathbf{M}_{AA}+\mathbf{M}_{VA}\right),\]导读:先看每层 3 种算子的并行关系,再看维度压缩放大的对称结构,这能解释多尺度与计算预算的平衡。
看图路径: 1. 从左到右跟踪 400 到 160 到 64 再对称放大的维度变化;2. 对比每层中 GCN 处理视觉自聚合与 GAT 处理跨模态和音频自聚合的分工;3. 找到解码器前的跳加位置,确认保留了浅层细粒度线索
论文图 3。原论文 Fig. 3::“Detailed architecture of the HGFF module, featuring modality-specific graph operations within a symmetrical U-Net backbone.”。
像素从左到右为编码层 1、编码层 2、解码层 1、解码层 2,每层内并列 3 个小框分别标注视觉到视觉、视觉到音频、音频到音频的操作类型与维度变化,从 400 到 160 到 64 再回到 160 到 400,中间有跨层跳连汇入解码。可见结构把跨模态路由与视觉稳定分开处理,而不是用同一卷积混在一起。
分层图融合 × Mamba: 分层图融合分工是在 U-Net 式多尺度结构中做细粒度跨模态聚合,负责局部关系和多尺度去噪;Mamba 分工是用线性复杂度选择性扫描建模整句长程时序残差。搭配理由是把局部对齐和全局时序解耦,避免都压给一个主干,新增作用是单向扫描即可,因为双向局部上下文已由图聚合提供。
Mamba 与掩码重构补了哪段长程信息?
经过图聚合后,局部双向上下文已经显式建模,Mamba 只需处理剩余长程依赖,因此采用单向扫描以保持轻量。每个输入帧经输入依赖的参数做离散状态更新,状态矩阵与输入输出矩阵随帧动态门控信息流。对第 t 帧输入,隐状态由上一状态经离散转移加当前输入得到,输出由输出矩阵投影隐状态得到。
\[\mathbf{h}_{t}=\mathbf{\bar{A}}_{t}\mathbf{h}_{t-1}+\mathbf{\bar{B}}_{t}\mathbf{x}_{t},\quad\mathbf{y}_{t}=\mathbf{C}_{t}\mathbf{h}_{t},\]该式符号中输入是聚合音频特征的第 t 帧,目标是得到考虑历史的选择性表示,实现上用指数离散化与近似离散化完成门控。为补偿压缩并对齐维度,Mamba 输出与来自音频编码器的原始音频特征经跳连相加再归一化,随后经 3 层带激活的全连接融合头加 Sigmoid 生成 0 到 1 之间的乘性掩码。掩码作用于功率压缩幅度,解压缩后结合含噪相位逆变换重构波形。音频跳连的作用是保留频谱细节而不牺牲去噪,这也是基线改造时统一加入的组件,保证比较公平。
训练时监督了什么、冻结了什么?
训练采用复合谱损失,同时监督复数谱重构与幅度谱重构,以兼顾相位一致性与频谱保真度。
\[\mathcal{L}_{total}(\mathbf{\hat{S}},\mathbf{S})={||\mathbf{\hat{S}}-\mathbf{S}||}_{2}+{|||\mathbf{\hat{S}}|-|\mathbf{S}|||}_{2},\]该式输入是估计与干净的功率压缩谱,目标是两者复数差与幅度差的二范数之和,优化步骤按常规梯度更新执行。原文明确视觉前端来自 AVHuBERT 与 TalkNet 且冻结,输出拼成 1280 维嵌入,所有比较方法共用同一前端,因此轻量只指可训练后端。优化器用 Adam,初始学习率为 10 的负 5 次方,验证损失停滞时减半,未做针对架构的单独调参,注意力与图聚合层用 0.1 丢弃率,微批量 16 经梯度累积得到有效批量 128。未报告梯度截断、权重衰减与早停 patience 等细节,复现时应先按原文已给值固定,再记录缺项而不是自行假设。
掩码估计 × 相位复用: 掩码估计分工是预测对压缩幅度谱的逐点增益,抑制噪声同时保留语音能量;相位复用分工是直接沿用含噪相位做逆变换,不估计相位。搭配理由是只增强幅度可降低学习难度,新增作用与代价是重构简单稳定,但在相对干净条件下掩码伪影可能超过去噪收益。
数据、混合条件与基线如何保证可比?
目标语音、视觉与干扰语音来自 433 小时 LRS3 数据,背景噪声与混响来自 180 小时 DNS 挑战数据,按 LRS3 官方划分切分训练验证测试且说话人不重叠。每段截断或补 0 到 5 秒,动态混合目标与 LRS3 干扰者或 DNS 噪声,信噪比在负 10 dB 到 10 dB 均匀采样。跨数据集泛化把 LRS3 训练的模型直接用于 VoxCeleb2 测试集,不微调,混合协议与信噪比范围相同。音频重采样到 16 kHz,幅度谱为 257 维功率压缩谱,窗长与帧移等参数原文有明确配置,视频为 96 乘 96 唇部感兴趣区域。
基线共享相同音视编码器并统一到 400 维隐藏层,改造后的 RAVEN 把拼接特征投影到 400 维再进循环网络并加入同样的音频跳连,Mamba 基线把循环单元换成单向 Mamba,双向 Mamba、FiLM、线性注意力与 4 头交叉注意力等消融基线同样保留跳连,SG-RAVEN 则保留图前端只把 Mamba 换成循环网络,从而分离融合增益与主干增益。
主结果在噪声与多人干扰下说明了什么?
比较问题是:在相同编码器、相同隐藏维与相同跳连下,稀疏图引导是否带来信号电平增益,代价是多少,干扰变密后是否还成立。公平条件是后端轻量约束与统一混合协议,指标方向均为越高越好,重点看 SI-SDR,兼看 PESQ 与 ESTOI 是否塌陷。下表整理噪声混合条件下的关键数字,SG-Mamba 的绝对值与相对基线的提升均来自原文连续句子,计算量数字同样有源。
| 条件 | 指标 | 本方法 | 比较对象 | 差异 |
|---|---|---|---|---|
| 噪声混合 | SI-SDR | 13.091 dB | RAVEN / Mamba | 0.443 dB / 0.628 dB |
| 噪声混合 | 计算代价 | 3.45 G MACs | 参数量 | 5.3 M 参数 |
表后解释:该表支持的判断是图引导在非语音噪声下带来一致的信号级增益,且感知与可懂度未出现明显折损。代价是参数与计算略高于纯拼接基线,但仍在轻量区间。未胜出项需要同时说明:SG-RAVEN 同样超过 RAVEN,说明图前端对两类主干都有互补作用,而 SG-Mamba 与 SG-RAVEN 之间的差距支持 Mamba 比长短时记忆门更善于利用图聚合特征。
单干扰人与三干扰人条件下,原文报告 SG-Mamba 在各信噪比多为最优或有竞争力,但在 10 dB 相对干净时所有掩码法相对未处理输入的 SI-SDR 都会下降,这是掩码伪影超过干扰抑制的已知现象,不是某一家独有。下表整理低信噪比下的增益形态。
| 条件 | 指标 | 本方法 | 比较对象 | 差异 |
|---|---|---|---|---|
| 1 干扰人 0 dB | SI-SDR | 2.752 dB | RAVEN | 0.576 dB |
| 1 干扰人 0 dB/5 dB | SI-SDR 提升 | 0.278 dB / 0.184 dB | Mamba | 随信噪比升高而收窄 |
表后解释:该表支持的判断是结构先验在低信噪比、视觉锚定最关键时增益更大,随信噪比升高而收窄。
三干扰人下绝对差距进一步收窄,原文解释为固定稀疏拓扑限制了跨模态聚合感受野,难以覆盖更宽或更不规则的干扰上下文,但 PESQ 与 ESTOI 仍保持领先,说明感知与可懂度保留能力未崩。复述时不要把总体趋势说成每一组都同等成立。
换融合方式与换图窗口会发生什么?
消融要回答两个反证:不用稀疏图而用其他轻量融合是否一样好,窗口大小与偏移是否敏感。融合对比中,双向 Mamba 参数最多但在干扰下无一致增益,原文推测反向扫描引入未来帧交叉污染;FiLM 稳定但调制表达力不足;线性与交叉注意力在噪声与 10 dB 尚可,但在 0 dB 明显退化并伴随约 0.2 的 PESQ 下降,原文假设为无结构边界时的负迁移,即干扰声错对到目标唇形导致掩码抑制目标。
SG-Mamba 在相近参数预算下各条件 SI-SDR 最优且在干扰下稳定,支持稀疏局部边界能截断错配传播的解释,但这仍是有限解释而非因果证明。图超参对比显示窗口从 1 增至 3 带来增益,再增至 5 反而下降,因为过大窗口引入远处无关帧并稀释结构边界;偏移正负 2 均不如零偏移,因为音视异步是动态且句子相关的,强制单向偏移会错配需要另一侧上下文的音素。最优的对称中等窗口被解释为局部容忍缓冲。跨数据集零样本结果见下表原表选择,行列均来自可复用证据。
| Method | Noise Only Mixed | Interferer Avg. | Overall Avg. |
|---|---|---|---|
| RAVEN (Base) [6] | 7.712 | 2.061 | 4.887 |
| Mamba | 7.985 | 2.940 | 5.463 |
| SG-RAVEN | 7.945 | 2.514 | 5.230 |
| SG-Mamba (Ours) | 8.222 | 2.911 | 5.567 |
表后解释:该表显示 SG-Mamba 在噪声混合达 8.222 dB,总体平均达 5.567 dB,为四者最高;干扰平均 Mamba 以 2.940 dB 略高于 SG-Mamba 的 2.911 dB,说明固定图拓扑在跨数据集干扰下决定性下降,与 LRS3 上干扰变密时差距收窄的趋势一致。SG-RAVEN 同样超过 RAVEN,支持图前端的结构收益可以跨数据集迁移。未评测边界是视觉遮挡与音视错位,原文明确列为未来工作,不能外推到唇形损坏仍有效。
哪些结论不能从当前证据推出?
论文直接报告的是幅度掩码加复用相位下的提升,未验证相位感知重构,因此不能说相位问题已解决。固定图拓扑与假设视觉无损坏是明确局限,遮挡、缺帧、大范围错位下的鲁棒性未测量,不能承诺同样改善。计算量只报告了乘加数与浮点数,未测量端到端延迟与流式实时性,总体趋势不等于每步延迟都低。相关性不等于因果,例如 Mamba 与图组合更好可能来自优化适配而非机制必然,缺少误判率与显著性统计时应使用支持而非证明的措辞。
教学例子若要类比,可以把稀疏图说成只允许向邻居借参考的课堂规则,但随后必须回到真实信号:借的是邻近视觉帧的投影特征,权重按内容计算,超出窗口直接不借。
要复现应先固定哪些实现细节?
先按原文固定可重放的配置再谈改进。下表把有逐字来源的预处理与开销放在一起,便于第一时间核对输入是否一致。
| 项目 | 取值 | 说明 | 开销 | 备注 |
|---|---|---|---|---|
| 音频采样 | 16 kHz | 重采样后提取幅度谱 | 257 维谱 | 功率压缩 |
| 短时分析 | 25 ms 窗 / 10 ms 移 | 512 点傅里叶变换 | 0.3 压缩率 | 唇区 96×96 |
| 计算代价 | 3.45 G MACs | 含图与 Mamba 后端 | 6.90 G FLOPs | 轻量指后端 |
表后解释:该表的作用是防止输入不一致导致的虚假差距,采样、窗移、压缩率与唇区尺寸任 1 对不上都会改变帧率与对齐。
视觉前端必须用冻结的同一套权重并上采样到音频帧率,隐藏维固定 400 维,图后端从 400 压缩到 64 再对称放回,Mamba 用单向扫描。训练先用 Adam 与原文初始学习率,验证停滞减半,批量与丢弃率按原文设置,缺失的正则与早停细节应如实记录为未报告。基线改造中的投影与跳连必须同步加入,否则会把重构管线差异误记为融合增益。
何时值得尝试这种结构,收束时记住什么?
当系统已受限于轻量后端,且观察到拼接学不出对应、稠密注意力在低信噪比下不稳时,值得尝试先加稀疏局部图再做时序建模。复现顺序建议先跑通噪声混合主结果,核对 13.091 dB 附近的信号增益与计算代价,再压低信噪比看视觉锚定是否放大,最后做窗口与偏移消融确认对称小窗口的缓冲作用。还需补的验证包括视觉遮挡、大错位、流式延迟与相位感知重构,这些在原文结论中已列为未来工作。最终记忆点是分工解耦:图管局部有界对齐,Mamba 管全局长程残差,跳连保频谱细节,三者缺一都会让比较失真。
📎 论文与评分元数据
排名:前25% | 文档类型:方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses
