瓶颈里放状态空间:MambAdapter 用共享投影加 Mamba 做语音音频轻量适配
针对冻结大模型如何低成本适配语音音频长时序的问题,论文提出在共享瓶颈投影之间插入轻量 Mamba 并用每层缩放融合,在四个分类任务和五种语言识别上以更少可训练参数达到或超过瓶颈与 Conformer 适配器,代价是流式短句延迟开销相对更大。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对冻结大模型如何低成本适配语音音频长时序的问题,论文提出在共享瓶颈投影之间插入轻量 Mamba 并用每层缩放融合,在四个分类任务和五种语言识别上以更少可训练参数达到或超过瓶颈与 Conformer 适配器,代价是流式短句延迟开销相对更大。
论文把 1000 类、每类 5 样的口语词分类做成持续学习任务,用从头训练的生成式元持续学习与 HuBERT 全量微调和冻结分类头对比,显示 GeMCL 在 1000 类时只落后约 2% 但适配快 2000 倍且逐词波动小一个数量级以上。
该文针对音频 Transformer 注意力块提出逐头独立的通道级结构化剪枝并用 Fisher 信息打分,在注意力参数稀疏 60% 时仍保持接近整头剪枝的分类与识别性能,但逐头剪枝的推理加速幅度小于整头剪枝且翻译任务下降更大。
该研究针对单速链式输送机整机故障,构建三音频加四振动同步数据集并用冻结编码器加通道级 k 近邻统一评测,报告显示音频在检测占优而融合在分类最强,但跨速度与噪声泛化仍留有余量。
该研究以水下舰船被动声学分类为任务,用多时频与耳蜗表示加时间统计池化和紧凑卷积做分类,最强证据是录音级隔离的 DeepShip 上 157K 参数四层卷积测试宏 F1 为 0.7226 而 11.17M 参数 ResNet18 验证更低,代价是 ShipsEar 近满分结果不能视为未见录音泛化。
论文用最大似然分类器在 Warlpiri 语 VCV 材料上比较辅音内在线索与元音外在线索,显示只用辅音内在线索时五个塞音很易混淆,加入相邻元音中点共振峰后辅音分类显著提升且元音识别不下降。
针对日本长期照护高龄有症状人群的六通道前胸数字听诊任务,论文用 X 线监督训练共享权重 ARP-N 卷积网络并在病人级重复交叉验证下比较临床诊断监督,最强证据是听诊单模态 XRAY 模型 F1 为.729、准确率为.783 而融合模型 AUC 为.791,代价是单中心 185 例与域漂移限制外推。
该文在 Lyra 舞蹈子集上用音频、视频、骨架三模态做 28 标签自动打标,报告最强三模态门控融合宏 ROC-AUC 为 0.864,超过最强音频单模态 0.821,但骨架单模态仅 0.586 且约半数片段缺有效姿态。
论文用 908072 段 AIS 标注录音说明部署间先验差超 200 倍、随机窗口验证比未见站点验证高出配对 0.049 的 ROC-AUC,因而主张按站点分组验证并扩大独立空间采样,空间专家模型仍只是待验证假设。
论文把声音事件识别的输出从单一确定标签改为类别加置信度加拟声词描述,用冻结编码器加可训练投影器与分类器实现分类与检索联合训练,在 31 类子集上保持分类能力,并在约 85% 准确率的模拟不确定条件下用大模型评价与 310 人听评显示拟声输出更有助于环境理解,代价是拟声不匹配会损害自然度。
针对音节级声调标注缺数据、句子级数据切分噪声大的问题,ToneCL 用保持声调的增强做对比预训练再用每调 1 到 10 个样本微调,在六说话人普通话 10-shot 达到 91.6%,跨语言预训练仍达 91.0%,代价是自然连续语音与声门特征仍未解决。
针对 Yemba 等低资源语言声学表示难学的问题,该工作用异构图把声学节点和语言节点放在同一张图里做消息传递,并在 Google Commands 缩减集和 Yemba 孤立词数据上用 SVM 和聚类指标验证跨模态表示优于 MFCC 基线和单模态 GCN,但推理依赖预训练声学模型且未做到句子级。
论文把电话诈骗检测写成弱监督增量打分问题,用冻结语音编码器加有界窗口循环建模与聚合器实现每 2 秒更新,在受控英文合成基准上报告终局 ROC-AUC 约 0.9953,而消融显示循环上下文是主要贡献且全局模型终局数值更强。
针对先判场景再判是否欺诈、欺诈才判类型的闭集链式任务,FRAUDSkill 冻结音频语言模型、只优化外部技能程序并用投影加归一加多路选择做结构化部署,在 TeleAntiFraud 上报告 Macro-F1 为 73.50% 且无效输出降至 1.94%,代价是保留多程序与选择器并依赖验证集拟合。
该研究针对诈骗话术快速演变且酷似正常客服来电的问题,用混合树生成共享开头的诈骗与合法近域通话并以月度冻结快照评测,证明近域负例把分类器宏平均 F1 从 1.000 拉低到 0.65 左右并暴露全判欺诈坍缩,代价是固定 2 比 1 类别先验与合成语音的真实性局限。
在 3100 段 31 类无人机音频上,论文系统比较卷积与 Transformer 架构加全量微调与四种参数高效微调,最强证据是 EfficientNet-B7 批归一化微调加三倍增强取得最高验证精度且只训练极小比例参数,而轻量卷积在精度与训练效率上普遍优于 Transformer。
该研究用 9 支葫芦丝的 81 个平均音和 7 个心理声学特征训练自组织映射,报告只有频谱质心、锐度和分形关联维能形成音高聚类,其中高音 fa、sol、la 混沌度最低且亮度反直觉偏低,代价是低音区无稳定聚类且录音未公开。
BioDCASE 用固定 PerchV2 嵌入和两层分类头比较了 14 种批量主动采样策略,最强方法以四子集平均学习曲线下面积 0.507 超过随机采样的 0.401,但增益在 HSN 高达 67.1% 而在 ATBFL 仅 8.0%,且更小批量带来两倍计算代价。
针对救护车、消防车、警车与道路背景四分类问题,AVNet 用逐秒对齐的视频查音频交叉注意力做融合,并用单模态教师的软分布蒸馏融合分支,在 281 个 AudioSet 测试片段上融合达到 66.6%,但消防车出现融合低于纯音频的反例且模型容量受限于 D 等于 128。
针对域增量下旧音频不可回访且新专家对旧样本缺特征的问题,该文用冻结追加专家加无数据回放与跨域特征补全,在 DCASE 2026 任务 7 上报告 78.4% 微平均与 78.9% 宏平均,代价是专家数与拼接维度随域数线性增长。