Tpeformer: Temporal Patch Embedding Transformer
📄 Tpeformer: Temporal Patch Embedding Transformer #多模态模型 #语音情感识别 #端到端 #预训练 ✅ 7.5/10 | 前25% | #语音情感识别 | #多模态模型 | #端到端 #预训练 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 中 👥 作者与机构 第一作者:Ziqing Yang(Department of Computer Science, New York Institute of Technology, New York, United States) 通讯作者:未说明(论文未明确标注) 作者列表:Ziqing Yang(纽约理工学院计算机系)、Houwei Cao(纽约理工学院计算机系) 💡 毒舌点评 亮点:论文巧妙地将Mamba2模型引入作为ViT的位置编码,这不仅是一个新颖的技术融合,更在实验上证明了其在数据稀缺场景下相比传统位置编码的优越性,提升了模型的数据效率。短板:号称是端到端多模态系统,但实验仅在CREMA-D这一个规模不大的数据集上完成,泛化能力未经考验;且全篇未提供任何代码或模型链接,所谓的“从零训练”和“效率提升”在缺乏复现支持的情况下,说服力打了折扣。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及是��公开预训练或训练完成的模型权重。 数据集:使用公开数据集CREMA-D,可通过相关论文或数据集主页获取。 Demo:未提及在线演示。 复现材料:论文提供了一些训练细节(如数据采样方式、梅尔频谱图参数、训练轮次、学习率策略),但不足以完全复现。未提供模型具体配置、检查点或详细附录。 论文中引用的开源项目:引用并依赖了以下开源工作的实现:ResNet-18 [11]、Mamba/Mamba2 [12, 13]、标准Transformer [16]。但未说明具体使用了哪个官方代码库。 论文中未提及任何开源计划。 📌 核心摘要 问题:多模态情感识别在现实场景中常面临数据有限的问题,而主流的大规模预训练模型(如ViT、AST)在此条件下效率低下、收敛慢,且模型参数量大。 方法核心:提出TPEformer,一个端到端的多模态情感识别模型。其核心是使用ResNet-18作为特征提取器并进行“特征级”patch化,然后用双向Mamba2模块替代传统的位置编码,以更高效地捕捉时序依赖关系,最后采用标准Transformer编码器和瓶颈融合策略进行多模态决策。 创新点:1) 将Mamba2模型适配为Transformer的位置编码,利用其选择性状态空间特性增强时序建模和数据效率;2) 采用从ResNet中间层提取特征再进行patch化的方法,而非直接对像素或原始频谱图进行patch,平衡了全局与局部特征;3) 整个架构可灵活嵌入现有Transformer骨干网络。 主要实验结果:在CREMA-D数据集上,多模态TPEformer(使用预训练ResNet权重)达到85.2% 的准确率,超越了预训练的ViT & AST融合基线(81.4%)、MultiMAE-DER-FSLF(79.4%)等现有方法。即使从零训练,其性能(81.4%)也与预训练基线持平,同时参数量从1.72亿减少至1.08亿。消融实验表明,移除Patchify ResNet会导致性能骤降至0.450,而Mamba2在配合它时能将准确率从0.791提升至0.852。 实际意义:为资源受限(数据量小、算力有限)的多模态情感识别任务提供了一个轻量、高效且性能优异的解决方案,降低了对该类技术应用的门槛。 主要局限性:实验验证仅在一个公开数据集(CREMA-D)上进行,缺乏在更多元、更大规模数据集上的泛化性验证;未探讨模型在包含更多模态(如文本)或更复杂情感场景下的表现。 🏗️ 模型架构 ...