多模态模型

📄 Streamingbench: Assessing the Gap for MLLMs to Achieve Streaming Video Understanding #基准测试 #模型评估 #多模态模型 #音视频 ✅ 7.5/10 | 前25% | #基准测试 | #多模态模型 | #模型评估 #音视频 学术质量 5.8/7 | 选题价值 1.8/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Junming Lin（BUPT）（论文中Junming Lin标记为1⋆，表明是主要贡献者之一，但未明确“第一作者”；机构BUPT在作者列表中标注） 通讯作者：未说明（论文中未明确标注通讯作者。Maosong Sun标记为1†，但†符号在作者列表中未定义为通讯作者） 作者列表：Junming Lin3⋆（BUPT）、Zheng Fang1⋆（未说明）、Chi Chen1†（清华大学计算机系）、Haoxuan Cheng4（西安交通大学）、Zihao Wan1（未说明）、Fuwen Luo1（未说明）、Ziyue Wang1（未说明）、Peng Li2（清华大学AIR）、Yang Liu1,2（清华大学计算机系、清华大学AIR）、Maosong Sun1†（清华大学计算机系、清华大学AIR） 💡 毒舌点评 本文最大的贡献是“承认差距”——它用一套精心设计的考卷，无情地证明了当前最聪明的多模态大模型在“边看边想边答”的能力上，依然是个不及格的“学龄前儿童”（最佳模型比人类低21.4%），这记耳光打得非常及时且必要。然而，它只负责“诊断”却未开“药方”，深度的分析和指明的改进方向（如处理并发线索、主动输出）虽有价值，但停留在表面，更像一份详尽的“体检报告”而非“手术方案”。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及公开本文评估的模型权重（这些权重属于各模型原作者）。 数据集：论文明确指出StreamingBench已公开（“we hope our work facilitates further advancements…”），但未给出具体获取链接。论文中详细描述了数据构建过程，理论上可部分复现。 Demo：未提及。 复现材料：论文在附录（未提供）中应包含更详细的评估设置说明（如对非流式模型的评估方法）。正文中给出了一些评估配置（如输入帧数、分辨率处理）。 引用的开源项目：论文引用了大量开源模型作为评估对象，包括LLaVA-OneVision, Qwen2-VL, InternVL2, MiniCPM系列, VideoLLM-online, Flash-VStream等。 📌 核心摘要 问题：当前多模态大语言模型（MLLMs）主要针对离线视频理解（处理完整视频后回答问题），与人类能实时“观看、聆听、思考、回应”流式视频输入的能力存在显著差距。现有基准无法有效评估这种流式能力。 方法核心：提出StreamingBench，首个专门评估MLLMs流式视频理解能力的综合基准。该基准包含900个视频和4500个精心制作的问题对，每个视频设有5个不同时间点的问题以模拟连续流场景。它从三个核心维度评估：实时视觉理解、全模态（视觉+音频）理解和上下文理解。 新意：与传统离线基准相比，StreamingBench的关键创新在于强调了时间性（问题需在特定时间点回答）、交互性（支持多轮任务）和多模态同步性（需对齐处理视觉和音频流）。 主要实验结果：评估了3个闭源和20个开源MLLMs。即使是最强的闭源模型Gemini 1.5 Pro（总分70.26%），也比人类平均水平（91.66%）低21.4个百分点。开源模型中MiniCPM-o 2.6表现最好（66.01%）。模型在处理“并发线索”和“后续线索”时性能显著下降，表明其上下文记忆和实时对齐能力薄弱。分析还发现，使用语音指令会降低模型性能，而直接处理原生音频比使用ASR转录效果更好。关键性能对比如下表： 模型类型 模型名称 总体得分(%) 实时视觉(%) 全模态(%) 上下文(%) 人类 Human 91.66 91.46 90.26 93.55 闭源 Gemini 1.5 Pro 70.26 77.39 67.80 51.06 GPT-4o 64.31 74.54 50.95 49.06 Claude-3.5-sonnet 60.06 74.04 41.40 39.70 开源 (~7B) MiniCPM-o 2.6 66.01 79.88 53.40 38.45 InternVL2.5 64.36 78.32 46.70 43.14 InternLM-XComposer2.5-OmniLive 60.80 75.36 46.20 33.58 实际意义：为评估和推进真正具有实时交互能力的多模态AI系统（如个人助理、实时翻译、智能监控）提供了首个标准化测试集和基线，明确了当前技术的主要短板和未来发展方向。 主要局限性：本文是一项评估研究，未提出任何新的模型或算法来解决所发现的问题。其深度分析停留在现有模型的能力表征上，未进行根本性的模型架构或训练方法的探索。此外，视频来源为YouTube，可能无法完全覆盖所有现实流式场景。 🏗️ 模型架构 本文是一篇基准测试与评估论文，并未提出一个新的模型架构。其核心贡献在于定义和构建了一个评估框架（StreamingBench），并利用该框架测试了多种现有的MLLMs。 ...

📄 SURE: Synergistic Uncertainty-Aware Reasoning for Multimodal Emotion Recognition in Conversations #语音情感识别 #多模态模型 #混合专家 #鲁棒性 #基准测试 ✅ 7.5/10 | 前25% | #语音情感识别 | #多模态模型 | #混合专家 #鲁棒性 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yiqiang Cai（1. 广东省量子工程与量子材料重点实验室；2. 华南师范大学电子科学与工程学院（微电子学院）） 通讯作者：Bolei Ma（慕尼黑大学 & 慕尼黑机器学习中心），Yun Xue（华南师范大学电子科学与工程学院（微电子学院）） 作者列表：Yiqiang Cai（华南师范大学），Chengyan Wu（华南师范大学），Bolei Ma（慕尼黑大学），Bo Chen（深圳大学），Yun Xue（华南师范大学），Julia Hirschberg（哥伦比亚大学），Ziwei Gong（哥伦比亚大学） 💡 毒舌点评 该论文的亮点在于将不确定性感知的混合专家模型与受认知理论启发的迭代推理模块进行协同设计，为处理对话中多模态信号的噪声和上下文依赖提供了一个系统且直观的框架。然而，其创新更多是“组合创新”，对“迭代推理”模块的认知心理学理论（引用了Scherer, Schachter）与实际实现的LSTM迭代机制之间深层联系的论述略显薄弱，且实验中去除这些模块后的性能下降幅度（约0.3%-0.5%）暗示其核心贡献的强度或许被高估。 🔗 开源详情 代码：论文明确提供了代码仓库链接：https://github.com/swaggy66/SURE。 模型权重：未提及是否公开预训练模型权重。 数据集：未提及公开新的数据集。实验所用的IEMOCAP和MELD均为公开基准数据集。 Demo：未提及提供在线演示。 复现材料：提供了基础的训练细节（优化器、学习率、batch size、dropout、epoch），但缺乏模型参数量、训练时长、具体的PyTorch版本和依赖库列表、以及更详细的超参搜索过程说明。 论文中引用的开源项目：论文引用了作为基线方法的多个开源项目（如MMGCN, DF-ERC, SDT, Joyful等，详见参考文献）。在方法部分，提到了使用RoBERTa（Hugging Face Transformers）、openSMILE和DenseNet（可能指torchvision中的模型）作为特征提取器，这些均为开源工具/模型。 总结：论文提供了核心代码，为复现奠定了基础，但完整的复现仍需一定工程努力，未达到“一键运行”的便捷程度。 📌 核心摘要 问题：对话中的多模态情感识别（MERC）需要整合多模态信号，但现有方法常忽视模态特征中的噪声不确定性，并且对细粒度上下文推理的建模不足。 方法核心：提出SURE框架，包含三个协同模块：1) 不确定性感知混合专家（MoE）模块，通过将特征映射为高斯分布并基于不确定性路由到不同专家，动态处理模态特异性噪声；2) 迭代推理模块，受情感认知理论启发，通过循环更新查询向量从全局记忆中检索上下文线索，模拟多轮情感推理；3) Transformer门控模块，通过模态内自注意力和模态间交叉注意力，自适应地捕获并融合不同模态的内部依赖与交互信息。 创新点：与先前方法相比，SURE首次将显式的不确定性建模（用于噪声鲁棒性）和受认知过程启发的迭代上下文推理，与自适应的多模态交互融合机制系统性地整合到一个统一框架中。 主要结果：在IEMOCAP和MELD两个基准数据集上，SURE在准确率（Acc）和加权F1分数（F1）上均优于所有对比的基线方法。关键实验结果如下表所示： 模型类型 模型名称 IEMOCAP Acc IEMOCAP F1 MELD Acc MELD F1 图基方法 Joyful 70.55 71.03 62.53 61.77 MMPCGN 68.90 68.00 60.70 59.30 融合方法 DF-ERC 71.84 71.75 68.28 67.03 SDT 73.95 74.08 67.55 66.60 MM-NodeFormer 74.24 74.20 67.86 66.09 本文方法 SURE 75.31 74.80 67.97 67.36 消融实验表明，移除MoE模块或迭代推理模块均会导致性能下降，验证了各模块的有效性。完整模态组合性能最优，且文本模态起主导作用。 5. 实际意义：该框架为构建更鲁棒、可解释的对话情感识别系统提供了新思路，对社交机器人、情感计算、心理健康支持等应用具有潜在价值。 6. 主要局限性：1) 性能提升幅度在部分指标和数据集上有限（如MELD上Acc仅比SDT高0.42%）；2) 迭代推理模块的“认知启发”更多是隐喻，其理论合理性与计算效率的平衡未深入探讨；3) 模型可能因依赖预训练特征提取器（RoBERTa, DenseNet）和较复杂的模块设计而增加计算开销。 ...

📄 SynaSpot: A Lightweight, Streaming Multi-modal Framework for Keyword Spotting with Audio-Text Synergy #关键词检测 #多模态模型 #流式处理 #对比学习 ✅ 7.5/10 | 前25% | #关键词检测 | #多模态模型 | #流式处理 #对比学习 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Kewei Li (†等贡献) （阿里巴巴集团，智能互联） 通讯作者：Xiaotao Liang (∗) （阿里巴巴集团，智能互联） 作者列表：Kewei Li†, Yinan Zhong†, Xiaotao Liang∗, Tianchi Dai, Shaofei Xue（所有作者均隶属于：Intelligent Connectivity, Alibaba Group, Hangzhou, China） 💡 毒舌点评 亮点在于将“多模态注册”和“流式数学解码”结合得非常优雅，通过一个轻量的音频编码器实现了灵活的多种注册模式，工程实用性强。短板是模型架构本身（DFSMN）缺乏新颖性，流式解码部分的泛化性论证和与更多现代流式模型的深度对比有待加强，且训练策略的细节（如域适应的具体设置）可以更透明。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：论文使用了公开的LibriSpeech数据集，以及由作者构建或使用的LibriPhrase和WenetiPhrase数据集。后者获取方式未详细说明。 Demo：未提及。 复现材料：论文提供了部分训练细节（如优化器、学习率、批量大小、GPU型号、模型层数和隐藏维度），但关键超参数（如温度τ、平滑窗口尺寸）和完整的数据预处理流程未详细给出，复现信息不完整。 论文中引用的开源项目：主要引用了用于对比的基线方法和损失函数（如ECAPA-TDNN [15] 用于说话人分类器设计，对比学习框架[5]），但未明确列出依赖的特定开源工具包。 📌 核心摘要 本文针对开放词汇关键词检测（KWS）在流式场景中面临的多模态模型参数开销大、端到端解码灵活性差的问题，提出了一种名为SYNASPOT的轻量级流式多模态框架。其核心方法包括：1) 设计一种轻量的音频编码器，并通过对抗训练剥离说话人信息，得到与说话人无关的音频表征；2) 引入文本和音频-文本混合模态，并通过对比学习将三者对齐到同一嵌入空间；3) 提出一种流式解码方案，在线推理时仅运行音频编码器，并利用缓存的模态嵌入通过数学计算（滑动窗口平滑与相似度聚合）直接生成帧级分数。主要实验表明，在英文LibriPhrase和中文WenetiPhrase数据集上，SYNASPOT（仅0.9M参数）在多种注册模式下均优于或媲美基线方法，在难度较大的测试集（LPH/WPH）上取得了更低的错误率（如LPH上EER为27.29%）和更高的AUC（79.15%）。该工作的实际意义在于为资源受限的端侧设备提供了一种高效、灵活的流式KWS解决方案。其主要局限性在于未与更多最新的端到端流式模型进行全面比较，且流式解码的性能对滑动窗口超参数的敏感性未充分讨论。 ...

📄 Temporal-Spatial Decouple Before Act: Disentangled Representation Learning for Multimodal Sentiment Analysis #多模态模型 #情感分析 #解耦学习 #音视频 ✅ 7.5/10 | 前25% | #情感分析 | #解耦学习 | #多模态模型 #音视频 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Chunlei Meng (Fudan University, 即复旦大学) 通讯作者：Chun Ouyang (Fudan University, 即复旦大学) 作者列表：Chunlei Meng（复旦大学）†、Ziyang Zhou（汕头大学）、Lucas He（伦敦大学学院）、Xiaojing Du（南澳大学）、Chun Ouyang（复旦大学）†、Zhongxue Gan（复旦大学） （†表示通讯作者） 💡 毒舌点评 亮点：论文的动机非常清晰，直指当前多模态融合中“时空信息混合建模”导致静态特征主导的痛点，并为此设计了一套从解耦、对齐到重耦合的完整技术流水线，逻辑自洽且实验验证充分。 短板：论文的可视化分析（图2）虽然展示了特征分布的改善，但缺乏对“解耦出的时空特征究竟学到了什么”更具体的语义或模态内解释，使得这个“黑箱”模型的可解释性打了折扣；此外，论文未开源代码，限制了其即时影响力。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用公开基准CMU-MOSI和CMU-MOSEI。 Demo：未提及。 复现材料：提供了一些训练细节（优化器Adam、权重衰减、批大小16、最多50 epoch、早停、五折交叉验证），但缺失关键信息（如各模态特征提取方式、模型具体维度、学习率、损失权重α/β/γ的具体值）。论文中未提及完整的复现计划或资源链接。 论文中引用的开源项目：未提及。 总结：论文中未提及开源计划。 📌 核心摘要 要解决的问题：现有主流多模态情感分析方法在进行跨模态交互前，将时间动态信息（如语音韵律突变、视频微表情）和空间结构信息（如说话人身份、背景、句子整体极性）混合编码为单一嵌入，导致学习过程偏向于更稳定、方差大的静态成分，从而忽略了关键的时间轨迹信息，造成“时空信息不对称”，性能受限。 方法核心：提出TSDA（Temporal-Spatial Decouple before Act）框架。其核心是在任何跨模态交互之前，先为每个模态（语言、视觉、声学）学习解耦的“时间动态”和“空间结构”表征。具体包括：（1）独立的时间编码器和空间编码器；（2）因子一致性跨模态对齐（FCCA），使用块对角掩码注意力确保时间特征只与其它模态的时间特征对齐，空间特征同理；（3）门控重耦合（GR）模块，根据可靠度自适应融合对齐后的时间与空间表征。 与已有方法相比新在哪里：不同于大多数方法在融合前进行模态内或跨模态的不变/特定因子解耦（如MISA），TSDA更进一步，将时间与空间这两个正交的维度显式地解耦并独立进行跨模态对齐。这避免了传统混合编码中时空信息的相互干扰，是一种更细粒度的解耦学习范式。 主要实验结果：TSDA在CMU-MOSI和CMU-MOSEI两个标准基准测试的所有指标上均取得了最优（SOTA）结果。具体对比如下表所示，尤其在平均绝对误差（MAE）和7类准确率（ACC7）上优势明显。消融实验证明了解耦、FCCA和门控重耦合等各组件的必要性。 表1：在CMU-MOSI和CMU-MOSEI数据集上与现有方法的性能对比（对齐/未对齐设置） ...

📄 The Curious Case of Visual Grounding: Different Effects for Speech-and Text-Based Language Encoders #多模态模型 #自监督学习 #对比学习 #语音表示分析 #跨模态表示学习 🔥 8.0/10 | 前25% | #模型评估 | #对比学习 | #多模态模型 #自监督学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Adrian Sauter (Human-Centered AI, Helmholtz Munich；原单位：Institute for Logic, Language and Computation, University of Amsterdam) 通讯作者：未明确说明，论文列出三位作者且无标注，推测为Willem Zuidema与Marianne de Heer Kloots（阿姆斯特丹大学）。 作者列表：Adrian Sauter（Human-Centered AI, Helmholtz Munich；University of Amsterdam）、Willem Zuidema（Institute for Logic, Language and Computation, University of Amsterdam）、Marianne de Heer Kloots（Institute for Logic, Language and Computation, University of Amsterdam） 💡 毒舌点评 亮点：论文的实验设计非常巧妙，利用精心构造的音素和语义聚类数据集，结合全局（CKA）与局部（词对、聚类）分析方法，得出了一个反直觉且重要的结论——视觉语境化对语音模型语义结构的破坏性影响。 短板：结论可能局限于特定的模型对（wav2vec2/FaST-VGS+与BERT/VG-BERT）和英语单词级设置，对更广泛的架构、语言及句子级场景的泛化性有待验证；且分析聚焦于表示空间的几何性质，与下游任务性能的关联未被实证。 ...

📄 The Synergistic Role of Audio and Large Video-Language Model in Source-Free Video Domain Adaptation #领域适应 #多模态模型 #预训练 #知识蒸馏 #音视频 ✅ 7.0/10 | 前25% | #领域适应 | #多模态模型 | #预训练 #知识蒸馏 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Tzu Ling Liu（University of Saskatchewan, Department of Computer Science） 通讯作者：未说明 作者列表：Tzu Ling Liu（University of Saskatchewan, Department of Computer Science）、Ian Stavness（University of Saskatchewan, Department of Computer Science）、Mrigank Rochan（University of Saskatchewan, Department of Computer Science） 💡 毒舌点评 这篇论文巧妙地将“大”（LVLM）和“稳”（音频）两种特性融合，在SOTA已经很高的任务上又挤出了几个百分点的性能提升，工程整合能力值得肯定。然而，其“多模态”的核心贡献中，音频模态的“协同作用”在消融实验中只带来了约1.7%的平均增益（从54.2%到55.9%），显得有些雷声大雨点小，更像是为用音频而用音频，缺乏对音频为何有效以及在何种情况下可能失效的深入机制分析。 ...

📄 TinyMU: A Compact Audio-Language Model for Music Understanding #音乐理解 #多模态模型 #自监督学习 #数据集 #音频问答 ✅ 7.5/10 | 前25% | #音乐理解 | #多模态模型 | #自监督学习 #数据集 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xiquan Li（LTCI, Télécom Paris, Institut Polytechnique de Paris；上海交通大学） 通讯作者：未说明（论文未明确标注通讯作者） 作者列表：Xiquan Li（LTCI, Télécom Paris, Institut Polytechnique de Paris；上海交通大学），Aurian Quelennec（LTCI, Télécom Paris, Institut Polytechnique de Paris），Slim Essid（LTCI, Télécom Paris, Institut Polytechnique de Paris；NVIDIA） 💡 毒舌点评 本文最大的亮点在于系统性地探索了如何“经济高效”地训练音乐语言模型，不仅提供了229M参数的紧凑模型，还贡献了配套的高质量数据集MusicSkills-3.5M，并通过大量消融研究（编码器、微调策略、数据构成）给出了清晰的设计指南。但短板同样明显：论文将主要精力用于证明“以小博大”在性能数字上的可行性，却缺乏对真实边缘设备部署的推理速度、功耗等实际约束的验证，使得“Compact”一词的实践意义打了折扣；此外，实验部分主要对标通用的音频-语言大模型，在与传统音乐信息检索（MIR）基线方法的深入对比上有所欠缺，削弱了其在专业音乐领域的说服力。 ...

📄 Towards Effective Negation Modeling in Joint Audio-Text Models for Music #多模态模型 #对比学习 #音乐理解 #音乐检索 #数据增强 ✅ 7.5/10 | 前25% | #音乐理解 | #对比学习 | #多模态模型 #音乐检索 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yannis Vasilakis（Queen Mary University of London） 通讯作者：未说明 作者列表：Yannis Vasilakis（Queen Mary University of London, UKRI Centre for Doctoral Training in AI and Music）、Rachel Bittner（Spotify）、Johan Pauwels（Queen Mary University of London） 💡 毒舌点评 亮点：论文没有停留在指出“模型不懂否定”的现象上，而是设计了一套从训练方法到评估协议的系统性解决方案，尤其是提出将否定建模拆解为检索和二分类任务进行量化评估，这为社区未来研究类似问题提供了可借鉴的范式。 短板：所提方法（文本增强与对比损失项）本质上是启发式的，未能深入探索语言模型中更复杂的否定语义结构；且所有实验基于合成增强的标签数据，其能否迁移到真实世界复杂多变的自然语言查询，文中未予验证，结论的普适性存疑。 ...

📄 Towards Multi-View Hierarchical Video-to-Piano Generation with MIDI Guidance #音乐生成 #扩散模型 #多模态模型 #跨模态 ✅ 7.0/10 | 前25% | #音乐生成 | #扩散模型 | #多模态模型 #跨模态 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Chang Liu（巨像AI Lab；特伦托大学） 通讯作者：Zihao Chen†（巨像AI Lab） 作者列表：Chang Liu（巨像AI Lab；特伦托大学）， Zihao Chen†（巨像AI Lab）， Gongyu Chen（巨像AI Lab）， Chaofan Ding（巨像AI Lab）， Nicu Sebe（特伦托大学） 💡 毒舌点评 论文的核心思路——用分层、多视角的符号化MIDI信息来“指挥”扩散模型生成更精准的钢琴音频，是清晰且有效的，实验中SI-SDR的巨幅提升（如从-4.87 dB到2.45 dB）也极具说服力。然而，这篇工作就像在精心打磨一个高度定制的工具，却对工具的内部齿轮（控制分支具体如何融合MIDI特征）和打造工具的材料（训练数据集细节）语焉不详，这给希望跟进的同行留下了不小的障碍。 🔗 开源详情 代码：论文中未提及代码链接或开源计划。 模型权重：论文中未提及公开模型权重。 数据集：论文未说明训练数据的来源和获取方式。仅提及在公开的Audeo和EGQ测试集上进行评估。 Demo：未提及在线演示。 复现材料：仅给出了非常基础的训练配置（GPU型号、batch size、优化器、部分训练步数），缺乏模型超参数、数据预处理、代码框架等关键信息，复现难度高。 引用的开源项目：论文引用了MMAudio、AudioX、YingSound等基线模型论文，但未明确说明是否基于其开源代码进行复现和扩展。 📌 核心摘要 问题：现有视频到音频（V2A）的生成方法在直接映射视频到波形时，难以精确捕捉钢琴演奏中细微的时序、力度和延音控制，导致生成音频的时序对齐和音乐表现力不足。 方法核心：提出一个分层的视频到钢琴（V2P）生成框架。其核心是引入MIDI作为中间表示，通过一个多视角MIDI预测器从不同摄像头视角（顶视、前视、侧视、踏板视）渐进式地预测音符起始、力度和延音等符号信息，然后利用一个控制分支将这些层级化的MIDI信息注入到基于扩散变换器（DiT）的音频生成模型中，以引导更精确的波形合成。 创新性：相比于现有“视频->波形”的端到端方法，该工作首次在V2P任务中提出：a) 分层MIDI引导的生成范式；b) 利用多视角视频（特别是踏板视角）捕捉完整演奏动态；c) 通用的控制分支设计，可集成到不同V2A模型中。 主要实验结果：在Audeo和EGQ两个测试集上，将所提方法应用于YingSound、MMAudio等多个基线模型。结果显示，加入MIDI引导后，音频生成质量显著提升。例如，在MMAudio-S-16kHz模型上，SI-SDR从-2.15 dB提升至2.31 dB（提升207.44%），FDPANNS从3.0643降至2.0657（降低32.59%）。频谱图对比也显示MIDI引导能有效修复基线模型生成的不准确片段。 实际意义：该方法能生成与演奏视频高度同步且富有表现力的钢琴音频，可应用于无声钢琴视频配音、音乐教学反馈、自动乐谱生成辅助等场景。 主要局限性：a) 方法目前仅针对钢琴这一种乐器，未验证其对其他乐器的泛化性；b) 多视角输入在实际应用中可能增加部署复杂度和成本；c) 训练依赖多视角同步录制的钢琴视频-MIDI数据集，数据获取门槛较高。 🏗️ 模型架构 本文提出的分层V2P框架包含三个阶段，其整体架构如图2所示。 ...

📄 Tpeformer: Temporal Patch Embedding Transformer #多模态模型 #语音情感识别 #端到端 #预训练 ✅ 7.5/10 | 前25% | #语音情感识别 | #多模态模型 | #端到端 #预训练 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 中 👥 作者与机构 第一作者：Ziqing Yang（Department of Computer Science, New York Institute of Technology, New York, United States） 通讯作者：未说明（论文未明确标注） 作者列表：Ziqing Yang（纽约理工学院计算机系）、Houwei Cao（纽约理工学院计算机系） 💡 毒舌点评 亮点：论文巧妙地将Mamba2模型引入作为ViT的位置编码，这不仅是一个新颖的技术融合，更在实验上证明了其在数据稀缺场景下相比传统位置编码的优越性，提升了模型的数据效率。短板：号称是端到端多模态系统，但实验仅在CREMA-D这一个规模不大的数据集上完成，泛化能力未经考验；且全篇未提供任何代码或模型链接，所谓的“从零训练”和“效率提升”在缺乏复现支持的情况下，说服力打了折扣。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及是��公开预训练或训练完成的模型权重。 数据集：使用公开数据集CREMA-D，可通过相关论文或数据集主页获取。 Demo：未提及在线演示。 复现材料：论文提供了一些训练细节（如数据采样方式、梅尔频谱图参数、训练轮次、学习率策略），但不足以完全复现。未提供模型具体配置、检查点或详细附录。 论文中引用的开源项目：引用并依赖了以下开源工作的实现：ResNet-18 [11]、Mamba/Mamba2 [12, 13]、标准Transformer [16]。但未说明具体使用了哪个官方代码库。 论文中未提及任何开源计划。 📌 核心摘要 问题：多模态情感识别在现实场景中常面临数据有限的问题，而主流的大规模预训练模型（如ViT、AST）在此条件下效率低下、收敛慢，且模型参数量大。 方法核心：提出TPEformer，一个端到端的多模态情感识别模型。其核心是使用ResNet-18作为特征提取器并进行“特征级”patch化，然后用双向Mamba2模块替代传统的位置编码，以更高效地捕捉时序依赖关系，最后采用标准Transformer编码器和瓶颈融合策略进行多模态决策。 创新点：1) 将Mamba2模型适配为Transformer的位置编码，利用其选择性状态空间特性增强时序建模和数据效率；2) 采用从ResNet中间层提取特征再进行patch化的方法，而非直接对像素或原始频谱图进行patch，平衡了全局与局部特征；3) 整个架构可灵活嵌入现有Transformer骨干网络。 主要实验结果：在CREMA-D数据集上，多模态TPEformer（使用预训练ResNet权重）达到85.2% 的准确率，超越了预训练的ViT & AST融合基线（81.4%）、MultiMAE-DER-FSLF（79.4%）等现有方法。即使从零训练，其性能（81.4%）也与预训练基线持平，同时参数量从1.72亿减少至1.08亿。消融实验表明，移除Patchify ResNet会导致性能骤降至0.450，而Mamba2在配合它时能将准确率从0.791提升至0.852。 实际意义：为资源受限（数据量小、算力有限）的多模态情感识别任务提供了一个轻量、高效且性能优异的解决方案，降低了对该类技术应用的门槛。 主要局限性：实验验证仅在一个公开数据集（CREMA-D）上进行，缺乏在更多元、更大规模数据集上的泛化性验证；未探讨模型在包含更多模态（如文本）或更复杂情感场景下的表现。 🏗️ 模型架构 ...