Icassp-2026

📄 MNV-17: A High-Quality Performative Mandarin Dataset for Nonverbal Vocalization Recognition in Speech #语音识别 #数据集 #语音大模型 #多任务学习 #开源工具 ✅ 7.5/10 | 前25% | #语音识别 | #数据集 | #语音大模型 #多任务学习 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jialong Mai（华南理工大学） 通讯作者：Xiaofen Xing（华南理工大学） 作者列表： Jialong Mai（华南理工大学） Jinxin Ji（香港理工大学，同济大学） Xiaofen Xing（华南理工大学） Chen Yang（上海交通大学） Weidong Chen（香港中文大学） Jingyuan Xing（华南理工大学） Xiangmin Xu（华南理工大学，佛山大学） 💡 毒舌点评 亮点：论文精准切中了非语语音识别领域“数据荒”的痛点，并提供了一套从数据采集（LLM脚本生成）、标注（多模态LLM分割）到模型评估的完整解决方案，其17类平衡数据集的发布具有明确的实用价值。 短板：数据集总时长仅7.55小时，且采用“表演性”录制，其在真实、自发对话场景中的适用性存疑；实验虽全面但深度有限，仅评估了四个现成模型的微调性能，缺乏对数据本身声学特性或更复杂交互建模的深入探讨。 🔗 开源详情 代码：论文提供了GitHub仓库链接（https://github.com/yongaifadian1/MNV-17），但未明确说明该仓库是否包含数据处理或模型训练的代码。 模型权重：论文明确提到提供预训练模型检查点。 数据集：论文明确提到MNV-17数据集是公开的。 Demo：论文中未提及在线演示。 复现材料：论文提供了模型选择、训练策略（如优化器、学习率、LoRA参数）、数据划分协议等关键信息。但未提供完整的配置文件、数据预处理脚本或详细的硬件信息。 论文中引用的开源项目：引用了Praat（语音录制）、pyannote.audio（VAD，用于对比）、Montreal Forced Aligner（MFA，用于对比）、Paraformer、Whisper（未明确提及，但作为常见基线）、SenseVoice、Qwen2-Audio、Qwen2.5-Omni、Gemini（用于数据分割）。 📌 核心摘要 问题：主流自动语音识别系统无法识别语音中嵌入的非语语音（如笑声、叹气、咳嗽），这限制了对人类交流中情感和意图的全面理解。主要瓶颈在于缺乏高质量、标注精准且类别平衡的训练数据集。 方法：本文提出了MNV-17数据集，一个7.55小时的普通话“表演性”语音数据集，包含17类常见非语语音。通过大语言模型生成上下文自然的脚本，确保类别平衡和分布合理。录音后，利用音频多模态大模型（Gemini）进行精确的句子级时间戳标注，并用ASR模型（Whisper）进行质量过滤。 新意：相比于现有数据集（类别3-10个，最大/最小频率比高达516），MNV-17拥有最多的17个类别，且类别分布极为平衡（最大/最小频率比仅为2.7）。其“表演性”采集方式旨在获得清晰、明确的非语语音实例。 结果：在四个主流ASR模型（SenseVoice， Paraformer， Qwen2-Audio， Qwen2.5-Omni）上进行了联合转录与非语语音分类基准测试。关键结果如表2所示：Qwen2.5-Omni在联合字符错误率上取得最佳3.60%。关键结果如表3所示：非语语音识别准确率（要求类型、数量、顺序完全匹配）最高为SenseVoice和Qwen2.5-Omni的57.29%。关键结果如表4所示：多任务预训练模型在增加非语语音识别任务后，其核心ASR性能损失很小甚至有所提升（Qwen2-Audio的CER从3.05%降至2.60%）。 意义：为表达性语音理解提供了关键资源，验证了大型多任务音频模型能有效整合非语语音识别能力，且不损害甚至提升其核心转录性能，为未来更人性化的对话系统奠定了基础。 局限性：数据集总规模较小；“表演性”数据与真实自发语音可能存在差异；实验评估集中于现有模型的微调，未提出针对该任务的新型模型架构。 🏗️ 模型架构 本文并未提出新的模型架构，而是将MNV-17数据集应用于评估四种现有的主流ASR架构，并对其进行联合任务微调。主要架构类型为： ...

📄 Modeling Both Intra- And Inter-Utterance Variability for Conversational Emotion Recognition #语音情感识别 #图神经网络 #大语言模型 #多模态模型 #零样本 ✅ 6.5/10 | 前25% | #语音情感识别 | #图神经网络 | #大语言模型 #多模态模型 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Yumeng Fu（哈尔滨工业大学计算机科学与技术学院） 通讯作者：Bingquan Liu（哈尔滨工业大学计算机科学与技术学院） 作者列表：Yumeng Fu¹， Shouduo Shang¹， Junjie Wu²， Meishan Zhang³， Bingquan Liu¹* ¹ 哈尔滨工业大学计算机科学与技术学院，哈尔滨，中国 ² 苏州大学计算机科学与技术学院，苏州，中国 ³ 哈尔滨工业大学计算机科学与技术学院，深圳，中国 💡 毒舌点评 亮点在于其将语音的“动态”信息（内部变异性和结构关系）显式编码为图，并设计适配器注入LLM，这比简单地将音频特征拼接或文本化要更精巧。短板是语音特征提取严重依赖另一个闭源或大型商用大模型（Qwen2-Audio），而非端到端学习，这在实用性和可复现性上打了折扣，且论文对提取的语音特征本身的准确性和鲁棒性缺乏验证。 🔗 开源详情 代码：论文中未提及代码链接或开源计划。 模型权重：未提及公开训练好的MM-VLN模型权重。 数据集：使用了公开的IEMOCAP和MELD数据集，论文未说明如何获取或处理，但数据集本身是公开的。 Demo：未提供在线演示。 复现材料：提供了主要的实验设置（数据集、基础模型、LoRA、部分超参数），但关键细节如损失函数、图GAT的隐藏层维度、适配器的具体结构参数、完整的训练配置等缺失，完整复现存在困难。 论文中引用的开源项目：主要引用了LoRA、RoBERTa、BLIP-2等作为方法组件或灵感来源。核心依赖的预训练模型包括Llama3-8B、Qwen2.5-7B、Qwen2-Audio-7B-Instruct、RoBERTa和DSM话语解析模型，但这些均为第三方模型，并非本文开源。 📌 核心摘要 问题：现有基于LLM的对话情绪识别（ERC）方法主要关注文本，忽略了语音中丰富的声学特征（如音调、语速）以及对话本身的结构信息。 方法：提出多模态变异性学习网络（MM-VLN）。首先，利用一个大语言模型（Qwen2-Audio-7B-Instruct）提取每句话的内部语音变异性（音调、语速等）。其次，使用话语解析模型获取对话的句间依赖结构。然后，将语音变异性信息作为节点、对话结构作为边构建图，使用图注意力网络（GAT）进行编码。最后，通过一个跨注意力适配器将GAT的输出投影为“图令牌”，与文本嵌入拼接后输入LLM（Llama3-8B/Qwen2.5-7B）进行情绪预测。 创新点：首次将对话的语音结构信息（内部变异性和句间关系）通过图神经网络显式建模，并通过适配器无缝对接到LLM的表示空间，作为辅助任务增强情绪理解。 实验结果：在IEMOCAP和MELD两个数据集上，MM-VLN（使用Llama3-8B）分别达到了72.05%和70.58%的加权F1分数，相比强基线（使用SpeechCueLLM提取的语音描述进行微调）提升了1.84%和3.15%。消融实验表明，去除内部或句间语音变异性都会导致性能下降，证明两者互补。在零样本场景下，加入语音变异性信息也能提升多个LLM的性能。 实际意义：为多模态大语言模型如何有效整合非文本模态的结构化信息提供了新思路，有望提升人机交互中的情感理解能力。 主要局限性：语音特征提取依赖外部大模型，引入额外计算开销和潜在误差；图结构依赖预训练的话语解析模型，其准确性会影响最终效果；论文未公开代码，且损失函数等细节缺失。 🏗️ 模型架构 ...

📄 Modeling Inter-Segment Relationships in Speech for Dementia Detection with Audio Spectrogram Transformers and Graph Attention Networks #语音生物标志物 #音频大模型 #图神经网络 #预训练 #音频分类 ✅ 7.0/10 | 前25% | #语音生物标志物 | #图神经网络 | #音频大模型 #预训练 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Raphael Anaadumba (University of Massachusetts Lowell, Richard A. Miner School of Computer and Information Sciences) 通讯作者：Raphael Anaadumba (根据“Corresponding author”标注) 作者列表：Raphael Anaadumba (University of Massachusetts Lowell), Nazim A. Belabbaci (University of Massachusetts Lowell), Anton Kovalev (University of Massachusetts Lowell), Mohammad Arif Ul Alam (University of Massachusetts Lowell) 💡 毒舌点评 本文巧妙地将图注意力网络引入语音病理分析，首次明确建模“语音段”间的图状关系以捕捉话语结构异常，这一视角确实比简单池化或纯序列模型更贴近临床认知，并在MCI检测上取得了亮眼提升。然而，实验规模局限于两个英语数据集，且未开源代码，使得这一新颖方法在更广泛场景下的有效性和可复现性大打折扣。 ...

📄 Modeling Strategies For Speech Enhancement in The Latent Space of a Neural Audio Codec #语音增强 #神经音频编解码器 #自回归模型 #模型比较 #连续表示学习 🔥 8.0/10 | 前50% | #语音增强 | #神经音频编解码器 | #自回归模型 #模型比较 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Sofiene Kammoun (CentraleSupélec, IETR (UMR CNRS 6164), France) 通讯作者：未说明 作者列表：Sofiene Kammoun (CentraleSupélec, IETR (UMR CNRS 6164), France)、Xavier Alameda-Pineda (Inria at Univ. Grenoble Alpes, CNRS, LJK, France)、Simon Leglaive (CentraleSupélec, IETR (UMR CNRS 6164), France) 💡 毒舌点评 本文以“教科书式”的系统性，将NAC潜空间中的几种核心建模选项（连续/离散、自回归/非自回归）像排列组合一样做了个遍，实验扎实、结论清晰，为后续研究者提供了非常明确的“避坑指南”和设计起点。然而，其所有实验仅在单一数据集（Libri1Mix）和单一编解码器（DAC）上进行，得出的“连续优于离散”等结论的普适性存疑，且未能将性能与当前主流的判别式SE方法（如Conv-TasNet）拉开决定性差距，更像是对一个新兴技术路径的初步探索而非颠覆性突破。 ...

📄 More Than a Shortcut: A Hyperbolic Approach to Early-Exit Networks #音频事件检测 #双曲几何 #早期退出网络 #音频分类 🔥 8.0/10 | 前25% | #音频事件检测 | #双曲几何 | #早期退出网络 #音频分类 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Swapnil Bhosale（英国萨里大学） 通讯作者：未明确说明（根据署名顺序和机构推测可能为通讯作者，但论文中未明确标注） 作者列表：Swapnil Bhosale（英国萨里大学）， Cosmin Frateanu（Meta Reality Labs Research, UK）， Camilla Clark（Meta Reality Labs Research, UK）， Arnoldas Jasonas（Meta Reality Labs Research, UK）， Chris Mitchell（Meta Reality Labs Research, UK）， Xiatian Zhu（英国萨里大学）， Vamsi Krishna Ithapu（Meta Reality Labs Research, UK）， Giacomo Ferroni（Meta Reality Labs Research, UK）， Cagdas Bilen（Meta Reality Labs Research, UK）， Sanjeel Parekh（Meta Reality Labs Research, UK） 💡 毒舌点评 亮点：将双曲几何的“树状结构”先验优雅地融入早期退出网络，其设计的“蕴含损失”不仅理论上能强制执行层次一致性，实验上也在最节省计算的EE0出口实现了高达23个百分点的精度飞跃，证明了“几何即正则化”的有效性。短板：这篇论文本质上是一篇针对特定网络结构（EE）和特定任务（音频）的工程改进，虽然方法新颖，但双曲神经网络本身的计算开销和复杂性是否适合真正的资源受限端侧设备，论文缺乏更深入的实际部署功耗/延迟分析，略显“自说自话”。 ...

📄 Motionbeat: Motion-Aligned Music Representation via Embodied Contrastive Learning and Bar-Equivariant Contact-Aware Encoding #音频表征学习 #对比学习 #音乐生成 #音视频 #跨模态 ✅ 7.5/10 | 前25% | #舞蹈生成 | #对比学习 | #音频表征学习 #音乐生成 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Xuanchen Wang（悉尼大学计算机科学学院） 通讯作者：未说明 作者列表：Xuanchen Wang（悉尼大学计算机科学学院）、Heng Wang（悉尼大学计算机科学学院）、Weidong Cai（悉尼大学计算机科学学院） 💡 毒舌点评 亮点： 论文巧妙地将“运动”作为监督信号引入音乐表征学习，提出的ECL和SRAL损失函数以及相位旋转、接触注意力等架构模块，从理论和实践上系统地弥补了现有音频模型在节奏感知上的短板，思路新颖且有效。 短板： 核心验证任务（舞蹈生成）的数据集（AIST++）风格相对单一，论文未探讨该表征在更广泛、更多样的音乐风格或非舞蹈类动作（如手势、体育）中的泛化能力，其“具身”的普适性有待进一步验证。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：论文使用AIST++数据集，但未说明是否提供该数据集或相关处理脚本。 Demo：未提及。 复现材料：论文提供了详细的超参数设置（模型大小、学习率、批量大小等）和训练细节（GPU型号、优化器），但未提供完整的训练配置或检查点说明。 引用的开源项目：论文引用了多个开源工作作为基线或工具，如EDGE（舞蹈生成）、wav2vec 2.0、CLAP、Wav2CLIP、Jukebox、Soft-DTW等。 总体情况：论文中未提及开源计划。 📌 核心摘要 要解决什么问题： 现有音频表征学习模型（如基于音频-文本或音频-视觉）忽略了音乐与人类动作（尤其是舞蹈）之间内在的、本能的“具身”联系，导致学到的表征在节奏和结构信息上与运动脱节，限制了其在音乐到舞蹈生成等任务上的效果。 方法核心是什么： 提出MotionBeat框架，通过两个新训练目标和两个新架构模块来学习运动对齐的音乐表征。训练目标是：具身对比损失（ECL），通过引入“节奏相似但不同步”的困难负样本来增强对比学习的细粒度辨别能力；结构节奏对齐损失（SRAL），通过Soft-DTW和最优传输分别在节拍和小节级别强制对齐音频事件与运动事件。架构模块是：小节等变相位旋转，使模型对节奏的周期性变化具有等变性；接触引导注意力，让模型关注与音乐重音同步的运动瞬间。 与已有方法相比新在哪里： 首次将“人类运动”作为关键监督信号用于通用音乐表征学习，并针对性地设计了能捕捉周期性节奏（相位旋转）和强调关键动作（接触注意力）的架构。ECL损失也超越了标准对比学习，引入了任务相关的困难负样本。 主要实验结果如何： 在AIST++数据集上，MotionBeat在音乐到舞蹈生成任务上全面超越wav2vec 2.0, CLAP, Wav2CLIP, Jukebox等基线。例如，在舞蹈生成任务上，其物理合理性得分（PFC）为1.545（越低越好），节拍对齐得分（BAS）为0.27（越高越好），均优于最强基线Jukebox（PFC=1.598, BAS=0.24）。在下游任务如节拍跟踪、音乐标记、分类、情感识别和跨模态检索中也均取得最佳或具有竞争力的性能。消融实验证实了ECL、SRAL、相位旋转和接触注意力各组件的有效性。 实际意义是什么： 为音乐信息检索、舞蹈自动生成、音乐驱动的人机交互、音乐理解（尤其是节奏和情感层面）等领域提供了更高质量、更具“动作感”的基础音频表征，可能催生更自然、更同步的多媒体应用。 主要局限性是什么： 论文未讨论该框架在非舞蹈动作（如日常手势、体育运动）或更多样化音乐风格（如古典、爵士）上的泛化能力；训练依赖于高质量的配对音乐-运动数据（AIST++），数据获取门槛较高。 🏗️ 模型架构 MotionBeat是一个双流编码器框架，旨在学习与人类运动对齐的音乐嵌入表示。其整体架构如图1所示。 ...

📄 MR-FlowDPO: Multi-Reward Direct Preference Optimization for Flow-Matching Text-to-Music Generation #音乐生成 #流匹配 #强化学习 #自监督学习 #模型评估 ✅ 7.5/10 | 前25% | #音乐生成 | #流匹配 | #强化学习 #自监督学习 学术质量 7.0/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Alon Ziv（FAIR Team, Meta MSL & The Hebrew University of Jerusalem） 通讯作者：未说明 作者列表：Alon Ziv（FAIR Team, Meta MSL & The Hebrew University of Jerusalem）， Sanyuan Chen（FAIR Team, Meta MSL）， Andros Tjandra（FAIR Team, Meta MSL）， Yossi Adi（FAIR Team, Meta MSL & The Hebrew University of Jerusalem）， Wei-Ning Hsu（FAIR Team, Meta MSL）， Bowen Shi（FAIR Team, Meta MSL） 💡 毒舌点评 亮点：该工作的核心亮点在于其系统性思维，将单一、模糊的“人类偏好”拆解为文本对齐、制作质量、语义一致性三个可量化的奖励维度，并设计了“强支配对”的配对策略来解决多目标优化中的样本构建难题，这一框架对后续所有基于偏好优化的生成模型都有参考价值。短板：论文在核心生成模型的架构细节上着墨极少，只说明了是Flow-Matching模型，但并未深入描述其具体结构，使得分析停留在“偏好优化外挂”的层面；此外，所用的制作质量预测器和语义一致性评估器本身都依赖于外部预训练模型，这可能会限制该方法在缺乏这些基础模型的场景下的直接应用。 ...

📄 MSANET: Multi-Scale Semantic Aggregation Network for Brain-Assisted Speech Enhancement in Multi-Speaker Conditions #语音增强 #多模态模型 #端到端 #图神经网络 ✅ 7.5/10 | 前25% | #语音增强 | #端到端 | #多模态模型 #图神经网络 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Zehui Feng（上海交通大学设计学院） 通讯作者：Ting Han（上海交通大学设计学院；上海交通大学医学机器人研究院） 作者列表：Zehui Feng（上海交通大学设计学院），Dian Zhu（上海交通大学设计学院），Junxuan Li（上海交通大学设计学院），Yang Bai（上海交通大学设计学院），Ting Han（上海交通大学设计学院；上海交通大学医学机器人研究院） 💡 毒舌点评 亮点：论文架构设计极具“工程师思维”，将EEG信号处理的生理学先验（频段划分、通道拓扑、生理延迟）与深度学习模块（多尺度卷积、图神经网络、注意力机制）进行了系统性地、模块化的结合，逻辑链条完整。 短板：部分核心创新（如GCMCA）的理论支撑和具体实现细节（如高斯混合模型在线更新的策略）略显不足，且在工程实用性上，该复杂框架在助听器等资源受限设备上的部署可能性和延迟问题，论文中未做任何探讨。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及公开模型权重。 数据集：论文中使用了Cocktail Party和AVED两个公开数据集，但未在文中提供数据集的具体下载链接。 Demo：未提及在线演示。 复现材料：论文提供了相对详细的实验设置（数据集预处理、训练超参数、硬件环境），但不足以独立复现。 论文中引用的开源项目：论文引用了GCN [15]、CMCA [6] 等前人工作作为基线，但未明确说明是否直接使用了它们的开源代码。 总体开源情况：论文中未提及开源计划。 📌 核心摘要 要解决的问题：在多人说话的嘈杂环境中，利用脑电图（EEG）信号来增强目标说话人的语音（即“鸡尾酒会问题”）。现有方法存在缺陷：语音编码器难以捕捉精细的频率结构；EEG信号存在通道间相关性建模弱、频率分解不足、生理响应延迟等问题；跨模态融合策略粗糙。 方法核心：提出MSANet，一个端到端的多尺度语义聚合网络。其核心包含三个模块：1）多尺度编码器（使用不同卷积核大小）联合建模EEG和语音的时频动态；2）通道-频谱频率（CSF）聚合模块，根据生理/声学知识划分频段并计算注意力，增强关键通道和频带特征；3）结构-功能图（SFG）聚合，构建EEG通道的空间结构图和功能连接图，通过图卷积网络建模通道依赖，并加入时间感知模块补偿生理延迟；4）高斯聚类跨模态注意力（GCMCA），在原跨模态注意力机制基础上，引入高斯混合模型施加类内紧凑、类间分离的损失，优化跨模态语义对齐。 与已有方法相比新在哪里： 首次在端到端框架中系统性地融合多尺度时频编码、基于生理先验的EEG图建模和改进的跨模态注意力。 提出CSF聚合，显式利用神经节律和语音频带知识进行特征提纯。 提出GCMCA，通过聚类损失约束，使跨模态语义融合更具判别性。 主要实验结果：在Cocktail Party和AVED两个公开数据集上，MSANet在SI-SDR、STOI、ESTOI、PESQ四个指标上均取得了最优性能。关键数据如下表所示： 数据集 方法 SI-SDR (dB) STOI (%) ESTOI (%) PESQ Cocktail Party MSANet (ours) 13.99 90.97 80.32 2.69 M3ANet [9] (次优) 13.95 89.23 78.36 2.58 AVED MSANet (ours) 10.97 90.93 82.36 2.27 M3ANet [9] (次优) 10.89 90.60 82.06 2.21 消融实验证明，移除CSF、SFG或GCA模块均会导致性能下降，其中GCMCA模块移除后性能下降最明显。 实际意义：为脑机接口辅助的听力辅助设备（如人工耳蜗、助听器）提供了更先进的算法基础，有望在复杂声学环境下显著改善听障人士的语音理解能力和生活质量。 主要局限性：1）框架模块较多，计算复杂度可能较高，未讨论实时性；2）高度依赖高质量的EEG信号，在信噪比极低的EEG情况下性能可能受限；3）论文中未提供模型权重或代码，不利于社区验证和应用。 🏗️ 模型架构 图1：MSANet整体架构示意图（来自论文图1） ...

📄 MSCT: Differential Cross-Modal Attention for Deepfake Detection #音频深度伪造检测 #注意力机制 #音视频 #多模态模型 ✅ 6.5/10 | 前10% | #音频深度伪造检测 | #注意力机制 | #音视频 #多模态模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -1.0 | 置信度 高 👥 作者与机构 第一作者：Fangda Wei（北京理工大学） 通讯作者：Shenghui Zhao（北京理工大学，有星号标记） 作者列表：Fangda Wei（北京理工大学），Miao Liu（北京理工大学），Yingxue Wang（中国电子技术标准化研究院），Jing Wang（北京理工大学），Shenghui Zhao（北京理工大学），Nan Li（中国电子技术标准化研究院） 💡 毒舌点评 论文提出的“差分跨模态注意力”（DCA）模块设计巧妙，其通过注意力矩阵相减来增强模型对伪造内容敏感性的思路，确实指出了传统注意力机制在伪造检测任务中可能存在的目标冲突问题，是一个不错的洞察。然而，如此强调性能提升的论文，却在开源复现信息上“一毛不拔”，连基础的代码仓库或超参数都不公开，这无异于在沙滩上画出宏伟蓝图却不提供任何工具，对推动整个领域的可复现进步毫无贡献。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及公开模型权重。 数据集：使用公开数据集FakeAVCeleb，但论文中未说明获取方式（通常可公开获取）。 Demo：未提供在线演示。 复现材料：未提供详细的训练配置、超参数、检查点或附录说明。 论文中引用的开源项目：引用了DLIB（用于人脸检测）、Res2Net、CBAM、Wavelet Convolution等工具或模型，但未说明是否基于其开源代码。 总体开源计划：论文中未提及任何开源计划。 📌 核心摘要 要解决的问题：现有音频-视觉深度伪造检测方法主要依赖跨模态对齐，但传统的跨模态注意力机制可能与对齐损失目标冲突（对伪造内容不敏感），且缺乏有效的多尺度时间特征提取。 方法核心：提出多尺度跨模态Transformer编码器（MSCT），包含两个核心模块：差分跨模态注意力（DCA） 和 多尺度自注意力（MSSA）。DCA通过计算自注意力矩阵与跨模态注意力矩阵的差值，增强对伪造线索的关注。MSSA使用不同尺度的卷积处理Key矩阵，以整合相邻嵌入的多尺度时间信息。 与已有方法相比新在哪里：与传统跨模态注意力相比，DCA能更好地适配基于对齐损失的伪造检测任务；与标准自注意力相比，MSSA提供了更丰富的时间尺度感知能力，弥补了帧级特征提取的不足。 主要实验结果：在FakeAVCeleb数据集上，该方法取得了98.75%的准确率（ACC） 和 98.83%的AUC，显著优于表1中列出的所有基线方法，包括ACC为94.05%的MRDF-CE和96.30%的BusterX。消融实验（表2）表明，DCA模块（+1.25% ACC）比MSSA模块（+0.25% ACC）带来更大的性能增益。T-SNE可视化（图5）显示，本方法能更好地区分类别。 实际意义：提升了音视频深度伪造检测的准确性和鲁棒性，为多媒体内容安全提供了更强大的技术工具。 主要局限性：实验仅在单一数据集FakeAVCeleb上进行，缺乏跨数据集泛化性验证；未提供代码和详细复现参数，可复现性极差；与最新方法BusterX的对比缺少AUC指标。 🏗️ 模型架构 本文提出的多尺度跨模态Transformer编码器（MSCT）框架如图2所示，包含单模态特征提取和多模态特征融合两大模块。 ...

📄 MSF-SER: Enriching Acoustic Modeling with Multi-Granularity Semantics for Speech Emotion Recognition #语音情感识别 #多模态模型 #预训练 #音频大模型 #语音大模型 ✅ 7.5/10 | 前25% | #语音情感识别 | #多模态模型 | #预训练 #音频大模型 学术质量 5.8/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Haoxun Li（中国科学院大学杭州高等研究院） 通讯作者：Leyuan Qu（中国科学院大学杭州高等研究院），Taihao Li（中国科学院大学杭州高等研究院） 作者列表：Haoxun Li（中国科学院大学杭州高等研究院），Yuqing Sun（中国科学院大学杭州高等研究院），Hanlei Shi（中国科学院大学杭州高等研究院），Yu Liu（中国科学院大学杭州高等研究院），Leyuan Qu（中国科学院大学杭州高等研究院），Taihao Li（中国科学院大学杭州高等研究院） 💡 毒舌点评 这篇论文非常聪明地识别并尝试解决“全局文本转写在情感识别中‘一视同仁’且‘肤浅’”的痛点，其提出的多粒度语义融合（尤其是LES和ES）和FM-MOE架构设计确实新颖且有效，实验也扎实。不过，其创新更多是“组合拳”式的工程优化，对引入的Kimi-Audio生成的“扩展语义”的鲁棒性和依赖性讨论不足，且在缺乏开源支持的情况下，复现其复杂的多模型流水线颇具挑战。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及公开模型权重。 数据集：使用了公开的MSP-Podcast v1.12和IEMOCAP数据集，但论文未说明如何获取其处理后的版本。 Demo：未提供在线演示。 复现材料：论文中给出了较详细的模型架构、超参数（如学习率、批大小、损失函数、模型维度）和训练设置（硬件），但缺乏完整的训练脚本、配置文件或预训练检查点。 论文中引用的开源项目：明确提到了使用Whisper-ASR进行语音识别，RoBERTa-Large作为文本编码器，WavLM-Large作为声学编码器，Kimi-Audio生成扩展语义。这些都依赖外部开源或公开发布的模型。 总结：论文中未提及开源计划。 📌 核心摘要 问题：现有基于文本的语音情感识别方法大多仅使用全局文本转写，存在两大缺陷：一是忽略句子内部不同部分的强调对情感表达的影响；二是仅包含表层词汇语义，缺乏更高层次的解释性信息（如场景、意图、副语言特征）。 方法核心：提出MSF-SER框架，以声学特征（WavLM-Large）为主干，引入三个互补粒度的文本语义进行增强：局部强调语义（LES，通过LEMF框架提取强调片段）、全局语义（GS，通过Whisper转录）和扩展语义（ES，由Kimi-Audio生成）。通过门控融合自适应整合LES与GS，再通过提出的FM-MOE（FiLM调制的轻量级混合专家）与声学特征进行跨模态交互。 创新之处：首次将“局部强调”和“扩展解释”两种新粒度的语义信息系统性地融入语音情感识别；设计了FM-MOE架构，利用FiLM对声学表征进行维度级调制，并允许不同情感维度（V/A/D）自适应地选择融合不同的语义专家。 实验结果：在MSP-Podcast开发集上，完整模型（MSF-SER）的平均一致性相关系数（CCC）达到0.692，优于基线（0.659）和所有消融变体。在IEMOCAP数据集的5折交叉验证中，平均CCC达到0.638，超越了多个强基线模型。关键消融实验证明，三种语义特征和FM-MOE融合策略均对性能有显著贡献。 模型/方法 数据集 CCC_V CCC_A CCC_D CCC_avg Baseline MSP-Podcast Dev 0.725 0.660 0.592 0.659 MSF-SER (Full) MSP-Podcast Dev 0.759 0.685 0.631 0.692 SERNC Top-Model MSP-Podcast Test (Ref) 0.758 0.683 0.615 0.685 Baseline [21] IEMOCAP 0.552 0.678 0.583 0.604 MSF-SER IEMOCAP 0.632 0.680 0.601 0.638 实际意义：通过更精细、更丰富的语义信息来引导声学建模，有效提升了语音情感识别的准确性，对需要理解人类细微情感状态的应用（如智能助手、心理健康监测、人机交互）有积极意义。 主要局限性：系统依赖外部的大规模预训练模型（WavLM, RoBERTa, Whisper, Kimi-Audio），增加了计算和部署成本；扩展语义（ES）的质量受限于Kimi-Audio的能力，且可能引入噪声或偏差；论文未提供代码和模型，可复现性受限。 🏗️ 模型架构 MSF-SER的整体架构如图1 (pdf-image-page4-idx0)所示，是一个“声学主干 + 多粒度语义辅助”的双流融合框架。 ...