语音情感识别

📄 Automatic Detection of Stress from Speech in the Trier Social Stress Test #语音情感识别 #集成学习 #可解释性 #医疗音频 #模型比较 7.4/10 | 创新 0.9/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 7.4/10 | 前50% | #语音情感识别 | #集成学习 | #可解释性 #医疗音频 | arxiv 👥 作者与机构 第一作者：Hanna Drimalla（比勒费尔德大学技术学院人本人工智能组） 通讯作者：Hanna Drimalla（比勒费尔德大学技术学院人本人工智能组） 作者列表：Hanna Drimalla（比勒费尔德大学技术学院人本人工智能组）、Wieland R. Cremer（未说明）、Christine Kraus（未说明）、Oliver T. Wolf（鲁尔大学波鸿分校心理学院认知心理学系） 💡 毒舌点评 这篇论文用一个干净的全组间对照设计，为语音压力检测贡献了一个小而扎实的实证锚点，XGB 分类准确率 82% 清楚地证明讲话声确实藏着一把“压力尺子”。但回归预测整体疲软，仅有部分输出勉强显著，且 50 人的小样本令结果飘忽不定，很难让审稿人信服这套 acoustic-prosodic 特征包可以可靠地作为皮质醇的替代标志物。工程上提供了一个可复现的基线，但科学增量有限，考虑到实验设计、特征工程和模型选择均无本质突破，只能说是一份扎实但不够“亮眼”的工作。 ...

📄 A Fair and Transparent Framework for Speech-Based Depression Detection: Balancing Interpretability and Performance #语音情感识别 7.4/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.4/10 | 前50% | #语音情感识别 | #语音情感识别 | arxiv 👥 作者与机构 1st Mariel Estevez 2nd Alfonso Ortega 3rd Antonio Miguel 3rd Eduardo Lleida （注：论文中未明确列出作者所属机构） 💡 毒舌点评 这篇论文的立意值得肯定，试图在性能与“临床可用性”之间找到平衡，而不是一味追求排行榜数字。作者搭建了一个从特征选择到统计验证再到公平性分析的“全家桶”框架，流程上确实比很多只报准确率的工作要严谨得多。然而，其核心弱点也十分明显：在DAIC-WOZ这样一个已经被广泛研究但规模依然有限的数据集上，用相对基础的模型和特征，去声称“SOTA”，说服力不足。论文中那句“saco todo el parrafo este?”的漏网之鱼，虽然无伤大雅，但在追求“透明与严谨”的框架论文中显得格外扎眼。公平性分析揭示了模型对不同人群的性能差异，但分析本身仍停留在描述现象，未深入探究成因。总的来说，这是一篇“流程正确”但“突破有限”的工作，其最大价值可能在于为后续研究提供了一套可参考的验证方法论，而非其提出的具体模型或达到的具体性能数字。 ...

📄 Gated Multi-Graph Fusion via Graph Attention Networks for Alzheimer's Disease Detection #语音情感识别 5.2/10 | 创新 1.3/2 | 严谨 0/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 📝 5.2/10 | 后50% | #语音情感识别 | #图神经网络 | arxiv 👥 作者与机构 第一作者：Jinyu Xiao ( lijinyu536@tju.edu.cn ) 通讯作者：Longbiao Wang ( longbiao_wang@tju.edu.cn ) 机构： 1 School of Future Technology, Tianjin University, Tianjin, China 2 Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, Shenzhen, China 3 College of Computer and Data Science, Fuzhou University, Fuzhou, China 4 Huiyan Technology (Tianjin) Co., Ltd, Tianjin, China ...

📄 SIGMA: Saliency-Guided Sparse Mask Attacks for Speech Emotion Recognition #语音情感识别 #自监督学习 7.1/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | #语音情感识别 | #自监督学习 | arxiv 👥 作者与机构 Qiyang Sun: Imperial College London, GLAM, Department of Computing Yi Chang（通讯作者）: Imperial College London, GLAM, Department of Computing; email: yichang312@gmail.com Zixing Zhang: Hunan University, College of Computer Science and Electronic Engineering; Shenzhen Research Institute, Hunan University Björn W. Schuller: Imperial College London, GLAM, Department of Computing; Technical University of Munich (CHI – Chair of Health Informatics, relAI, MDSI, MCML) ...

📄 Learning from Annotation Uncertainty: Entropy-Aware Curriculum for Speech Emotion Recognition #语音情感识别 #课程学习 7.4/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.4/10 | 前50% | #语音情感识别 | #课程学习 | arxiv 👥 作者与机构 Zahra Omidi, John H.L. Hansen Center for Robust Speech Systems, The University of Texas at Dallas, USA 💡 毒舌点评 这篇论文像一位严谨但缺乏惊喜的实验员。它做对了所有基础操作：问题明确（利用标注分歧）、方法扎实（在固定框架下系统对比）、分析细致（分层评估、可视化）。但它的“创新”更多是“验证”——验证分布监督比硬标签在JSD/KLD上更好，这几乎是直觉可得的。熵感知课程学习的提出有一定价值，但效果不稳定（Filter好，Weight在Test2也好，但Reverse不行），更像是一种超参数调优而非方法论突破。最致命的是，它完全回避了与SOTA的正面比较，Macro-F1在20-30%徘徊，让人对它的实际应用潜力打上巨大问号。结论部分也显得保守，承认高熵样本依旧难啃。总而言之，这是一篇合格的、数据驱动的分析工作，但离“顶会突破”还有距离，更适合作为一篇扎实的中期报告或 workshop 论文。 ...

📄 EmotionAI: A Privacy-Preserving Computational Intelligence Pipeline for Speech-Emotion-Grounded Conversational Analysis #语音情感识别 6.9/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 6.9/10 | 前50% | #语音情感识别 | #语音情感识别 | arxiv 👥 作者与机构 Wai Laam Mak (通讯作者), Isibor Kennedy Ihianle, Pedro Machado (通讯作者)。隶属于英国诺丁汉特伦特大学科学技术学院。 💡 毒舌点评 一篇动机清晰、立场诚实的系统集成论文。作者没有掩饰其情感识别核心组件在跨语料库场景下的拉垮表现（Sad类F1值仅0.010），而是坦然展示，这点值得肯定。然而，作为一篇NeurIPS/ICML/ICLR级别的论文，其“计算智能”的贡献更像是在用乐高积木搭建一个现有模型的流水线。创新性主要体现在流程的“组装”和“隐私保护”概念上，而非算法层面的突破。最大的软肋在于对LLM问答效用（EQ2）的评估，仅在一个117.9秒的录音和12个问题上做文章，样本量小到让统计检验失去意义，难以支撑“情感证据能提升分析质量”的核心主张。论文更像是一个有潜力的概念验证原型，而非一篇成熟的研究工作。 📌 核心摘要 本文提出了EmotionAI，一个旨在保护隐私的本地化计算智能管道，用于从录音访谈中进行情感-grounded的对话分析。该系统整合了pyannote 3.1进行说话人分割、Whisper进行语音识别以及wav2vec2进行情感分类，将每段语音的情感概率作为结构化元数据，注入给一个由Llama 3.2:3B、Qwen 2.5:3B和Gemma 3:4B组成的本地对抗性LLM面板，最终生成带有时间戳和证据引用的回答。论文的核心贡献并非追求先进的语音情感识别（SER）性能，而是诚实地展示了将一个表现不佳的零样本SER模型集成到隐私保护分析流程中的完整过程与局限。关键评估结果包括：在RAVDESS数据集上，部署的wav2vec2-large模型零样本准确率（48.8%）远低于域内MFCC基线（71.0%）；在一个小规模问答评估中，情感证据主要影响了模型是否回答，而非回答质量；整个流程可在CPU上以约1.33倍的实时因子运行，无需外部调用。 🔗 开源详情 代码：论文中明确指出“Code is available on request”（代码可应要求提供），但未提供任何公开的代码仓库链接（如GitHub）。 模型权重：论文中使用的均为公开预训练模型，但未提供具体的模型下载链接（如HuggingFace、ModelScope页面）。明确列出的模型包括： 说话人分割：pyannote 3.1 说话人验证：WeSpeaker ResNet34-LM 语音识别：openai/whisper-medium 语音情感识别：superb/wav2vec2-large-superb-er 本地大语言模型（通过Ollama运行）：Llama 3.2:3B, Qwen 2.5:3B, Gemma 3:4B 数据集：使用了公共数据集RAVDESS进行SER评估。论文描述了筛选规则（四类、16kHz单声道）及子集构成（672条音频），但未提供数据集下载链接。 复现材料：论文说明将保留“RAVDESS筛选规则、种子交叉验证协议、随机基线种子(42)、评估脚本及每条音频的原始预测结果”在项目仓库中，但项目仓库的公开链接未给出。 论文中引用的开源项目：上述所有模型和工具（pyannote, WeSpeaker, Whisper, wav2vec2, Ollama, librosa）均为开源项目，但论文正文中未提供其具体项目链接。 🏗️ 方法概述和架构 EmotionAI是一个分为音频处理和LLM推理两个顺序阶段的本地化管道（见论文Fig. 1和Algorithm 1）。其核心设计理念是模块化、隐私保护和可审计性。 ...

📄 Comparative Reasoning: Making an Audio Language Model Better at Comparing Emotions #语音情感识别 #对比学习 7.5/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 7.5/10 | 前25% | #语音情感识别 | #对比学习 | arxiv 👥 作者与机构 Language Technologies Institute, Carnegie Mellon University, Pittsburgh, PA, 15213, US The University of Texas at Dallas, Richardson TX 75080, USA NVIDIA 💡 毒舌点评 这篇论文瞄准了一个关键但被忽视的问题：让音频语言模型学会“比较”。选择情感维度作为切入点很聪明，因为人类本身就更擅长比较而非绝对评分。方法上，把GeMAPS特征离散化后和语义描述一起喂给大模型生成“推理轨迹”，再用DPO来区分好坏推理，这个设计环环相扣，有一定巧思。实验结果也确实亮眼，5%的数据吊打了传统SSL基线，跨域迁移能力也不错。 ...

📄 Backdoor Attacks on Speech Emotion Recognition via TTS-Generated Poisoning #语音情感识别 #语音合成 #自监督学习 7/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7/10 | 前50% | #语音情感识别 | #自监督学习 | #语音合成 | arxiv 👥 作者与机构 作者：Yongbin Huang, Xihao Xie, Jia Zhang 机构：未在提供的论文片段中明确说明。 💡 毒舌点评 这篇论文精准地戳中了当前语音情感识别（SER）系统，尤其是基于自监督预训练模型的流水线，在数据供应链上的一个致命软肋：对TTS生成投毒样本的毫无防备。作者们的工作动机非常清晰且现实，指出了TTS技术如何极大降低了发起高效后门攻击的门槛。实验设计也比较扎实，覆盖了多语言数据集和多种主流自监督模型，验证了攻击的普遍脆弱性。然而，论文的“系统性”研究在深度上仍有欠缺：对触发器的声学特性、为何TTS合成的特定片段（一个“标准中性TTS语音”）能成为有效触发器，缺乏更底层的分析。此外，威胁模型过于理想化（“能注入TTS样本”），对攻击在现实数据收集流程中如何实施的讨论几乎为空白。最后，讨论部分草草收场，面对已证实的严重漏洞，却没有提供任何有意义的防御思路或后续研究方向，这极大地削弱了工作的完整性。总的来说，一篇合格的、指明了问题的工作，但离一篇令人印象深刻、引领方向的顶会论文还有距离。 📌 核心摘要 本文首次系统性地研究了针对语音情感识别（SER）系统的、基于文本转语音（TTS）生成投毒样本的后门攻击。作者提出了一种隐蔽的低能量声学触发器，并构建了包含触发器生成、后门注入（波形域叠加）和推理阶段激活的攻击框架。通过在四个公开情感语音数据集（ANAD, CaFE, CASIA, JL Corpus）上对四种自监督语音模型（wav2vec2-base, wavlm-base, data2vec-base, unispeech-sat-base）进行广泛实验，证明了该攻击的有效性（高攻击成功率）、隐蔽性（干净准确率下降小）和跨模型/跨数据集迁移性。研究揭示了现代SER流水线的关键安全漏洞，并表明TTS技术显著降低了发起此类攻击的门槛，亟需开发专门的防御机制。 ...

📄 CAAD: Contrastive Audio-Aware Distillation for Efficient Speech Language Models #语音识别 #模型压缩 #多模态模型 #语音情感识别 #对比学习 8.9/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 🔥 8.9/10 | 前25% | #语音识别 | #知识蒸馏 | #模型压缩 #多模态模型 | arxiv 👥 作者与机构 第一作者：Chun-Wei Chen，第二作者：Tzu-Quan Lin，第三作者：Ke-Han Lu，第四作者：Wei-Ping Huang，第五作者：Hung-Yi Lee。机构：台湾大学电机工程学研究所、台湾大学通讯工程学研究所、台湾大学人工智能卓越研究中心（NTU AI-CoRE）。 💡 毒舌点评 本文直击了语音语言模型蒸馏中“继承偏差而非克服偏差”的痛点，并提出了一个巧妙且高效的解决方案。其核心洞察——将推理时的对比解码（CD）逻辑训练时内化到学生权重——是清晰且有价值的。同步教师强制策略的设计也确实解决了传统对比蒸馏训练开销大的瓶颈。然而，这种巧妙设计严重依赖一个核心假设：由LLM基于元数据生成的“伪真实标签（Pseudo-GT）”是高质量且无偏的锚点。论文对此论证不足，这使得整个框架的上限存疑。实验虽然扎实，但仅在单一架构和压缩比上验证，普适性存疑。更关键的是，CAAD学生模型性能虽优于Std. KD，但仍不及教师模型的CD解码，这一差距的原因分析缺失。这像是一位学生学会了老师的“内功心法”（对比逻辑），但“内力”（模型容量）仍不及老师本人施展的威力。总的来说，这是一篇技术实现巧妙、实验导向明确的工作，但其核心组件的可靠性和结论的普适性需要更严格的审视。 📌 核心摘要 本文针对语音语言模型参数庞大且标准蒸馏会继承语言先验偏差的问题，提出了对比音频感知蒸馏（CAAD）。CAAD的核心是通过同步教师强制策略，利用文本元数据生成的伪真实标签（Pseudo-GT）作为锚点，使教师模型能高效计算“音频感知”和“仅文本”两条路径的对比分布。学生模型通过优化与“音频感知目标”的KL散度，将这种对比推理能力内化到单路径模型中，从而在不增加推理延迟的前提下，提升模型对音频信息的依赖并减轻语言偏差。实验在DeSTA2（8B教师到3B学生）上表明，CAAD在通用任务（Dynamic-SUPERB）上相比标准蒸馏有约8%的性能提升，在模态冲突任务（MCR-BENCH）上显著降低了语言偏见（Shift值从100%降至79.03%）。 🔗 开源详情 代码：https://github.com/ChenWils/Contrastive_Audio-Aware_Distillation.git 模型权重：论文中未提及具体链接。 数据集：论文中提及了AccentDB、DailyTalk、IEMOCAP、PromptTTS、VCTK、VoxCeleb以及MCR-BENCH中的MELD子集，但未提供具体下载链接。 Demo：论文中未提及。 复现材料：论文中提及了训练配置（使用RTX A6000 GPU训练70小时，优化器为FusedAdam，学习率 \(1 \times 10^{-4}\)，\(\lambda=0.7\)，\(\tau=2.0\)），但未提供具体检查点或附录。 论文中引用的开源项目：未提及具体开源项目链接。 🏗️ 方法概述和架构 CAAD框架旨在将教师模型在推理时使用的对比解码（CD）能力，高效地蒸馏到单路径的学生模型中，避免推理时双路径计算带来的延迟。该框架分为两个阶段，如图1所示。 阶段1：伪真实标签（Pseudo-GT）生成 此阶段为后续的同步蒸馏准备统一的锚点序列。给定音频输入 \(X^{A}\)，首先提取文本元数据 \(M\)（如性别、情绪、声学环境等）。然后，利用教师模型的LLM骨干（如Llama3-8B-Instruct），以元数据 \(M\) 为条件，自回归生成一个结构化的描述性文本序列 \(Y^{pseudo} = \{y_1, y_2, ..., y_L\}\)。这个序列 \(Y^{pseudo}\) 被视为一个高质量的、与音频内容对齐的伪真实标签，将作为阶段2中教师模型双路径生成的固定输入序列，以实现训练过程的并行化。论文还探索了另一种直接从连续音频嵌入生成 \(Y^{pseudo}\) 的基线，但消融实验（表3）表明，基于文本元数据的锚点具有更高的保真度。 阶段2：对比音频感知蒸馏 在此阶段，教师模型 \(\mathcal{T}\) 和学生模型 \(\mathcal{S}\) 同时使用阶段1生成的 \(Y^{pseudo}\) 作为输入序列的一部分，进行同步计算。 ...

📄 Scaling Audio Models Efficiently: A Joint Study of Compute Constraints and Optimization Behavior #参数高效微调 #语音识别 #语音情感识别 #模型压缩 #大语言模型 7.2/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.8/1.5 | 复现 0.4/0.5 | 工程 0.4/1.5 ✅ 7.2/10 | 前50% | #语音识别 | #参数高效微调 | #语音情感识别 #模型压缩 | arxiv 👥 作者与机构 论文作者为 Vyom Agarwal, Mokshda Gangrade, Siddharth Pal, Jerry Wu。文中未明确提及作者所属机构。 💡 毒舌点评 这篇论文像是在用显微镜仔细观察一个众所周知的工程事实：模型越大、输入越多、算的越细，效果一般会越好，但算力不是无限的。其核心贡献“三轴框架”(\(x_N, x_T, x_V\))更像是一种标准化的观察视角，而非突破性的算法或理论。方法上，本质上是“控制变量法”（Star-Sweep）在模型缩放场景下的应用，组合了现成的LoRA和DAMA技术。实验很扎实，表格列得很满，Pareto前沿图也画了，结论基本符合直觉（例如收益递减、存在最优输入长度）。但“创新性”令人尴尬，更像是在ICASSP发的工作硬往顶会挤。审稿人看到“extends this idea to the audio domain”这种话大概会翻白眼。最大的亮点可能是清晰地揭示了ASR和SER任务在缩放特性上的本质差异（平滑前沿 vs. 稀疏前沿），但这更像是一个细致的实证发现，而非方法上的突破。 ...