稀疏线索与异步冲突下,如何让情绪分析先取证再推理
针对视觉听觉情绪线索稀疏且时间不同步导致隐式融合稀释与纠缠的问题,EmoThinker 用结构化 token 选择提纯面部与声音证据并用 CoET 数据集做分步推理,在 DFEW 等基准上报告了最高分,但背景丢弃与长尾类别仍带来代价与不稳定。
针对视觉听觉情绪线索稀疏且时间不同步导致隐式融合稀释与纠缠的问题,EmoThinker 用结构化 token 选择提纯面部与声音证据并用 CoET 数据集做分步推理,在 DFEW 等基准上报告了最高分,但背景丢弃与长尾类别仍带来代价与不稳定。
针对文本主导、音频视觉被压制且噪声鲁棒性差的问题,EBMC 用解耦加补偿先增强弱模态、再用能量协调与样本级信任蒸馏拉平贡献,在 MOSI/MOSEI/IEMOCAP 上取得可复述的提升,代价是两阶段多损失联合调参与额外蒸馏计算。
共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读
论文在五个语音情绪数据集上零样本评测 Qwen2-Audio 并用多组多类公平指标审计,发现其总体预测分布较均衡但总体准确率平等性差距大,且解码温度超过 0.7 会同时损害准确率与公平性。
论文提出第一人称自我情绪追踪任务,用 110 小时智能眼镜数据的开放词表时间线与五任务基准支撑 OSIRIS 模型,该模型以对话历史加情绪记忆加分步推理取得领先,但仍受日常社交场景与文化覆盖限制。
针对可学习查询缺乏显式情感语义的问题,论文用固定数量的多模态情感原型作软提示并冻结大模型主干,在四个数据集和三种大模型上取得可复述的精度提升,而可训练参数仅占极小比例。
该文以固定 Wav2Vec2-XLSR 基线检验语系分组对跨语言语音情感识别的影响,最强证据是同语系内留一语言泛化优于跨语系泛化,而代价是跨语系直接迁移大幅掉点且受数据量与标注不一致制约。
针对只有全局共有与单模态私有两类表示会漏掉仅在两个模态之间成立的情感协同的问题,论文把表示分成公共、两两共享、私有三路并用子空间感知交叉注意力融合,在对齐与非对齐条件下报告了更低的平均绝对误差与更高的细粒度准确率,代价是更多分支与正则项需要逐项验证。
共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读
共收录 199 篇 acl-2026 会议论文的 Reader 深度解读
针对神经语音编解码器量化后情绪线索易失真的问题,AffectCodec 用量化前情感语义调制、第 1 层关系蒸馏和情绪加权语义对齐 3 步保留情绪,同时报告了在重建相似度、EMO-SUPERB 识别和零样本合成上的增益与内容保真代价。
针对声音匿名化中情感保留被硬标签平均召回低估不确定性的问题,该研究把语音情感识别输出换成概率与对数值并比较原始与匿名化嵌入距离,用 23 人 MUSHRA 主观评分为准,发现概率向量欧氏距离与人耳判断高度相关且不再依赖真值标注,但属性预测表示仍弱于类别表示。
针对全模态情感推理中模型过度依赖视觉而忽视声音与文本的模态坍缩问题,该工作用带引导词的结构化推理数据做冷启动,再用基于引导词熵的奖励做强化学习校准模态使用,在四个情感基准上取得多项最优并保留通用能力,代价是对极端长尾类别与强模态冲突仍敏感。
针对对话中模态缺失切断细粒度跨模态因果链的问题,CaM-HG 采用先由历史条件混合专家补全再由非对称因果动态超图挖掘的路线,在 IEMOCAP 等 3 套基准上报告了高缺失率下更慢的衰减,但连续极端缺失与结构因果解耦仍是边界。
CMTD 针对纯文本与浅层推理在对话情绪识别中误判复杂思维模式的问题,用多智能体分别提取大五人格特质、四步认知扭曲、表情与语音描述再融合预测,在 MELD 与 IEMOCAP 零样本条件下报告优于同条件基线的准确率,同时以多轮大模型调用带来明显更高的时间与费用开销。
该研究以语音情绪识别为探针比较四种神经元选择器,用失活与放大的自对交叉对照验证情绪敏感神经元的存在,其中均值偏离与对比间隔选择器显示约 11–15 个准确率点的自效应而交叉影响接近零,但标签无关的联合放大效果不稳定且存在跨数据集部分迁移的代价与边界。
针对文本与音频信息量不等且离散分类忽略情绪远近的问题,EMART 以文本为主做音频参照融合,并用情绪轮角度约束对比学习,在 IEMOCAP 和 MELD 上报告了可复核的准确率与 F1 提升,但未引入视觉且依赖音频编码器选择。
EmotionTalk 用 19 名演员主题即兴的 23.6 小时双人对话同时给出 7 类离散标签、连续强度与四维说话风格描述,并以单模态、多模态融合与生成式描述三类基准验证了跨模态不一致带来的难度与融合的必要性。
针对共情语音指令数据稀缺与微调大模型易遗忘问题,论文用冻结大模型加语义适配器与情绪抽取器的解耦编码与三阶段对齐,仅用现有语音指令与情绪识别数据实现共情理解与富有表现力语音生成,在共情对话与情绪识别等任务上报告更强结果,但情绪标签随机指派与韵律监督仍有边界。
针对多模态情感回归在测试时分布偏移下的适配问题,GMEL 用 vMF 混合建模潜在情感分组提供自监督,并用多尺度重 dropout 保持模态完整性,在三数据集五种跨域设置上报告平均 ACC 提升 2.53 个百分点、F1 提升 3.70 个百分点、MAE 降低 0.05,代价是需离线访问全部目标数据并估计分组数。