英文题目：Reinforce Trustworthiness in Multimodal Emotional Support System

会议身份：conference:aaai:2026:conference-paper-id:40412

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#多模态学习 #强化学习 #大语言模型 #音视频 #语音情感识别

评分：7.1/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 1.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

  • Huy M. Le：机构信息未能从会议 PDF 纯文本可靠映射
  • Dat Tien Nguyen：机构信息未能从会议 PDF 纯文本可靠映射
  • Ngan T. T. Vo：机构信息未能从会议 PDF 纯文本可靠映射
  • Tuan D. Q. Nguyen：机构信息未能从会议 PDF 纯文本可靠映射
  • Nguyen Le Binh：机构信息未能从会议 PDF 纯文本可靠映射
  • Duy Minh Ho Nguyen：机构信息未能从会议 PDF 纯文本可靠映射
  • Daniel Sonntag：机构信息未能从会议 PDF 纯文本可靠映射
  • Lizi Liao：机构信息未能从会议 PDF 纯文本可靠映射
  • Binh T. Nguyen：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作处理以视频、音频和文本为输入的治疗式对话，输出包含用户情绪识别、系统情绪与策略预测及共情回复，难点在于非言语线索缺失与回复安全可控难以兼顾。所提多模态情绪框架MultiMood先以专用编码器抽取视觉与声学特征并经投影对齐到大型语言模型（Large Language Model，LLM）空间，再用基于状态空间模型的对话压缩器将长历史压缩为记忆表征，最后以监督微调加群组相对策略优化（Group Relative Policy Optimization，GRPO）与近端策略优化（Proximal Policy Optimization，PPO）的两阶段训练生成回复。与仅做文本或单做情绪识别的基线不同，该方法将多模态预测与七维心理学可信度奖励显式耦合到强化学习（Reinforcement Learning，RL）目标。在动态表情数据库（Dynamic Facial Expression in the Wild，DFEW）上加权平均召回率达到89.89%，显著高于EmotionLLaMA的77.06%，在多模态情感支持对话数据集（Multimodal Emotional Support Conversation，MESC）上用户情绪识别准确率58.60%与回复生成亦居首，但策略预测42.81%落后于SMES的49.00%。结论限于影视剧来源的仿真治疗数据与文本化人工评估，未在真实临床分布与语音交互部署中验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

🧭 深度解读

输入是什么，要解决什么困难？

这篇论文的输入是一个情感支持对话片段，包含四样东西：用户当前说的文本、同步的视频帧序列、同步的音频波形，以及更早的多轮对话历史。目标是让机器扮演支持者，输出既能识别用户情绪又符合治疗规范的回复。必须保留的信息是表情、语气和上下文，输出必须是情绪口吻加策略加语句三者一致。

作者强调的困难有两个层面。第一是信号缺失，多数现有系统只用文本，会丢掉语气、表情和手势。第二是输出不可靠，即使能识别情绪，生成回复也可能不自然、不安全或不符合伦理。举例来说，同样一句自责的话，配上低落语气和回避眼神，含义就是需要安抚而非追问细节。

本节第一张图是论文图 1 的实例对话，它把上述困难变成可直接观察的对比。顶部是一个男士谈及父亲和越南经历并表达无价值感的陈述，左侧配有视频小窗，下方配有音频波形。中间是既有方法的回复，继续追问责任含义，属于事实型追问。

看图路径： 1. 先看顶部用户框左侧视频小窗与下方连续波形，确认输入是视频加音频加文本；2. 再对比中间 Prior work 追问事实与底部 MultiMood 先共情再支持的两句回复；3. 最后看用户原文中自责与无价值感表述，理解事实追问为何显得冷漠

原论文 Figure 1：Example conversation illustrating the difference between prior systems and MULTIMOOD.

论文图 1。原论文 Figure 1：“Example conversation illustrating the difference between prior systems and MULTIMOOD.”。

从像素可见，顶部用户框确实同时呈现人物视频缩略图、英文陈述文本和下方连续波形，构成多模态输入的直观证据。中间框明确标为 Prior work，内容是反问责任含义，没有情绪安抚成分。底部框标为 MultiMood，包含肯定对方、理解艰难时期、明确陪伴支持等表述，情绪指向明显不同。这支持论文判断：既有方法偏向事实查询，而 MultiMood 试图先做情绪确认再给支持。

已有路线在输入、目标和监督上差在哪里？

要理解 MultiMood 的位置，需要按输入、目标和监督阶段做对照。第一条路线是情感支持对话系统，早期如基于认知行为疗法的对话智能体主要用文本，监督来自人工编写对话或单模态标注。第二条路线是多模态大模型，如 InternVideo2.5 和 VideoLLaVA，输入扩展到视频甚至统一图像视频表示，但目标不是治疗性回复。

第三条路线是情绪专用模型，如 EmotionLLaMA，用大量情绪样本做指令微调，目标是识别更准，但不直接优化回复可信度。第四条路线是 SMES 等多模态情感支持框架，已经同时做情绪识别、策略预测和回复生成，输入也是音视频文本。

与 SMES 相比，MultiMood 新增的是第二阶段强化学习对齐，监督来源从单纯标注扩展到可信度 7 维标准加相似度奖励。论文对比表显示，只有 MultiMood 同时覆盖 3 模态、有监督加强化学习和全部 5 种输出。初学者容易误以为模态越多越好，实际上关键是分工：视觉补表情，音频补韵律，文本补语义。

另一个常见误解是把可信等同于流畅。论文把可信拆成真实性、安全性、公平性、隐私、共情、可靠性和伦理指导 7 维，明确要求技术可靠与情绪敏感兼顾。这 7 维综合了 TrustLLM 技术价值、医患信任文献和情绪智力理论，是后续奖励设计的依据。

四个子任务如何定义，数据从哪里来？

论文把 1 次支持交互拆成 4 个可评估任务。任务一是用户情绪识别，用多模态线索判断来访者情绪。任务二是系统情绪预测，预测支持者应呈现的情绪口吻，例如保持中性以建立信任。

任务三是系统策略预测，从验证、反映、开放提问等治疗策略中选最优动作。任务四是系统回复生成，把选定口吻和策略写成自然语句。只有任务一在 MESC 和 DFEW 都被引用，任务二到任务四只属于 MESC。

这样的拆分让错误可定位：如果回复不好，可以先查是情绪判错、策略选错，还是语句组织不好。数据方面，MESC 取自电视剧治疗场景第一到第三季，包含 1019 段对话和 28762 句话，覆盖文本音频视频。

MESC 标注有 7 种情绪和 10 种治疗策略，最初用 GPT-3.5 标注再经专家修正。论文特别说明治疗者中性情绪占比较高，这与咨询实践中保持中立一致。DFEW 是电影中动态表情数据库，包含超过 16000 个视频片段，同样标有 7 种情绪，但带有光照变化、遮挡和姿态变化等干扰。两个数据都不是真实治疗记录，论文在局限中明确承认这一点。

一个样本走完需要经过哪些步骤？

沿着一个样本走一遍最清楚。假设用户刚说完一段自责的话，系统同时拿到视频帧、音频、当前提示词和历史对话。第一步是分路编码：视频走视觉编码器加时空连接器，音频走 BEATs 编码器加线性投影。

第二步是拼接融合：把视频、音频、历史向量替换模板中特殊标记，与文本向量拼成一个长输入序列送入大语言模型。第三步是联合预测：大模型同时输出用户情绪、系统情绪、策略标签，并生成回复文本。第四步是强化对齐：在有监督微调后，再用可信度加相似度奖励做优化。

下图是论文图 2 总览，左侧 4 路输入与中间拼接和右侧评估加强化分支布局值得细看。它把可训练与冻结、拼接位置、评估指标和强化更新箭头画在同一张图里，是复述方法全景的关键依据。

看图路径： 1. 先沿左侧四路输入到中间灰色拼接条再到蓝色大模型的主箭头走一遍；2. 再看视频编码器与音频编码器上冻结标记与投影器上可训练标记的区别；3. 最后看右侧 GRPO 多回复打星与 PPO 单回复走奖励模型的两个强化分支

原论文 Figure 2：MULTIMOOD overview. Multimodal architecture that processes video, audio, text, and historical…

论文图 2。原论文 Figure 2：“MULTIMOOD overview. Multimodal architecture that processes video, audio, text, and historical conversation data through dedicated encoders.”。

从像素可见，左侧从上到下依次是文本提示经分词器、文本历史经对话压缩器再经历史投影器、视频经视频编码器再经时空连接器、音频经音频编码器再经音频投影器。4 路汇入中间灰色竖条的提示、历史、视频、音频槽位，再进入蓝色大语言模型竖条。中间上方是评估框，列出准确率、F1、BLEU、ROUGE、BERTScore、人工评估和大模型评估。右侧上方是 GRPO 框，1 次生成 4 个候选回复并按星级打分接入奖励函数，下方是 PPO 框，单个回复走奖励模型。底部有强化更新箭头指回大语言模型，图例明确区分可训练、冻结与拼接。

三路编码器与压缩器如何分工？

视觉分支先用基于 CLIP 的视觉编码器从帧序列提特征，再用时空卷积连接器捕捉空间与时间动态，最后投影到语言模型空间。音频分支用 BEATs 提特征，再用线性投影映射到同一空间。文本分支直接分词，历史分支用压缩器压成记忆向量再投影。

这种多塔加各自投影的设计理由是不同模态节奏和维度不同，统一编码器难以兼顾，而各自投影后再拼接可让注意力动态权衡语气与表情。整体输入输出关系在论文中写成一个映射，符号含义是输出文本由大模型、编码器组、预处理器、压缩器和输入元组共同决定。

\[ˆO = Ψ(ϕ, E, Ω, C, P),\]

该式中输入元组包含音频、视频、提示词和历史，输出是文本，大模型骨干来自 VideoLLaMA2 预训练权重。视觉特征提取写成视频先经预处理再经视觉编码器，音频则是先经音频编码器再经投影。

\[EV = Evis(Ω(Video)).\]

沿样本回指：视频向量回答表情如何，音频向量回答语气如何，文本向量回答字面说什么，历史向量回答此前发生了什么。

多模态编码 × 情感支持四任务： 多模态编码负责把视频表情动作、音频韵律音色、文本语义分别变成大模型可读向量，情感支持四任务负责规定这些向量要解决什么：用户情绪识别、系统情绪预测、策略选择和回复生成，二者搭配的原因是只有先把非语言信号显式送入模型，后续策略和回复才有依据，组合后新增的作用是让回复同时对齐表情、语气和文字。

长历史会带来计算与显存压力，压缩器做法是给每轮对话追加记忆标记，把角色、内容、情绪标签和策略标签拼成扩展序列。再用 Mamba 骨干顺序处理，只取出记忆标记位置隐状态，经可训练记忆投影器送入大模型。预训练先冻结大模型做重构，再端到端微调适应下游任务。

下图是论文图 3 压缩器结构与预训练示意，左侧是重构环路，右侧是重复堆叠的内部块，理解该图是理解效率来源的关键。

看图路径： 1. 先看左侧从底部对话历史经压缩器到历史投影器再进冻结大模型重构的环路；2. 再看右侧 N 乘重复块内卷积加激活加选择性状态空间模型的双路结构；3. 最后确认输出端归一化后只保留蓝色小方块表示的压缩记忆

原论文 Figure 3：ConvCompressor architecture and pretraining.

论文图 3。原论文 Figure 3：“ConvCompressor architecture and pretraining.”。

从像素可见，左侧底部是对话历史，向上经橙色压缩器到历史投影器，再与系统提示拼接后进入顶部浅蓝色冻结大模型，最终输出重构的对话历史。右侧灰色大框内是 N 乘重复结构：输入先经投影，一路经卷积加激活加选择性状态空间模型，另一路经投影加激活，两路相乘后再投影。最后与残差相加并归一化，输出蓝色小方块表示的压缩记忆，说明压缩不是丢弃而是用门控选择保留关键信息。

ConvCompressor × Mamba 状态空间模型： ConvCompressor 负责把很长多轮对话历史压成少量记忆向量，Mamba 状态空间模型负责提供线性复杂度的序列处理骨干，二者搭配的原因是 Transformer 处理长历史是平方复杂度而 Mamba 可顺序累积状态，组合后新增的作用是在每轮末尾只取记忆标记位置状态再投影给大模型，从而用极少 token 保留角色情绪和策略标签。

复述时注意压缩器监督先来自重构，后来自下游四任务，两个阶段目标不同。论文还引入随机模态选择机制，以一定概率只选音频、只选视频或两者都选，目的是推理缺失某模态时仍稳健。

两阶段训练与奖励如何计算？

训练分两个阶段。第一阶段是有监督微调，在 MESC 上用多模态数据微调整个框架，视频用 SigLIP-So400M-Patch14-384，音频用 BEATs，压缩器基于 Mamba-370M。骨干来自 VideoLLaMA2，并配合随机模态选择增强鲁棒性。

第二阶段是可信度感知的强化学习，先定义 7 维可信标准集合，再用 GRPO 做组内比较优化，用 PPO 做截断稳定更新。奖励由两部分平均得到：相似度奖励用 BGE-M3 经 ColBERT 的稠密、稀疏与交互相似度加权归一到零到一。

可信度奖励用 GPT-4o 按句打分再平均并缩放到零到一。论文说明选用 GPT-4o 是因为其在数据标注与安全机制上已有依据，但也在局限中承认这可能引入偏差。相似度奖励的计算形式是把 3 类相似度加权求和再缩放，权重为一、0.3、一。

\[rsim = scale (simC + 0.3 sims + simd)\]

最终奖励是可信度与相似度的平均，该设计意图是既不偏离参考回复内容，又不违背治疗伦理。需要区分的是原始目标是符合治疗标准的支持行为，近似是把该目标拆成可计算的两个分数。

\[r(y|x) = 1\]

优化步骤是 PPO 与 GRPO，停止梯度与散度惩罚细节原文未给出完整公式，复述时应明确指出这一缺项而不猜测。

GRPO × PPO： GRPO 负责在同一组多个候选回复内部做相对比较以细粒度对齐治疗标准，PPO 负责用截断更新和散度惩罚保持学习稳定，二者搭配的原因是只做组内比较容易漂移而只做稳定约束又缺方向，组合后新增的作用是先有监督微调学会格式内容，再用强化学习同时保证流畅安全和伦理一致。

可信度奖励 × 相似度奖励： 可信度奖励负责用 GPT-4o 按句打分再平均衡量回复是否符合 7 维治疗标准，相似度奖励负责用 BGE-M3 经 ColBERT 的稠密稀疏与交互相似度衡量与参考回复的贴近程度，二者搭配的原因是只追求像参考回复会复制平庸表达而只追求可信会偏离上下文，组合后新增的作用是以两者平均值作为最终奖励同时约束方向与内容。

实验在 4 块 H100 上完成，覆盖大模型训练、多模态投影器训练、压缩器训练和强化训练。初学者应记住顺序：先有监督学会任务格式，再强化对齐可信，颠倒顺序会导致奖励难以利用。

用什么数据、基线和指标保证条件可比？

生成评估用 BLEU-2、ROUGE-L 和 BERTScore 衡量治疗者回复，数值越大越好。MESC 分类用准确率和加权 F1，DFEW 用非加权平均召回率与加权平均召回率。指标方向均为越高越好，分类看判对比例，生成看与参考回复的字面与语义贴近度。

基线分 3 类：闭源与大参数文本模型如 GPT-4o、Grok、Claude-3.7、DeepSeek-R1、LLaMA4，未微调是因资源限制。开源视觉语言模型如 Qwen2、Qwen2.5、EmotionLLaMA、VideoLLaMA2、VideoLLaMA3、VideoLLaVA 和 InternVideo2.5-8B，在 MESC 上做有监督微调并部分加 PPO。

专用框架如 SMES、MMGCN、MMDFN 和 BlenderBot 也纳入比较，其中 BlenderBot 受益于领域检索工具。论文说明大参数与闭源模型未微调，因此与微调后 MultiMood 对比时规模与训练状态并不完全对等。解读胜负时必须保留这一条件差异，不能只看数字大小。

人工评估请了 4 名有情感支持研究背景且雅思总分不低于 7 分的研究生，先培训再在 100 条验证样本上达到一致性阈值才上岗。标注时 2 人独立标注，不一致由第三人裁决，仍不一致由第四人定多数标签。大模型评估用 GPT-4o、Claude 与 Grok-3 做裁判，按 7 维可信标准打分。复现时要核对数据集版本、划分、聚合对象和是否微调。

主结果显示了什么收益，哪里没有赢？

先提出比较问题：在相同 MESC 四任务与 DFEW 表情任务下，多模态加强化对齐是否同时提升识别与生成，以及代价是什么。公平条件是区分已微调与未微调基线，指标方向均为越高越好，分类看准确率与召回率，生成看 BLEU 与 ROUGE 与 BERTScore。

下表整理论文直接报告的关键数字，第一组是 DFEW 表情识别的平均召回与厌恶类准确率，第二组是 MESC 回复生成的 3 个指标，第三组是策略预测准确率以展示未胜出项。

条件指标基线参照本方法比较对象
DFEW 表情识别非加权平均召回率与加权平均召回率先前方法在厌恶类表现挣扎85.94% 与 89.89%，厌恶 78.38%IAL 与 VideoMAE 与 S2D 与 EmotionLLaMA
MESC 回复生成BLEU-2 与 ROUGE-L 与 BERTScore优于文本模型与 SMES6.18 与 17.86 与 86.80GPT-4o 与 LLaMA4 与 VideoLLaMA2-7B 与 SMES
MESC 策略预测准确率BlenderBot 微调 48% 与 SMES49%42.81%BlenderBot 与 SMES

表后解释需要同时讲收益与代价。收益是 DFEW 上非加权平均召回率 85.94% 与加权平均召回率 89.89% 均为最优，且在长期欠表示的厌恶类达到 78.38%，远超先前方法接近零或低分的情况。MESC 回复生成中 BLEU-2 为 6.18、ROUGE-L 为 17.86、BERTScore 为 86.80 均为报告最优，支持有监督加 GRPO 对流畅与上下文对齐的增益。代价同样明确：策略预测准确率 42.81% 低于 BlenderBot 微调的 48% 和 SMES 的 49%，论文解释为设计优先通用而非单任务专用，且受类别不平衡与缺少外部检索影响。系统情绪预测多数微调模型超过 90% 准确率，但这是因为约 90% 标签为中性，数据偏斜使高准确率不能直接等同于能力强。

压缩与强化各自带来什么变化？

比较问题是：在保持 3 模态输入的前提下，加入对话压缩器与加入 GRPO 分别改变什么。公平条件是看同一 MultiMood 骨干的不同变体，指标仍是分类准确率加权 F1 与生成三指标，人工占比越高越好。压缩看 token 削减与性能保持，强化看流畅舒适与总体占比。

下表整理论文报告的消融含义：压缩带来极大 token 节省但伴随小幅性能波动，强化带来生成与可信评估的同步提升，两者解决的是不同问题。

条件指标未加组件本方法变体关键代价
对话历史压缩token 削减与总体性能未压缩基线98.6% 削减并保持可比性能可能因信息丢失影响精度
强化对齐流畅与舒适与总体占比有监督版本较低55% 与 56% 与 58%依赖 GPT-4o 打分可能引入偏差

表后解释要区分两个效应。压缩的收益是显存与计算效率，论文报告 98.6% 的 token 削减，这对长对话部署意义重大。代价是论文明确指出压缩可能损害性能，带压缩变体在用户情绪识别与策略预测上略低于不带压缩对应版本，因此不能把效率提升说成全面提升。强化的收益在人工与大模型评估中一致，强化版在流畅 55%、舒适 56%、总体 58% 上明显高于仅有监督版本与 Qwen2-7B 基线。大模型裁判在真实性、安全性、公平性、隐私、共情、可靠性和伦理指导 7 维上也给强化版更高平均分，但裁判本身包含 GPT-4o，而 GPT-4o 也参与奖励打分，存在循环评价风险。

哪些边界尚未验证，不能承诺什么？

论文用独立章节承认 4 个局限。第一是策略预测弱于 BlenderBot，原因包括类别不平衡与缺少外部检索。这意味着在需要精确选择治疗动作的场景中，通用框架可能不如专用检索增强方法。

第二是资源限制导致某些多模态框架无法微调，例如大参数 VideoLLaMA2 与闭源模型，这使得跨规模比较不够稳健。第三是用 GPT-4o 做可信评估可能引入偏差，且该偏差会通过奖励函数进入训练。

这种自我印证风险是初学者最易忽略的：训练信号与评价裁判来自同一模型，分数提升不完全等于独立能力提升。第四是数据真实性不足，MESC 来自电视剧治疗场景，DFEW 来自电影片段，都不是真实治疗记录。

领域内普遍缺真实数据，但这限制了向临床的直接推广。对于初学者，关键是区分已报告、有限解释与未验证推测。已报告的是数字胜负，有限解释的是对偏斜与偏差的原因分析，未验证的是能否用于真实心理治疗。论文未测量误判率、延迟、推理开销与实际部署成本，因此不能承诺这些量得到改善。总体趋势不等于每组都成立，例如系统情绪高准确率主要来自中性标签偏多。

要复现应先做什么，需要补哪项验证？

复现先做三件事。第一是确认资源状态：论文声明代码在指定仓库，当前资源状态为可用且状态码为 200。可以先拉取仓库核对数据加载、视频用 SigLIP、音频用 BEATs、压缩器用 Mamba-370M 与骨干用 VideoLLaMA2 的接口是否一致。

第二是按阶段复现：先跑有监督微调得到四任务基线，再跑压缩器重构预训练与端到端微调，最后跑 GRPO 与 PPO 强化。注意保留随机模态选择的概率设置与奖励权重，相似度权重为一、0.3、一，最终奖励为两者平均。

第三是复刻评估：分类看准确率与加权 F1，DFEW 看非加权与加权平均召回率，生成看 BLEU-2、ROUGE-L 与 BERTScore。人工评估需满足培训与一致性阈值，大模型评估需固定裁判版本与提示。何时值得尝试要看需求：如果任务需要同时利用表情、语气与文本，且对安全伦理有明确要求，该框架值得参考。

还需补的验证包括：在更贴近临床的对话上测试泛化，替换 GPT-4o 之外的独立裁判以检验奖励偏差。补充推理延迟、显存占用与长对话下的稳定性测量，以及在类别均衡或检索增强条件下重测策略预测。论文未报告部分超参数与梯度路径细节，复现时不应从模型名称推定实现，缺项应以仓库代码与日志为准。如果只需要单任务最高准确率或资源极度受限，则应优先考虑专用小模型或纯文本方案。

一句话收束：何时用这个方法，何时不用？

综合来看，MultiMood 的贡献是把多模态感知与可信对齐放在同一管线里：感知解决看不见情绪的问题，对齐解决敢不敢用生成回复的问题。压缩解决长历史放不下的问题，三者分工不同，不可互相替代。

证据支持它在 DFEW 表情识别与 MESC 回复生成上达到报告最优，并在人工与大模型可信评估上因强化而提升。但证据同样显示它在策略预测上未胜出，在压缩效率与精度之间存在权衡，在评估独立性与数据真实性上存在边界。

因此，复述方法时应完整说出输入到表示到组件到目标到输出的链条，引用数字时保留数据集、基线、阶段、指标与聚合对象。不把自动指标当成人评，不把末步最优推广为全程最优，这才是对语音音乐音频方向研究生最有用的复述方式。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1
  • 评分模型：muse-spark-1.3-contributor
  • 评分请求协议：openai_responses

← 返回 aaai-2026 论文汇总