📄 只看听者脸、只听说话声：如何推断听者的情绪反应
标签：#语音情感识别 | #领域适应 | #半监督学习 | #音视频 | #大语言模型
评分：5.8/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Wei Wang：Guangdong University of Technology, Guangzhou, China
- Zhaowu Li：Guangdong University of Technology, Guangzhou, China
- Jianjie Luo：Guangdong University of Technology, Guangzhou, China
- Fu Lee Wang：Hong Kong Metropolitan University, Hong Kong, China
- Lap-Kei Lee：Hong Kong Metropolitan University, Hong Kong, China
- Zhenguo Yang：Guangdong University of Technology, Guangzhou, China
📌 核心摘要
交谈者情绪识别要求从听者视频、说话人音频和对应文本推断听者情绪，输出为中性、愤怒、高兴、悲伤、担忧、惊讶六类之一，难点在于训练标签标注的是说话人且无标注听者数据可用，说话人表情与标签常不一致，听者细微反应又依赖说话人上下文才能区分。角色感知视觉迁移（Role-aware Visual Transfer，RVT）先用视觉语言模型委员会保留表情与标签一致的说话人样本并训练初始视觉教师，再用说话人检测筛选非说话听者轨迹并以高置信度伪标签向听者域适配，结合整体表情分支与局部行为分支形成听者视觉专家。刺激引导边界推理（Stimulus-guided Boundary Reasoning，SBR）只在视觉前两名分差小于阈值时启动，把说话人音频预测与文本组织为诱发刺激证据，并将大语言模型选择限制在视觉前二候选内。与已有把三模态同等视为同一人证据的融合做法不同，该框架区分听者直接证据与说话人刺激上下文，避免用说话人情绪覆盖视觉判断。在 MER-Cross 测试集上以加权平均 F1（Weighted Average F1-score，WAF）为官方排序指标，该框架达到 76.25%，高于 CLIP-large 基线。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇论文要解决什么输入输出问题
这篇论文研究的是对话中的听者情绪识别。测试时给一段听者视频，配上同一时刻说话人的音频和文字转写，目标是判断听者此刻的情绪。类别集合是 6 类：中性、生气、高兴、悲伤、担忧、惊讶。训练时没有带标签的听者样本，只有带标签的说话人样本，即说话人的视频、音频、文字和说话人情绪标签，外加一个没有角色和情绪标注的会话视频池。
也就是说，输入的 3 个模态分属两个人：视频直接拍的是听者的反应，音频和文字描述的是说话人刚说的内容，只能算引起反应的刺激，不能直接当作听者情绪的观测。输出是一个六选一的听者标签。论文的应用动机是情感自适应教学和社交机器人，这类系统需要根据用户的情绪反应调整行为。理解这个角色分离是读懂全文的前提，后面所有筛选和推理的约束都围绕它展开。
已有三条路线为什么不能直接搬过来
论文回顾了 3 条相关路线，并指出它们的目标或假设与听者任务不一致。第一条是会话情绪识别，如记忆网络、对话图网络和常识增强模型，它们建模上下文和说话人之间影响，但预测对象仍是当前说话人，输入模态默认描述同一个人。第二条是带伪标签的视觉迁移，如置信度筛选的一致性训练和类别均衡伪标签，它们假设源和目标语义一致，没有检验情绪是否在脸上可见，也没有区分说话与倾听角色，初始模型的错误可能被放大。
第 3 条是大语言模型情境推理，如多模态指令微调和思维链分解，它们通常把视听文字都当作同一主体的证据，在全标签空间推理，对提示和虚假线索敏感。听者反应合成工作虽然关注听者，但目标是生成动作而非识别真实听者视频的情绪。因此论文认为需要一条听者中心的路线：先解决视觉监督错位，再谨慎使用说话人语境。
同为生气，说话人和听者的证据为何不同
论文用生气的例子说明角色条件下的证据错位。说话人可能语气很冲、用词很冲，但脸上表情很淡，此时的生气标签主要靠音频和文字支撑，若拿来训练人脸模型就是噪声监督。听者的生气则直接写在脸上，如皱眉、注视、抿嘴，音频文本只是背后的诱因。训练标签描述说话人、预测目标却是听者，且没有标注好的听者训练样本，这是第一重困难。第二重是说话人标签不一定有视觉支撑。
第三重是若把 3 个模态都当作同一人的证据做融合，容易把说话人情绪搬到听者身上。论文的解决思路是视觉模型只信听者脸，说话人内容只在视觉拿不准时用来区分长得很像的反应，并且推理范围被锁死。
说话人标签 × 听者反应： 说话人标签描述说话人那句话的情绪，依据可能在声音或文字里；听者反应指听者在听到这句话时脸上表现出的情绪。两者角色不同、证据位置不同，直接把前者当后者的视觉监督会错位，所以后文要先筛选视觉上成立的说话人样本，再到听者域重建监督。
下面这张对比图把上述错位具体化，上排是标签靠声音文字支撑的说话人，下排是情绪直接可见的听者，读图时注意两者面部变化幅度和文字框对证据角色的标注。
看图路径： 1. 对比上下两条胶片中人物面部变化幅度；2. 看每条下方文字框如何标注视频与音频文本的证据角色；3. 看底部总结句如何把同标签不同视觉证据与后续筛选联系起来
论文图 1。原论文 Figure 1.：“Role-conditioned evidence mismatch. (a) The speaker’s angry label is supported mainly by audio and text despite weak facial affect.”。
上排 6 帧人物表情变化不大，下方标注为面部表情微弱、音频为生气韵律、文字为质问句，结论是音频文字与标签一致但对听者迁移是弱视觉监督。下排 6 帧人物眉头收紧、注视固定、嘴唇收紧，下方标注说话人音频文本只是诱发语境、听者视频才是直接目标证据。底部总结点明同一生气标签对应不同视觉证据，因此要先做视觉 grounded 的源选择，再做听者域自举。这张图是后文两模块分工的直观依据。
整体流程如何分工而不互相覆盖
方法名为听者中心、角色感知刺激引导框架，简称 RASG，包含两个模块。第一个模块是角色感知视觉迁移，负责在没有标注听者数据时建出听者视觉专家。它先挑视觉上成立的说话人样本训练初始老师，再到无标注池里捞不说话的人脸轨迹，用高置信伪标签做听者域适配，最后融合整体语义和局部行为两个分支。
第二个模块是刺激引导边界推理，只处理视觉分布中前 2 名差距很小的样本，把说话人音频预测、置信度和文字转写连同完整视觉分布一起组织成带角色标注的证据，再让 DeepSeek 推理器在视觉前 2 类中二选一。视觉自信的样本不触发语言模型，直接取视觉第 1 名。训练目标只有视觉部分的交叉熵，推理器在推理时调用、不引入训练损失。
读总体结构图时，先看左侧源筛选与自举的主路径，再看右侧低间隔路由与约束推理的调用顺序，注意听者预测模型何时冻结、何时只输出分布。
看图路径： 1. 沿左上标注说话人样本到视觉对齐子集再到视觉老师的箭头看源筛选路径；2. 看左下无标注样本经 TalkNet 到听者样本再到伪标签与双专家融合的路径；3. 看右半部分听者预测模型到结构化证据再到三步约束推理的调用顺序
论文图 2。原论文 Figure 2.：“Overview of RASG. (a) RVT: Visually Aligned Speaker Supervision, Listener-domain Bootstrapping, and Listener Visual Expert Training.”。
左上标注说话人样本经异构视觉语言模型委员会进入视觉对齐子集，再训练视觉老师；左中无标注样本经 TalkNet 得到听者样本并打伪标签；左下双专家经概率融合得到听者视觉情绪预测。右上听者视频加说话人音频转写进入听者预测模型，输出结构化情绪证据；右中经角色感知证据绑定、刺激反应一致性、闭集情绪解码三步得到听者情绪示例为高兴。图中火焰与雪花标记区分可训练与冻结部件，箭头表明语境只在视觉之后介入，不覆盖自信的视觉判断。
如何挑出脸上能看出来的说话人样本
这一步要解决源监督不可靠的问题。做法是用 4 个异构多模态视觉语言模型组成委员会：Qwen-VL-Max、GPT-4o、Gemini 2.5 Pro 和 InternVL3-78B，每个只看说话人视频独立判断视觉情绪。记第 m 个模型对第 i 个说话人视频的预测，与数据集原标签一致记 1，否则记 0，平均即为一致率。该一致率检验的是原标签能否仅从视觉恢复，而不是替换原标签。只保留一致率达到阈值的样本，构成视觉对齐的说话人子集。然后用 CLIP 编码器加 LoRA 在此子集上适配，得到初始视觉老师，减少受语言或声音主导的标签的影响。
\[q_{i}=\frac{1}{M}\sum_{m=1}^{M}\mathbb{I}\left(\widetilde{y}_{i,m}^{v}=y_{i}^{s}\right),\]上式说明一致率是对委员会投票取平均，输入是各模型的纯视觉判断，输出是该样本视觉支撑强度的估计。
\[\mathcal{D}_{s}^{va}=\left\{\left(V_{i}^{s},y_{i}^{s}\right)\mid q_{i}\geq\tau_{c}\right\},\]上式说明保留规则是阈值过滤，输入是一致率，输出是用于训练老师的子集。该设计的代价是需要调用 4 个大模型做一次离线判断，且阈值选择影响保留量与纯净度的权衡，原文未报告阈值具体数值与保留比例，这是复现时需要补记的一项。
如何从无标注池里捞出真正的听者轨迹
这一步要解决目标域没有标注且角色混杂的问题。方法用 TalkNet 检测 124802 个无标注视频中每个可见人脸是否在说话，只保留在对应说话人说话期间全程不说话的人脸轨迹，作为严格的听者候选。用上一步的视觉老师对每条听者视频输出 6 类分布，取最大概率类为伪标签、最大概率值为置信度。再做双重过滤：必须满足听者约束，且置信度达到阈值，才进入听者伪标签集。角色过滤保证监督属于正确的人，置信度过滤保证视觉情绪可靠，两者共同构成听者域监督。
\[\mathbf{p}_{j}^{T}=\operatorname{softmax}\left(f_{T}\left(V_{j}^{l}\right)\right),\]上式说明老师前向得到分布，输入是听者视频，输出是 6 类概率。
\[\widehat{y}_{j}^{l}=\arg\max_{k\in\mathcal{C}}p_{j,k}^{T},\qquad c_{j}=\max_{k\in\mathcal{C}}p_{j,k}^{T}.\]上式说明伪标签取分布最大值对应类别，置信度取该最大值，输入是分布，输出是待筛选的标签与权重。
\[\mathcal{D}_{l}^{p}=\left\{\left(V_{j}^{l},\widehat{y}_{j}^{l},c_{j}\right)\mid r_{j}=1,\;c_{j}\geq\tau_{p}\right\},\]上式说明保留条件是角色指示为 1 且置信度达标，输入是轨迹与置信度，输出是伪标签集。这里的代价是说话检测错误会漏掉或混入样本，高阈值虽更干净但会减少覆盖，原文未报告阈值与最终伪标签数量分布，分析类别偏移时需要留意。
视觉对齐筛选 × 听者域自举： 视觉对齐筛选指只保留光看脸就能判对的说话人样本，用来训练初始视觉老师；听者域自举指用该老师到无标注会话池里找不说话的人脸轨迹并打伪标签。两者分工是先保证源监督在视觉上干净，再把监督迁移到目标角色，组合后得到听者中心的训练集。
听者视觉专家如何融合整体与局部线索
听者视觉专家由两个分支在概率层融合。CLIP 分支从说话人训练来的老师出发，冻结原始 CLIP 参数，只更新低秩矩阵和情绪头，输入是听者视频每帧经适配编码器得到的特征，经时间池化再过情绪头得到分布。OpenFace 分支是固定的面部行为提取器，输出动作单元、视线、姿态及时间描述符，再经行为分类器得到另一份分布。两者按权重加权得到最终视觉分布，保留完整分布而不只取硬标签，以便后续计算间隔和候选。
CLIP 捕捉整体外观与表情语义，OpenFace 补充细微动作与头眼变化，对含蓄的听者反应有互补作用。论文的训练是序贯的：先训老师，再做听者域 CLIP 适配与行为分类器训练，目标函数形式上写成三项加权，但按图示顺序优化。
CLIP 语义分支 × OpenFace 行为分支： CLIP 语义分支看整脸外观和表情语义，OpenFace 行为分支看动作单元、视线、头姿及时间变化等局部行为特征。两者都是对同一段听者视频打六类分布，再按权重融合为视觉分布，组合后兼顾整体表情和细微动作，保留置信度和竞争类别供后续推理使用。
该融合的代价是推理时要同时跑 CLIP 编码与 OpenFace 提取加两个头，计算量高于单一 CLIP 基线，但论文未报告延迟与显存开销，不能据此承诺实时性。
何时才请语言模型以及如何限制它
视觉专家能处理典型反应，但含蓄的脸可能落在类别边界，如低落的脸在中性、悲伤、担忧之间难以区分，此时说话内容有助于消歧。方法设决策间隔为视觉分布第一与第二概率之差，间隔大表示视觉偏好明确，无需语境；间隔小于阈值则路由给 DeepSeek 推理器，并把候选集合限定为视觉前二。对被路由样本，官方声学模型先对说话人音频给出情绪与置信度，再与完整听者分布、间隔、前二候选和文字转写一起编码为带角色标注的交互证据。
提示词做三件事：绑定直接听者证据与说话人刺激证据、检查语气内容如何引发反应、在前 2 类中解码。最终预测是分段函数：间隔达标取视觉第一，否则取推理器在前二中的选择。这种排序保证说话人情绪不会成为预测目标，只允许刺激信息解决视觉模糊。
决策间隔 × 二选一约束推理： 决策间隔指视觉分布中第一与第二候选概率之差，衡量视觉是否拿得准；二选一约束推理指只在间隔小于阈值时请 DeepSeek 在视觉前二类中选一个。两者搭配是视觉自信时直接输出、不让语境覆盖，视觉模糊时才引入说话人音频文本作诱因解释，组合后把语境的作用限制在边界样本上。
直接证据 × 诱发语境： 直接证据指听者视频本身对听者情绪的观测；诱发语境指说话人音频文本描述的是引起反应的刺激，而非对听者状态的直接观测。论文要求在证据构造时标注角色，把前者作为目标证据、后者作为刺激上下文，组合后避免把说话人情绪直接搬成听者预测。
该设计的代价是每次模糊样本都要构造证据并调用大模型，且输出被锁在视觉前二，若视觉前二本身不含真值则无法纠正。原文未报告路由比例与阈值敏感性，这是判断成本与收益的关键缺项。
训练目标与参数更新范围是什么
论文明确所有可训练视觉部件都用标准交叉熵，推理用的 DeepSeek 不引入训练损失。老师在视觉对齐说话人子集上做普通交叉熵；听者域 CLIP 分支用置信度加权的伪标签交叉熵，分母是置信度之和起归一化作用；OpenFace 行为分类器用同样的加权监督。三项按权重相加写成总目标，但实际按先老师后听者分支的顺序优化。
参数方面，CLIP 原始权重复用并冻结，只更新 LoRA 低秩矩阵和情绪头，OpenFace 是固定特征提取器，只训其上的行为分类器。这种设置的监督来源清晰：源阶段来自筛选后的说话人标签，目标阶段来自高置信听者伪标签的加权。原文未报告优化器、学习率、轮数、LoRA 秩与权重系数的具体取值，也未说明伪标签是否迭代更新，因此复现第一步应先按相同预处理与 CLIP ViT-L/14 加 LoRA 搭起管线，再补齐这些超参数的搜索记录。
数据划分、基线与评价指标如何设定
实验围绕要回答的 3 个问题组织：听者视频是否比说话人音频文字更直接，简单融合是否有效，所提迁移与推理是否带来增益。数据方面，MER-Cross 提供说话人训练与听者测试的角色分离划分，无标注池只用于听者自举，且测试标签被排除在选择、伪标注与训练之外。基线覆盖单模态与融合：说话人音频的 HuBERT、说话人文字的 MacBERT、听者视频的 VideoMAE、FER2013 训练的残差与通道注意力网络、面部情感模型 EmoNet、CLIP-base 与 CLIP-large，以及官方多模态融合 Top1 与 Top2。
评价主指标是加权平均 F1，即按每类样本量加权的 F1 平均，方向是越高越好，次指标是准确率。实现上人脸检测对齐到 224×224 像素，CLIP ViT-L/14 为主编码器，TalkNet 找不说话轨迹，OpenFace 固定提行为特征，推理器只在低间隔调用且限于前二。
下表整理数据条件，比较问题是训练与测试的角色是否分离、样本量与用途是否对应，指标方向不适用于此表，重点是确认监督缺口与无泄漏声明的范围。
| 数据部分 | 样本量 | 输入组成 | 标签情况 | 在本方法中的用途 |
|---|---|---|---|---|
| MER-Cross 说话人训练 | 9395 | 说话人视频 音频 文字 | 有说话人情绪标签 | 经视觉对齐筛选后训视觉老师 |
| MER-Cross 听者测试 | 574 | 听者视频 说话人音频 文字 | 有听者情绪标签仅用于评测 | 推断听者 6 类情绪并计算加权平均 F1 |
| MER-SEMI 无标注池 | 124802 | 会话视频 音频 文字 | 无角色与情绪标注 | 经说话检测保留不说话轨迹做伪标签自举 |
上表说明监督缺口确实存在：训练标签与测试目标分属不同角色，无标注池量级远大于标注训练集。限制是该表只交代划分与用途，不证明伪标签质量与类别覆盖，后续需看消融与分阶段增益。论文未公开代码模型数据，来源清单也显示无可用作者资源，因此第三方无法直接验证划分细节，只能按原文协议复现。
主结果在什么条件下成立
主结果要回答听者视频是否更直接、融合为何无效、新框架增益多大。原文报告听者视频的 CLIP-large 明显高于说话人单模态，Top1 与 Top2 融合反而低于 CLIP-large，而完整框架达到 76.25%。这一结论成立的条件是同一 MER-Cross 测试集、同一加权平均 F1 口径、对比官方基线实现。若换数据集、换指标或重训基线，数值会变。特别要注意百分点与相对百分比的区别：论文说的超 CLIP-large 17.37 是百分点差，不是相对提升 17.37%。
下表呈现关键基线与完整方法的对照，比较问题是在相同评测下直接观测与间接线索孰优，以及角色分离后简单融合是否有效，指标方向为加权平均 F1 越高越好。
| 方法 | 输入 | 加权平均 F1 | 对照含义 | 结论限制 |
|---|---|---|---|---|
| HuBERT-base | 说话人音频 | 35.74% | 间接声音线索 | 只反映官方音频基线水平 |
| MacBERT-large | 说话人文字 | 33.68% | 间接 lexical 线索 | 只反映官方文本基线水平 |
| CLIP-large | 听者视频 | 58.88% | 直接视觉观测 | 为主要比较的视觉基线 |
| Top1 融合 | 音频文本视频 | 57.44% | 简单多模态融合 | 低于 CLIP-large 说明无约束融合无效 |
| Top2 融合 | 音频文本视频 | 55.24% | 更多特征多样性融合 | 同样低于 CLIP-large |
| RASG | 音频文本视频 | 76.25% | 听者视觉加受限语境 | 需消融确认增益来源 |
上表显示直接观测优于间接线索约 20 个百分点，融合未带来提升，而新框架高出 CLIP-large 17.37 个百分点、高出 Top1 18.81 个百分点。限制是该表为单次测试集结果，未报告置信区间与显著性，且挑战赛第 1 名为 78.31%，本队 76.25% 居第二，说明仍有提升空间。未胜出项是 Top2 特征更多反而更低，提示堆特征不如做角色约束，这对初学者理解多模态很有启发。
增益中有多少来自迁移与推理
消融要回答两个模块各自贡献多少、是否互补。参考点是 OpenFace 加 CLIP 但不做迁移与推理的融合，报告为 64.28%。加入角色感知视觉迁移后到 73.42%，再加刺激引导边界推理后到 76.25%。另一视角是从官方 CLIP-large 58.88% 起步，加 OpenFace 行为专家、加迁移、加推理逐步累积到 76.25%。两次分解都指向迁移是大头、推理是小而互补的增量，且推理只动低间隔样本、不覆盖自信视觉判断。
下表是渐进式消融，比较问题是去掉迁移或推理后性能如何变化，公平条件是相同预处理与分类协议、只变指示部件，指标方向越高越好。
| 方法 | OpenFace | CLIP | 视觉迁移 | 边界推理 | 加权平均 F1 |
|---|---|---|---|---|---|
| OpenFace 加 CLIP | 有 | 有 | 无 | 无 | 64.28% |
| 加微调 CLIP | 有 | 有 | 有 | 无 | 73.42% |
| 完整框架 | 有 | 有 | 有 | 有 | 76.25% |
上表说明迁移带来从 64.28% 到 73.42% 的提升，推理再带来到 76.25% 的提升，完整框架比参考高 11.97 个百分点。限制是该消融未报告去掉 OpenFace 只留迁移的效果，也未做阈值敏感性与失败案例分析，不能推出拿掉任一部分必然下降多少。
下表是相对官方基线的分阶段增益，比较问题是 17.37 个百分点的总增益如何分解，条件与上表一致。
| 阶段 | 加权平均 F1 | 单步增量 | 累计增益 |
|---|---|---|---|
| 官方 CLIP-large | 58.88% | 无 | 无 |
| 加 OpenFace 行为专家 | 64.28% | 5.40 个百分点 | 5.40 个百分点 |
| 加角色感知视觉迁移 | 73.42% | 9.14 个百分点 | 14.54 个百分点 |
| 加边界推理 | 76.25% | 2.83 个百分点 | 17.37 个百分点 |
上表显示局部行为线索贡献 5.40 个百分点，迁移贡献最大的 9.14 个百分点，推理贡献 2.83 个百分点。限制是增量顺序依赖，若先加推理后加迁移数值会不同，且推理增益只在模糊样本上实现，不能推广到所有样本。论文未测量延迟与调用成本，因此不能承诺推理增益是免费的。
哪些情况还可能出错或尚未验证
首先是视觉前二不含真值时，二选一约束无法纠正，含蓄表情在中性、悲伤、担忧之间的混淆仍可能残留。其次是伪标签的类别偏移与说话检测错误未被量化，高阈值虽干净但可能丢掉稀有情绪，原文未报告伪标签数量与类别分布。第三是阈值与超参数缺失，包括跨模型一致阈值、伪标签置信阈值、路由阈值、融合权重与 LoRA 设置，缺少它们难以精确复现。
第四是成本未测量，多模型离线判断、双分支特征提取与大模型调用的耗时显存均未报告，不能推断总体趋势适用于每一步。第五是评测范围限于 MER-Cross 单测试集与加权平均 F1，未做跨数据集、人群与显著性验证，挑战赛结果也显示第 1 名更高，说明方法并非在所有条件下最优。这些不是对技术的否定，而是指出证据只支持在原文条件下的结论，换条件需重新验证。
复现第一步做什么与还缺什么
值得尝试的时机是已有说话人标注但无听者标注，且听者视频可得、说话人音频文字可作刺激解释时。若任务中音频文字本身就是目标人的直接观测，则不应套用本文的角色分离假设。
复现第一步是按原文搭数据管线：人脸检测对齐到 224×224 像素，用 TalkNet 在无标注池中筛出全程不说话轨迹，用 4 个视觉语言模型只看视频打分并按一致率过滤说话人样本，再用 CLIP ViT-L/14 加 LoRA 训练老师并打伪标签，最后训练加权伪标签的 CLIP 分支与 OpenFace 行为分支并做概率融合，低间隔样本再构造带角色标注的证据调用 DeepSeek 做前二选择。需要补的验证包括各阈值的敏感性、路由比例、伪标签类别分布、去掉 OpenFace 的对照，以及延迟与成本测量。
代码模型数据方面，按本次核验无可用作者资源，不得声称已公开，第三方链接也不能当作作者开源证据。记录超参数与随机种子后，先在 MER-Cross 官方协议下复现 58.88% 到 76.25% 的链路，再谈迁移到新场景。
如何一句话记住方法与适用边界
记住一句话：先只留脸上能看出来的说话人样本训老师，再到无标注池捞不说话的人做伪标签训听者专家，视觉拿不准时才让说话内容在前二中帮忙断案。证据支持的是在 MER-Cross 测试集与加权平均 F1 下，直接听者视频优于间接说话人线索，无约束融合低于最强单视觉基线，而角色对齐的迁移贡献最大、受限推理贡献互补增量。推测但待验证的是阈值与分布选择对稀有情绪的影响，以及跨数据集与实时部署的成本收益。若要在新对话数据上使用，应保留角色分离的输入组织与低间隔才用语境的顺序，并补齐缺失的超参数、分布与开销记录，否则无法判断提升能否复现。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses