📄 从双人互动证据出发的分层关系识别：HiRe-DRR 解读
英文题目：Hierarchical Multimodal Interaction Reasoning for Dyadic Relationship Recognition
评分：6.8/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.7/1 | 影响力 0.4/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Wang Tang：机构信息未能在本次解析中与作者逐人可靠绑定
- Fethiye Irmak Dogan：机构信息未能在本次解析中与作者逐人可靠绑定
- Linbo Qing：机构信息未能在本次解析中与作者逐人可靠绑定
- Ce Zhu：机构信息未能在本次解析中与作者逐人可靠绑定
- Hatice Gunes：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
读者需要理解的对象是两个人的一段面对面交互视频，任务是判断两人属于陌生人、熟人、朋友、家庭等哪一种潜在社会关系，难点是关系不是瞬时动作，而是分散在表情、姿态、声音和语言中的重复性协调模式，且相邻类别证据高度重叠。论文提出的HiRe-DRR先把每段视频切成按时间排序的短片，得到两人脸、身体、音频和文本的同步流，再用各模态编码器分别提取低层几何声学语义线索和高层行为情感外观信息并投影到统一空间，投影后的双人特征进入下一步交互构造。为每个语义层级分别构造同质和异质跨人交互标记形成交互库，混合交互Transformer把库中32个交互标记看成专家，用关系感知的稀疏路由选出当前最相关的前5个作查询，以全部交互作键值做交叉注意力精炼，聚合成关系表示。精炼得到的关系表示同时进入常规分类和分层条件损失，后者沿关系二叉树把识别分解为条件二分类序列，两者联合优化以保持细粒度区分并服从类别语义组织。与已有整体融合法的区别是证据按语义层级和交互结构显式保留，并可从路由权重回看哪类证据支持哪类关系。在Seamless Interaction抽取2738段视频构成的片段级评测中，该方法在非加权平均召回率UAR上以63.0%超过最强基线AsyReC的50.3%，在平均精度均值mAP上以68.5%超过AsyReC的52.2%。结论适用于短时双人面对面片段，当相邻关系共享相似表情或对话模式时仍会混淆，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 代码相关资源：https://github.com/tw-repository/HiRe-DRR — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
双人关系识别要从什么输入猜出什么
双人关系识别的输入是一段两个人同时出现的互动视频，目标是判断 2 人之间潜在的社会关系，如陌生人、相识、朋友、非常好的朋友、家人或伴侣。与识别一瞬间的动作或情绪不同，关系是更高阶的社会结构，需要从反复出现的行为模式、情感交换、语言内容和社会意图中推断。
论文把每个视频按时间切成 T 个片段，每个片段为参与者 A 和 B 分别准备脸、身体、音频和文本 4 路同步流。模型最终对每个片段输出关系表示，再做分类。理解后续设计的关键是，输入必须保留两个人的对应信息和时间变化，输出是离散的关系类别，而不是连续的相似度分数。
已有路线为什么没有讲清证据分工
早期静态图像方法主要用人脸外观、成对几何、场景与人物体互动来推断关系，后来加入图结构与多模态大模型，语义更强，但单张图像看不到随时间展开的反应。视频与多模态方法引入时序行为、语音和文本，用注意力或图做融合，整体上把异质线索投到同一表示空间再做扁平分类。
论文认为这种整体融合隐式地编码了多模态关联，难以说清哪种互动结构对应哪种关系。即使引入基础模型的语义推理，也多是全局聚合，仍然回答不了不同语义层级的证据如何刻画不同关系，以及这种证据如何随关系层级变化。这正是本文要补的组织方式，而不是单纯追求更高的识别分数。
论文把难点拆成哪三个具体问题
第一个难点是特征层级。低层线索记录可观测的行为一致，如表情同步、姿态对齐和对话节奏；高层线索描述情绪反应、投入与协调，社会语义更丰富。若直接投到同一空间，语义差别会被抹掉。
第二个难点是跨人互动类型。同质互动是同模态之间的依赖，如脸对脸的对应；异质互动是跨模态的回应，如 1 人的语音引起另 1 人的脸或身体反应。均匀聚合会掩盖关系特有的组合，模型需要分开表示再自适应挑选。
第 3 个难点是类别层级。关系类别不是独立边界，而是一串条件判断，例如先判断是否相识，再区分普通相识与朋友，再判断是否为非常好的朋友。普通交叉熵把所有错误同等惩罚，忽略了语义远近。 下图把三者并列展示，读图时重点看融合箭头与分层结构的对比。
看图路径： 1. 先看(a) 中已有方法把视觉、音频、文本汇入统一融合的箭头；2. 再看(b) 低层与高层线索列表的差别；3. 对比(c) 实线同质与虚线异质连接的走向；4. 最后看(d) 从陌生到非常好朋友的三层二分结构
论文图 1。原论文 Fig. 1:：“Existing SRR paradigms and three challenges of DRR: (a) representative image- and video-based settings; (b) multi-level multimodal cues; (c) homogeneous and heterogeneous…”。
图 1 面板(a) 显示已有方法把视觉、音频、文本汇入加法、拼接、图推理或注意力融合再输出类别；(b) 区分低层几何声学量与高层行为情感量；(c) 用实线表示同质、虚线表示异质，并给出不同关系对两类互动的依赖示意；(d) 把 NoXi 的 4 类关系画成三层由粗到细的二分树。这种画法直接对应后文的 3 个模块分工。
HiRe-DRR 的完整链路是怎样的
HiRe-DRR 的链路可以沿一个片段走一遍。先把视频切成有序片段，得到 A 和 B 的脸、身体、音频、文本流；再用各模态编码器分别抽低层与高层特征，做片段级时间聚合与投影；在每个语义层上构造同质与异质跨人互动；然后用 MoI-Former 做关系感知的稀疏推理，聚合成关系表示；最后用分类损失加层级条件损失联合监督。
预训练的特征抽取器保持冻结，只有投影与互动推理模块端到端优化。时间位置信息以归一化片段序号编码后加到互动 token 上，保留时序。 下图是全流程总览，适合对照各节的位置关系。
看图路径： 1. 沿(a) 视频切分到(b) 四路特征再到(c) 互动集合的主路径看一遍；2. 注意(d) 中低层与高层、同质与异质四组 token 如何进入 MoI-Former；3. 看(e) 四个层级判断如何对应不同的损失分量
论文图 2。原论文 Fig. 2:：“Overview of the proposed HiRe-DRR framework.”。
图 2 从左到右依次是(a) 输入切分、(b) 4 路低层与高层特征抽取、(c) 同质与异质互动集合、(d)MoI-Former 推理得到关系表示、(e) 按陌生人与相识、相识与亲近等层级做的条件监督。注意(c) 中低层与高层各有一套互动矩阵，(d) 中 4 组 token 一起进入推理，(e) 中每个菱形判断对应一个层级损失分量。
脸、身体、音频和文本如何变成两层特征
脸部对每个参与者先取 K 帧人脸序列，低层编码器抽关键点与头姿，高层分别抽动作单元、注视、效价唤醒与外观。身体先用姿态编码器抽关节点作为低层，再从肩髋中点距离得到尺度归一的开放度描述子，包括肩宽、髋宽、手臂伸展、腕肘踝间距与躯干投影面积，以及肩、髋、躯干方向拼接的朝向描述子，连同外观一起作为高层。音频低层抽 MFCC、基频与能量，高层抽语音情感、说话与静音时长、停顿时长与频率、alpha 比率等谱特征。文本低层用 BERT 类编码取词级语义，高层用 DeBERTa 类编码取言语情感。
帧级描述子都要经过统计时间池化，把均值、标准差与 1 阶变化拼接成片段级表示，再按层级投影到统一空间。池化的作用是把变长帧序列压成固定向量，同时保留平均水平、波动与变化趋势。
\[\mathcal{S}(\mathbf{X})=\bm{\mu}(\mathbf{X})\|\bm{\sigma}(\mathbf{X})\|\bm{\delta}(\mathbf{X}),\]上式是时间池化的定义，X 是某一线索的帧序列，输出是 3 段统计量的拼接。低层几何声学量与高层行为情感量分别走各自的投影函数，这是后文能按层级分析路由偏好的前提。
低层线索 × 高层线索： 低层线索指几何与声学上可直接观测的量，如人脸关键点、头姿、身体关节点、MFCC、基频与能量，用于刻画表情同步、姿态对齐与说话节奏等对应关系；高层线索指带社会语义的量，如动作单元、注视、效价唤醒、身体开放度与朝向、语音情感与文本情感，用于刻画情绪反应与投入程度。两者分开提取与投影是为了不让单一共享空间抹掉语义差别，组合后模型可以按关系远近调节使用哪一层的证据。
身体开放度与互动矩阵具体算什么
身体开放度的计算值得单独说明，因为它不是直接用关节点坐标。模型先算肩中点与髋中点的欧氏距离作为躯干长度尺度，再把肩宽等 8 个几何量都除以该尺度，以减小体型与拍摄距离的影响。朝向则把肩轴、髋轴与躯干方向归一化后拼接，刻画面向与躯体转动。两者堆成序列后再做同样的统计池化。
\[\mathbf{o}_{p,t,r}=\left[s_{r},h_{r},a_{r}^{L},a_{r}^{R},w_{r},e_{r},l_{r},A_{r}\right]^{\mathsf{T}},\]上式是某 1 帧的开放度向量，各项分别对应肩、髋、手臂与肢体间距与面积，转置后为列向量。它与关节点低层表示分工不同，前者是几何配置，后者是表达性的姿态状态。
音频低层同样是把互补的谱与韵律量并列抽取，为后文同质相似与差异计算提供输入。
\[\left(\mathbf{C}_{p,t},\mathbf{Q}_{p,t},\mathbf{E}_{p,t}\right)=\mathcal{E}_{\mathrm{audio}}^{\mathrm{low}}\left(\mathfrak{f}_{p,t}^{\mathrm{audio}}\right),\]上式中 C、Q、E 分别对应 MFCC、基频与能量描述子，输入是该参与者该片段的音频流。低层与高层音频随后分别投影，得到该模态两层的参与者表示。
同质与异质互动如何构造为 token 库
在每个语义层上，4 种模态的 2 位参与者配成 4×4 矩阵。对角线是同质互动，对同一模态的 2 人表示算相似项与差异项，相似项是逐元乘积除以各自二范数，刻画行为一致，差异项是绝对差，刻画个体差别，再与原始 2 人表示拼接成一个 token。非对角线是异质互动，不同模态不能直接比较，因此用轻量映射做双向交互单元，把 A 的 m 模态与 B 的 n 模态拼接映射得到 2 个方向的回应表示，再与原始跨模态表示拼接。
每个片段的低层 16 个与高层 16 个有序互动展平拼接成 32 个 token 的互动库，维度为 4 倍投影维度。论文强调这是一个紧凑可解释的基，而不是穷举所有高阶或时序依赖。归一化时间位置编码加到全部 token 上，再做层归一化，作为推理起点。
同质互动 × 异质互动： 同质互动指同一模态在两个人之间的配对，如脸对脸、音频对音频，刻画直接的行为一致与差异；异质互动指不同模态在两个人之间的配对，如一人的语音对另一人的脸或身体，刻画跨模态的回应与互补。两者分开构造是因为疏远关系可能只靠同模态一致即可判断，而亲密关系需要跨模态的协同反应，组合后形成每个语义层上的 4×4 互动矩阵。
MoI-Former 如何挑选并更新互动证据
MoI-Former 每层先对当前互动库做均值池化得到全局上下文，再把每个 token 与该上下文拼接送入打分网络，加训练时高斯噪声与温度系数的 softmax 得到路由概率，按概率选 Top-K，实验中 K 取 5。被选中的 token 作为查询，完整互动库作为键与值做多头交叉注意力，再过前馈网络。
与直接丢弃未选中 token 的做法不同，这里未选中 token 保持不变并继续作为上下文记忆，被选中 token 按路由权重做门控更新，权重越大更新越强，再写回原位置。下一层重新计算路由，因此激活子集可以逐层演化。经过两层编码器后，解码器再选最终 Top-K 并按权重加权求和与层归一化，得到关系表示。 下图展示了库构建、编码层更新与解码聚合的细节。
看图路径： 1. 看左侧互动库如何按低层同质、低层异质、高层同质、高层异质排成一条带；2. 看右下编码器层中 Top-K 查询与全部键值的交叉注意力回路；3. 看右上解码器如何按权重加权求和得到关系表示
论文图 4。原论文 Fig. 4:：“Overview of the proposed MoI-Former. Low- and high-level homogeneous and heterogeneous interactions are organised into a unified interaction token bank.”。
图 4 左侧把低层与高层矩阵展平堆叠并加入位置编码；右下显示查询来自 Top-K、键值来自全部 token，更新后只改被选中位置；右上显示解码器按路由权重对选中表示加权求和。这种设计既实现了稀疏选择，又避免丢失未选中证据提供的上下文。
MoI-Former × 稀疏路由： MoI-Former 是把每种有序互动看作一个专家的 Transformer 推理模块，稀疏路由是它按当前关系上下文给每个互动打分并只选 Top-K 个做精炼的机制。路由保留完整互动库作为键与值，被选中的查询做跨注意力更新并按权重回写原位置。两者搭配使模型不是平均融合全部 32 个 token，而是自适应地挑出与当前关系最相关的证据，同时保留上下文信息。
层级条件损失如何与普通分类联合优化
HC-Loss 把关系集合组织成二叉树，每个内部节点对应一个子集并分成两个互斥分支，样本只参与其根到叶路径上的节点。分类器先输出类别 logits，但在每个节点上把所属分支内类别做 log-sum-exp 聚合成分支分数，2 分支相减后过 sigmoid 得到条件概率，再按分支指示做负对数似然，节点间按权重平均。
标准交叉熵仍然保留，直接对 softmax 类别概率监督，最终目标是分类损失加系数 λ 乘层级损失。这样既保持细粒度判别，又鼓励预测服从语义组织。论文没有报告 λ 与节点权重的具体取值依据，只给出联合形式，复现时需要按代码中的默认值起步。
HC-Loss × 关系层级： 关系层级指类别之间不是平行的，如先判断是否相识，再区分普通相识与朋友，再区分朋友与非常好的朋友；HC-Loss 是把这种层级写成一系列二值条件判断的监督损失。每个内部节点把所属样本按分支聚合 log-sum-exp 分数再算条件概率，与普通交叉熵联合优化。搭配后模型既保留细粒度分类能力，又让相邻类别的错误受到层级语义的约束。
数据、划分、基线与指标如何设置
实验用 NoXi、UDIVA 和 SeamInt 3 个双人数据集。NoXi 有 168 个视频，4 类为陌生人、相识、朋友、非常好的朋友，并按 2 位参与者视角分成 NoXi-I 与 NoXi-J；UDIVA 有 1160 个视频，2 类为相识与陌生；SeamInt 原始超过 4000 小时，论文因计算与存储限制随机抽 2738 个视频，覆盖陌生人、相识、朋友、家人、伴侣 5 类。每个视频按文献方法切成有序片段，片段构成训练与评测的样本单位，采用三折交叉验证且同一双人互动不跨训练测试集。
基线包括图像方法 GR2N 与 HGM、视频方法 PGCN、多模态方法 LIReC、CT 与 AsyReC。图像基线按原文模态假设，只用视觉并在片段内时间聚合后再走原关系推理；多模态基线保留各自输入。实现上互动 token 投影到 2048 维，两层 8 头编码器，Top-K 为 5，dropout 为 0.3，AdamW 训练 100 轮，批量 64，初始学习率 0.0001，每 15 轮衰减 10 倍。
指标用类别召回、UAR 与 mAP，UAR 对类别等权，适合不均衡分布。
UAR × mAP： UAR 是对每个关系类别召回率取平均，类别权重相等，适合类别不均衡的数据，越高越好；mAP 是按类别评价预测置信度排序质量的平均，同样越高越好。本文还报告按参与者视角划分的 NoXi-I 与 NoXi-J 及其平均 mUAR。两者搭配可以同时看到分类命中率与置信度可靠性，避免只看总体准确率被大类主导。
三个数据集上的主结果支持什么判断
比较问题是在相同片段划分与类别定义下，分层互动推理是否比整体融合与图推理给出更高的等权召回与置信度质量。表前说明公平条件为同一数据集切分与同一指标方向，UAR 与 mAP 越高越好，类别召回越高越好。
| 方法 | NoXi-I UAR | NoXi-J UAR | mUAR | mAP |
|---|---|---|---|---|
| HiRe-DRR | 63.6% | 53.5% | 58.5% | 63.1% |
表 1 回答 NoXi 上的整体水平：HiRe-DRR 在两个视角上分别为 63.6% 与 53.5%，平均后 mUAR 为 58.5%，mAP 为 63.1%。这 1 对比表明，论文报告它超过最强基线 AsyReC 达 10.3 与 11.0 个百分点，且在 NoXi-I 的朋友与两视角的非常好朋友召回上最高，支持保留层级语义与分开建模同质异质互动有助于区分语义相近的关系。但 NoXi-J 的绝对值明显低于 NoXi-I，说明结论依赖于标注视角，不能把单视角结果推广到全部。
比较 UDIVA 与 SeamInt 时条件类似，但类别数与行为丰富度不同。
| 方法 | UDIVA UAR | UDIVA mAP | UDIVA 已知召回 | UDIVA 未知召回 | SeamInt UAR | SeamInt mAP |
|---|---|---|---|---|---|---|
| HiRe-DRR | 62.5% | 66.8% | 60.4% | 64.8% | 63.0% | 68.5% |
表 2 显示 HiRe-DRR 在 UDIVA 上为 62.5% 与 66.8%，两类召回较均衡，在 SeamInt 上为 63.0% 与 68.5%，超过 AsyReC 在 SeamInt 上 12.7 与 16.3 个百分点。进一步看，SeamInt 类别更多、行为变化更丰富，自适应路由的收益更大；UDIVA 提升较小，论文归因于坐姿上半身场景限制了姿态与开放度变化，使身体互动贡献受限。未胜出的细节是 PGCN 等在个别类别召回上仍有高值，说明整体最优不等于每个类别都最优。
分层、路由与层级监督各自带来什么变化
消融要回答表示越结构化是否逐步变好。配置按低层、高层、低高层加 MoI、再加 HC 四档比较，条件为全模态输入。
| 配置 | NoXi | UDIVA | SeamInt |
|---|---|---|---|
| 高层 | 49.0% | 55.9% | 55.3% |
| 低高层加 MoI | 55.1% | 65.9% | 62.4% |
表 3 截取关键两档的数值：从高层到加入 MoI 的低高层推理，三数据集分别从 49.0% 到 55.1%、55.9% 到 65.9%、55.3% 到 62.4%。这一变化表明，高层本身优于低层，联合两层再做结构化路由进一步提升；完整模型再加 HC 后在 NoXi 与 SeamInt 增益更大，而在二分类的 UDIVA 增益有限，因为 2 类任务没有显式关系层级。按模态拆分时脸、身体、音频、文本 4 路都呈现类似爬坡，支持语义层级、跨人推理与层级监督互补，但 HC 的提升幅度依赖于类别是否有层级结构。
路由偏好分析显示，关系越亲近，高层与异质占比越高，陌生人更依赖低层同质如脸对脸与文本对文本，非常好朋友与伴侣则激活更多音频对脸、脸对身体等跨模态路径。掩码验证进一步支持该解释。
| Configuration | NoXi | UDIVA | SeamInt |
|---|---|---|---|
| Full model | 63.1 ± 5.6 | 66.8 ± 6.4 | 68.5 ± 2.6 |
| Mask high-preference tokens | 61.7 ± 4.6 (-1.4) | 65.0 ± 6.0 (-1.8) | 67.0 ± 5.4 (-1.5) |
| Mask low-preference tokens | 63.8 ± 5.0 (+0.7) | 67.0 ± 3.3 (+0.2) | 68.8 ± 3.3 (+0.3) |
表 4 是按路由偏好遮挡 5 个 token 后的 mAP 变化，遮挡高偏好导致下降，遮挡低偏好不降反略升。这 1 对照表明，高路由互动确实提供更强的识别证据，低偏好可能含冗余信息；但这只是相关性验证，不能证明路由权重就是因果重要性，且 t-SNE 显示加 HC 后类间更紧凑，仍只是表示可视化，不能单独作为精度证据。 下图直观对比有无 HC 时的表示分布。
看图路径： 1. 对比 NoXi 左右两幅图中四种颜色点团的分散与聚集程度；2. 对比 SeamInt 左右两幅图中五种类别是否混在一起；3. 注意图例中颜色与关系类别的对应关系
论文图 8。原论文 Fig. 8:：“t-SNE projections of relationship representations learned with and without HC-Loss on NoXi and SeamInt datasets.”。
图 8 上半为 NoXi 4 类、下半为 SeamInt 5 类，左侧无 HC 时各色点混杂成条带，右侧有 HC 时聚成更紧的团块。可见的是类间重叠减少与边界更清晰，据此可以帮助理解层级监督对相邻类别的分离作用，但降维投影会失真，不能读出具体数值提升。
哪些情况仍然容易判错
论文用成功与失败案例说明稀疏路由的限度。成功案例如家人更多依赖高层异质行为情感线索，伴侣激活脸、身体与跨模态结构，陌生人主要靠低层可观测对应，这些与路由统计一致。失败案例则显示相邻关系共享相似证据时会混淆，例如真值为家人但路由集中在低层脸对脸与文本对脸等熟悉感线索，被判为相识；真值为相识但出现较强的高层情感与身体协调，被高估为朋友。
这说明当判别性线索与跨类别共享模式纠缠时，仅靠短片段互动仍难分开。论文在结论中也承认现有基准多为短期互动，缺少长期行为演变、情境变化与多人结构，个体沟通风格与场景差异会进一步模糊相邻类别。
复现第一步做什么与需要什么条件
复现应从作者公开的代码仓库起步，当前可通过给定的 GitHub 链接访问 HiRe-DRR 代码。第一步是按论文的片段切分与三折划分复现数据准备，确保同一双人视频的片段不跨训练测试集，再冻结表中的预训练特征抽取器，只训练投影与 MoI-Former 及分类头。关键超参数是互动维度 2048、两层编码器、8 头、Top-K 为 5、dropout 为 0.3、批量 64、100 轮与学习率 schedule。
需要注意代码可用不等于权重可下载或一键可运行，特征抽取依赖 OpenFace、EmoNet、TimeSformer、HuBERT、Librosa、openSMILE、BERT 与 DeBERTa 等外部工具，SeamInt 原始数据量大且论文只抽样 2738 个视频，随机种子与抽样名单会影响可比性。缺失的细节是 HC 中 λ 与节点权重、路由温度与噪声的具体设置，需以代码默认值为准，不要从模型名猜测实现。
什么时候值得尝试与还需补什么验证
当任务是双人短片段关系分类，且能拿到脸、身体、音频、文本同步流，并希望知道哪类互动支撑判断时，该框架值得尝试。它的价值在于把层级、类型与层级监督显式分开，使路由偏好可被检查，而不是只输出 1 个类别。
使用时应把结论限定在相同切分、相同类别定义与 UAR、mAP 方向下理解，跨视角与跨数据集的绝对值差异仍然存在，UDIVA 这类坐姿受限场景的身体收益会打折。还需补的验证包括长期时序建模、多人关系推理、不同抽样与划分下的稳定性，以及推理延迟与计算开销的实测，因为原文只报告识别指标，没有测量误判率以外的成本。下一步可沿论文建议探索更自适应的证据发现机制，但应先在当前短片段条件下固定随机性与外部特征版本，再谈推广。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses