英文题目：REALM: A Coarse-to-Fine Generative Framework for Embodied Reactive Listening
标签：#语音对话系统 | #生成模型 | #语音 | #音视频 | #主观评测
评分：7.2/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Peizhen Li：机构信息未在 arXiv HTML 中可靠披露
- Longbing Cao：机构信息未在 arXiv HTML 中可靠披露
- Yang Zhang：University of North Texas, USA
📌 核心摘要
反应式倾听生成以说话人音频窗口与听者历史动作为输入，输出表情与头部位姿序列，难点在于回应相对声学线索存在时滞且不必成比例，同时整体轨迹下叠加眨眼等局部多峰变化。所提反应式具身音频驱动倾听模型先以延迟中心注意力融合历史与说话人证据，再由粗解码器回归基准轨迹，最后仅在表情子空间叠加音频条件随机残差，残差潜变量经解码后嵌入完整动作空间。与同步交叉注意力或全空间随机扰动不同，该设计把何时对齐与用多少外部证据解耦，并把随机性约束在非刚性表情。在ViCo域内测试集下，REALM的表情FIDΔfm为3.91，低于ListenFormer的表情FIDΔfm 8.71。该结论限于离线窗口生成与两套肖像系数基准，共享标称延迟与特定机器人映射尚未验证跨个体与跨硬件外推。该框架在单块NVIDIA RTX 5090硬件上训练收敛，总参数量为1.50M且单次前向计算量为0.02G FLOPs，推理开销受限于16帧自回归窗口与精修编码开销。
🔗 开源与复现资源
- 代码相关资源：https://github.com/lipzh5/REALM — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，本文要保留什么信息？
本文解读的对象是音频驱动的反应式倾听头部生成。输入是说话人音频窗口与听众过去运动历史，目标是在每一目标帧生成听众的表情系数与头姿系数。输出不是说话人自己的口型，而是在听的这一方的点头、注视、微笑与眨眼等反应。初学者容易把该任务误解为语音到表情的直接映射，但原文强调两个必须保留的信息：一是听众近期运动提供的连续性，二是说话人线索与听众反应之间可能存在的时滞。也就是说，同一段声音在不同听众状态下可以对应保持不动，也可以对应 1 次点头或眨眼。
为此解读设定可核对的边界。方法部分只讲原文实际给出的融合、粗解码、精修与机器人落地的计算安排，不补写未报告的网络细节。实验部分只讲 ViCo 与 L2L 2 个数据集上实际评测的基线、指标方向与关键数字，不把自动指标当作人评。复现部分区分代码当前可用、机器人专用重训与硬件相关标定，明确哪些结论依赖系数空间、哪些依赖物理平台。教学中出现的简化例子会明确标为例子，不作为论文证据。
已有路线做了什么，本文的切入点有何不同？
已有倾听头生成路线大致可分为 3 类。第一类是说话人条件生成，用变换器把音频映射到听众运动，优点是能响应语音能量与语义，缺点是容易忽略听众自身状态而产生跳变。第二类是自回归与历史条件建模，例如 L2L 与 ARIG 类方法用过去运动维持连贯，或用过去引导生成，优点是轨迹更稳定，缺点是可能过度平滑而丢失眨眼等快速事件。第 3 类是离散表示与生成式建模，例如扩散方法对不确定性建模，优点是能给出多样合理的局部变化，缺点是若在全运动空间引入随机性，可能扰动本应稳定的头姿。
原文把自身定位为互补设计，不是替换上述路线。它在对齐侧引入以标称延迟为中心的注意力偏置，并用门控自适应加权历史与说话人证据；在表示侧把随机性限制在非刚性表情子空间，保留粗姿态。这样既承认历史条件化的价值，也承认确定性重建目标会把多峰局部变化平均掉。附录还说明与 ARIG 和另一扩散听众生成工作的比较受限于运动表示与评测管线不一致，且截至 2026 年 9 月 26 日未能找到可公开运行的训练推理实现，因此只做定性讨论而不报告复现数字，这是理解基线选择范围的重要前提。
为什么反应有时滞，行为为何不必同比例变化？
初学者可以用一个具体样本走一遍直觉。假设说话人在 t-τ 时刻加重语气，听众不一定在同一帧点头，而可能在 t 时刻才完成 1 次短暂微笑；若只看同一时刻的音频能量，就会错过真正的因果窗口。另一个样本是说话人持续说话但听众保持近乎静止，此时若强制让听众运动幅度跟随音频能量，就会产生不必要的晃动。第三个样本是整体头姿缓慢变化的同时出现 1 次仅持续数百毫秒的眨眼，若只用光滑轨迹拟合，眨眼就会被平均掉。原文用这三点分别引出时滞对齐、历史与音频的自适应权重、粗轨迹加表情精修的必要性。
下面这张动机图把三件事并排放出，左格是双人对话帧示例，中格是说话人、听众与偏差曲线的示意关系，右格是平滑头姿与脉冲状表情随时间的共存形态，阅读时先确认对象与时间范围，再对应到后文模块。
看图路径： 1. 先看左格说话人与听众三帧对照，确认听众表情变化滞后于说话人线索的示例；2. 再看中格说话人、听众与偏差三条曲线的包络关系，确认两者不必同比例变化；3. 最后看右格平滑头姿曲线与脉冲状表情信号在 0 到 10 秒时间轴上的共存形态
论文图 1。原论文 Figure 1:：“Motivation for responsive listener motion generation.”。
该图支持的方法含义是直接的。左格的时滞例子对应后文以 τ 为中心的注意力偏置，它偏好 t-τ 附近的说话人表示但允许内容项移动有效对齐。中格的行为连续性例子对应后文的反应门，门小则保留历史、门大则相对增强说话人分支。右格的运动动力学例子对应后文只精修表情而不动粗姿态的设计。需要强调的是，这些只是建模动机，真正的延迟取值、门控行为与眨眼时长都要回到 ViCo 上的受控实验核对，不能从示意图读出具体毫秒数或因果结论。
REALM 让一个样本走完输入到机器人经历了什么？
先沿一个样本走完主路径。输入是说话人音频窗口 A 与听众过去 W 帧运动历史 H，W 在 2 个数据集上都取 16。音频经说话人编码器得到声学表示，历史经运动编码得到听众状态。融合模块先用延迟感知的交叉注意力从音频中取出与当前听众状态最相关的上下文，再用门控把历史与说话人上下文拼成联合上下文 Z。粗解码器从 Z 回归每 1 帧的粗表情与粗姿态。
精修模块把粗表情编码为隐变量，加入由音频决定的均值偏移与噪声尺度并采样，再经时序处理映射为表情残差叠加到粗表情上，粗姿态原样保留。最终人脸系数经逆运动学映射、平滑、相对标定与安全钳位变成机器人关节指令。
说话人音频窗口 × 听众运动历史： 说话人音频窗口提供反应时机与形式的外部证据，说话人活动不一定要求听众立刻变化；听众运动历史提供反应如何延续的内部连续性约束；两者必须联合建模是因为反应可能滞后于线索且行为不必与声音能量成比例，REALM 因此先做延迟对齐再门控融合，而不是只用单侧条件生成。
下图是全文的系统总览，左侧是反应式门控融合，中间是粗解码，右侧是精修，底部是物理落地分支，阅读时先沿输入到输出的主箭头走一遍，再看分支在哪里汇合。
看图路径： 1. 沿底部说话人音频与听众过去运动向上追踪到融合与粗解码的主路径；2. 对比融合框内移位交叉注意力与反应门的位置，确认先对齐再加权；3. 查看右侧精修框内时序卷积、音频调制与噪声注入的串联顺序及到底部机器人框的箭头
论文图 2。原论文 Figure 2:：“Overview of REALM. Speaker audio and listener motion history are integrated through delay-aware reactive fusion.”。
该总览图解释了信息条件。融合层的因果掩码只限制该层注意力不看未来索引的说话人表示，端到端是否可流式还取决于音频表示的时间支撑与后续处理，因此原文把自身表述为窗口条件生成，不从该掩码单独推断端到端流式保证。精修序列符号中的时间下标与序列集合符号对应模块内部的时序处理，不是每帧独立采样后再简单相加。机器人分支中的逆运动学符号表示从人脸系数到关节空间的确定性映射加硬件约束，不是可学习的神经逆解。
融合如何同时处理对齐时刻与使用强度？
融合模块要回答两个不同问题。对齐时刻问题由延迟感知的注意力权重回答。对查询为听众状态、键为说话人表示的注意力分数，原文减去与|(t-j)-τ|成正比的偏置，τ 是软先验的中心，不是最小反应延迟，t-τ 到 t 之间的索引仍然允许被选中。内容相容项仍可根据交互上下文把有效对齐移开先验中心。实现上用移位后的 ALiBi 距离矩阵与因果掩码构成预 softmax 分数，多头输出拼接投影得到融合后的说话人上下文。
\[\pi^{(h)}_{t,j}\propto\exp\!\left(\frac{{\mathbf{q}^{(h)}_{t}}^{\!\top}\mathbf{k}^{(h)}_{j}}{\sqrt{d_{h}}}-m_{h}|(t-j)-\tau|\right),\qquad j\leq t,\]使用强度问题由反应门回答。门 gt 在 0 到 1 之间，联合上下文把历史分支乘以 1-gt、说话人分支乘以 gt 后拼接。门小意味着衰减说话人分支而保留更多历史，门大意味着相对增强说话人条件特征。门与运动预测器联合学习，不是作为反应检测器单独监督。原文明确该加权提供连续性与响应性的归纳偏置，但不对解码运动施加刚性因果约束。
\[\mathbf{z}_{t}=\left[(1-g_{t})\mathbf{h}_{t}\,;\,g_{t}\mathbf{c}^{\tau}_{t}\right].\]延迟感知对齐 × 自适应门控： 延迟感知对齐负责解决何时看说话人证据，用以 τ 为中心的软偏置偏好 t-τ 附近的音频表示；自适应门控负责解决在多大程度上用该证据，用学到的 gt 加权听众历史与对齐后说话人上下文；两者搭配是因为只对齐不控制强度会过度跟随声音能量，只门控不对齐会找错因果时刻，组合后为粗解码提供既连续又能响应的上下文。
实现层面的序列矩阵形式把上式写成逐元素门控拼接，门向量经两层前馈加激活得到，融合上下文与历史编码的维度对齐后送入粗解码。附录的门行为分析显示推理时门峰与速度定义的运动起始在听众时间轴上中位偏移为 0 帧，但该分析不估计说话人线索到听众反应的延迟，也不分离移位注意力的单独贡献，解释时应保留这层限定。
粗轨迹预测 × 表情残差精修： 粗轨迹预测负责稳定重建整体表情与头姿运动，承担 L1 与速度正则的主要回归压力；表情残差精修负责在粗表情上叠加音频条件的随机变化且保持粗姿态不变；搭配理由是确定性重建会把多峰局部变化平均成光滑均值，而全空间加噪声又会扰动稳定的刚体运动，分工后轨迹保真与局部动态各有优化目标。
粗轨迹与随机残差如何分工而不互相干扰？
表示侧的分解先用投影矩阵讲清子空间。粗预测包含粗表情与粗姿态，最终预测等于粗预测加上只嵌入表情维度的残差，刚体分量按构造保持不变。这不是频率意义上的高低频分离，而是输出子空间的分离：精修阶段拿到什么样的粗姿态就原样保留什么样的粗姿态。
\[\hat{\mathbf{m}}_{t}=\tilde{\mathbf{m}}_{t}+\mathbf{P}_{x}\Delta\mathbf{x}_{t},\qquad\mathbf{P}_{x}=\begin{bmatrix}\mathbf{I}_{d_{x}}\\ \mathbf{0}\end{bmatrix},\]随机性只加在隐空间。粗表情经扩张时序卷积得到粗隐变量，音频表示经调制函数得到尺度与偏移，精修隐变量等于粗隐变量加偏移加尺度乘标准正态噪声。其条件均值与协方差分别由偏移与尺度决定，但这些是线性隐分布的矩统计，经过非线性精修函数后的残差统计取决于学到的映射，不能直接等同。
\[\mathbf{z}_{t}^{r}=\mathbf{z}_{t}^{c}+\bm{\beta}_{t}+\bm{\gamma}_{t}\odot\bm{\epsilon}_{t},\qquad\bm{\epsilon}_{t}\sim\mathcal{N}(\mathbf{0},\mathbf{I}),\]精修函数把整个隐序列映射为表情残差序列，最终公式把粗路径与精修路径写在一起，同一条件输入可以对应多种表情实现。原文是否真正用好这种随机容量，要看运动分析与眨眼分析的实证结果，而不是从公式直接认定。教学例子：若粗轨迹给出 1 次微笑的大致幅度，精修可以决定眨眼是否出现及其快慢，但不会把头整体转走，这就是子空间约束的含义，该例子仅为帮助理解，不代表某一样本的真实数值。
两阶段如何冻结与更新，机器人分支做了什么计算？
训练采用 2 阶段课程。第 1 阶段训练粗生成器，目标包括表情与姿态的 L1 重建、帧间 1 阶差分的速度正则与超出训练分布包络的边界约束，权重分别取速度项 1.0 与边界项 5.0，优化器用 AdamW，批量 512，粗阶段 120 轮、初始学习率千分之一并带余弦退火与 10% 线性热身。第二阶段冻结粗生成器参数，只优化随机精修模块与时序判别器，目标包括最终表情的 L1 空间一致性与最小二乘生成对抗损失，平衡权重取 0.5，精修与判别器各训练 80 轮、初始学习率万分之二。判别器同时看表情序列与其帧间速度，鼓励恢复快速眼睑闭合等高频动态。
逆运动学映射 × 相对运动标定： 逆运动学映射负责决定生成的人脸系数对应哪组机器人关节，用语义对应矩阵与限幅解决形态差异；相对运动标定负责只把平滑后控制量相对中性位的位移搬到机器人机械中性位上，解决人与机器人静息姿态不同不能直接拷贝绝对值的问题；两者串联后才得到可执行的关节指令并进入安全钳位。
物理落地是确定性 4 步管线，不是端到端神经控制。第一步把 52 维语义混合形状加 3 维头转共 55 维表示经形态耦合矩阵映射到机器人关节空间；第二步用窗口为 5 帧的 Savitzky-Golay 滤波平滑以防舵机抖动；第三步只把相对静息均值的位移加到机器人机械中性位上；第 4 步做关节限位截断并受电机变化率与电流过载保护约束。眼睑、注视、头姿与下半脸分别有子矩阵公式，例如注视偏航与俯仰用弧度参数化并对应各自机械包络，唇角提升用微笑协同项减去皱眉与抿嘴拮抗项，鼻皱用双侧取最大以免局部执行器叠加受力。
需要交代一个复现关键点。虚拟基准用的 ViCo 原始 64 维表情加 6 维姿态，而物理具身实验为获得解剖语义专门用 FaceVerse V2 从训练视频重提 52 维混合形状并重训所有基线以保证公平。这意味着系数空间的榜单数字与机器人用户研究的数字来自不同特征管线，不能直接跨表比较绝对值。
在什么数据与指标下比较，条件是否一致？
数据侧，ViCo 包含 483 段面对面视频，时长 1 到 71 秒，76 名听众与 67 名说话人，划分为训练、域内测试与域外测试，域外身份在训练中完全未见。ViCo 运动用 64 维表情加 6 维头姿表示，音频用预训练 Wav2vec 2.0 提取，训练序列长取 128。L2L 是来自网络的野外语料，训练 72 小时、测试 95 分钟共 6 个身份，不提供原始视频帧，只提供运动系数与预提取音频特征，运动用 50 维表情加 6 维姿态表示，训练序列长取 64。2 个数据集的自回归历史窗口都固定为 16。
指标侧分四轴。精度用表情与姿态的 L1 距离，越小越好。真实感用全序列的弗雷歇距离、按序列平均的帧级 FIDfm 与相邻帧差分分布距离 FIDΔfm，越小越好，其中后者专门惩罚帧间抖动与不自然过渡。说话人与听众相关性用残差皮尔逊相关 rPCC，即生成与真值两种相关之间的 L1 差异，越小表示交互相关越接近参考。运动可变性用时间方差 var，以接近真值方差为好，不是越小越好，真值在 ViCo 域内为表情 0.144 与姿态 0.047，域外为 0.148 与 0.053，L2L 为 0.185 与 0.013。
基线包括 RLHG、DSPN、L2L、ListenFormer 与 UniLS 5 种可运行方法。ARIG 与另一扩散方法因表示与评测管线不一致且无公开可运行实现未纳入定量复现。模型容量方面原文报告 REALM 为 1,500,000 参数、窗口 16 时单次前向 0.02G 浮点运算，约为 ListenFormer 的 1/4 量级，但训练硬件为单张 RTX 5090 等信息只说明本次开销，不直接等同推理延迟。
主结果在哪些指标上领先，哪些地方并未胜出？
比较问题是：在相同系数协议下，REALM 相对 5 个可运行基线是否同时改善点位精度与动态真实感。公平条件是同数据集划分、同 L1 与分布指标、同缩放口径，其中 L1、FIDΔfm 与姿态 FD 按 100 缩放，方差以接近真值为好。指标方向是 L1、FD、FID 与 rPCC 越小越好，方差接近真值越好。
| 方法 | 表情 L1 | 姿态 L1 | 表情 FIDΔfm | 表情 rPCC | 说明 |
|---|---|---|---|---|---|
| RLHG | 14.80 | 8.27 | 9.88 | 0.039 | ViCo 域内基线 |
| ListenFormer | 11.92 | 7.04 | 8.71 | 0.032 | 最强近期基线 |
| UniLS | 25.50 | 9.45 | 4.48 | 0.284 | 动态平滑但坐标误差大 |
| REALM | 11.58 | 6.52 | 3.91 | 0.009 | 本方法最低误差与动态距离 |
该表显示 REALM 在 ViCo 域内取得最低的表情与姿态 L1，并在表情帧间分布距离上从 ListenFormer 的 8.71 降到 3.91，在 L2L 上从 13.41 降到 6.50，rPCC 也最低。但代价与反例必须同时说明：ViCo 域内刚体姿态分布上 RLHG 的姿态 FD 为 0.72 优于 REALM 的 1.01；域内表情方差上 ListenFormer 的 0.142 比 REALM 的 0.133 更接近真值 0.144；UniLS 虽 L1 高达 25.50 但 FIDΔfm 为 4.48，说明静态坐标保真与动态连续性存在权衡。L2L 上 ListenFormer 的 rPCC 为 0.008 与 0.010，与 REALM 的 0.007 与 0.008 接近，不能夸大差距。
帧间分布距离 × 点位精度： 点位精度用 L1 衡量生成序列与真值在坐标上的逐帧接近程度；帧间分布距离用相邻帧差分的分布距离衡量运动过渡是否自然、有无抖动或过平滑；两者搭配是因为坐标误差小不代表眨眼与微笑等快速事件的节奏正确，REALM 的精修主要改善后者，需要两类指标分别验证。
物理定性对比进一步展示动态差异的含义。在 Ameca 上的两段 ViCo 测试序列中，ListenFormer 常因确定性过平滑而缺失对话微笑或快速眨眼，REALM 则恢复了与真值更接近的微笑与眨眼。但这是代表性序列的可视化，不是全测试集的统计保证，统计结论仍以系数指标与下文用户研究为准。
看图路径： 1. 先按列对照顶行说话人、真值听众、基线机器人与本方法机器人在同一时刻的嘴眼状态；2. 重点观察第三列红框与绿框标记的微笑与眨眼区域，确认基线缺失而本方法恢复；3. 再比较左右两个会话序列，确认结论不只依赖单个身份或单次表情
论文图 3。原论文 Figure 3:：“Qualitative comparison of physical embodiment on the Ameca robot.”。
该机器人对比图的阅读动作是按列对齐同一时刻的说话人、真值、基线与本方法，重点看第三列标记框内的嘴眼差异，并比较左右两序列是否一致。它支持精修带来可感知的微动态，但不能单独证明同步性或语义恰当性，这些需要用户研究的多维打分与显著性检验来补充。
拿掉门控、对齐或精修后，哪部分误差先变化？
消融问题是：门控融合、移位注意力与精修模块各自改变哪类误差。条件是 ViCo 域内测试、其余训练与评测不变，且精修只动表情、姿态指标完全由粗阶段决定。指标方向与主表一致。
| 配置 | 表情 L1 | 姿态 FD | 表情 FIDΔfm | 姿态 rPCC | 关键变化 |
|---|---|---|---|---|---|
| 无三模块 | 12.20 | 1.19 | 12.51 | 0.026 | 基准 |
| 仅门控 | 12.04 | 1.03 | 12.50 | 0.016 | 姿态相关改善 |
| 仅精修 | 12.25 | 1.19 | 4.11 | 0.026 | 动态距离大降 |
| 仅移位注意力 | 11.98 | 1.32 | 12.53 | 0.018 | 姿态误差降但表情 FD 升 |
| 全模块 | 11.58 | 1.01 | 3.91 | 0.014 | 综合最优 |
表后解释需要区分收益与代价。移位注意力把姿态 rPCC 从 0.026 降到 0.018，有助于反应时机，但单独使用时表情 FD 升到 0.68，原文解释为过度跟随声音能量导致结构漂移。门控与移位注意力组合后姿态 L1 为 6.52、姿态 FD 为 1.01，稳定了基轨迹。精修单独把表情 FIDΔfm 从约 12.50 降到 4.11、全模型降到 3.91，且表情 FD 从 0.64 改善到 0.56，但按构造不改变姿态运动学。门控行为的推理时分析显示 515 个速度定义的起始处门峰中位偏移 0 帧、均值负 0.50 帧，同一片段内门值前 10% 帧的真值速度平均高 0.0051 且显著，但原文限定该分析不估计说话人到听众的延迟，也不证明门控导致运动变化或防止长程漂移。
延迟敏感性与眨眼结构分析提供第二类与第 3 类特有细节。延迟先验在 30 帧每秒下测试 0、4、8、12 帧，8 帧约 267 毫秒在 L1、FD 与 rPCC 上最优，12 帧约 400 毫秒相对变差，尤其 rPCC 恶化，支持所选先验中心在该配置下的有用性，但 τ 只是偏置中心而非生理反应时间的普适测定。眨眼分析用重渲染加关键点检测而不用原始混合形状直接计数，原因是眼睑闭合常与脸颊动作纠缠；结果是无精修几乎不眨眼，未调制噪声平均时长超 630 毫秒呈僵尸式长闭眼，REALM 平均 273.56 毫秒接近真值 292.01 毫秒，速率误差也从 10.50 降到 7.40，这支持高频方差落到了有解剖意义的运动上而非无结构抖动。
| 先验中心 | L1 表情与姿态 | FD 表情与姿态 | rPCC 表情与姿态 |
|---|---|---|---|
| 0 帧无移位 | 11.88 与 6.96 | 0.61 与 1.43 | 0.019 与 0.029 |
该延迟表说明最优只在已测四档中成立，不能推广到未测延迟或不同帧率。用户研究作为另一张证据表放在下一节的机器人部分展开，此处先明确其样本量为 25 人每人 5 段、六方法同序列随机双盲、REALM 与最强基线差异在 Wilcoxon 符号秩检验下显著，避免把系数领先直接等同人评领先。
哪些结论不能从现有证据中推出？
原文明确三项边界。第一，当前是离线对话窗口建模，扩展到流式人机交互需要显式控制时间信息访问与端到端延迟，不能从融合层的因果掩码单独推断流式保证。第二，标称延迟是共享先验，可能不刻画个体差异，发展上下文相关的延迟先验是未来方向，不能把 8 帧约 267 毫秒当作普适生理反应时间。第三，物理部署依赖机器人专用重定向，换 embodiment 需要形态感知的映射与各平台执行器极限验证，不能把 Ameca 上的用户研究分数直接迁移到其他硬件。
还有三项未测量的限定。门控峰与运动起始的对齐是听众时间轴上的描述性关联，需结合峰密度与随机对齐基线解读，不分离移位注意力的贡献。方差接近真值只说明运动幅度分布接近，不奖励无结构噪声，也不等同每段每步都自然。训练资源与前向浮点数不等于实际帧率与延迟，总体趋势不等于每组都成立。缺少误判率、延迟与成本测量时，不应承诺这些量得到改善。
要复现应先准备什么，代码与权重分别意味着什么？
复现先做三件事。第一，按附录准备数据管线：ViCo 用 64 维表情加 6 维姿态与 Wav2vec 2.0 音频、序列长 128，L2L 用 50 维表情加 6 维姿态、序列长 64，历史窗口统一 16，评价在 3 维网格表示上直接计算而非 2 维渲染像素。第二，按 2 阶段课程跑训练：先训粗路径 120 轮再冻结训精修 80 轮，批量 512，AdamW 参数与余弦热身按原文设置，损失权重取速度 1.0、边界 5.0、精修对抗 0.5。第三，若要上机器人，必须切换到 FaceVerse V2 的 52 维语义混合形状管线并重训全部基线，再实现映射、5 帧平滑、相对标定与限幅 4 步，核对弧度单位与关节上下限。
资源状态是唯一依据。代码资源当前可用，地址为 https://github.com/lipzh5/REALM，文档完整性为部分可用，覆盖安装与微调，验证状态码为 200。本次解读不声称权重下载或开箱即用的完整系统可运行，机器人实验还依赖 Ameca 硬件、机械中性位标定与固件安全策略，这些在公开代码之外需要自行补齐。用户研究若要重做，需保持 25 人规模、每人 5 段、六方法同序列随机双盲与注意力检查，并用 Wilcoxon 符号秩检验报告与最强基线的成对差异，否则人评分数不具可比性。
| 用户研究方法 | 自然度 | 同步性 | 恰当性 | 总体偏好 |
|---|---|---|---|---|
| RLHG | 2.2 | 2.4 | 2.4 | 2.2 |
| L2L | 2.8 | 3.0 | 3.2 | 2.8 |
| ListenFormer | 3.6 | 3.8 | 4.0 | 3.6 |
| UniLS | 3.2 | 3.6 | 3.8 | 3.4 |
| REALM | 4.4 | 4.2 | 4.2 | 4.0 |
该表显示 REALM 在 4 维上均最高，但应结合系数反例一起读：人评最高不抹去姿态 FD 与部分方差上基线更优的事实，也不证明流式延迟或跨机器人泛化。重提主数字时新增的信息是适用条件：系数领先适用于离线窗口与给定特征维度，人评领先适用于 Ameca 加相对标定后的物理呈现，两者不可互换。
何时值得尝试这种拆分，还需补哪项验证？
当任务同时出现反应滞后与快速局部事件时，这种拆分值得尝试。具体信号是：说话人能量高但听众应保持不动的片段很多，且眨眼与微笑等事件短而多峰。此时可先用延迟偏置加门控稳定粗轨迹，再把随机容量限制在表情子空间。若头姿本身也需要多峰随机性，或延迟因人而异很大，则原文的保留粗姿态与共享 τ 假设可能不够，需要放宽子空间约束或学习上下文相关延迟。
动手建议是先在 ViCo 域内复现 L1 与 FIDΔfm 的分离改善，再做延迟四档敏感性与眨眼时长结构检查，最后才上机器人。还需补的验证包括流式因果下的延迟与抖动测量、跨身份与跨硬件的映射验证、以及门控峰的随机基线对照。只有补齐这些，才能把窗口条件下的系数结论推进为可部署的交互结论。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses