英文题目：ViBES: A Conversational Agent with Behaviorally-Intelligent 3D Virtual Body
会议身份：
conference:cvpr:2026:conference-paper-id:Zhang_ViBES_A_Conversational_Agent_with_Behaviorally-Intelligent_3D_Virtual_Body_CVPR_2026_paper
✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。
标签：#基准测试 #数据集 #混合专家模型 #多模态学习 #语音对话系统
评分：6.8/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：模型报告
👥 作者与机构
- Juze Zhang：机构信息未能从会议 PDF 纯文本可靠映射
- Changan Chen：机构信息未能从会议 PDF 纯文本可靠映射
- Xin Chen：机构信息未能从会议 PDF 纯文本可靠映射
- Heng Yu：机构信息未能从会议 PDF 纯文本可靠映射
- Tiange Xiang：机构信息未能从会议 PDF 纯文本可靠映射
- Ali Sartaz Khan：机构信息未能从会议 PDF 纯文本可靠映射
- Shrinidhi K. Lakshmikanth：机构信息未能从会议 PDF 纯文本可靠映射
- Ehsan Adeli：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
输入为多轮语音或文本对话及可选身体动作指令，输出为同步的语音回复文本与语音连同面部表情和全身动作，难点在于跨轮次语义连贯、韵律与动作时序对齐以及何时动和做什么的智能决策。方法链分四步：多模态分词器将文本语音与面部身体统一到25 fps主时钟下的离散token流并交错排列，混合模态专家骨干以硬路由分配语音语言专家与面部身体专家处理各自token，跨专家注意力让面部身体查询只读语音语言键值以注入对话状态，分数旋转位置编码以语音文本锚点为整数轴对动作位置做分数插值以保持wall-clock对齐。与两阶段语音大模型外挂动作生成器相比，该机制在共享自回归策略下联合规划语言与动作并保留预训练语音能力。在Converse3D测试集4921样本的对话行为基准上，R1-Balanced为0.467，明显高于最强统一基线MoMask的0.293，且FID为93.9远低于次优的262.2。该结论限于重建质量受限的网课式对话与受控动作描述，外推到强遮挡、长时交互与机器人部署尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，本文要解决哪种脱节？
本文的输入是多轮对话中的用户语音或文字，有时还包括中途插入的身体动作指令，例如请后退并挥手。目标是让 3 维虚拟人同时输出下一轮的回答语音、文字以及与之时间对齐的面部与全身动作。必须保留的信息包括对话历史、当前问句的语义、回答音频的韵律，以及动作指令的语义。输出是交错的混合 token 流，再分别解码为可播放的音频波形与可驱动的面部身体参数。
初学者容易把这项工作理解为语音合成加动作生成的简单拼接。论文要解决的脱节正在于此：以往系统把固定话语映射为动作片段，不决策何时动、做什么、如何跨轮保持一致。结果是时机生硬、社交含义弱、语音文本动作三栈分离训练与推理。本文把非语言行为看作对话智能的一部分，要求模型在同一策略下联合规划说什么与怎么动，并在多轮中保持一致。
学习时请沿一条样本走完全程：用户问你好吗，模型先理解语义与语气，再规划回答文字与语音，同时规划是点头微笑还是执行后退挥手，最后在统一时钟上输出各模态 token。这种输入到表示到组件到目标到输出的链条，是后文理解分词、专家与位置编码的基础。
相关路线在同输入同目标下各缺了什么？
第一条路线是对话语音智能体，分为模块式与端到端。模块式用大语言模型输出文本再接语音合成，端到端在同一模型内耦合语义韵律与情感。它们的输入与目标都是把对话历史转为下一轮语音文字，不建模身体。优点是对话质量高，缺点是无法输出时间对齐的全身行为。
第二条路线是视觉化身，包含 2 维人像动画与 3 维面部手势。2 维方法从参考视频搬运动或从音频合成 talking head，部署受视角限制；3 维方法分音频到面部与音频到手势，多只做脸或只做肢体，缺少统一身体。本文的对照点是输入同为语音、目标同为可视输出，但既往工作不要求多轮推理与显式动作指令跟随。
第三条路线是多模态运动生成，含文本到动作与音频到动作。文本到动作常用扩散或自回归建模骨骼或旋转表示，音频到动作强调节奏对齐。最接近的是统一多条件模型，但论文指出它们缺少显式文本条件、大语言模型推理主干或表情建模，训练规模也有限。
共语音手势生成 × 文本到动作生成： 共语音手势生成分工是根据回答音频的节奏生成合理摆动，文本到动作生成分工是根据显式指令生成特定语义动作；论文搭配讨论二者的理由是两者都只做单句映射而缺少多轮决策，组合对照说明了 ViBES 为何要同时支持开放式手势与指令性动作。
为什么两阶段拼接难以保证跨轮一致？
一个直观做法是在大语言模型后外挂动作生成器：语言模型决定说什么，动作模型根据合成音频生成手势。论文指出这种做法没有统一的时机与选择策略，没有共享的对话状态，因此无法保证跨轮一致性与安全性。例如上一轮已坐下，下一轮若只看当前音频仍可能生成站立挥手，造成状态跳变。
更深的问题是监督缺失。以往数据集多为两两对齐，文本到动作、音频到动作各自独立，缺少大规模时间同步的音频文本动作三元组。没有三元组，模型学不到问句语义、回答韵律与动作语义的联合分布，只能在推理时硬拼接。
因此本文把问题定义为对话条件下的身体动作规划与执行：既要对开放式问题生成合理共语音手势，又要对后退挥手这类显式指令生成语义准确的动作，还要在多轮中保持语音文字动作一致。评价也必须同时覆盖对话理解、社交恰当性与运动质量，而不是只看单句动作似然。
ViBES 的全景：语料、模型与任务如何对应？
ViBES 的全称在摘要中给出为语音行为表达与同步中的声音，模型部分称为语音语言行为模型。方法全景分三块：约 1000 小时的对话行为语料提供同步监督；混合模态专家主干提供联合建模；基准与下游任务验证对话行为、头动画、手势与文本动作。图 1 把这种对应画得很直接，上排是数据与模型，下排是 5 个可运行任务。
下排任务帮助初学者建立心智模型：多轮音频对话考验说什么，动作执行考验是否听指令，共语音手势考验开放式问题的合理摆动，语音驱动头动画考验口型同步，文本到动作考验长尾指令的语言 grounding。同一模型通过改变输入输出 token 组合来切换任务，而不是为每个任务训练孤立模型。
语音语言专家 × 身体动作专家： 语音语言专家负责理解与生成文本和语音，保持对话语义与韵律；身体动作专家负责生成面部与全身动作 token；二者搭配的理由是让语言决策直接提供键值给动作查询，组合意义是动作生成始终以当前对话状态为条件，而不是事后配动作。
以下导读针对图 1 的整体布局，帮你把数据流与任务对应起来。图中上左侧展示多轮问答波形与对应人体，下右侧展示混合专家输出混合 token 再分到语音与动作解码器，下排用 5 个色块展示同一主干的不同用法。
看图路径： 1. 先看上排左右两块：左侧是多轮问答语料，右侧是统一模型输出混合 token；2. 再看下排五个任务块，确认同一模型要覆盖对话、手势、头动画与文本动作；3. 沿左上音频波形到左下人物剪影，确认音频文本动作是时间对齐输入
论文图 1。原论文 Figure 1：“We present a novel speech–language–behavior (SLB) model with a mixture–of–modality–experts (MoME) architecture that ingests audio, motion, or text and shares cross-modal…”。
图 1 显示左侧语料块强调问答轮次与人物形态的并置，右侧模型块强调从统一表示分出语音与动作两路输出。下排 5 个示例表明模型既处理你好吗这类社交问候，也处理正式鞠躬这类显式动作描述。阅读时不要把下排当成 5 个独立模型，它们是同一自回归主干在不同输入输出配置下的实例化。
分词与专家如何分工？谁读谁的信息？
第一步是把各模态转为离散 token。文本用对应大模型的子词分词并带有词时间戳，语音用 12.5 赫兹的语音分词器以保留声学重建与情感语义，面部用面部分词器在 25 帧下输出表情 token，身体用组合式分词器分上身下身手 3 路并做 4 倍时间下采样得到 6.25 帧 token。所有流再对齐到 25 帧主时钟，并保留 token 到帧的映射以支持流式训练推理。人体表示同时导出骨骼与旋转两种格式，分别用于与不同基线的公平比较。
第二步是混合模态专家主干。文本语音 token 走文本语音专家，该专家从语音大语言模型初始化并冻结；面部 token 走面部专家；上身下身手 token 走身体专家。每个专家有自己的归一化与前馈，查询键值投影也按模态划分。
关键拓扑是文本语音自注意力只看文本语音，面部与身体查询只读文本语音的键值，不做面部到身体的直接注意力。论文报告打开面部身体互注意力没有可测提升，因此设计上关闭该路径。
混合模态专家 × 语音语言行为注意力： 混合模态专家是按模态硬路由的参数划分，文本语音、面部、身体各走自己的前馈与归一化；语音语言行为注意力是跨专家的信息通道，面部与身体查询只读文本语音的键值；搭配原因是保留预训练语音语言能力的同时只新增轻量动作分支，组合后实现稀疏但时间对齐的跨模态读取。
以下导读针对图 2 的左右结构。左半是从原始信号到交织序列再到解码器块的纵向流程，右上是分数位置的放大示例，右下是 3 个专家分支的注意力划分。先看颜色图例区分 6 类 token，再看交织后整数与小数的标注。
看图路径： 1. 从左上文本与音频分词器向下看交织条带，确认六类 token 如何交错；2. 看右上分数位置示例中整数与小数位置的对应关系；3. 看右下三个专家分支的输入输出，确认谁读谁的键值
论文图 2。原论文 Figure 2：“Model overview. The model adopts an autoregressive structure that converts all modalities into a unified token space.”。
图 2 可见文本音频 token 保持整数位置，相邻整数之间插入多个小数位置的面部与身体 token，例如 2.2、2.4、2.6、2.8 落在 2 与 3 之间。右下显示语音文本、面部、身体各有独立的前馈与查询键值，但共享多模态自注意力计算。这种设计让主干权重保持完整，只新增轻量边车模块即可接入新模态。
分数位置编码如何把不同帧率钉在同一时间轴？
不同模态帧率不同，若直接用整数序号，语音 1 帧与动作 1 帧会被误认为等间隔。论文以文本语音流为锚点，给每个锚点整数序号，再根据墙钟时间戳把动作 token 线性插值到相邻锚点之间。若动作时间早于首锚或晚于末锚，则用中位间隔向两侧外推。还可为每种模态加相位偏置与缩放以减少边界碰撞，不用时取单位缩放与零偏置。
得到标量位置后，用旋转位置编码注入注意力。频率梯按底数幂次构造，相位为位置乘频率，查询与键的每对坐标做 2 维旋转后再做点积。矩阵形式可写成位置向量与频率向量外积得到相位矩阵。这种做法把交织序列放在单条旋转时间线上，既保留跨模态先后，也保留间隔大小。
交错 token 流 × 分数位置编码： 交错 token 流把不同帧率的文本、语音、面部与身体 token 按时间交织成一个序列；分数位置编码给文本语音整数位置、给动作小数位置以保留真实时间差；搭配原因是音频 12.5 帧与动作 25 帧天然不对齐，组合后旋转位置编码可以在注意力中直接反映先后与间隔。
FLAME 面部参数 × SMPL-X 身体参数： FLAME 面部参数分工是表达唇形与上半脸表情，SMPL-X 身体参数分工是表达上身、下身与手的关节运动；二者搭配是因为对话行为需要同时评价口型同步与肢体社交含义，组合后才能在同一时钟下输出完整的 3 维虚拟身体。
举一个教学例子帮助复述，注意这只是例子而非论文报告的数值：假设文本语音锚点在 2 秒与 3 秒，某手部 token 的时间戳为 2.6 秒，则其分数位置为 2.6，落在整数 2 与 3 之间。注意力计算时，该位置的旋转角度介于两者之间，模型能知道它更靠近后一锚点。实际帧率与偏置按原文配置为准，复现时应直接采用 25 帧主时钟与对应下采样设置。
Converse3D 语料如何从三类来源拼出同步三元组？
训练依赖的 Converse3D 语料目标是约 1000 小时，由 3 类来源互补构成。第一类是野外视频，覆盖访谈播客演讲与日常对话，经过语音活动检测、词级识别与说话人分割切分为话语窗口，再用单目方法估计身体手与面部参数并重采样到 25 帧，辅以重投影误差、自交、可见性、信噪比与词错率质检。第二类是整合既有动作数据集，含文本动作对、音频动作与面部标注，全部重定向到统一参数并对齐时钟。第 3 类是保守合成补全缺失模态，例如用唇同步模型精修小子集的面部轨迹、只补全被遮挡的手以不改变全局动力学，或用高保真语音合成把动作描述转为配对音频文本。
监督形式是密集时间同步的音频文本动作三元组，支持自回归的下 1 token 预测。文本语音分支冻结继承预训练能力，面部与身体分支通过交叉注意力学习以对话为条件的动作分布。论文未报告优化器超参数与训练步数的完整清单，这是复现时需要回查代码的具体缺项，不能从模型名称推定学习率或冻结范围。
需要明确资源状态：本次收到的证据中没有完成验证的代码数据链接，不得声称代码模型或数据已公开。原文写有将公开的计划，但按本次可核对原则只能视为计划而非当前可用。
评价测什么，条件如何保证公平？
对话行为基准在 Converse3D 测试集上构建，共 4921 个样本，其中 3128 个动作描述性样本与 1793 个对话性样本。评价器为问到动作的对比模型，用变换器动作编码器加冻结文本编码器映射问句与动作。每个批次含 16 个描述性与 16 个对话性样本，描述性用严格 1 对一匹配，对话性用宽松匹配即检索到任 1 对话手势即算对，以反映共语音手势的 1 对多本质。报告平衡召回、类型召回、匹配距离、相对真实分布的距离与多样性，方向为召回越高越好、距离越小越好、多样性接近真实为好。
语音评价用相关性与一致性，头动画用唇顶点误差、口张距离与上脸动态偏差，手势用手势距离、节拍相关与多样性。公平性处理包括：头动画统一用同一份代码重算基线并指出唇误差在文献中计算口径不一；手势只用训练划分训练本方法而不引入外部数据；文本到动作改用骨骼表示的变体以匹配该基准。基线覆盖共语音方法与文本到动作方法，以及统一模型，输入条件在表中明确为回答音频或问题文本，不能跨输入直接比大小。
硬件预算、统计显著性与人工评价的细节在现有证据中未完整报告，阅读时应把自动指标的提升与人的社交偏好区分开。总体趋势不等于每轮每步都成立，跨轮一致性仍需更可靠的偏好模型来验证。
对话行为主结果：联合训练带来了哪些可核对的增益？
主结果要回答的问题是：在同一测试集上，联合语音语言行为训练是否同时改善语义准确动作与开放式手势。公平条件是基线按原任务输入运行，共语音方法输入回答音频，文本到动作方法输入问题文本，本方法输入问题文本并生成动作。指标方向为平衡召回越高越好，距离越小越好，多样性越接近真实分布越好。
| Methods | Input R1-Balanced | MM Dist↓ | FID↓ | Div→ |
|---|---|---|---|---|
| Ground Truth NA | 0.712 | 2.342 | 0.0 | 11.05 |
| LOM [11] Response audio | 0.323 | 3.435 | 373.8 | 2.49 |
| MoMask [37] Question text | 0.293 | 3.675 | 265.5 | 7.38 |
| Ours Question text | 0.467 | 3.178 | 93.9 | 10.73 |
表后解释需要同时讲收益与代价。本方法在平衡召回与两类召回上高于所选共语音与文本到动作基线，距离与分布距离也更小，多样性更接近真实值，支持联合训练提供了跨任务增益的判断。但未胜出项同样明确：与真实动作相比仍有差距，尤其在描述性动作的精确检索上，说明语义特异性动作仍难；共语音基线在对话性召回上并非全败，表明开放式手势的宽松匹配下差距会缩小。图 3 的定性示例进一步显示文本与音频两种交互都能输出连贯回答与对应动作，但定性图不能替代上表的定量比较。
以下导读针对图 3 的四格布局。上排为文本交互，下排为音频交互，左右分别为社交问候与动作指令两类提示。每格含气泡文字、人物序列与音频图标，需按输入形式分别阅读。
看图路径： 1. 对比左上文本交互与左下音频交互的输入形式差异；2. 观察右上走圈与右下跳跃两组动作序列的身体变化；3. 核对每组气泡中的问句与回答文字是否与动作语义对应
论文图 3。原论文 Figure 3：“Qualitative examples of conversational behavior. We show one example for text-based interaction (top) and one exam- ple for audio-based interaction (bottom).”。
图 3 可见文本交互中模型对你好吗给出社交回应并伴随坐姿手势，音频交互中对走圈与跳跃指令给出描述性回答并伴随相应全身动作。观察时先核对问句是开放式还是指令式，再看回答文字是否包含动作描述，最后看人体序列是否出现对应的腿部与手臂变化。像素不能精确读出的关节角度不要硬写，重点确认语义对应而非逐帧精度。
头动画结果：在非主攻任务上为何仍能保持口型同步？
该小节测的是把目标音频 token 输入并解码面部运动的能力，测试在常用面部数据集划分上进行。指标为唇顶点误差衡量口型同步，上脸动态偏差衡量表情稳定性，口张距离衡量口型风格相似，均为越小越好。公平条件是统一用同一份发布代码重算所有基线，因为文献中唇误差存在均值最大平方与毫米换算等口径差异，直接引用原文数字不可比。部分基线只在该数据集训练，因此论文也训练了仅用该划分的版本以保证可比。
| Method | LVE ↓ | MOD ↓ | FDD ↓ Type |
|---|---|---|---|
| DiffPoseTalk [104] | 11.01 | 2.55 | 37.68 |
| ARTalk [15] | 11.67 | 2.46 | 20.77 |
| Ours | 10.87 | 2.29 | 6.05 |
表后解释应指出：本方法在唇误差与口张距离上取得最小值，在上脸动态偏差上明显小于所选强基线，支持跨模态注意力在未专为对齐设计时仍带来稳定增益的判断。但代价是该任务只固定头姿评估，未评测头部旋转与全身协调；且第 2 名基线在唇误差上接近，优势并非压倒性。未评测边界包括极端口音与遮挡下的鲁棒性，不能从本表推广到野外部署。
复述要点是：面部查询读语音键值的设计让口型直接以音频为条件，而冻结的语音分支保留了韵律信息。这种机制解释了为何主攻对话行为的模型能在头动画上保持竞争力，但仍需注意该解释是有限解释而非因果证明。
共语音手势结果：节奏与多样性能否兼得？
该小节测音频到全身动作的节奏对齐与真实感，基准采用说话人无关划分。指标为手势距离越小越好，节拍相关越高越好，多样性越高一般表示变化更丰富但需结合真实感看。公平条件是本方法只用该基准训练划分，不引入外部数据，对照近年的变换器音频到动作模型。
| Methods | FGD | ↓ BC↑ | Diversity↑ |
|---|---|---|---|
| SynTalker [10] | 6.413 | 7.971 | 12.721 |
| EMAGE [67] | 5.512 | 7.724 | 13.060 |
| LOM [11] | 5.301 | 7.780 | 15.167 |
| Ours | 5.257 | 8.103 | 13.028 |
表后解释应同时给出收益与反例。本方法在手势距离最小且节拍相关最高，表明交叉注意力加强了跨模态对齐；多样性保持在较高水平但并非最高，未胜出项是部分基线在多样性上更高，说明节奏准确与动作多变之间存在权衡。不能把多样性单独当成质量，脱离距离与节拍的高多样性可能是抖动或不自然动作。
结合前两节看，模型在对话行为、头动画与手势 3 类任务上同时改善，支持统一身体建模的泛化价值。但 3 类指标口径不同，差值不能跨表比较，百分点与相对百分比也需区分。部署时还需补测延迟与帧率，本文证据未给出这些量，不能承诺实时性得到改善。
语音能力是否被保留？面部身体互注意力是否必要？
该小节回答两个反证问题。第一是加入动作分支后语音对话能力是否退化，用相关性与一致性衡量，越高越好。第二是面部与身体之间是否需要直接注意力，论文通过消融报告打开该路径没有可测改善，因此设计上关闭。以下用可逐字核对的原句整理语音得分表，列数满足宽表对照需要，数值保留原文精度。
比较问题是：在相同对话评价下，本方法是否接近真实上限并高于其他语音语言基线。公平条件是均在多轮对话上测相关性与一致性，基线含真实值上限与微调模型。指标方向为分数越高越好。
| 方法 | 输入条件 | 相关性得分 | 一致性得分 | 对照对象 |
|---|---|---|---|---|
| 真实值上限 | 真实对话 | 4.838 | 4.893 | 数据集真值 |
| 语音语言基线 | 对话历史 | 3.859 | 3.157 | 通用语音模型 |
| 本方法 | 对话历史 | 4.584 | 4.376 | 继承预训练权重的版本 |
表后解释需说明：本方法在两项上明显高于所选通用基线并接近真实上限，支持文本语音分支有效继承并保留预训练能力的判断。但代价是该表只覆盖自动评分，未测量误判率与人工偏好；且面部身体互注意力的阴性结果只在本文数据与拓扑下成立，不能推广为所有架构都不需要该路径。未评测边界包括长对话漂移与安全拒绝行为。
以下导读针对文本到动作的定性对比图。该图与对话主表互补，用于检查长尾指令的语言 grounding。图中每行为一种方法，每列为一种文本提示，颜色区分方法，纵轴为时间展开的人体序列。
看图路径： 1. 自上而下对比四个方法行的人体序列，确认同一文本输入下的差异；2. 观察最后一行本方法序列中腿部与手臂的幅度变化；3. 注意左右两列是两个不同文本提示，不要混为同一动作
论文图 4。原论文 Figure 4：“Qualitative comparison for text-to-motion.”。
图 4 可见不同方法在同一文本下的人体幅度与连贯性不同，本方法行在腿部跨度与手臂展开上更符合提示的运动描述。但定性对比受视角与采样帧影响，不能精确读出关节误差，仍需回到主表的距离与召回做定量判断。该图支持预训练语言主干带来更强指令跟随的有限解释，待验证部分是罕见指令的泛化仍需更大规模的受控测试。
哪些结论尚不能下，数据与评价各缺什么？
论文在结尾明确了 4 类局限。第一是数据规模对完全训练语音大语言模型主干仍有限，当前做法是冻结主干加轻量专家，这保留了语言能力但也限制了对新模态的深度适配。第二是框架尚未充分利用现代大语言模型的推理能力，复杂多步指令与社交策略仍有提升空间。第三是野外视频经单目重建得到，继承了几何伪影与遮挡误差，质检只能过滤部分低置信样本。第四是行为评价困难，现有自动指标与偏好模型尚未与人类判断充分对齐。
缺失证据不是技术错误，但阅读时要用报告、支持、可能 3 级表达区分。报告的是各表中的数字增益；支持的是联合训练有助于对齐的有限解释；可能的是更大规模同步数据会进一步提升，这属于待验证推测，不能当成已证结论。相关性不是因果，自动指标提升不等于用户觉得更自然。
实际限制还包括未报告训练资源、推理开销与输出帧率。总体趋势不等于每组都成立，例如描述性动作仍弱于真实值，开放式手势的宽松匹配会掩盖部分失败。部署前需补测延迟、误触发率与安全边界，不能从质量指标推定系统可运行。
何时值得尝试，复现先做什么？
当你的任务同时需要多轮对话与可控身体，例如需要听懂后退挥手并在说话时保持手势连贯，本文的联合建模值得尝试。若只需要单句配动作或只需要语音问答，单独的文本到动作或语音智能体可能更轻量，不必引入统一身体的复杂度。
复现先做三件事。第一是统一时钟与表示：把音频定到 12.5 帧、动作重采样到 25 帧，面部分支保持 25 帧、身体组合分词下采样后对齐，并同时导出骨骼与旋转格式以便与各自基线对齐。第二是专家与注意力拓扑：文本语音专家从对应语音模型初始化并冻结，面部身体查询只读文本语音键值，先关闭面部身体互注意力作为起点。第三是评价管线：先跑通问到动作的严格与宽松召回，再用同一代码重算头动画基线，避免直接引用文献中口径不一的唇误差。
关键超参数与信息条件应保留原文设置，缺失的优化器细节需回查代码。区分代码开源、权重下载与系统可运行：本次证据未验证可用链接，只能按计划处理，复现前需先确认可达性。还需补的验证包括人工偏好、长对话一致性与实时延迟，这些量在原文未测量，不能默认成立。
收束：用一句话复述方法与证据链
复述全链条：用户语音或文字进入分词器转为交错 token，分数位置编码把不同帧率钉在同一时间轴，混合模态专家中面部身体查询读取文本语音的对话状态，自回归预测输出下一轮语音文字与动作，再分别解码为波形与 3 维参数。监督来自约 1000 小时的同步三元组，评价同时覆盖对话理解、社交恰当与运动质量。
证据链可概括为：对话行为表显示平衡召回与距离同时改善，头动画表显示口型同步与稳定性保持，手势表显示节奏相关提升，语音表显示对话能力接近真实上限。每处增益都有代价或边界：描述性动作仍弱于真实值，多样性并非最高，评价仍依赖自动指标，重建伪影与缺失的成本测量限制了部署结论。
记住论文特有的易错点：不要把曲线向下直接当变差，要先看指标方向；不要把不同表的差值混放一列；不要把宽松匹配的对话手势得分等同于精确动作跟随；不要从冻结参数推定输出确定。掌握这些，初学者就能可核对地复述方法，并在需要时补上人工评价与延迟测试这两项关键验证。
📐 原文公式与排版
以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。
区域 1 · 查看论文原页
区域 2 · 查看论文原页
区域 3 · 查看论文原页
区域 4 · 查看论文原页
区域 5 · 查看论文原页
另有 31 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses