先想再动再说：U-Mind 用文本先行统一语言语音动作的实时交互

英文题目：U-Mind: A Unified Framework for Real-Time Multimodal Interaction with Audiovisual Generation

会议身份：conference:cvpr:2026:conference-paper-id:Deng_U-Mind_A_Unified_Framework_for_Real-Time_Multimodal_Interaction_with_Audiovisual_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#多模态学习 #实时处理 #音视频生成 #音视频交互

评分：6.3/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.2/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Xiang Deng：机构信息未能从会议 PDF 纯文本可靠映射
• Feng Gao：机构信息未能从会议 PDF 纯文本可靠映射
• Yong Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Youxin Pang：机构信息未能从会议 PDF 纯文本可靠映射
• Xu Xiaoming：机构信息未能从会议 PDF 纯文本可靠映射
• Zhuoliang Kang：机构信息未能从会议 PDF 纯文本可靠映射
• Xiaoming Wei：机构信息未能从会议 PDF 纯文本可靠映射
• Yebin Liu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作输入文本或语音用户查询并同步输出文本回复、语音与人体动作及渲染视频，难点在于跨模态时间同步与联合训练时大语言模型推理能力退化。其方法先用残差向量量化变分自编码器与语音分词器将动作与语音离散为词元并统一词表，使共享主干能做跨模态下一个词元预测。接着在预训练中混合文本到动作、语音到动作、文本到语音的模态对齐任务与纯文本推理复述任务，并按韵律暂停切分重组片段以强化细粒度对齐，输出兼顾对齐与推理的高智能基座。然后在指令微调中强制先生成思维链规划再按文本优先顺序解码文本、语音与动作，并由姿态可控视频模块合成为视频。与外挂规划器或纯文本对齐方法不同，该框架把推理显式内化为解码前缀并用切分重组强化语音动作节律对应，具有统一实时交互意义。在BEAT v2与HumanML3D衍生多模态对话评测任务下，Ours的FGD为7.67，低于SOLAMI的FGD 18.43。该结论适用边界限于短句级对话评测及大模型主观打分，细粒度手部表情与长时对话外推尚未验证且受限于离散动作词表保真度。视频生成模块的训练成本涉及在16块H100 GPU硬件上微调，整体多模态主干的完整训练与推理开销原文未充分量化。

🔗 开源与复现资源

• 演示资源：https://xiang-deng00.github.io/U-Mind.github.io/ — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/canopyai/OrpheusTTS — 链接不可用（HTTP 404）
• 第三方资源：https://github.com/openai/whisper — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，什么信息必须保留？

这篇论文研究的输入是用户的文本提问或语音提问，目标是在实时多轮对话中同时给出文本回答、语音回答、身体动作和逼真说话视频。初学者可以把任务理解为做一个能边想边说边比划的数字人，而不是只会回文字的聊天模型。必须保留的信息包括用户意图、对话上下文、语音的韵律停顿和动作的时序节拍，丢失任何一类都会导致答非所问或声画动作错位。原文把系统目标概括为在同一个交互循环内联合建模语言、语音、动作和视频合成，并强调高层推理与连续模态生成的统一。

为理解这种全栈输出的难度，可以先看论文给出的整体示意，该图把 1 次交互拆成从上到下的 token 流与下部两个具体用例，便于核对输入到 4 种输出的完整链路。

看图路径： 1. 先看顶部用户输入条如何同时容纳文本与语音查询；2. 再看中部四组输出词块如何对应思维链文本语音动作；3. 对比左下开放对话与右下指令跟随两例的输入与手势差异；4. 观察参考图到连续动作帧的箭头所表示的渲染关系

论文图 1。原论文 Figure 1：“Given a user query in text or speech, our system performs internal Chain-of-Thought (CoT) planning and produces synchronized responses across text, speech, and gesture.”。

该图上半部分显示用户输入经过统一模型后分成思维链词块、文本回答词块、音频波形词块和动作序列词块，下半部分左侧是询问新餐馆看法的开放对话，右侧是展示运动后拉伸的指令跟随，两侧都给出内部思考文本、口语回答文本和由参考图驱动的多帧视频。这一展示支持论文的一个判断，即系统需要先做内部规划再做同步生成，而不是把语音动作当成文本的附带产物。初学者复述时应记住输入可以是文字或声音，输出必须是文字加声音加动作加视频四者时间对齐，任何只评文字的指标都不能代替该任务的评价。

已有路线在输入目标监督和运行阶段上有何不同？

语音手势生成路线以语音到动作为主，早期用规则模板做语音动作对齐，后来用数据驱动直接映射，再发展到生成式与扩散式方法以增加多样性和细粒度动力学。这类工作的输入多为语音，目标是逼真自然的手势，监督来自语音动作配对数据，运行阶段多为单向离线生成，缺少高层推理和多轮对话。文本到动作路线以文本描述到动作为主，目标是从文字生成合理上下文动作，同样多为单任务生成，不处理语音韵律与动作节拍的同步。

具身智能路线从脚本化身和手工非语言线索起步，逐步引入神经结构联合处理语音视觉文本，近期用大语言模型统一开放对话与动作生成。论文点名的直接对照是 SOLAMI，它已实现端到端多模态对话加语音动作生成，但原文指出其对齐以文本为中心，忽视推理能力保留，且语音动作细粒度同步不足。另一类对照是把大语言模型、语音合成与动作生成串起来的流水线，语言部分强但跨模态缺乏联合训练。初学者要区分同输入同目标的比较才有意义，不能把只做文本到动作的专用模型分数直接当成对话系统的分数，论文在基础合成与高级交互上分别设表正是为了避免这种混淆。

为什么联合训练会同时损伤同步与推理？

论文把核心矛盾归纳为两个相互牵制的目标。一是缺乏统一的词级对齐，语音、动作与语言不在同一时间粒度上，直接混合训练难以学到语义与节拍的对应，导致说话内容与手势错位。二是联合训练中的推理退化，引入动作语音等感知模态会带来低层拟合与高层推理的竞争目标，容易灾难性遗忘大语言模型原有的规划对话能力。举例来说，若只优化动作逼真度，模型可能对开放问题退化为字面动作模仿；若只保留问答能力，语音动作又会变得平淡通用。

因此问题不是简单扩大数据量，而是需要一种训练框架同时解决时间同步与推理保留，并支持实时推理管线。论文提出的统一对齐与推理框架正是为此设计，后文的方法全景、表示组件、2 阶段训练与实时渲染分别对应同步机制、推理保留机制和闭环落地，学习时应先建立这一依赖关系再进入细节。

两阶段框架如何把对齐与推理分开又合拢？

论文的方法全景是 2 阶段训练加一个实时推理管线。阶段一是排练驱动的基础预训练，同时做文本到语音、文本到动作、语音到动作 3 类模态接地任务，并持续混入纯文本推理数据，目标是让模型获得新模态流利度又不丢失符号推理。阶段二是带文本先行解码的指令微调，用多样对话与任务提示训练模型先生成思维链计划再生成文本语音动作，目标是对齐人类意图与多模态交互行为。推理时按思维链、文本、声学词、动作词的固定顺序自回归解码，再经姿态与语音条件渲染为视频。

下图把 2 阶段的输入分词、统一主干与输出解码画成左右两大块，是核对数据流向的关键依据，阅读时应沿着输入到输出的主路径逐步确认每一列的监督来源。

看图路径： 1. 先沿左侧阶段一四列任务看输入分词器到解码器的对应关系；2. 再看右侧阶段二如何从多模态提示走向思维链计划加三模态输出；3. 比较阶段一保留推理与阶段二生成计划在文本解码器位置的异同

论文图 2。原论文 Figure 2：“Method Overview. Our framework adopts a two-stage training paradigm.”。

该图左侧阶段一有四列，分别对应保留推理的文本问答、保留对齐的语音文本、学习新模态的动作文本与语音输入，每列都经过各自的分词器进入同一 U-mind 主干，再经文本解码器、语音解码器或动作解码器输出；右侧阶段二显示文本问题与语音问题经分词进入同一主干，然后依次输出思维链计划、文本回答、语音与动作，右上角还列出 3 类词块的颜色图例。这一结构显示所有任务被统一为离散词序列处理，阶段一解决表示统一与能力保留，阶段二解决意图跟随与顺序约束，初学者复述时应先说清 2 阶段各自的输入输出，再说推理时的固定解码顺序。

文本语音动作如何进入同一个词表？

系统的基础是大语言模型主干，原文明确为 LLaMA2-7B，并沿用 AnyGPT 的离散序列建模思路扩展。为让连续信号可被语言模型读写，论文对动作与语音分别做离散化。动作表示先用 SMPL-X 人体模型表达姿态，把姿态参数转为连续 6 维关节旋转，再用残差向量量化变分自编码器在 6 维姿态序列上训练，把动作压缩为潜在动作词序列，从而可对身体动力学做自回归建模。语音表示采用 SpeechTokenizer 的残差向量量化结构，把原始波形压缩为离散声学词，据称同时保留语义内容与韵律情感等副语言线索，便于对音频流做符号级处理。

为显式支持高层推理，论文引入两个特殊词 <think> 与 </think> 包裹内部思维链，内容仅为纯文本且只用于内部规划；语音动作与推理段分别用起止词包裹，纯文本不加显式分隔，全序列再用全局起止词封装。通过扩大词表与嵌入矩阵把动作词、语音词与思维链词纳入同一空间，模型即可用下一词预测交错生成多模态序列。

离散统一表示 × 自回归下一词预测： 离散统一表示负责把文本词、语音声学词和 SMPL-X 动作词映射到同一个词表和嵌入矩阵，让不同模态可用同一序列格式读写；自回归下一词预测负责按顺序逐个预测下一个词并同时承载语言规划与动作声学延续；二者搭配的原因是只有先把连续信号离散化，大语言模型才能沿用原有解码机制统一生成，组合后新增的作用是文本推理、语音和动作可在 1 次解码中交错生成并保持时序对应。

沿一个样本走一遍有助于固定理解。假设输入是一句语音提问，先经语音分词器变为声学词，文本部分经文本分词器变为文本词，一起送入统一主干；主干先输出思维链词，再输出文本回答词，再输出声学词与动作词；声学词经声码器变为波形，动作词经动作解码器变为 6 维姿态再驱动渲染。这一路径表明表示统一是后续对齐与推理保留的前提，任何跳过离散化的讨论都会误解训练目标。

分段与渲染组件各自解决什么同步问题？

分段对齐策略负责细粒度时间同步。做法是按节奏与停顿切分输入，基于标点与暂停边界分段，并在随机组合的段上训练，促进细粒度节拍对应与跨模态对应学习。白话说就是不让模型只看整句大意，而是反复看短片段的语音起伏与动作起伏如何对齐。渲染组件负责把抽象动作变为可看视频，支持两条后端，一是基于扩散的渲染器，以 DWPose 从 SMPL-X 姿态投影的 2 维关键点为条件合成逼真 2 维视频，二是高斯泼溅渲染器，直接从 SMPL-X 姿态序列渲染 3 维人物视频。这种双路径设计使从用户输入到同步文本音频动作视频的全栈生成成为可能。

分段对齐 × 韵律边界： 韵律边界负责按标点和停顿把长语音切成可对齐的短段，标示节奏停顿位置；分段对齐负责在这些短段上做随机组合训练，迫使模型学习局部语音与动作的对应；二者搭配的原因是整句训练容易只学到粗粒度语义而忽略节拍同步，组合后新增的作用是提升语音节奏与手势起伏的细粒度时间同步能力。

姿态可控视频渲染 × SMPL-X 姿态序列： SMPL-X 姿态序列负责提供身体关节点的 3 维运动参数，作为动作与外观之间的中介；姿态可控视频渲染负责以该姿态和生成语音为条件合成与之同步的逼真人物视频；二者搭配的原因是语言模型只输出离散动作词，需要经过解码为姿态再驱动像素，组合后新增的作用是把对话闭环从文本语音动作延伸到可观看的实时视频反馈。

初学者常误以为渲染只是后处理，原文的安排理由是只有姿态可控且与语音同步的渲染才能闭环验证前端生成的同步质量。若前端动作节拍错误，渲染视频会直接暴露手势与语音错位，因此渲染既是输出手段也是同步效果的放大镜。

两阶段各训练什么，参数与监督如何安排？

阶段一的目标是在不损害预训练推理能力的前提下理解生成新模态，采用排练驱动学习。训练混合包括模态接地任务与排练任务，前者为文本到动作、语音到动作、文本到语音，教模型从语言或声学提示生成时间连贯上下文合适的序列，并配合分段对齐增强对应；后者为高质量纯文本推理数据，持续强化规划对话能力。原文强调以平衡方式联合优化竞争目标，从而缓解推理退化并实现稳健跨模态对齐，为下游指令微调提供主干。

阶段二在阶段一基础上做有监督微调，对齐复杂用户指令与多模态交互行为。语料为多样对话与任务提示，核心是文本先行解码，每条回答先有 <think> 包裹的潜在思维链计划，再生成连贯文本语音动作，把复杂指令跟随与对话问答统一为单一提示回答接口。模型在自回归管线内学会理解意图、中间推理与多模态行为生成。

排练式学习 × 纯文本推理数据： 纯文本推理数据负责保留大语言模型原有的问答、规划和对话能力，提供符号推理监督；排练式学习负责在学习语音动作新模态时持续混入这些纯文本任务进行联合优化；二者搭配的原因是新模态的低层拟合目标会与高层推理目标冲突，组合后新增的作用是在获得跨模态接地能力的同时抑制灾难性遗忘。

文本先行解码 × 思维链规划： 思维链规划负责在<think>与</think>之间先用纯文本写出意图理解和多模态应答计划；文本先行解码负责规定解码顺序必须是先思维链再文本回答再声学词再动作词；二者搭配的原因是让符号推理先行约束后续连续模态的内容，组合后新增的作用是保证语音和动作生成不偏离语义计划并维持跨模态一致性。

关于优化细节，原文报告主干基于 AnyGPT 的 LLaMA2-7B 结构，预训练在 8 张 H100 上用 AdamW 优化器，峰值学习率为 1 × 10−4 加余弦衰减，指令微调沿用同样设置但学习率降至 2 × 10−5 以稳定对齐，视频生成模块在 16 张 H100 上用 AdamW 以 1 × 10−5 微调。语音转写用 Whisper 按标点停顿切分，语音到动作任务的合成语音用 Orpheus-TTS 生成，动作数据用残差向量量化编码为 6 维姿态。原文未明确报告哪些参数冻结或更新、梯度是否在分词器处截断等细节，复述时应指出这一缺项，不从模型名称推定实现。

数据划分基线指标与实现条件是否可比？

数据方面，训练评估用 BEAT v2 做语音到动作，用 HumanML3D 做文本到动作，每样本用 Qwen3 增广 3 个问答三元组以注入显式推理信号，得到 10000 条句子级语音到动作样本与 16000 条文本到动作样本，按 7 比 1 划分训练测试集。为保留语言推理能力加入 OpenOrca 对话思维链语料，语音合成模块在 Common Voice 大规模多语语音数据上训练以增强韵律音素覆盖，视频渲染收集 400 小时自有真人录制并用 DWPose 标注 2 维关键点。采样与划分口径按原文交代为准，原文未给出更细的说话人或场景分层信息。

基线包括交互多模态智能体与单模态合成模型，分别为 SOLAMI、LOM、EMAGE、CaMN、DisCo，以及为评对话而搭的 LLaMA2-7B-chat 加 Orpheus-TTS 加 LOM 流水线。其中 SOLAMI 是实时交互性能的主要基线，LOM 同时覆盖文本到动作与语音到动作但无推理对话能力。指标分动作质量与推理能力 2 维，分布与姿态层面用 Fréchet 手势距离衡量生成手势与真值的真实性分布对齐，越低越好，多样性衡量表达 variability 越高越好，角度误差为预测与参考关节旋转的平均角度偏差越低越好。

回答质量用大语言模型作自动评判，沿相关性与自然度打 10 分制，分别衡量切题程度与流畅拟人程度。初学者需注意自动指标不能当成人评，百分点与相对百分比含义不同，不同指标差值不能混放同一列比较。

下表整理原文报告的训练部署配置，用于复现前核对硬件与学习率条件，该表为基于原文连续原句整理的宽表，数字与单位以原句为准。

该表显示预训练与指令微调共用 AdamW 与余弦思路但学习率逐级降低，视频模块单独在更多卡上以更小学习率微调，说明前端语言动作对齐与后端像素合成的优化节奏不同。复现时应先保证转写切分、合成语音来源与动作编码方式与原文一致，再谈超参数微调，原文未报告训练时长与总算力预算，这是复现成本评估的缺项。关于资源可达性，本次核验显示演示页当前可用，Whisper 仓库当前可用，而 Orpheus-TTS 链接当前不可用，因此合成语音链路需另寻替代或本地实现，不可默认该第三方链接可运行。

高级交互任务测什么，谁在什么条件下更优？

高级交互通过多模态对话与指令跟随两个代表任务评估，均要求连贯回答、上下文推理与同步多模态输出。论文的问题组织是先看整体感知接地与语言质量，再看目标导向的复杂指令执行。比较条件上，数据集行给出理想参考，流水线基线依赖强语言模型因而相关性可能偏高，SOLAMI 与本方法均为端到端交互系统。下图先给出街头食物开放问答的可视对比，有助于在看数字前建立对推理崩塌与跨模态脱节的直观认识。

看图路径： 1. 先读顶部街头食物提问与本方法的思维链关键词提取；2. 再对比中部 SOLAMI 与底部流水线基线在文字与动作行的差异；3. 观察本方法参考图加连续渲染帧与灰色骨架序列的对应方式

论文图 3。原论文 Figure 3：“Multimodal Dialogue Results. U-Mind performs CoT-based reasoning and generates synchronized speech and motion, producing photorealistic, context-aware responses.”。

该图顶部提问要求列举不同城市街边食物，本方法先写出抓住不同城市与代表食物关键词的思维链，再回答纽约披萨热狗与墨西哥城塔可等实例，并配有参考图、灰色骨架序列与连续渲染帧；中部 SOLAMI 被标注为退化为通用吃东西动作且无城市食物指称，回答仅为站立轻吃加动作平滑；底部流水线虽能列举城市食物但被标注为缺乏对话语气且动作语音脱节。这种可视反例支持数字表中自然度与多样性差异的解释，但单样本不能推广为全程性能，仍需结合分布指标判断。

指令跟随的数字比较问题是，在复杂目标导向交互中谁能同时保持动作质量、多样性与回答相关自然，公平条件是同一指令集与同一自动评判，指标方向为 FGD 越低越好，多样性相关性自然度越高越好。

该表显示本方法 FGD 为 5.12，多样性为 10.19，自然度为 8.26，均优于表中另两个基线，相关性为 8.50 略低于流水线的 9.00。论文的解释是流水线靠强语言模型取得稍高相关性，但自然度仅 6.26 且跨模态协调弱，交互扁平；本方法通过统一生成与文本先行获得更流畅接地交互。未胜出项正是相关性这一列，说明语言切题不等于整体交互优，复述时必须同时报告代价与反例，不可只强调最低 FGD。数据集行 FGD 为 0 等仅为参考上限，不代表可部署策略。

基础合成任务能否在联合训练后保持动作保真？

基础合成验证统一训练管线在低层生成上是否保持动作保真与多样性，分别测文本到动作与语音到动作。问题是联合推理对话目标后，低层动力学精度是否被牺牲。与谁比方面，文本到动作对比 LOM 与 SOLAMI，语音到动作对比 CaMN、DisCo、EMAGE 与 LOM。条件是否一致方面，原文称在同一数据集划分与同一动作编码下比较，但 SOLAMI 被描述为偏向文本到动作任务的专用优化，因此其 FGD 优势需谨慎解读。先看假装弹吉他的指令可视，它同时检验多步指令理解与动作执行，比纯分布数字更能暴露字面跟随问题。

看图路径： 1. 先读顶部假装弹吉他指令与思维链中对手臂抬升拨弦的规划；2. 再看本方法双臂动作帧如何保持举起与拨弦姿态；3. 对比 SOLAMI 举起又放下与流水线只描述不执行的动作行

论文图 4。原论文 Figure 4：“Intruction-following Results. U-Mind interprets the user’s intent through CoT planning and generates expressive, context-aware motions with realistic video output.”。

该图顶部指令要求抬臂拨弦假装弹吉他，本方法思维链写出双臂如持琴颈拨弦、节奏富有表现且避免顿挫，再回答正在抬臂拨弦并给出持续举臂的骨架与渲染帧；中部 SOLAMI 被标注为举起又放下、无持琴拨弦概念且语音通用错配；底部流水线被标注为理解指令但只做语言描述而不执行动作、无同步。这种对比表明文本先行规划对具身执行有直接帮助，但同样是单样本展示，不能替代分布指标。

文本到动作的数字比较问题是，在给定文本下谁的分布真实性、关节精度与多样性更好，指标方向为 FGD 与角度误差越低越好，多样性越高越好。

该表显示本方法 FGD 为 12.69，角度误差为 0.109，多样性为 10.71；SOLAMI 的 FGD 为 8.64 更低，但角度误差为 0.336 且多样性仅 7.36。论文的有限解释是 SOLAMI 得益于任务专用优化而无跨模态集成负担，本方法在支持联合生成的同时保持有竞争力的 FGD 并取得最佳多样性与最低角度误差。初学者应理解数值相同不是同一指标的证据，FGD 反映分布对齐，角度误差反映低层关节精度，二者不可互换，总体趋势也不等于每组都成立。

拿掉推理组件与分段后哪里先变差？

消融按问题组织，先看推理相关组件对生成质量的影响，再看分段对齐对动作质量的影响。第一个比较问题是，去掉数据排练、文本先行或思维链后，回答相关性与自然度如何变化，公平条件是同一对话评估与同一自动评判，指标方向为两者越高越好。

该表显示完整方法相关性为 8.23，自然度为 8.11；去掉数据排练后降至 6.13 与 7.18，去掉思维链后降至 5.54 与 7.23，去掉文本先行后骤降至 1.24 与 5.18。论文据此报告符号预训练对保留高层推理重要，文本先行是跨模态内容对齐的关键规划支架，显式推理轨迹有助于结构化回答。这些是受该消融支持的判断，但原文未测量误判率延迟或成本，因此不能承诺这些量同时改善。

第二个比较问题是，不按节奏停顿分段而用整句训练时，动作质量如何变化，指标方向为 FGD 与角度误差越低越好，多样性越高越好。

该表显示不分段时 FGD 为 16.89，角度误差为 0.219，多样性为 10.46，本方法为 11.12、0.188 与 11.48，全面占优。论文据此支持分段训练有助于捕捉细粒度节奏并改善语音动作时间同步，通过随机段组合鼓励跨模态对齐。复述时应使用支持而非证明的措辞，因为相关性不等于因果，且未评测边界包括更细的面部表情与手指动作，原文在局限中明确归因于离散词表容量限制。

哪些边界未被测到，不宜推广到哪里？

论文直接报告的局限有两点，一是生成动作的表现力受动作量化器离散词表约束，细粒度手势如面部表情与微妙手部动作的保真度受限；二是预训练数据配比凭经验确定，缺乏更原则的框架平衡符号排练与新模态习得，可能影响多任务学习的泛化与稳定性。这些是原文承认的未解决项，不是外部批评。未验证推测包括实时延迟、输出帧率与推理开销的具体数值，原文未系统报告，因此不能从训练用卡数推定实际延迟改善。

社会影响方面，原文指出交互数字人可用于无障碍教育娱乐，但也存在深度伪造误导欺诈的双重用途风险，主张并行发展合成媒体检测与数据去偏以缓解风险。初学者应把缺失证据视为待补验证而非技术错误，在引用结论时区分报告、支持与可能 3 类措辞。

复现先做什么，需要补哪项验证？

何时值得尝试方面，若任务需要同时输出对话文本、语音、手势与视频且要求语音动作节拍同步，本文的 2 阶段思路值得参考；若只需单模态逼真动作，专用扩散或单任务模型可能更直接。复现先做什么方面，第一步按原文重建离散统一空间，包括 SMPL-X 转 6 维旋转、残差向量量化动作编码、SpeechTokenizer 语音编码与词表扩展；第二步按阶段一混合文本到语音、文本到动作、语音到动作与 OpenOrca 纯文本数据做排练预训练，并按标点停顿切分加随机段组合实现分段对齐。

第三步按文本先行顺序做指令微调，确保每条回答先有思维链再有 3 模态输出；第四步接入姿态可控渲染，用 DWPose 2 维关键点或直接 SMPL-X 序列驱动视频。关键超参数与信息条件包括预训练峰值学习率、微调学习率、视频微调学习率与各自卡数，以及 Whisper 切分与 Orpheus-TTS 合成来源，缺失的冻结更新与梯度路径需在复现日志中明确记录。

还需补的验证包括统计显著性与人评对照，因为原文回答质量依赖大语言模型自动打分，可能偏向流畅表述；需补延迟帧率与算力成本实测，以确认实时交互主张；在新说话人与新场景上测试分布外泛化，并补充面部手指细粒度评估。关于开源状态，只能说演示页本次核验可用，Whisper 本次核验可用，Orpheus-TTS 链接本次显示不可用，论文自述的 400 小时自有视频数据未见公开说明，因此系统级可运行不等于开箱可复现。

如何一句话复述方法与证据链？

沿一个样本复述全链路最不易出错。用户用文本或语音提问后，系统先分词为统一离散词，再经共享主干先生成纯文本思维链计划，接着生成文本回答、声学词与动作词，声学词变为波形，动作词解码为 6 维姿态并经渲染变为视频，四者时间对齐输出。证据链是分段消融支持同步改善，排练与文本先行消融支持推理保留，指令跟随与基础合成两类数字表支持联合训练后仍具竞争力，但相关性单列与专用模型 FGD 单列提示代价与适用边界。

记住两个易错点，一是不同指标差值不可混比，二是自动打分不可当人评。若向他人转述，应同时给出最强数字、未胜出项与离散词表及经验配比两项局限，这样的复述才是可核对且忠于原文的。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 cvpr-2026 论文汇总