英文题目：Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue
标签：#语音对话系统 | #端到端学习 | #数据集 | #基准测试
评分：7.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.9/1 | 影响力 1/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Chengqian Ma：机构信息未在 arXiv HTML 中可靠披露
- Wei Tao：机构信息未在 arXiv HTML 中可靠披露
- Haoyu Zhang：机构信息未在 arXiv HTML 中可靠披露
- Yiwen Guo：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
口语动作模型需以用户语音为输入，同时输出可懂的回应语音与伴随该回应的面部表情及手部、上半身和下半身动作，难点在于语音与动作速率异构且级联需二次推理而无法联合优化。第一步由语音投影器与大语言模型负责对话规划并提取回应语义，其输出被送入语音生成器进入下一步。第二步由语音生成器负责自回归生成离散语音单元并解码波形，其隐状态与插值后语音单元嵌入被传递至动作生成器进入下一步。第三步由部位感知动作生成器用于融合语音隐状态键值与语音查询并生成四部位离散动作码，并将结果传递为渲染输出。与先合成波形再驱动动作的级联相比，该机制省去音频到动作的第二遍推理并允许动作梯度回传对话通路。在论文报告的评测设置下，本文方法相较MO-audio + LOM的RTF指标从4.39降至0.78，方向为更低。适用边界是：结论限于英语SwDA-500离线整句评测与教师分布内协同语音动作，对分布外舞蹈式或强情感动作和流式交互尚未验证。成本方面，训练在44卡上进行且单卡SwDA-500上完整语音加动作响应耗时4.32秒。
🔗 开源与复现资源
- 演示资源：https://step-out.github.io/Motion-Omni-Page/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，要同时输出什么？
这篇论文的输入是用户的语音或文本轮次，目标是在同一轮回复中同时给出说的内容和动的方式。说的内容指用固定目标音色合成的语音回应，动的方式指与这段语音同步的全身协同语音动作，包括面部表情、手部、上半身和下半身。必须保留的信息有 3 类。第一，对话上下文决定回应的语义，不能为了做动作而改变回答内容。第二，语音的时间结构决定动作的节奏，停顿、重读与语速变化都应能在身体上找到对应。第三，评估时语音与动作必须来自同一次生成，不能用外部配音事后补动作来冒充同步。
传统做法是级联。先由口语对话模型生成完整音频，再把音频送入动作模型做第二次完整推理。这种做法能出结果，但结构上有两个代价。一是必须等待音频渲染完成才能启动动作，延迟叠加。二是动作目标无法更新对话与语音参数，语音通路不知道动作需要什么样的时序线索。论文要回答的是能否把全身动作做成对话模型的原生输出，直接从产生语音的隐状态生成，同时不损失语音可懂度与对话能力。
口语对话模型 × 协同语音动作生成模型： 口语对话模型负责根据对话上下文决定说什么并合成语音，协同语音动作生成模型负责根据给定音频合成与之匹配的身体动作；前者有对话规划而无身体，后者有身体而无对话规划，搭配的原因是两者在人类交流中本是同一响应的两个通道，组合的意义是让同一上下文同时约束说什么和怎么动。
对刚入门的读者，可以把任务理解为 1 次完整的化身回应。用户说一句话，模型先理解，再规划文本回应，再把文本变成声音，同时把声音的时间推进变成身体各部位的离散动作码，最后分别用声码器与人体网格渲染成可听可见的视频。教学例子是用户问候后模型回答 5 个性格特征，例子中文本、语音节拍与数数手势应当三者对齐，但这只是帮助理解的例子，不代表论文报告了该句的数值效果。
四条路线各解决哪一块，为什么还缺一块？
第一条路线是音频条件协同语音动作生成。给定一段现成音频，生成脸部或全身动作。脸部动画只管脸，全身模型扩展到 3 维身体，语言动作模型使用 4 个部位特定的向量量化变分自编码器码本，论文复用了这套码本作为冻结解码器，也把它作为数据管线中的动作教师。这类系统本身不规划对话回应，只能接在合成语音之后使用。
第二条路线是给定文本脚本的语音与手势联合合成。从规定好的台词出发联合预测声学与手势，优化目标可以塑造共享表征。这与论文任务的输入不同，论文的输入是开放式用户轮次，回应内容不可预知，模型必须先决定说什么。
第三条路线是口语对话模型。给大语言模型加上语音输入与输出，用离散音频单元作为词表，用流匹配解码器把单元变成频谱再变成波形。这类模型能对话但不产生身体动作。论文的语音单元与解码器选择沿用了这一路线的已有组件。
第四条路线是最接近的口语动作模型。有的联合预测语音与身体手部但面部动画事后补，有的用同一自回归主干生成文本、声学单元与姿态但未明确原生面部表情输出，有的只做脸部，有的冻结语音专家从而阻止动作梯度更新语音部件，有的做流式交互但不报告动作损失对语音主干的适配。论文的差异点是同时满足显式脸、手、上、下半身输出，并且允许动作目标更新大语言模型与独立语音生成器，同时提供模型无关的伪标签课程与公开评测协议。
联合优化难在哪里，评测难在哪里？
第一个难点是原生输出的联合优化。语音单元是 12.5 赫兹，动作是 30 赫兹，两种输出速率不同。两者共享参数，两种损失可能互相干扰。结构必须桥接速率失配，训练必须防止动作梯度破坏对话通路。论文强调联合训练不是可选项，语音通路冻结时动作与音频保持错位，只有协同适配大语言模型、语音生成器与动作生成器才能恢复对齐并保留对话能力。
第二个难点是监督规模。许多对话模型追求一致的目标音色，动作监督应与同一音色回应配对。实拍视听语料包含多说话人与多音色，无法大规模提供这种配对。论文接受教师作为质量上限换取规模与音色一致性，因此必须对生成的监督做质量排序。
第 3 个难点是评测。现有全身基准假设输入语音固定，现有对话语音评测只覆盖面部动画，都不检验模型自己生成的不可预知回应是否配有合适的全身动作。公平评测需要开放式提示、跨动作系统的匹配音频、统一渲染，以及语音、动作、人类感知与延迟的互补测量。
四个组件如何分工，一次响应走哪条路？
框架规定 4 个组件，只规定输入输出接口与条件拓扑，具体模型类与参数量由实例选择。参考实例使用冻结的语音编码器加可训练语音投影、大语言模型主干、独立语音生成器与部位感知动作生成器。沿一个样本走完全程有助于建立整体感。用户音频先经编码器变成连续表征，投影后替换序列中的语音占位符，与周围文本一起进入大语言模型。大语言模型生成回应文本及其隐状态，语音生成器以门控融合方式查询这些隐状态，自回归输出离散语音单元。
动作生成器同时读语音生成器末层隐状态与已输出语音单元的嵌入，前者经投影作为键与值，后者经插值作为查询，输出 4 个部位的离散动作码。最后语音单元经流匹配与声码器变成波形，动作码经冻结码本解码成人体与面部参数并渲染。
以下导读帮助阅读框架图，先看主路径再看动作分支从哪里分叉，注意训练与冻结的颜色区分以及序列符号的含义，图中右侧 4 个并行分支与底部解码器的连接是理解原生输出的关键。
看图路径： 1. 先从左侧用户音频经冻结编码器与可训练投影进入大语言模型的主路径看起；2. 再看语音生成器分出的语音单元分支与隐状态分支如何同时进入动作生成器；3. 最后核对四个并行身体部位分支与冻结动作解码器之间的先后关系
论文图 1。原论文 Figure 1:：“Motion-Omni framework with four components and their conditioning topology.”。
从像素可见，左侧是多模态输入与语音编码加投影加主干的纵向堆叠，中间顶部是语音单元到频谱再到波形的横向语音链，中间是横跨 4 个部位的动作生成器大块，底部是统一的动作解码器与人体示例。语音生成器的两路输出箭头分别标注为键值与查询进入动作生成器，这正是去掉波形中间输入的结构含义。4 个部位分支在推理时共享语音上下文但不显式交叉 conditioning 各自已采样的动作输出，这一点在复现时必须保留，不能自行加入部位间自回归。
速率不同时，查询与键值各携带什么？
语音生成器与大语言模型之间使用按词查询门控融合。文本词元在大语言模型侧有上下文隐状态，在语音生成器侧有非上下文嵌入。前者经多层感知机拓宽并重排为 4 倍长度序列，作为键与值。后者作为查询。门控让每个查询词元按坐标决定接纳多少语义与韵律意图信号，残差保证门关闭时仍回退到非上下文查询而非零信息状态。
动作生成器的设计复用同一思想但换了信息源。每个部位有独立解码器，堆叠两层门控融合层与 6 层带周期旋转位置编码的自注意力，工作维度 512，8 头，每头 64 维，位置周期 30 帧对应 30 赫兹下 1 秒。两路输入分别是语音生成器末层隐状态投影后的序列，以及语音单元嵌入经时间轴线性插值从 12.5 赫兹到 30 赫兹后的序列。四解码器读同一键值与查询，只在参数上不同，自注意力在动作速率下用因果掩码，每帧只看过去帧。训练时用目标回应的真实单元，推理时用刚生成的单元。
语音生成器 × 动作生成器： 语音生成器负责把大语言模型的语义隐状态转成 12.5 赫兹离散语音单元，动作生成器负责把同一语音生成过程的隐状态转成 30 赫兹全身离散动作码；两者搭配的原因是共享同一时间推进的响应表征可以避免等待波形渲染，组合后新增的作用是动作分支的梯度可以回传更新语音与对话通路。
查询与键值的不对称是关键。查询提供每一瞬间在说什么的离散身份，键值额外携带说话人音色等不驱动身体的信息，门按部位筛选所需部分。部位特定头输出每帧在 256 项码本上的对数分布，用标签平滑 0.1 的交叉熵训练，权重按人体加面部特征维度配比，使每个特征维度重要性相等。
\[\mathcal{L}_{\text{motion}}=\sum_{b}w_{b}\,\mathcal{L}^{(b)}_{\text{CE}},\qquad w_{\text{face}}\!:\!w_{\text{hand}}\!:\!w_{\text{upper}}\!:\!w_{\text{lower}}=106\!:\!180\!:\!78\!:\!61,\]上式中求和遍历面、手、上、下 4 个部位，每项是该部位每帧交叉熵，权重比为面 106 比手 180 比上 78 比下 61，归一化后求和。符号含义是离散动作码预测目标，不是连续关节角回归。
\[\mathbf{Z}=\mathrm{Reshape}\big(\mathrm{MLP}(\mathbf{H}_{\text{llm}})\big)\in\mathbb{R}^{4T_{t}\times d},\qquad\mathbf{Q}=\mathbf{E}_{\text{sg}}[\mathbf{w}]\in\mathbb{R}^{T_{t}\times d},\]上式是语音生成器侧的融合输入构造，隐状态经多层感知机与重排变成 4 倍长条件流，词元经自身嵌入表变成查询流。实现时注意主干维度与生成器宽度的对应关系。
\[\displaystyle L_{1}^{\text{vq}}(\hat{m})=\frac{\sum_{b}D_{b}\cdot\ell_{b}}{\sum_{b}D_{b}}\]上式是数据质量侧的加权量化重建误差聚合，把各部位平均绝对误差按特征维度加权，强调每个特征维度平等贡献，而不是每个部位平等贡献。
四阶段如何冻结与解冻，数据从哪来？
训练分 4 个阶段，语音编码器与动作码本全程冻结。第一阶段只训练语音投影，做语音识别监督，标签在插入语音位置掩掉，只对转录文本算交叉熵，大语言模型冻结，目标是让投影输出能被主干解码。第二阶段训练语音生成器，做文本到语音式配对，大语言模型仍冻结，目标是离散语音单元序列。
第三阶段接入动作生成器，与语音生成器联合训练，大语言模型与投影仍冻结，用管线构造的文本到语音加动作语料，并按质量分位数 12.5%、25%、50%、100% 分 4 个子阶段渐进暴露，每子阶段从上一检查点热启动。预试验中冻结语音生成器时动作损失停在更高平台且渲染明显错位，联合更新才降低损失并改善对齐，因此第三阶段全程采用联合更新。
第 4 阶段同时解冻大语言模型、投影、语音与动作生成器，用语音识别、文本到语音、语音到语音加动作、纯文本四任务混合优化，从第三阶段末检查点热启动，并加入纯文本数据以保留通用文本规划与多轮行为，否则更易复述用户输入。
教师伪标签 × 双指标质量排序： 教师伪标签负责用现成动作模型为一致音色语音批量生成动作目标，解决无大规模同音色配对数据的监督缺口，双指标质量排序负责用量化重建误差与节拍相关性筛掉码本表达不了或与语音节奏脱节的样本；两者搭配的原因是伪标签以教师为质量上限换取规模，排序则把有限的早期训练预算先花在保真且对齐的样本上。
数据管线分两步。先用可替换的动作教师对每条回应波形生成 4 个部位码流作为动作目标，本次实例用语言动作模型。再用双指标打分排序。一是加权码本重建误差，标志超出码本表达范围的动作。二是节拍相关分数，标志与语音耦合弱的教师动作。
各自做 5 到 95 百分位鲁棒归一化后按 0.5 权重合成，驱动第三阶段课程并筛选第 4 阶段语音到语音加动作池。直接在完整未排序语料上训练曾发散，因此课程不是装饰而是必要步骤。
下面整理训练各阶段的数据规模，比较问题是各阶段分别承担什么监督，公平条件是样本与小时数按阶段划分，指标方向是规模越大通常覆盖越广但第三阶段质量门控更关键。
| 阶段 | 样本数 | 小时数 | 任务含义 | 关键操作 |
|---|---|---|---|---|
| 第一阶段语音识别 | 1,572,119 | 4,295.8 | 只训练投影 | 冻结主干 |
| 第二阶段文本到语音 | 1,642,715 | 4,517.0 | 训练语音生成器 | 冻结主干 |
| 第三阶段文本到语音加动作 | 422,856 | 1,402.3 | 联合训练语音与动作 | 质量课程 |
| 第 4 阶段混合 | 724,508 | 1,929.4 | 四任务联合微调 | 解冻主干 |
| 总计 | 4,362,198 | 12,144.6 | 全流程 | 分阶段推进 |
上表依据正文整理的阶段统计，第三阶段 422,856 对即论文强调的教师伪标签规模，对应 1,402.3 小时量级，原文以带逗号样本数与带小时单位的时长双写形式给出。第 4 阶段纯文本约 213K 样本来自 6 个公开文本数据集，用于保留多轮对话行为。主要收益是各阶段职责分离，先对齐投影与语音再引入动作，最后才动主干。代价是总计 4,362,198 样本与 12,144.6 小时，完整训练约 960 GPU 小时，复现成本不低。未胜出项是若去掉纯文本成分，模型更易复述输入，说明联合微调仍需文本锚定。
用什么提示测，用什么条件比？
语音与动作评测使用外部 500 提示对话文本评测集，源自开关板对话行为语料，覆盖全部 66 个话题描述，每话题 7 或 8 个语义完整说话轮次，保留中等长度并去除不适合朗读的转录痕迹。它提供真实对话措辞，但不是配对实拍动作基准，所有动作参考都是教师生成或基线在匹配提示下生成。
教师参考分布距离 × 参考无关指标： 教师参考分布距离负责衡量生成动作与教师模型在同音频下输出分布的接近程度，参考无关指标负责在不需要动作参考的条件下衡量多样性、节拍相关与唇同步；两者搭配的原因是前者能检验对教师的拟合，后者能避免只拟合教师而忽略感知质量，组合后可以区分拟合教师与真正可用的对话动作。
匹配音频 × 共享渲染： 匹配音频负责让不同动作系统在同一段已生成语音上比较，排除响应内容与韵律差异对动作评分的干扰，共享渲染负责让所有系统用同一人体网格、相机与帧率输出视频，排除外观差异的干扰；两者搭配的原因是开放式对话的语音本身随机可变，组合后动作通路的差异才成为唯一变量。
基线是受控级联，命名为语音源加动作模型。语音源用模型自身音频或外部更强语音模型音频，动作模型包括近期或常用音频到动作生成器。凡用模型自身音频的行隔离了动作通路，凡用外部语音的行检验同一动作生成器在更强语音下的表现。教师行同时是参考分布来源，因此教师参考距离天然偏向推理时运行教师的系统。面部几何用伪参考均方误差与 landmark 速度差衡量对教师面部份布的保真，不是与新采集真实面部的直接一致。
唇同步把动作渲染成标准正面脸视频，用预训练同步网络打分，无需动作参考。所有系统用同一渲染器、化身、裁剪、25 帧视频与 16 千赫单声道音频。延迟测从收到用户音频到完成全部音频与动作生成的墙钟，除以用户语句时长得到实时因子，小于 1 表示快于实时，全部在同一单卡与同一评测集上测离线响应生成。人类评测是 4 名受训成年男性标注者，每臂 25 对，共 100 对，3 维度分别是节奏、语义对齐与身体自然度，多数票决，界面隐藏系统名并随机左右顺序。
语音可懂度与动作质量各得到什么，代价是什么？
先看语音可懂度。比较问题是在规划回应内容的同时合成语音，相对专用语音合成与同类多模态模型的可懂度如何。公平条件是在种子语音评测英文 split 上用同一识别器算语料级词错率，越低越好，专用系统只合成给定句子而多模态还需规划内容，因此分栏比较，人类行为参考不排名。
| 系统类别 | 代表系统 | 测试集词错率（% ） | 备注 | 对比含义 |
|---|---|---|---|---|
| 人类参考 | 人声 | 2.14 | 仅参考不排名 | 不参与排序 |
| 专用语音合成 | 多个近期系统 | 1.24 至 4.29 区间多行 | 只合成给定句 | 语音专用更低 |
| 多模态大模型 | 外部语音模型 | 2.67 至 2.72 区间 | 需规划回应 | 同类比较基线 |
| 本文模型 | 动作全能问答 7B | 2.62 | 同时产生动作 | 多模态中最低 |
| 自然度代理 | 本模型 3.77 分 | 高于部分专用合成低于顶级合成 | 非听感测试 | 轻量检查 |
上表依据正文整理的语音结果，本模型词错率 2.62% 是所比多模态中最低，同时产生人体与面部动作，但多个专用语音合成在该纯语音指标上更低，原文明确指出专用系统在该指标上报告更低词错率。自然度代理分数 3.77 高于部分专用合成而低于顶级合成，只能作为轻量检查，不能替代听音测试。主要收益是加动作未明显牺牲可懂度，代价是语音规划与声学建模仍落后于最强专用合成。未胜出项是专用合成栏，说明比较必须分栏，不能跨栏宣称全面最优。
再看对话能力保持。九子集语音对话基准总分 47.63，高于所列同类开放权重对话模型，但与见过量级不同语音预训练或以语音生成为主要目标的系统不是同条件排名，只能作为能力保留的上下文。
| 模型 | 总分 | 说明 |
|---|---|---|
| 本模型 | 47.63 | 联合动作训练后 |
| 同类开放模型 | 29.51 至 43.57 | 不同预训练量级 |
| 闭源语音接口 | 86.75 | 仅上下文 |
上表说明联合训练后仍能对话，但跨量级比较不标最优。
动作自动指标比较问题是同提示与单共享度量管线下谁更接近教师分布且节奏多样更好。公平条件是匹配提示，教师参考距离以教师在同生成音频上的预测为参考，天然偏向推理时运行教师的级联。
| 对比维度 | 本模型数值 | 最强对照 | 结论 |
|---|---|---|---|
| 多样性 | 13.67 | 外部语音加教师级联 13.82 | 接近教师 |
| 节拍相关 | 7.59 | 同音频教师级联 7.67 | 非教师运行中最高 |
| 教师参考距离越低越好 | 3.03 | 非教师级联最低 3.17 | 最低 |
| 面部与唇同步 | 全面优于非教师级联 | 教师级联部分更优 | 除教师外最好 |
| 八指标排名 | 七项前二 | 超过它的均为教师级联 | 需标注偏置 |
上表依据正文整理的动作结果，本模型在不运行教师的系统中节拍相关与多样性最高，面部与唇同步也最好，教师参考距离最低。代价是超过它的行恰是推理时调用同一教师的级联，这是由参考定义决定的偏置，不能解读为超越教师。双向节拍诊断仅为探索性，阈值下与人类节奏 verdict 一致率 46% 对标准版 40%，在该样本量下都未与随机基线分离，因此不作为验证过的感知指标。
延迟比较问题是去掉音频到动作第二阶段省多少时间。公平条件是同评测集同单卡，比较同语音加教师级联。
| 系统 | 总响应秒 | 实时因子 | 相对放慢 |
|---|---|---|---|
| 本模型端到端 | 4.32 | 0.78 | 1.0 |
| 同音频加教师级联 | 23.35 | 4.39 | 5.4 |
| 同音频加高效级联 | 4.63 | 0.84 | 1.1 |
| 外部语音加教师级联 | 99.08 | 18.34 | 22.9 |
| 外部语音加高效级联 | 48.65 | 8.79 | 11.3 |
上表依据正文整理的延迟结果，本模型 4.32s 快于实时，实时因子 RTF=0.78，与同音频教师级联 23.35s 比快 5.4 倍，原文以秒与实时因子双指标报告并给出 5.4 倍放慢关系。代价与反例是高效级联在时间上接近本模型但节拍相关低 0.27，教师级联节拍高 0.08 但慢 5.4 倍，说明没有系统在两轴同时占优。人类偏好中同音频下对高效级联 pooled 边际加 25，对教师本身 25 胜 27 平 3 平以 23，以平局最常见，样本量小不宜把小边际读成可靠偏好。
哪些对照证明联合与课程必要？
第一个反证是冻结语音通路的预试验。保持语音生成器冻结时动作损失停在更高平台，渲染动作与语音明显错位，联合更新语音生成器才进一步降低损失并改善对齐。这支持动作监督需要更新语音表征，而不是只训练动作头。原文未给出该预试验的完整曲线数值，只能报告方向性结论，不能虚构损失差值。
第二个对照是融合消融。都从同一第二阶段检查点出发，用同一第三阶段早期数据与优化表，只改变动作查询如何融入上下文。直接读大语言模型键值不如读语音生成器状态，同算子下后者节拍相关更高。门控融合略优于普通交叉注意力，但该固定早期设置下不能分离门控每个内部部件的贡献。
第 3 个是阶段式教师参考距离。从第三阶段早期 0.3974 经 0.3258、0.3079、0.3075 到第 4 个阶段 0.3040 逐步下降，与课程渐进暴露一致。这支持课程带来渐进改善，但它是教师参考距离，只能说明更接近教师分布，不能直接等同于感知自然度提升。
第 4 个是否定结果。视频大语言模型作裁判的尝试经过 5 轮提示迭代，在 26 段多轮校准集上最佳迭代语音质量相关 0.32，身体自然度 0.18，多轮连贯 0.17，其余维度 0 或负，平均仅 0.05。成对排序在 13 对上与人类一致率 31%，低于绝对打分取高者的 38%。原因包括样本小导致相关置信区间宽约正负 0.4、裁判对大幅动作系统性过评而唇同步不可辨、人类自身对强调手势是否算语义存在分歧。论文因此主评测只用人类评分，该裁判不进入 headline 数字。
什么还没做到，哪些数字不能推广？
动作质量受教师码本与伪标签约束，分布外的动作无法表达。论文只训练了 7B 主干实例，更强主干、更大教师与连续动作头留待未来工作。模型不显式建模说话人身份与情绪，训练全英文，跨语言与跨动作文化的泛化受限。系统需完整 ingest 用户语句后才输出首个回应词元，属于离线回应生成而非流式交互，与流式系统的响应时间不可直接比较。
自动指标节拍相关与分布距离只是感知自然度的不完美代理，人类比较仅 4 人每臂 25 对，属探索性，未做更大规模非作者研究，缺失证据不是技术错误，相关性也不是因果。教师参考指标 favour 推理时运行教师的系统，跨栏比较必须标注该偏置。延迟、词错率与自然度代理分别测量，不能互相替代，也不能把总体趋势推广到每组每步都成立。
要复现先准备什么，先跑哪一步？
先准备公开源语料与预训练权重。语音编码器用冻结大模型编码器，语音单元词表 16384 加 3 个控制符，语音解码用块感知流匹配加声码器，动作码本每部位 256 项 30 赫兹无时间下采样，照搬语言动作模型发布版本而不微调。数据先做英文过滤与单对话 1 万字符截断，再跑教师标注与双指标排序。
训练按 4 阶段推进，第一阶段只训投影，第二阶段训语音生成器，第三阶段联合训语音与动作并按四分位热启动，第 4 阶段解冻主干做四任务混合，注意梯度裁剪与非数守卫、余弦与常数加预热调度、有效批量 128 的原文设置。评测先从开关板语料按话题与长度过滤构造 500 提示，再用同一语音生成匹配音频驱动所有动作基线，经同一渲染管线输出 720 视频后跑自动指标与唇同步脚本，人类评测用隐藏系统名随机左右与 3 维度独立打分。
代码与数据据称在公开仓库发布，但复现仍需补更大规模人类研究与非英语验证，才能确认对话动作风格的跨文化迁移。何时值得尝试是已有固定音色对话模型且能接受教师为上限时，用该管线快速获得可部署的同音色动作分支。还需补的验证是连续动作头是否突破码本上限，以及流式低延迟设计是否保持对齐。
一句话收束：何时用这个路线，何时不用？
当目标是一轮对话同时产出可懂语音与全身动作，且已有动作教师可用时，把动作查询挂在语音生成隐状态上并允许动作损失回传，是比级联更省延迟且保留对话能力的路线，本实例在匹配音频下接近教师质量并快 5.4 倍。当目标是超越教师的动作表现力、非英语文化下的自然度或流式打断交互时，该路线尚未验证，不应直接套用。记住 3 个可核对锚点。伪标签规模 422856 对对应 1402 小时，语音词错率 2.62% 为所比多模态最低但低于专用合成，延迟实时因子 0.78 快于实时。所有跨教师参考的胜负都必须先问参考是谁，再问音频是否匹配，最后看渲染是否共享，才能判断收益来自动作通路还是评测偏置。
📎 论文与评分元数据
排名：前50% | 文档类型：系统技术报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses