从网上视频到可控舞蹈：OpenDance 用解耦词元与联合掩码统一音乐加空间加文本控制

英文题目：OpenDance: Multimodal Controllable 3D Dance Generation with Large-scale Internet Data

会议身份：conference:cvpr:2026:conference-paper-id:Zhang_OpenDance_Multimodal_Controllable_3D_Dance_Generation_with_Large-scale_Internet_Data_CVPR_2026_paper

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #多模态学习 #音乐 #音乐生成

评分：6.4/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.6/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Jinlu Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Zixi Kang：机构信息未能从会议 PDF 纯文本可靠映射
• Libin Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Jianlong Chang：机构信息未能从会议 PDF 纯文本可靠映射
• Qi Tian：机构信息未能从会议 PDF 纯文本可靠映射
• Feng Gao：机构信息未能从会议 PDF 纯文本可靠映射
• Yizhou Wang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

音乐驱动三维舞蹈生成需以音乐与文本为风格条件、以二维关键点与三维轨迹为空间条件合成多风格舞蹈，难点在于动作高度动态且风格监督与空间监督强度不均衡易导致控制失效。为此先从约600小时网络视频经语言模型检索过滤、世界坐标姿态估计与半自动标注构建OpenDanceSet，提供配对的风格信号与空间信号以支撑后续建模。接着用解耦舞蹈分词器对关节转角、全局轨迹与二维关键点独立编码量化，使空间token与动作token对齐并送入多条件变换器联合建模。然后由多条件变换器对三路token做联合掩码预测，并经可微前向运动学与足部接触等空间监督同时重建动作与空间token，以缓解多模态学习不均衡。推理时再用跨步Logit排序重掩码与足部滑动优化迭代精炼低置信token，该同时预测空间token的机制不同于仅生成动作token的旧范式因而保留细粒度控制。在OpenDanceSet子集评测条件下，Traj控制的指标FIDk为42.52，高于None控制的指标FIDk 23.36。该结论适用边界受限于单人独舞与24关节SMPL身体建模，缺手部手指与面部标注且多人群舞场景尚未验证，训练硬件为单卡NVIDIA RTX 4090 GPU。

🔗 开源与复现资源

• 复现相关资源：https://open-dance.github.io — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，读完要能复述什么？

本文的输入是论文原文与官方项目页本次可达状态，目标是让刚进入语音音乐音频方向的研究生能复述方法与实验条件。必须保留的信息包括数据集规模与标注种类、解耦词元器与多条件变换器的分工、训练与推理的掩码与精修动作、以及在 2 个数据集上的对照条件与指标方向。项目页本次状态为可用，地址是 https://open-dance.github.io，论文声明只发布衍生的 2 维 3 维表示与原始网页链接，不含面部等可识别信息。

音乐驱动 3 维舞蹈生成的实际需求不是只给一段音乐就输出一段动作。编舞师往往要指定某时刻身体做什么关键动作、舞者在舞台上的走位，以及用语言描述流派、情绪与身体部位的运动方式。已有多数模型只接受音乐，少数能做空间编辑或种子动作精修，但缺少统一框架来处理文本、关键帧与轨迹的任意组合。本文要解决的正是数据与模型两端的同时缺失：一端是缺少大规模且带风格与空间成对标注的数据，另一端是缺少能处理不等强度监督信号的多模态可控生成模型。

为建立学习依赖，先理解一个样本的完整旅程。一段公开互联网舞蹈视频连同音频波形进入流水线，先被过滤为单人全身可见片段，再估计 2 维关键点序列，再估计基于人体参数模型的局部关节参数与全局位移，同时由专业艺术家、人工标注者与大语言模型分工写出细粒度文本。训练时音乐与文本作为风格条件，关键点与轨迹作为空间条件，全部经各自编码器变为词元后送入变换器做联合掩码预测。

推理时用户可以只给音乐，也可以给音乐加任意子集，模型经多轮重掩码与脚步优化输出关节旋转、根节点位移与脚触标签序列，再解码为 3 维人体网格。后续各节按任务路线、方法全景、组件计算、构造训练推理、实验条件、结果反证与复现收束展开，每节只承担一个教学任务。

同输入同目标的已有路线卡在哪里？

3 维音乐编舞数据集路线可按采集方式区分。早期动捕数据集提供高保真动作但风格少、时长短。 FineDance 与 SoulDance 扩展了覆盖但仍不足 15 小时。基于视频的数据集更易扩大规模，AIST++ 从 AIST 重建得到 5.2 小时但风格有限，EnchantDance 达到 70.32 小时但只有 4 种流派，PopDanceSet 每流派仅 0.18 小时。本文报告的 OpenDanceSet 定位是同时扩大规模与补齐成对多模态标注，包含 3 维动作、配对音乐、2 维关键点、3 维轨迹与文本描述，覆盖性别、流派、环境与动作风格。

舞蹈生成方法路线可按生成视角区分。早期用循环与变换器结构，之后有用归一化流的 Transflower、用向量量化变分自编码器加生成预训练解码器的 Bailando、加入姿态控制与图结构的 ChoreoMaster 等，近期有扩散模型、状态空间模型、混合专家模型与面向长时程与可编辑的方法。多模态舞蹈生成方面，TM2D 用交叉注意力融合音乐与文本，LM2D 建模歌词音乐对齐，另有统一多信号到共享隐空间的工作，但论文指出这些工作多提供粗粒度控制而非精确帧级引导。

对照的关键不是类别名称而是运行阶段与监督是否相同。只用音乐训练的模型无法在指定时间戳落实身体运动与舞台位置，也无法利用语言描述。若把文本到动作数据集直接混入训练，会因日常人体动作分布与舞蹈动作分布不同而成为次优解。本文的差异在于数据端用野外视频加半自动标注同时提供风格与空间信号，模型端用解耦表示与多模态联合预测来处理强度不等的监督，而不是把空间信号当作与音乐文本同等的附加条件只生成动作词元。

为什么音乐加文本加空间难以联合优化？

论文把困难拆成两层。第一层是数据稀缺与标注缺失。多数已有数据集用动捕采集，每流派多不足 1 小时，且缺少文本与 2 维关键点等成对标注，使多样条件生成无从训练。第二层是控制模态强度不均。语言、音乐等风格条件是粗粒度高级信号，关键点与轨迹是严格帧级约束，要求模型合成准确 3 维位置，神经网络更倾向从容易的粗信号学习而忽略更难的细粒度空间信号。若像以往工作那样只把空间信号当条件而只预测动作词元，模型学不好精确对齐。

举一个教学例子帮助理解，但不代表论文数值。假设只给音乐，模型可以输出合拍但走位随意的舞蹈；若再给一条要求舞者沿直线从左走到右的轨迹，模型必须在每 1 帧都把根节点位移压到线附近，同时保持上身动作与节拍协调。这时轨迹的逐帧误差会主导可感知的对错，而文本描述的情绪词只影响整体风格。两类信号的梯度尺度与时间粒度不同，朴素联合优化会被强信号或易学信号带偏。这正是论文引入解耦编码与联合重建空间词元的动机：让空间信号也有自己的重建目标，而不是只作为输入出现。

OpenDanceNet 的全景动作是什么？

OpenDanceNet 是基于掩码建模的可控生成框架，整体动作可分为 3 段。第一段训练解耦舞蹈词元器，把关节旋转、全局轨迹与 COCO 风格 2 维关键点分别映射到隐特征再用量化码本离散化为词元，避免早期跨模态融合，使稀疏帧级约束可以直接补齐并经各自的分路编码为词元。第二段训练多条件变换器，随机采样控制模态子集并在轨迹、关键点与动作词元上施加词元级掩码，同时联合恢复原始舞蹈动作、轨迹与关键点词元。第 3 段是带精修的可控推理，支持任意输入配置，经多步按对数几率重掩码与脚步优化逐步改善物理合理性与控制精度。

下图把数据侧与模型侧放在同一版式中，左侧是数据来源与标注种类，右侧是生成管线，适合先建立输入到输出的主路径再细看每个组件。

看图路径： 1. 先看左侧五类输入框：大规模二维视频、三维动作、音频波形、细粒度文本与二维关键点序列如何汇入 OpenDanceSet；2. 再看右侧四路编码器到多模态联合掩码再到动作词元加空间词元加风格词元的汇合顺序；3. 最后跟踪 OpenDanceNet 到解耦词元解码器再到舞台灯光下沿轨迹行走的一串蓝色小人的输出箭头

论文图 1。原论文 Figure 1：“We present a multimodal large-scale human dance dataset OpenDanceSet and develop the masked modeling framework Open- DanceNet for controllable and flexible dance generation…”。

该图显示左侧由大规模 2 维彩色视频、3 维动作数据、音频波形、细粒度文本标注与 2 维关键点序列共同构成名为 OpenDanceSet 的多模态大规模 3 维舞蹈数据集，中间标注了多种流派名称。右侧显示关键点、轨迹、音乐波形与文本提示经 4 个编码器进入多模态联合掩码，再分为动作词元、空间词元与风格词元送入 OpenDanceNet，最后经解码器输出沿地面轨迹行进的一串舞蹈小人。这对应正文所说的任意音乐加某类条件的设定，其中某类条件可以是 2 维关键点、轨迹或文本。读图时不要把颜色块的数量当作网络层数，重点是 4 路输入在哪里汇合、哪一路是空间词元、哪一路是风格词元。

解耦词元器如何把三路空间信号变为可控词元？

解耦舞蹈词元器要解决两个具体问题。一是动作多样性不足会导致可控设置下分布外失败，二是连续控制信号与生成隐空间对齐弱。做法是把 OpenDanceSet、AIST++ 与更多样的 AMASS 统一在共享动作表示下训练单个词元器。输入是长度为 T 的序列，包含关节旋转、全局轨迹与 2 维关键点。编码器对每个模态独立映射到隐特征，再用 3 个学到的码本量化为离散词元，最后可堆叠为统一离散表示。关键是编码器不做早期跨模态融合，因此部分 2 维关键点或全局轨迹这类稀疏帧级约束可以直接补齐后走各自的分路得到词元，形成从每个控制模态到词元序列的显式一致映射。

风格控制信号 × 空间控制信号： 风格控制信号指音乐与文本，负责舞蹈的节奏、流派与动作风格等粗粒度语义；空间控制信号指 2 维关键点序列与 3 维轨迹，负责逐帧的身体位置与舞台走位。两者搭配的原因是只用风格信号无法落实关键帧与走位，只用空间信号又会丢失音乐性，组合后模型才能同时满足听感对齐与位置精确。

下图展示了词元器的训练与变换器的训练推理 3 段，适合对照编码器、码本、解码器与损失的位置关系。

看图路径： 1. 对比子图 a 三码本三分路与子图 b 条件词元加动作相关词元加掩码符的训练输入组织；2. 查看子图 b 顶部三个解码器分别回放轨迹曲线、骨架与人体 mesh 的监督箭头；3. 跟踪子图 c 底部任意条件组合框到多轮变换器加脚步优化加按秩重掩码的循环箭头

论文图 4。原论文 Figure 4：“Overview of OpenDanceNet, a masked-modeling-based dance generation framework.”。

该图左侧子图显示底部 3 个数据集进入后经解耦编码器再分到 3 个码本与 3 个解码器，顶部对应关节角损失、关键点损失与根轨迹损失。中间子图显示音乐、文本、2 维关键点与全局轨迹经各自编码器变为条件词元与动作相关词元，送入多条件变换器后再经 3 个解码器输出并受交叉熵与空间损失监督。右侧子图显示推理时稀疏关键点与稀疏轨迹等任意条件进入后经多轮变换器、按秩重掩码与脚步优化循环改进。

像素层面可见左侧码本用色块区分 3 路，中间条件词元中深色块表示掩码符，右侧底部用大于号表示多种任意条件组合。这支持论文所说的先分开建模再统一预测的设计。

多条件变换器与空间辅助监督如何搭配？

多条件变换器被设计为联合预测器，而不是只预测动作词元的生成器。输入序列长度为 T 时，条件模态包括音乐、2 维关键点、文本与全局轨迹，经各自的词元器变为音乐词元、文本词元、轨迹词元与关键点词元并拼接。掩码输入的构造是对音乐与文本做模态级随机掩码，对轨迹与关键点做词元级掩码重建。变换器由多层自注意力组成，输入所有可能被掩码的模态，联合恢复原始舞蹈动作、轨迹与关键点词元，并在掩码位置上用交叉熵损失优化。模态级掩码概率与词元级掩码共同作用，使模型在训练时就经历条件缺失。

空间辅助监督的作用是把全局轨迹、2 维关键点与关节旋转紧紧耦合。预测的轨迹与关键点经解码器解码后与真值比较，空间目标组合轨迹损失、关键点损失、前向运动学损失与接触损失。其中前向运动学映射把关节旋转与轨迹映射为 3 维关节点位置，二值脚触标签指示脚跟与脚尖的接触状态，序列长度参与平均。论文用可微的 Gumbel-Softmax 采样使离散词元到连续轨迹的路径可导，这是实现空间损失回传的关键动作。

解耦舞蹈词元器 × 多条件变换器： 解耦舞蹈词元器负责把关节旋转、全局轨迹与 2 维关键点分别编码量化为离散词元，保持各模态到词元的显式映射；多条件变换器负责在词元层面学习风格与空间条件的相互作用并联合恢复被掩码词元。前者解决连续控制信号与生成隐空间不对齐的问题，后者解决多模态学习不均衡问题，组合后才能接受稀疏不完整的任意条件组合。

推理阶段的多轮重掩码与脚步精修做什么？

推理天然支持任意条件组合，因为训练已使用多模态掩码。用户提供的稀疏帧级约束经解耦编码器词元化后作为硬条件注入。推理执行 N 步迭代掩码预测，每步预测所有掩码位置的分布并维护每个词元的置信度，采用多步按对数几率重掩码，把低置信词元在所有轮次中重掩码，而不是只重掩码最新一步的词元，论文称这比仅看最新一步更稳定准确。

为缓解旋转与轨迹解耦带来的脚滑，每步还做物理感知的精修。先用 Gumbel-Softmax 采样动作词元，经解码器解码后用前向运动学计算 3 维关节点，再用脚滑损失更新对数几率后重采样，最后一步进一步精修动作嵌入。最后还有轻量后处理抑制残余滑步，得到接触稳定的平滑动作。消融显示去掉任一部分都会使物理分数变差并降低人评胜率，说明稳定选择与物理修正缺一不可。

多步按对数几率重掩码 × 逐步骤脚步精修： 多步按对数几率重掩码负责在多次迭代中按置信度重新掩码低置信词元，使生成逐步稳定；逐步骤脚步精修负责用可微采样解码轨迹并计算脚滑损失来更新对数几率与动作嵌入，缓解旋转与位移解耦带来的滑步。前者管词元选择的稳定性，后者管物理接触的合理性，组合后才同时改善可控性与物理真实感。

数据如何从六百小时野外视频变为可训练样本？

构造流程先收集再过滤再标注再后优化。收集时用艺术家提供的舞种与音乐风格提示词清单，经语言模型生成查询并检查视频标题来搜索合适视频，约 600 小时互联网视频进入预处理。用视觉语言模型做视频与提示词对齐的人工核验过滤不合规视频，用目标检测提取人体框并剔除身体不完整视频，只保留单人舞者视频，所有视频重采样到 30 帧每秒。

标注是半自动流水线。直接用 2 维姿态估计器提取 COCO 关键点会有抖动，先做帧级过滤只保留干净视频。2 维关键点之后用基于学习的 3 维姿态估计器得到局部关节参数、全局位移与体形参数，论文明确不用慢速的逐帧优化方法，以便处理海量视频并得到世界坐标下的轨迹。文本分 3 路：专业艺术家标注 3 种大类与 14 个细类及编号，无专业舞蹈知识的人工标注者描述起止时间、性别与动作风格，大语言模型根据关键点可视化帧生成手臂腿部头部与全身运动及风格的详细描述。音频用 Jukebox 提取 4800 维高维特征并用 Librosa 提取节拍与 35 维低维特征。

词元级掩码 × 模态级掩码： 词元级掩码指在轨迹、关键点与动作词元流中随机插入掩码符并要求重建，用于学习帧级细节；模态级掩码指以概率随机丢弃整个音乐或文本模态，用于防止动作流过度依赖单一模态。两者分工不同，前者练细粒度重建，后者练缺失条件下的鲁棒性，搭配后训练时才能模拟推理阶段的任意条件缺失。

下图展示了从原始数据到后处理过滤的完整链路与流派分布，适合核对每一步的输入输出。

看图路径： 1. 从左到右跟踪原始网络视频与音频波形经过预处理多模态过滤器再分叉到二维关键点与三维动作估计的路径；2. 观察中间动作帧选择后分给专业艺术家、人工标注者与大语言模型的三路半自动文本标注框；3. 查看最右侧饼图中外圈街舞民族舞等细分类与内圈大类的占比关系

论文图 2。原论文 Figure 2：“(Left) Overview of OpenDanceSet. We design an annotation pipeline to build a large-scale multimodal dance dataset, including 100.26 hours across 14 dance genres, with diverse…”。

该图左侧显示舞种查询清单经视觉语言模型检索公开互联网得到大规模野外视频与音频波形，再经预处理多模态过滤器分叉。中间显示 2 维关键点估计同时向上送入 3 维人体动作估计再经时间平滑与全局轨迹优化得到 3 维人体动作，向右送入动作帧选择再到 3 路半自动文本标注得到细粒度文本，下方音频经两个音频编码器得到音频特征，最右侧还有后处理多模态过滤器。最右侧饼图显示街舞、民族、民间等大类占比与爵士、霹雳舞等细类占比。读图时注意预处理过滤在估计之前，后处理过滤在标注与优化之后，两者位置不同不要混淆。

后优化与精修先用卡尔曼滤波抑制时间抖动，再把物理脚接触分数作为优化惩罚项以减少滑步并使行走更真实。过滤切掉人工标注起止时间之外的首尾秒以去除入场抖动，再按抖动分数、静止分数、脚接触分数与人对齐分数设阈值剔除低质样本。人对齐分数用 MotionCritic 度量，但该模型在文本到动作数据上训练，与音乐到舞蹈分布有差距，因此以高质量 AIST++ 的分数分布为参考目标，主要去除低分样本。

训练时要求最短动作序列超过 5 秒，并对街舞等数据丰富的流派用大步长采样、对稀缺流派用密步长采样以平衡流派。用户 study 报告真值动作在动作真实感胜率 62.4% 与多样性胜率 58.8% 上优于 AIST++，论文用此支持后优化产出了高质量 3 维动作。

在什么数据划分与指标下比较才算公平？

训练实现细节按原文交代。数据增强用非均匀采样步长，街舞等多数据流派大步长，欠代表流派密采样。评估在 AIST++ 与 OpenDanceSet 上进行，遵循官方划分，AIST++ 预处理为 5 秒片段 30 帧每秒，OpenDanceSet 为 10 秒片段 30 帧每秒。姿态用 24 关节人体模型每关节 6 维旋转表示，加 3 维根位移与脚跟脚尖二值接触标签，每帧向量维度为 24 乘 6 加 4 加 3。音乐用 Jukebox 编码，文本用 CLIP 编码，模型在单张 24 GB 的 RTX 4090 上训练。

物理脚接触分数 × 节拍对齐分数： 物理脚接触分数评估脚与地面接触的合理性与滑步程度，越能反映物理真实感；节拍对齐分数评估动作与音乐节拍的对齐程度，越能反映音乐性。两者搭配的原因是舞蹈生成既要好看又要合拍，单看保真度会漏掉物理与节奏失效，组合后才能判断总体权衡。

评估指标按原文引用前人做法。FIDk 与 FIDg 跟随 AIST++ 做法，Divk 与 Divg 跟随 Bailando 做法，节拍对齐分数与物理脚接触分数评估节奏对齐与物理合理性。方向在表格中用箭头标示，需要结合升降判断好坏，不能把曲线向下直接当作变差。比较对象包括 FACT、Bailando、EDGE、LODGE、FineDance、MoMask 与 TM2D，覆盖音乐驱动与多模态路线。数据集表只说明规模与标注，不能替代生成质量表，因此主结果与消融必须另有数字结果表。

下表先回答规模与标注完备性问题，比较时注意时间每流派是平均小时数，总小时数与被试数共同决定多样性。

该表显示 OpenDanceSet 在被试 147 人与 14 流派下达到总 100.26 小时与每流派平均 7.16 小时，明显高于所列的 GrooveNet、DanceNet、AIST++、FineDance 与 PopDanceSet。论文用此支持野外视频路线在规模与多样性上的优势，但规模大不等于动作质量高，还需结合后文的分布与物理评估以及生成对照来判断。未胜出项也很明确：OpenDanceSet 的流派数 14 少于 FineDance 的 22 与 PopDanceSet 的 19，说明它不是在所有维度都最大，优势集中在总时长、每流派时长与多模态标注的齐备性。

主结果在两种数据分布下分别支持什么判断？

主结果要分数据集看，因为 AIST++ 偏实验室高质量小规模，OpenDanceSet 偏野外大规模多流派。在 AIST++ 上论文报告 OpenDanceNet 取得最低物理脚接触相关值、较优的运动学保真与最高的节拍对齐，表明物理合理性与节奏对齐较强。在 OpenDanceSet 上论文报告本方法取得最优的运动学保真、经优化后最优的几何保真、较强的多样性与最高的节拍对齐，优于 EDGE、TM2D 等基线。综合判断是总体权衡最优，而不是每一项都碾压。

下表是在 OpenDanceSet 上的完整对照，包含真值与多个可运行基线，适合核对保真、多样、物理与节拍的联合表现。

该表显示真值在多项上仍领先，例如保真与多样相关值，说明生成模型尚未达到真值分布。OpenDanceNet 在运动学保真与节拍对齐上优于所列基线，加精修版本在几何保真与物理分数上进一步改善，但运动学保真数值有所回落。这正对应正文的解释：精修修正物理伪影的代价是偏离原始运动学分布。TM2D 的物理分数明显偏大，MoMask 的多样性明显偏低，这些反例说明不同方法在物理与多样性上各有代价，不能只看单一指标下结论。

下图展示空间控制的可视化，适合验证轨迹与关键点是否真正落地为动作。

看图路径： 1. 对比第一行红色散点关键点约束与第二行蓝色腰部轨迹约束下人体朝向与步态的变化；2. 观察第三行直线与第四行圆弧形用户自定义轨迹旁影子与身体位移是否沿线推进；3. 逐行从左到右看四帧连续姿态是否保持同一套服装与体形只变动作

论文图 5。原论文 Figure 5：“Different spatial control signals visualization.”。

该图共四行，每行 4 帧。第一行音乐加最后 1 帧关键点约束下红色散点附近的上身动作逐帧收敛，第二行音乐加轨迹约束下蓝色腰部曲线旁的身体转向与步态随轨迹推进，第三行音乐加用户自定义直线下舞者沿蓝色直线与地面投影线向前移动，第四行音乐加用户自定义圆弧线下舞者沿青色弧线转体。图注明确前两行用真值关键点与真值轨迹，后两行用随机几何轨迹，并建议查看补充视频。这支持模型能处理真值条件与完全自定义条件的判断，但单图只能定性展示可行性，精确定量还需结合轨迹距离与关键点距离的消融表。

拿掉联合预测与多条件训练会发生什么？

联合预测机制的消融回答空间信号是否需要自己的重建目标。比较只用音乐、音乐加轨迹、音乐加轨迹加 2 维关键点的联合预测设置，报告显示同时联合预测轨迹与关键点加动作时生成质量更好，去掉空间流的联合预测会明显退化。论文据此支持联合预测帮助捕捉跨模态关系、缓解滑步并增强生成能力。需要注意这是有限解释而非因果证明，退化幅度还受数据划分与采样影响。

下表给出了该消融的完整数字，比较时注意各行条件组合不同，指标方向需按表头箭头判断。

该表显示从单条件到多空间条件联合预测，保真相关值逐步改善，多样性与节拍对齐也有变化。仅音乐行的保真值最差，加入轨迹后大幅改善，再加入关键点后进一步改善。这支持空间信号需要重建目标的判断，但也显示物理分数并非单调最优，说明增加条件会带来新的优化难度，不能理解为条件越多在所有指标上越好。

多条件训练的消融回答训练时是否应混合多种条件组合。下表比较单条件与不同条件组合训练的效果。

该表显示多条件训练在保真与多样性上优于只用音乐训练，加入轨迹与关键点文本后相关值继续变化。论文用此支持多条件训练提升多样高质量动作生成能力的判断。代价是训练复杂度与采样设计更复杂，且不同组合的增益不均匀，具体选择仍需按目标应用的控制种类来定。未评测边界是手部手指与面部未建模，文本只编码为单个标记，细粒度流派运动区分会丢失，这些在局限节继续讨论。

损失项与推理精修各自贡献多少，又付出什么代价？

损失函数的消融以只用交叉熵的音乐条件模型为基线，逐项加入接触损失、前向运动学损失、轨迹损失与关键点损失。下表给出各组合的物理与保真变化。

该表显示附加监督总体上为训练提供一致引导，使模型更好拟合数据，全部加入时相关保真值最优。但相邻两行的差异较小，说明单项增益有限，需要联合使用才能累积效果。原文未给出每项的梯度路径细节与冻结更新说明，复现时应按各自解码器回传实现，不从模型名称推定实现。

推理精修的消融回答多步重掩码与后精修是否必要。论文报告完整模型显著优于去掉任一部分的变体，去掉后精修会使物理分数从 0.1371 变差到 0.1829，证实优化有效缓解滑步。人评胜率方面完整模型达 76.7%，去掉多步重掩码仅 12.8%，去掉后精修仅 10.5%，说明两者对感知质量都关键。代价是精修导致运动学保真从 41.71 变为 49.29，论文明确这是预期内的权衡，因为修正物理伪影会偏离原始运动学分布。总体趋势不等于每组每步都成立，具体步数与阈值需按场景调参。

哪些边界尚未验证，不能承诺什么？

论文明确列出三项局限。第一是 OpenDanceSet 缺少手部手指与面部标注，无法支持表情与精细手势控制。第二是所有文本编码为单个 CLIP 标记，丢失细粒度流派运动区分。第三是尚未在 OpenDanceSet 上基准测试视频生成模型。这些是缺失证据，不是技术错误，相关性也不是因果，不能把数据集规模大直接当作视频生成也会好的证据。

未测量的量不能承诺改善。原文未报告误判率、延迟、推理开销、输出帧率与实际延迟的系统测量，因此不能承诺这些量因精度提升而改善。训练资源只报告单卡型号与显存，推理开销与帧率分开讨论，总体趋势不推广到每组每步。未来工作提出纳入 expressive 身体部位、用视觉语言架构做更精确文本控制，以及开展舞蹈视频生成，这些都属于待验证方向，复现时应先补对应验证再下结论。

要复现应先准备什么，先跑哪一步？

复现先做信息条件核对。代码与项目页本次可达，地址为 https://open-dance.github.io，可查看补充视频与实现细节。数据方面按论文声明只发布衍生表示与原始网页链接，使用链接需遵守原平台服务条款与隐私规定。动作表示按 24 关节人体模型每关节 6 维旋转加 3 维根位移加脚触标签组织，音频用 Jukebox 与 Librosa 特征，文本用 CLIP 编码，帧率 30 帧每秒，AIST++ 切 5 秒片段，OpenDanceSet 切 10 秒片段。

先跑解耦词元器再跑变换器。词元器在 3 数据集统一表示下训练 3 路独立编码与码本，验证重建的全局位置误差与关键点误差是否下降。变换器训练时同时打开模态级与词元级掩码，监督包括掩码位置交叉熵与轨迹关键点前向运动学接触等空间损失，采样用非均匀步长平衡流派。推理时先验证音乐单条件生成是否合拍，再逐步加入稀疏轨迹与关键点，观察轨迹距离与关键点距离是否下降，最后再打开多步重掩码与脚步优化并记录物理分数与保真分数的权衡。若缺少某模态，检查模态级掩码概率是否覆盖该缺失组合，不要把单条件最优直接当作多条件最优。

何时值得尝试这种解耦加联合掩码路线？

当任务同时需要音乐性与帧级空间落实时值得尝试，例如要求舞者按指定走位移动并在特定帧摆出指定姿态，同时保持流派风格与节拍对齐。此时把音乐文本当风格条件、把关键点轨迹当空间条件，并为空间流设置独立重建目标，比只把空间信号当附加输入更可能学到精确对齐。当只有音乐可用时，多条件训练的模型仍可退化为单条件运行，但需接受控制精度下降。

不值得盲目套用的情况包括只需要粗粒度风格生成、手部表情是主要评价点、或推理延迟预算极紧的场景，因为本文未建模手指面部，未测量延迟，且精修会增加计算。复现后还需补的验证是自定义轨迹下的物理稳定性、长时程一致性，以及与视频生成管线的衔接。记住核心判断：大规模多模态数据解决可训练性，解耦词元解决对齐基础，联合预测解决学习不均衡，精修解决物理残差，四者缺一都会在某个指标上付出代价。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 13 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 cvpr-2026 论文汇总