英文题目：CMA-OT: Hierarchical Expert Supervision for Dance-to-Music Generation
标签：#音乐生成 | #课程学习 | #流匹配 | #音视频
评分：6.9/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
👥 作者与机构
- Jinting Wang：机构信息未在 arXiv HTML 中可靠披露
- Chenxing Li：机构信息未在 arXiv HTML 中可靠披露
- Dong Yu：机构信息未在 arXiv HTML 中可靠披露
- Li Liu：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
舞蹈到音乐生成的输入是舞蹈视频与二维姿态序列，输出是与舞蹈节奏风格对齐的音乐波形，难点在于舞蹈仅提供稀疏节奏风格线索，而作曲需要稠密的结构配器与表情动态。该框架先由I3D视觉编码器抽取全局风格特征并由节奏编码器从姿态抽取细粒度时序动态，二者共同条件化基于流匹配的扩散变换器以生成音乐潜变量。接着课程引导的多尺度对齐将上一阶段的条件生成表示依次送入顶层风格、中层旋律与底层节奏的Jukebox专家监督，由粗到细渐进蒸馏并以权重衰减缓解梯度冲突。然后尺度感知的融合Gromov-Wasserstein在每个尺度联合优化特征语义对应与成对时序结构保持，以处理变长与错位并自适应平衡两者权重。与仅监督最终音频或做全局余弦硬匹配的方法不同，该机制在表征层提供结构化软对应而非逐点硬对齐，因而兼顾全局连贯与细粒度同步。在AIST++评测设置下，CMA-OT的F1为99.12，高于Base的F1 97.27。该结论适用边界限于5秒短片段与棚拍及短视频两类分布，更长结构与跨风格泛化尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
演示资源：https://beria-moon.github.io/CMA-OT/ — 链接可访问（HTTP 200）
第三方资源：https://github.com/huggingface/transformers — 链接可访问（HTTP 200）
第三方资源：https://huggingface.co/docs/transformers/model_doc/jukebox — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，哪些信息必须保留？
这篇论文研究的任务是舞蹈到音乐生成，英文叫舞蹈到音乐生成。输入是一段舞蹈视频及其姿态序列，输出是一段与舞蹈在节奏与风格上对齐的音乐波形。研究生复述时要先固定这条线：输入侧只有稀疏线索，论文明确写的是节奏与风格这类 cues；输出侧却是稠密信息，包括宏观结构如全局风格、中观属性如旋律、微观细节如节奏与乐器音色。必须保留的信息有两类，一是舞蹈的时间结构，何时落拍、何时换动作，二是音乐应有的层次结构，不能只在最终波形上像即可。
论文的出发点是，如果只用稀疏舞蹈线索加最终音频重建损失，模型被迫同时解决节奏对齐与音乐作曲两个负担，在高质量舞蹈音乐配对数据稀缺时难以学到可泛化的音乐表示，生成结果往往缺乏音乐性与结构连贯性。演示页当前可用，链接状态为可达，本文只用它说明有演示存在，不从演示推断指标。理解这个输入输出不对称，是后面所有分层监督设计的依据。
同输入同目标的已有路线卡在哪里？
按同输入、同目标、同监督来对照，已有舞蹈到音乐方法多走舞蹈中心表示路线。论文回顾的路线是先用预训练编码器提取运动特征，例如时空图卷积网络，或用基于姿态的节奏线索，再用重建目标优化音乐生成器。这类设计能抓住全局运动语义与基本节奏对齐，但依赖稀疏舞蹈线索，缺乏对和声、织体与长程组织等丰富音乐结构的显式建模，生成多样性与结构连贯性受限。
另一条相关路线是生成模型的表示对齐，例如用预训练视觉编码器对齐扩散模型内部表示以提升语义一致性与训练效率，也有扩展到多模态与序列音频的工作。但论文指出，这些对齐多是全局语义一致或逐点特征匹配，用余弦相似度等直接相似目标，不显式建模时间结构与层级关系，不适合舞蹈到音乐这种需要细粒度时间动态与多尺度依赖的任务。
最优传输相关工作提供跨分布对齐的工具，其中瓦瑟斯坦距离度量共享空间的特征差异，格罗莫夫瓦瑟斯坦距离比较异构域的关系结构，融合版本同时保留语义与关系信息，已用于图匹配与跨模态对齐，但在生成建模中的分层尺度感知监督仍少见。课程学习则按由简到繁组织训练，已用于生成、强化与分割，但此前多在数据或任务层面，未明确面向表示层面的多尺度监督。
本文的定位是把这 3 条线拼起来：保留舞蹈条件，同时引入外部音乐专家的分层表示监督，并用课程与传输机制解决多尺度引入的不稳定与错位。
语义错位具体指什么，为什么直接加多尺度监督会不稳？
语义错位在这里有明确所指：舞蹈视频只提供稀疏的节奏与风格，而音乐需要从全局作曲到局部时间动态的稠密层次。论文把常规范式画成只靠稀疏线索加最终输出监督，中间表示得不到音乐结构的直接指导。引入外部音乐专家后，新的困难来自两处。第一，多尺度专家信号在语义与结构上差异显著，同时施加多个尺度的对齐可能引起训练不稳定与优化不平衡，出现梯度干扰。
第二，专家表示与生成器隐特征在不同层级上时间分辨率不一致，需要尺度感知的结构建模而非全局语义匹配，才能做细粒度对齐。换句话说，问题从缺监督变成如何稳定地加监督与如何对准时间结构。论文因此提出两个配套机制，一个管加入顺序，一个管对准方式。
看图路径： 1. 先看上面常规路径中舞蹈视频到音乐生成器的黑箭头与下方稀疏线索到稠密音乐的断裂红箭头；2. 再看下面 CMA-OT 路径中音乐专家经黄色分层监督块向上指向生成器内部的虚线；3. 最后对照图底图例中蓝色重建损失与粉黄表示损失两种箭头的含义
论文图 1。原论文 Fig. 1:：“Comparison of D2M paradigms. (a) Conventional D2M methods rely solely on sparse dance cues and final-output supervision, resulting in inefficient representation learning and poor…”。
上图把两种范式并置。上半常规路径中舞蹈视频指向音乐生成器，生成音符与稠密音乐真值之间用蓝色重建损失箭头连接，但下方稀疏线索与稠密音乐之间是断裂的红色双向箭头，右侧配以不满意表情，含义是中间表示缺乏桥梁。
下半本文路径保留同样的舞蹈输入与生成器，但在下方增加黄色分层监督块，音乐专家指向该块，再经 3 条虚线表示损失指回生成器内部不同位置，稀疏到稠密之间变为绿色连通双向箭头并配以满意表情与肌肉手臂图案，强调表示层得到支撑。图底图例区分蓝色实线重建损失与粉黄虚线表示损失。读图时不要把表情当成指标证据，它只是范式意图的示意，真正的证据在后面的训练与评测条件中。
沿一个样本走完输入到输出的主路径
取一个训练样本为例。输入是一段舞蹈视频及其 2 维姿态序列，论文用预训练视觉语义编码器从帧提取全局风格特征，用运动编码器从姿态捕获细粒度时间动态，分别记为风格特征与节奏特征。它们作为条件进入基于流的音乐生成器，生成器主干是条件扩散变换器，论文称其为时间指挥，保证节奏对齐。与此同时，同一段音乐的波形送入预训练多尺度音乐专家，只用其编码器得到 3 个层级的连续嵌入，分别对应全局风格、旋律和声结构、细粒度节奏纹理与音色。
生成器内部不同深度的隐表示经轻量投影头映射后，与对应尺度的专家特征计算对齐损失，再与流匹配生成损失相加作为总训练目标。推理时只用舞蹈提取的视觉与节奏特征引导生成器，经音乐隐变量解码为波形，不再使用外部专家的表示指导，因此不增加相对基座扩散模型的额外推理开销。
看图路径： 1. 沿左侧视频与姿态经 zv 与 zr 进入输入嵌入再穿过多个 Transformer 块的主路径走一遍；2. 观察中间 h_bot 与 h_mid 与 h_top 经投影头向下与 Bottom 与 Mid 与 Top 专家块的双向虚线；3. 再看右侧 Phase1 到 Phase3 权重块与下方尺度自适应 FGW-OT 块如何汇入总损失
论文图 2。原论文 Fig. 2:：“Overview of CMA-OT. It is a novel paradigm-driven hierarchical supervision framework for D2M.”。
上图是全框架总览。左侧视频与姿态经标注的条件进入中间粉色音乐生成器，生成器内从输入嵌入穿过多个变换器块，分别引出浅层、中层、深层隐表示，经投影头映射后向下与底部黄色多尺度音乐专家的三列块对应，专家输入来自左下音乐波形。右侧橙色大块是分层监督，上方是生成损失与课程对齐损失相加，中部是 3 阶段课程权重示意，下方是尺度感知因子汇入每层对齐损失。黄色大箭头表示知识从专家向生成器的蒸馏方向。读这张图的关键是分清两类箭头：黑色实线是前向条件与生成主路径，彩色虚线是训练时的表示对齐监督，只在训练出现。
三层如何对应，谁对齐谁，用什么距离？
多尺度特征映射的安排是粗到细 3 级对应。粗层把专家顶层全局风格特征与变换器深层表示对齐，锚定高层音乐语义；中层把专家中间结构旋律特征与变换器中层表示对齐，增强作曲连贯性；细层把专家底层局部节奏模式与变换器浅层表示对齐，精修细粒度时间动态。由于专家工作在干净音频域而变换器处理加噪隐变量，论文沿用已有表示对齐做法，为每层引入两层多层感知机加激活的投影头，把内部表示映射到可比语义空间，再计算对齐损失。
选择深层对粗、中层对中、浅层对细不是随意指定，附录用中心化核最近邻对齐在 1000 个干净音乐样本上比较了 12 层变换器表示与 3 层专家特征的相似度，观察到清晰对角模式，底层专家特征与浅层最相似，顶层与深层最相似，据此选定第 2 层对底层、第 6 层对中层、第 10 层对顶层。
课程学习 × 多尺度表示对齐： 课程学习负责决定 3 个尺度监督以何种顺序和权重加入训练，先学全局风格再学旋律结构最后精修节奏细节，避免多尺度梯度同时冲突；多尺度表示对齐负责把 DiT 不同深度的隐表示分别映射到专家 top、mid、bot 特征空间并计算距离；两者搭配的原因是多尺度信号语义与时间分辨率差异大，直接联合优化不稳定，课程给出稳定的加入节奏，对齐给出每一步可优化的目标，组合后形成由粗到细的渐进知识蒸馏。
Fused Gromov-Wasserstein 距离 × 尺度自适应权重： Fused Gromov-Wasserstein 距离同时建模特征相似性与序列内部结构一致性，用传输计划做不等长序列间的软对应，解决专家与生成器时间分辨率错位；尺度自适应权重负责在每个尺度上根据当前语义代价与结构代价的相对大小动态计算 alpha，决定该尺度更偏重语义还是结构；搭配理由是 top、mid、bot 3 层的语义密度与时间结构重要性不同，固定折中系数无法兼顾，自适应使每一层的软对齐都保持合适的偏置。
条件流匹配 × 分层专家监督： 条件流匹配负责以舞蹈风格特征与节奏特征为条件，学习从高斯噪声到音乐隐变量的连续速度场，保证生成结果受舞蹈控制且可解码为波形；分层专家监督负责在训练时用预训练音乐专家的多层表示约束 DiT 中间层，使隐空间具备音乐结构；搭配原因是仅靠舞蹈条件与最终重建损失要同时解决对齐与作曲双重负担，专家监督补上中间表示的结构先验，而推理时不再需要专家，不增加条件以外的计算。
舞蹈风格特征 × 舞蹈节奏特征： 舞蹈风格特征由 I3D 视觉编码器从视频帧提取全局风格，控制生成音乐的高层风格一致性；舞蹈节奏特征由运动编码器从 2 维姿态骨架提取细粒度时间动态，控制节拍对齐；两者分工是风格管全局、节奏管局部时刻，论文把它们共同作为流匹配速度场的条件，搭配后生成器同时收到做什么风格与何时落拍两类指挥信号。
投影头 × DiT 隐表示： DiT 隐表示是生成器在去噪过程中各层的内部状态，处于加噪隐变量空间；投影头是由两层 MLP 加 GELU 构成的轻量映射，把 DiT 隐表示变换到可与干净音频域专家特征比较的语义空间；搭配原因是专家处理干净音频而 DiT 处理加噪隐变量，直接比较存在域错位，投影头隔离这种差异，使对齐损失作用在可比空间而不直接改动生成主干的维度。
投影映射写成每层各自的变换，符号含义是原始隐表示经该层投影头得到可比表示。
\[\tilde{\mathbf{h}}_{k}=\phi_{(k)}(\mathbf{h}_{k}),\quad k\in\{\text{top},\text{mid},\text{bot}\}.\]每层的对齐损失是可比表示与专家特征之间的尺度感知距离，具体形式在后段用融合距离实例化。
\[\mathcal{L}_{\text{CMA}}=\sum_{k\in\{\text{top},\text{mid},\text{bot}\}}\lambda_{k}\,\mathcal{L}_{\text{align}}^{(k)}\Big.\]上式是课程加权后的多尺度总对齐损失，权重随训练阶段变化，总和只在最终去噪步计算，此时变换器表示最接近干净数据，与干净专家特征可比。尺度自适应因子根据当前传输计划下期望的语义代价与结构代价之比经对数与激活函数计算，原文用余弦距离作特征代价、均方误差作结构代价，并加极小常数保证数值稳定。
\[\alpha_{k}=\sigma\Big(\log\frac{n_{k}}{m_{k}+\varepsilon}\Big),\]条件生成部分学习以舞蹈特征为条件的速度场，从先验高斯分布指向音乐隐变量分布，流匹配损失回归目标位移，总目标是生成损失加分层对齐损失。
\[\mathcal{L}_{\text{CFM}}=\mathbb{E}_{t,Z_{0},Z_{1}}\big\|\mathbf{v}_{\theta}(Z_{t},t\mid z_{v},z_{r})-(Z_{1}-Z_{0})\big\|^{2},\]\[\mathcal{L}_{\text{total}}=\mathcal{L}_{\text{CFM}}+\mathcal{L}_{\text{CMA}}.\]课程按什么顺序加权重，对齐层如何选定？
课程策略分 3 阶段平滑推进。第一阶段聚焦顶层对齐，学习全局风格；第二阶段逐步引入中层对齐并柔和降低顶层权重，学习旋律和声结构；第 3 阶段底层对齐占主导以精修时间节奏精度，同时高层权重平滑衰减但不归零，保持优化稳定。权重遵循余弦退火调度，每个过渡持续多轮以避免突变。
论文报告的具体调度是顶层在前 30 轮主导，中层权重从第 30 轮到第 100 轮逐渐上升，底层在第 100 轮后激活，每次过渡持续 25 轮。附录还给出 4 种课程的数学形式以便复现：固定权重全程同时激活，硬切换在第 30 与 100 轮 abrupt 切换，线性调度在过渡区间线性插值，余弦调度用余弦退火保证边界平滑。层选择依据前述相似度分析固定为第 2、6、10 层，不在训练中搜索。对齐只在最终去噪步施加，这是原文明确的实现细节。
训练时专家编码器提供目标特征，论文未报告专家参数是否更新，按证据只能说专家是预训练多尺度编码器并用作监督来源，不从名称推定其冻结或更新，也不猜梯度是否流入专家。
看图路径： 1. 先确认横轴训练轮数从 0 到 200 与纵轴课程权重的范围；2. 再比较蓝色粗层曲线在前 30 轮保持 1.0 后分两段下降的形状；3. 最后观察绿色中层与红色细层分别在 30 轮后与 100 轮后启动并趋稳的位置
论文图 3。原论文 Fig. 3:：“Curriculum Weights Visualization. Three-phase alignment weights following a cosine annealing schedule, showing the progressive activation of top, middle, and bottom-level…”。
上图展示余弦调度下 3 条权重曲线随训练轮数的演化。横轴是训练轮数，纵轴是课程权重，背景按阶段着色。蓝色粗层从 1.0 平台经平滑下降分两段稳定，绿色中层从 0 启动后上升至平台再回落，红色细层在 100 轮后从 0 启动并上升至平台。读图时注意这不是性能曲线，纵轴是损失权重，下降不代表性能变差，只是该尺度监督占比降低。复现时应按文字报告的轮数阈值与过渡长度实现，而不是从像素估读精确小数。
看图路径： 1. 先确认横轴 DiT 第 1 到 12 层与纵轴 Jukebox 的 Top 与 Middle 与 Bottom 三行；2. 再比较 Bottom 行在浅层数值较高而 Top 行在深层数值较高的对角趋势；3. 最后读出 Middle 行峰值集中在中间层附近的格子数值
论文图 8。原论文 Fig. 8:：“Representation Similarity. We provide CKNNA heatmap to show the representation similarity between DiT layers and the three Jukebox feature levels (bottom, middle, top).”。
上图是表示相似度热图，横轴是变换器第 1 到 12 层，纵轴是专家顶、中、底三行，格内数值是最近邻对齐分数，右侧色条表示分数高低。可见底行在左侧浅层分数较高，顶行在右侧深层相对较高，中行在中间层出现峰值，形成对角趋势，支持浅对细、深对粗的映射。像素可辨的格值较多，但复现只需记住选层结论与分析所用样本量与近邻数，不必硬抄每个格值。训练超参数与推理采样见下表，表中数值均有原文连续句覆盖，单位保留原文写法。
表前问题是：用多大数据块、多大批量与何种优化器训练，以及推理用多少步求解。公平性在于所有变体共享同一生成主干与解码器，差异只在是否加对齐与何种对齐。表后需说明，这些配置决定复现成本与可比性，改变采样步数或引导尺度会直接改变质量与节奏分数，不能跨配置比较。
在哪些数据与指标上测，如何保证条件一致？
实验用两个公开数据集。第一是录音棚干净背景的舞蹈视频集，包含上 1000 段视频与 10 种舞种，每段配对应音乐；第二是从短视频平台收集的舞蹈视频集，包含数百段视频与数十首歌曲，场景更复杂。论文声明训练与评测遵循前人建立的标准划分与评测协议以保证公平比较。每个训练样本取 5 秒音乐片段，采样率按原文为 44.1 千赫，姿态用默认超参数的姿态提取器得到 2 维骨架。
音乐波形经预训练变分自编码器编解码，压缩倍数与隐维度按原文给出，隐帧率也有报告。主干是 12 层解码器层构成的条件变换器，隐维度与注意力头数按原文给出，用常见变换器库实现以保证可复现部署。对齐实现用余弦距离作特征代价、均方误差作结构代价，自适应因子每尺度动态计算，分母加极小常数。训练轮数、批量、优化器与学习率见配置表，课程阈值与过渡长度见课程表，推理用欧拉常微分方程求解器步数与无分类器引导尺度见配置表。
评测分 4 类：节奏对齐用节拍覆盖率、节拍命中率及其均值与标准差，覆盖率相对生成音乐总节拍，命中率相对真值；音乐质量用弗雷歇音频距离，分别基于两种音频特征提取器；美学质量用 4 维音频美学模型，包括制作质量、制作复杂度、内容愉悦度与内容可用性；主观评测让志愿者在 5 点量表上打整体感知质量与舞蹈相关性。指标方向是覆盖率命中率与美学越高越好，标准差与距离越低越好。
论文未报告统计显著性与多次随机种子方差，这是复现时需补的缺项。
主结果测什么，与谁比，支持什么判断？
主比较回答在相同划分与协议下，分层专家监督是否同时改善节奏同步、感知质量与整体生成。比较对象包括生成对抗、扩散与基于运动的多个舞蹈到音乐方法，覆盖不同时期的代表路线。论文报告在 2 个数据集上本文方法在节奏对齐、美学质量与音乐质量上一致优于基线，在更具挑战的短视频集上仍保持节奏最优与距离最低。支持的判断是中间表示得到结构指导后，生成音乐在时间同步与感知质量上同时获益。
限制是原文主结果表以加粗与下划线标示最优与次优，但未给出每格的聚合对象是整集平均还是分舞种平均，也未报告置信区间，不能把单点最优解读为所有子集都最优。相关性不等于因果，节奏分数高可能来自节奏条件、专家底层监督与传输结构约束的共同作用，消融才能拆分。未测量延迟与成本时，不承诺推理更快，只在训练效率图上讨论收敛。
| 条件 | 指标 | 基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 200 轮训练，批量 4，学习率数量级 | 训练预算 | 基座无对齐 | 加课程与尺度感知对齐 | 同主干不同监督 |
| 32 步欧拉采样，引导尺度 | 推理配置 | 同采样器 | 同采样器 | 固定采样比质量 |
| 压缩倍数与隐维度按原文 | 编解码 | 同变分自编码器 | 同变分自编码器 | 固定解码比表示 |
上表不是性能值表，而是把可复现的预算与数据块固定下来，说明主结果的可比条件。性能数值因原表选择不可用而不在此硬写，避免为凑宽表混放不同条件或删除不利基线。真正的效果趋势需回到原文主表与训练曲线：训练比较图显示本文曲线在更少轮数达到与基线相当或更低的距离，且最终点更低，支持训练效率与最终性能同时改善，但这是距离随轮数的轨迹，不能推广为每一步都更快，也不能把末步距离直接当成听感分数。
主观评测在数十名志愿者与数十个测试样本上报告本文在整体质量与舞蹈相关性平均分最高，与客观节奏趋势一致，但样本量与量表粒度有限，不宜外推到所有舞种。
拿掉课程或换掉距离会发生什么，哪些对照是可运行的？
消融回答 3 个可操作问题：外部监督是否有用，分层与课程是否必要，对齐距离是否需要结构约束。变体覆盖基座无对齐、用全局嵌入加传输的外部监督、单尺度顶中底对齐、无课程的多尺度同时对齐、用余弦的课程对齐、用无自适应的融合距离，以及完整方法。
论文报告的趋势是全局嵌入带来边际改善但对细粒度结构指导有限，单尺度中底层改善最大，无课程多尺度因跨层梯度冲突明显退化，课程加余弦已大幅降低距离，换成融合距离进一步改善节奏，自适应加权再带来额外增益。课程调度比较中余弦优于固定、硬切换与线性，距离比较中尺度感知融合优于线性加余弦、时序卷积加余弦与标准传输。这些都是实际可运行的策略，不是事后最优值，可直接复现。
反例必须保留：无课程多尺度同时激活是负结果，说明多尺度本身不自动带来增益；全局嵌入变体在部分节奏指标上可能损伤精度，说明监督粒度比有无更重要。未胜出项还包括固定权重与硬切换，它们在优化平滑性上不如余弦。原文未报告去掉舞蹈节奏条件后仅靠专家能否生成，这是有待验证的边界。
| 课程策略 | 顶层权重 | 中层权重 | 底层权重 | 切换方式 |
|---|---|---|---|---|
| 固定权重 | 0.5 | 0.3 | 0.2 | 全程同时激活 |
| 硬切换 | 1.0 | 0.6 | 0.5 | 在 30 轮与 100 轮突变 |
| 线性调度 | 1.0 到 0.2 | 0 到 0.6 到 0.3 | 0 到 0.5 | 区间线性插值 |
| 余弦调度 | 1.0 到 0.2 | 0 到 0.6 到 0.3 | 0 到 0.5 | 余弦退火平滑过渡 |
上表整理 4 种课程的可运行定义，数值与阈值均有原文连续句支撑。收益是余弦在保持高层稳定的同时平滑交接，避免优化冲击；代价是需要实现分段退火与过渡长度，超参数比固定权重多。若只看最终权重会误以为四者相近，关键差异在过渡形状与切换时刻，这正是附录用四宫格权重图要说明的。
| 专家层级 | 语义内容 | 嵌入维度 | 码本规模 | 时间下采样 |
|---|---|---|---|---|
| 顶层 | 风格与流派全局语义 | 64 维 | 2048 | 跳步分数之一 |
| 中层 | 旋律与和声短语 | 64 维 | 2048 | 跳步分数之一 |
| 底层 | 节奏纹理与音色 | 64 维 | 2048 | 跳步分数之一 |
上表整理专家 3 层的分工与表示规格，说明为何需要分层而非单一全局向量。收益是粗中细各有目标，代价是 3 层时间长度不同，必须用支持不等长的传输对齐而非逐点匹配。
| 对应关系 | 专家侧 | 生成器侧 | 分析样本 | 近邻参数 |
|---|---|---|---|---|
| 粗对深 | 顶层特征 | 第 10 层 | 1000 个干净样本 | 近邻数 10 |
| 中对中 | 中层特征 | 第 6 层 | 1000 个干净样本 | 近邻数 10 |
| 细对浅 | 底层特征 | 第 2 层 | 1000 个干净样本 | 近邻数 10 |
上表把层选择的依据固定为可重放的分析条件。收益是语义兼容的表示在每尺度对齐，代价是选层依赖基座无对齐状态下的相似度，若主干改变需重做分析，不能直接沿用层号。
还有哪些未测边界与可能的误读？
首先，专家只用编码器提供目标，论文未明确专家参数是否冻结、梯度是否截断、对齐损失是否回传到专家，复现时应按监督来源只更新生成器与投影头，不臆测专家被微调。其次，课程阈值与过渡长度是按轮数给定的绝对值，与总轮数、批量与数据量耦合，换数据集或批量时需重新调参，不能当成通用常数。第三，评测未报告多次种子方差、显著性检验与分舞种细分，总体最优不等于每组都最优。
第四，主观评测样本与人数有限，量表是顺序量表，均值比较只能作趋势参考。第五，推理成本只说明不使用专家指导、与基座扩散模型相当，但未给出实际延迟、显存与帧率，训练侧多尺度传输带来额外开销，总体趋势不等于部署无代价。常见误读是把传输计划的软对应当成硬节拍检测，或把权重曲线的下降当成性能下降，前者是分布间的耦合矩阵，后者是损失占比。另一个误读是把美学模型的自动分当成人评，两者分开报告，不能互换。
复现先做什么，需要哪些信息条件？
先固定数据与编解码：按标准划分切分 2 个数据集，每个样本取 5 秒片段并重采样到原文采样率再转单声道，用同一预训练变分自编码器得到隐表示，用同一姿态提取器默认超参数得到 2 维骨架。再搭建条件生成器：12 层解码器层、原文隐维度与注意力头数，用常见变换器库实现，条件为视觉风格与节奏特征，训练目标为流匹配损失加课程对齐损失。
然后准备专家目标：将同一音乐波形送入预训练生成音乐模型的编码器，取 3 层离散隐序列经码本映射为连续嵌入，维度与码本规模按原文，下采样跳步分数按原文实现，注意时间长度随输入长度变化。接着实现对齐：每层加两层感知机投影，特征代价用余弦距离，结构代价用均方误差，自适应因子按语义与结构期望之比计算并加极小常数，对齐只在最终去噪步计算。课程按 3 阶段余弦实现，阈值与过渡长度按原文轮数，选层固定为第 2、6、10 层。
优化用原文轮数、批量、优化器与学习率，推理用原文步数与引导尺度。代码层面，论文正文给出变换器库与音乐专家文档链接，当前均可达，但这只代表文档可达，不代表完整训练代码已公开，复现前应区分代码开源、权重下载与系统可运行三件事。若要补验证，至少加多次种子、报告均值方差、分舞种节奏分解，以及训练与推理的耗时显存记录。
何时值得尝试这种分层监督？
当输入线索稀疏而输出需要多层次结构，且手头有一个在目标模态上预训练好的多尺度编码器时，这种范式值得尝试。它的本质是用外部层次先验补上生成器中间表示的结构，再用课程解决多尺度同时优化的冲突，用融合传输解决不等长时间分辨率的软对准。适用条件是能拿到与生成目标同域的干净专家特征，且能在最终去噪步附近施加监督；若专家域与生成隐空间差距过大，或时间结构不重要，收益会打折。
不适用的是只有全局向量而无分层、或无法承担训练侧多尺度距离计算的场景。复述方法时记住一条主线：舞蹈给条件，专家给结构，课程给顺序，传输给对准，流匹配给生成。抓住这五句，就抓住了全文的计算依赖。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses