📄 身体分部与快慢分离：Dyna2Music 如何把舞蹈动作变成可监督的音乐时间结构
标签：#音乐生成 | #流匹配 | #音画同步 | #音乐
评分：7.1/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Changchang Sun：机构信息未在 arXiv HTML 中可靠披露
- Lu Cheng：机构信息未在 arXiv HTML 中可靠披露
- Yan Yan：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
舞蹈到音乐生成（Dance-to-Music Generation，D2M）输入为估计的3D关节点序列，输出为与舞蹈时间结构对齐的音乐波形，难点在于局部肢体重音易被全身聚合淹没，且潜空间局部动态缺乏显式目标。所提Dyna2Music先由空谱运动分解（Spatio-Spectral Motion Decomposition，SSMD）将关节速度滤为慢速与快速分量并计算5个身体部位能量，同时用冻结MotionBERT补充关节协同特征，再由分层慢快条件编码器（Hierarchical Slow-Fast Conditioning Encoder，HSF-Encoder）经部位注意力与能量门控融合成条件序列，最后以该序列引导潜空间流匹配Transformer生成音乐潜变量并辅以潜动态一致性（Latent Dynamics Consistency，LDC）监督相邻帧变化幅度。与聚合运动或单频带条件相比，该设计保留了部位特异性与频带特异性，并把局部时间变化幅度变为可学习的显式目标。在AIST++测试集180对上onset级F1达到55.76%，超出最强基线VidMuse 17.70个百分点，同时三类Fréchet Audio Distance均为最低。作者承认约四分之一或二分之一节拍的运动平移仍不改变生成onset相位，故局部运动依赖的相位跟踪尚未实现。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，要输出什么，哪些信息必须保留？
这篇论文研究的输入是一段舞蹈的 3 维关节位置序列，记为覆盖视频帧的姿态序列，目标是生成一段音乐波形，其时间结构要与舞蹈动作对齐。输出不是符号乐谱也不是离散音频词，而是连续音乐隐变量经冻结波形变分自编码器解码得到的立体声音频。必须保留的信息有两类，一是动作侧何时出现持续运动、短促装饰与重音，二是音乐侧局部时间变化的起伏轮廓。论文强调，仅匹配整体风格或速度不够，配乐需要响应身体变化。
举例来说，如果把手腕 1 次快速点动与躯干大幅摆动直接加总平均，前者会被后者淹没，条件表示就不再能区分这个局部事件。学习者复述时要先说清样本是 1 对舞蹈加配对音乐，模型要学的是给定关节序列下的音乐隐变量条件分布，推理时从高斯噪声出发积分速度场再解码。论文报告在录音室采集的 AIST++ 与野外采集的 TikTok 上验证，前者训练 8819 对、测试 180 对，后者训练 391 对、测试 53 对，这种对照是为了检验不同录制条件下的节律对齐与音质。
同输入同目标的路线有哪些，本文站在哪里？
按同输入同目标划分，舞蹈到音乐生成已有自回归与非自回归两条路线。自回归路线逐个预测符号事件或离散音频词，保留输出时间步之间的顺序依赖，例如从姿态与音符历史在线生成音符，或先生成鼓再补全多乐器。非自回归路线不用从左到右解码，包括对抗合成与迭代精炼，例如在离散隐空间做条件生成、在连续隐空间加入运动与风格条件。
论文把自身归入连续隐空间的非自回归一支，与 LORIS 从聚合关节运动导出单一视觉节律序列、PN-Diffusion 用时空图卷积编码骨骼序列的做法对照，指出它们没有按身体部位或时间频率显式分离线索。按同监督划分，通用视频配乐常用视觉语义条件与显式音乐控制，而舞蹈任务更强调时间结构对齐。按同运行阶段划分，文中还比较了基于冻结 AudioLDM 加控制适配器的方法。
理解这些对照时不能把类别差异直接当成同条件胜负，论文的实验是将每个已训练模型固定、统一更换评价参考或统一用相同起音匹配协议来比较，这一点在复述结果时必须保留。
为什么要先测量身体分块与快慢分离？
论文先做了一个经验测量，问题是身体分块越细、快慢分离后，原始音乐到运动节拍对齐分数自然变高是否只是因为运动参考变密。作者在 AIST++ 训练集的配对片段上构造整体、上下半身、五部位 3 种空间划分，每种再分不做频率分离与分离慢快两种情形，对每种情形取各成分信号运动节拍候选的并集作为运动参考，用音乐节拍到最近运动节拍接近度的 BAS 度量。
结果显示，不做频率分离时原始 BAS 随划分变细而上升，做快慢分离后两部位与五部位参考进一步上升，五部位双频带最高。这个测量同时画出运动参考密度，说明分数上升与参考变密有关，因此不能只看绝对值跨配置比较。教学上要强调，这一步不是训练模型，而是为条件设计提供依据：既然细划分与快慢分离能给出更稠密且更贴近音乐节拍的参考，模型就值得保留部位与频带区分，而不是在输入端先平均掉。
该节的图是理解后文五部位与 1.4 赫兹低通、3.0 赫兹高通选择的直接前提。
为读懂该经验分析，先看横轴 5 种运动参考的构成方式，再看左侧分数轴与右侧密度轴如何同向爬升，最后理解作者为何提醒原始分数依赖参考密度、跨配置绝对值需谨慎解释。
看图路径： 1. 先看横轴五组从整体到五部位的划分与单双频带组合；2. 再对比左侧彩色圆点的节拍对齐分数与右侧灰线运动参考密度；3. 最后核对五部位双频带同时取得最高分数与最高密度
论文图 1。原论文 Figure 1:：“Beat alignment score (BAS) and kinematic-beat density for different motion references on paired dance-music clips from the AIST++ training set.”。
该图显示从左到右 5 组参考的 BAS 均值与 95% 置信区间逐步抬高，灰色折线表示的运动节拍密度同步从每秒 2.1 次左右升至 11.6 次左右。像素上可辨认单部位单频带约为 0.307，两部位单频带约为 0.418，两部位双频带约为 0.472，五部位单频带约为 0.569，五部位双频带约为 0.661。解释时必须同时说清两点：一是更细划分与快慢分离确实带来更高原始对齐，二是这种升高部分来自参考变密，因此它支持保留部位与频带区分的设计直觉，但不证明生成模型已学会局部相位跟踪。
Dyna2Music 让一个样本走完全程需要哪三步？
对一个舞蹈样本，流程是输入表示到条件再到生成输出。第一步是空谱运动分解，从 3 维姿态算关节速度，经低通与高通滤波得到慢速与快速速度序列，再按五部位求能量，同时用冻结 MotionBERT 提 512 维关节特征并按部位平均，最后重采样到音乐隐帧数，得到慢能量、快能量与关节特征。第二步是层次慢快条件编码器，把能量与特征投影加位置与部位频带嵌入，经帧内部件注意力与能量门控聚合成慢快帧表示，再经可学习标量门融合为每帧 256 维条件序列。
第三步是音乐生成分支，以条件序列为交叉注意力键值，用变换器预测音乐隐速度场，训练时同时做速度回归与隐动态一致性，推理时从噪声欧拉积分再经冻结声码器解码为波形。整个链条中 MotionBERT 与波形编解码器保持冻结，只有编码器与音乐变换器联合优化，条件丢弃概率用于支持无分类器引导。
下图把 3 段纵向并排，左侧是分解，中间是融合，右侧是生成，箭头标出查询键值的走向，适合对照文字走一遍主路径。
看图路径： 1. 沿左侧舞蹈姿态经带分离与 MotionBERT 到慢快能量与语义特征的箭头走一遍；2. 观察中间编码器从输入准备到帧内部注意力再到门控融合的纵向堆叠；3. 确认右侧训练分支同时画出流匹配损失与隐动态损失而推理分支走欧拉求解与声码器解码
论文图 2。原论文 Figure 2:：“Overview of Dyna2Music. Left: SSMD extracts part-wise slow/fast motion energy and complementary features from frozen MotionBERT.”。
该图左侧可见舞蹈姿态分别走向带分离与 MotionBERT，前者画出慢能量平滑大包络与快能量尖锐脉冲两条多色曲线，后者画出五部位语义特征热力格。中间可见输入准备、帧内部件多头注意力、部位门控聚合、慢快门融合自上而下堆叠，最终输出每帧 256 维条件。右侧可见噪声与参考隐变量插值、时间嵌入、16 层扩散变换器块、流匹配损失与隐动态损失上下并列，推理侧单独画出欧拉常微分求解与声码器解码。读图时重点确认慢快两路查询共享键值的设计与训练推理分支的分叉位置，这对应正文跨注意力与损失只在训练出现的说明。
部位能量与关节特征如何计算与对齐？
空谱运动分解的输入遵循 17 关节点约定，五部位划分在附录给出零基索引，躯干包含根与颈头等中轴关节，双臂双腿各三关节。关节速度是相邻姿态差乘以视频帧率，首帧速度置零，能量分支不做逐帧躯干中心化。随后对每维速度坐标做 4 阶巴特沃斯低通与高通前后向滤波，截止频率分别为 1.4 赫兹与 3.0 赫兹，得到慢快速度序列。这里慢快指速度变化的时间频率，不是速度幅值大小。部位能量是对部位内关节平方速度求平均，滤波先于能量计算与部位聚合。
能量按每片段每部位每频带做 99.5 分位截断，再傅里叶重采样到目标隐长度并钳制非负。冻结 MotionBERT 在至多 243 帧窗口提全 17 关节特征，不足 16 帧的尾段用交叠窗口补齐再裁剪，部位平均加傅里叶重采样后与能量对齐为相同时间长度。训练用配对音乐隐长度，纯姿态推理用视频帧数换算并受长度上限截断。
空谱运动分解 × 慢快能量： 空谱运动分解负责按身体部位和时间频率切分关节速度，慢快能量是它输出的可计算信号：慢能量保留 1.4 Hz 以下持续性躯干运动，快能量保留 3.0 Hz 以上短促肢体敲击，二者搭配的理由是单一聚合速度会淹没局部重音，组合意义是让后续编码器同时看到持续律动和瞬时装饰音。
能量计算的目标是得到每部位每频带随时间起伏的强度信号，符号与输入如下式所示，分子是部位内各关节慢或快速度平方范数之和，分母是部位关节数，输出即该部位该频带的运动能量。
\[K^{b}_{i,p}=\frac{1}{|\mathcal{J}_{p}|}\sum_{j\in\mathcal{J}_{p}}\|\mathbf{v}^{b}_{i,j}\|_{2}^{2}.\]该式只给出强度包络，不包含关节构型，因此需要下述关节特征互补。
关节特征 × 运动能量： 关节特征指冻结 MotionBERT 输出的 512 维姿态协同表示，运动能量指式 2 计算的部位内平方速度均值，前者分工是补充能量看不到的关节构型与协调关系，后者分工是给出随时间起伏的强度包络，搭配理由是只有强度不知道动作形态、只有形态不知道何时发力，组合后条件同时包含何时与何种动作。
编码器输入准备阶段，能量按每样本每部位每频带在有效步上标准化，标准差下界为十的负 5 次方，关节特征做层归一化，二者分别经两层感知机与线性投影到 256 维，再加正弦时间嵌入与可学习部位频带嵌入。注意力阶段每帧保留五部位 distinct 标记，以频带能量嵌入为查询、以关节特征为键值做四头注意力，查询投影分频带、键值输出投影共享，使每个部位的频带表示能从全身检索上下文。
门控聚合阶段每频带用 256 到 128 到 1 的门控网络经柔性最大归一化得到部位权重，加权求和为帧级慢快表示。慢快融合阶段将 2 分支拼接层归一化与门控混合拼接再投影，保留拼接分支使最终投影同时看到分离表示与混合表示，输出条件序列供生成器跨注意力使用。
层次慢快条件编码器 × 交叉注意力： 层次慢快条件编码器负责把五部位慢快信号融合成每帧 256 维条件序列，交叉注意力是音乐变换器读取该序列的方式，前者分工是在帧内先做部位间注意力再做能量门控聚合，后者分工是让音乐隐表示在每层查询运动条件，搭配使运动时间轴与音乐隐时间轴对齐，新增作用是生成时可按舞蹈长度给出变长条件。
编码器内部的注意力与门控做了什么取舍？
层次慢快条件编码器的关键取舍是先分后合。帧内部件多头注意力在同一时间步跨五部位整合关节特征上下文，注意力权重每行在 5 个键部位上归一化，填充条件标记置零并在生成器交叉注意力中排除。部位门控聚合的权重来自能量嵌入本身，不是来自关节特征，这意味着强度决定该部位在该频带占多大比重，语义内容由注意力输出提供。这种解耦使躯干持续运动与手腕短促重音可以在不同频带拥有不同权重，避免单路平均互相掩盖。
慢快门融合用可学习标量控制慢快相对贡献，同时把拼接表示与混合表示一起送入最终投影，论文称此举让投影同时访问分离分支与门控混合。复述时要指出，消融显示五部位双频带完整模型最好，但两部位下频带分离未提升，单频带下细划分也无一致增益，说明好处依赖组合表示，不能简化为部位越细一定越好。训练预算差异也限制将增益完全归因于结构，原文明确提醒了这一点。
流匹配回归什么，隐动态一致性又额外罚什么？
训练在音乐隐空间进行，冻结波形编码器把波形编为 64 通道隐序列，隐帧数由舞蹈时长与 2048 倍下采样决定。条件流匹配把高斯噪声与配对音乐隐做直线插值，目标速度为二者之差，损失在有效样本帧对与隐通道上平均平方误差。流时间采样是对每样本独立抽标准正态再经 S 形函数映射，小批量级以 0.2 概率将全部条件标记置零以支持无分类器引导。
隐动态一致性不直接约束变化方向或节拍位置，它先用当前预测速度做单步估计得到干净隐估计，再计算估计与参考在相邻帧变化幅度的绝对差并在有效相邻对上平均。变化幅度定义为跨通道均方差加极小量后开方，参考隐从梯度图中分离，计算全在隐空间，不需波形解码与节拍标注，不引入可训练参数与推理计算。总损失是流匹配加权重系数的隐动态项，权重为零即退化为纯流匹配，论文 2 数据集均设为 1。
编码器与音乐变换器联合优化，优化器用 AdamW、学习率 7.5 乘十的负 5 次方、线性预热后线性衰减、半精度与梯度裁剪 1.0，至多 100 轮，随机种子 42，推理用指数滑动平均权重。
流匹配 × 隐动态一致性： 流匹配负责回归从噪声到音乐隐变量的直线速度场，隐动态一致性负责约束单步估计干净隐变量的相邻帧变化幅度，前者只管每帧速度向量本身是否准确，后者管相邻帧差的模长轮廓是否与参考一致，搭配理由是速度回归不直接惩罚局部起伏过大或过平，组合意义是在不增加参数与推理计算下补上局部时间纹理监督。
插值路径与目标速度的定义如下，噪声与参考隐按流时间线性混合，目标即终点减起点，这是速度回归的原始目标。
\[\mathbf{x}_{t}=(1-t)\mathbf{x}_{0}+t\mathbf{x}_{1},\qquad\mathbf{v}^{\star}=\mathbf{x}_{1}-\mathbf{x}_{0}.\]单步干净隐估计由当前插值点沿预测速度走剩余步长得到，恢复配对终点的条件是预测速度等于目标速度，该估计可微并复用同一速度预测。
\[\widehat{\mathbf{x}}_{1}=\mathbf{x}_{t}+(1-t)\mathbf{v}_{\theta}(\mathbf{x}_{t},t,\mathbf{C}).\]相邻帧变化幅度是对 2 帧差跨通道求均方再开方，极小量为十的负 6 次方，从第二帧起定义，这是隐动态项比较的基本量。
\[\Delta_{n}(\mathbf{z})=\sqrt{\frac{1}{d_{a}}\sum_{k=1}^{d_{a}}(z_{n,k}-z_{n-1,k})^{2}+\varepsilon},\qquad n\geq 2,\quad\varepsilon=10^{-6}.\]推理时用条件速度场从标准正态出发做欧拉积分，论文脚本引导系数为 0 即不用引导放大，32 个均匀流时间点做 31 步更新，终点经冻结解码器变为 44.1 千赫兹立体声，隐动态与编码器不参与采样。
数据划分、基线分组与指标方向如何保证可比？
数据侧，AIST++ 为受控录音室舞蹈，训练测试划分为 8819 与 180 对，TikTok 为野外社交视频，训练测试为 391 与 53 对，加载要求至少 100 隐帧约 4.6 秒，剔除 5 个 TikTok 训练对后剩 386 个可用对，训练序列按数据集截断到 1200 与 700 隐帧约 55.7 秒与 32.5 秒，有效长度决定注意力掩码与归一化统计。基线分通用视频配乐与舞蹈配乐两组，前者包括 CMT、M2UGen、VidMuse、GVMGen、MTCV2M、SONIQUE、AudioX 并附加 Diff-Foley 作视频到音频参考，后者包括 D2M-GAN、CDCD、LORIS、Dance2MusicTI、PN-Diffusion、UniMuMo 经其运动到音乐接口、AudioLDM-ControlNet，共 15 个比较对象。
客观评价分起音同步与音质，起音用相同 SuperFlux 谱通量检测器、256 样本跳、44.1 千赫兹重采样，在正负 50 毫秒内 1 对一二部图匹配，报告生成侧精确率 BCS、参考侧召回率 BHS 及其调和 F1 与跨片段标准差 CSD 与 HSD，数值以百分比表示，越高越好而标准差越低表示跨片段越稳定。音质用 VGGish、PANNs、CLAP 3 套特征的 FAD，越低表示与参考分布越接近。节拍对齐用音乐节拍到运动速度极小值参考的高斯核 BAS，西格玛 50 毫秒，越高越好。主观评价在 AIST++ 对 10 人各 10 试次比较三方法，报告整体质量与舞蹈相关性的平均意见分，越高越好。
复述时需说明起音分数依赖起音密度、偶然匹配会影响绝对值，因此需配合错配对照与运动参考多粒度比较来读。
主结果在起音、音质与运动参考下一致吗？
起音同步上论文报告 Dyna2Music 在 2 数据集的 BCS、BHS、F1 均为最高，F1 在 AIST++ 为 55.76、在 TikTok 为 29.99，分别超过最强基线 VidMuse 与 Dance2MusicTI17.70 与 4.36 个百分点，精确率与召回率同时提升，但在 AIST++ 的提升更大，且其跨片段标准差并非最低，说明均值更高不等于波动更小。音质上 3 套 FAD 均为最低，但最强竞争者随特征变化，支持与参考分布更接近的一致排序。
运动参考下五部位双频带 BAS 在 AIST++ 为 0.684、在 TikTok 为 0.654，各超最强基线 0.023，且仍低于配对真值，并在其余 4 种参考下保持第一，说明优势在更换评分参考时稳定，但比较时固定模型只换参考，且原始 BAS 依赖参考密度，跨配置绝对值不能直接比大小。跨舞蹈输出相似度上 Dyna2Music 均值低于真值，在 TikTok 置信区间完全低于真值，而 D2M-GAN 与 CMT 在 2 基准区间完全高于真值，表明前者跨输入变化更大，但低相似本身不证明质量或对运动响应，因为输出可以不同却不对齐舞蹈。
起音同步 × 音乐到运动节拍对齐： 起音同步指生成音乐起音与配对参考音乐起音在正负 50 毫秒内一对一匹配的精确率召回率，音乐到运动节拍对齐指生成音乐节拍与运动速度极小值构成的运动参考之间的高斯核接近度，前者分工是检验与特定录音的事件重合，后者分工是检验与舞蹈动作的相位接近，搭配可区分配对录音一致性与舞蹈相关节律性，组合避免把与原曲相似误当成与舞蹈对齐。
下表把起音主结果与经验测量的原始 BAS 放在一起，目的是区分生成模型的增益与参考变密带来的自然增益，比较条件是同一数据集内、同一指标方向下对比，指标越高越好。
| 条件 | 指标 | 本方法 | 最强可比对象 | 差值 |
|---|---|---|---|---|
| AIST++ 起音 | F1 | 55.76 | VidMuse | 高 17.70 百分点 |
| TikTok 起音 | F1 | 29.99 | Dance2MusicTI | 高 4.36 百分点 |
| AIST++ 原始参考 | BAS | 0.307 到 0.569 随划分变细 | 单部位基线 | 随密度上升 |
| AIST++ 原始参考 | BAS | 0.472 与 0.661 双频带 | 单频带对应划分 | 分离后更高 |
该表显示生成模型的 F1 领先幅度在受控数据上远大于野外数据，而原始 BAS 的爬升可用密度解释，因此主结果的领先需要后文错配对照与多参考一致性来支撑，不能只读 F1 绝对值。未胜出项是跨片段标准差，论文明确其 CSD 与 HSD 不是最低，这是具体代价。
下表把生成模型的运动对齐与跨舞蹈多样性放在同一问题下，公平条件是同一五部位双频带参考与同一 CLAP 窗平均表示，BAS 越高越好、相似度越低表示跨输入差异越大。
| 条件 | 指标 | 本方法 | 对照 | 差距 |
|---|---|---|---|---|
| AIST++ 生成 | BAS | 0.684 | 最强基线 | 高 0.023 |
| TikTok 生成 | BAS | 0.654 | 最强基线 | 高 0.023 |
| TikTok 跨舞蹈 | 平均余弦相似度 | 0.47 | 真值 0.66 | 更低 |
表后解释是 BAS 领先在 2 数据集幅度相同且低于真值，支持接近真值但未超越；相似度上本方法比真值更分散，尤其在 TikTok，这支持变化更大但需配合节律对照才能谈对齐，反例是部分基线相似度高于真值表现为更同质。
为理解节律是否锁定参考拍，先看该图左右两 panel 的零线含义，再看本方法蓝色点是否明显偏离零线。
看图路径： 1. 先区分左图在位起音强度与右图一至两拍周期性的横轴含义；2. 再找到标为 Ours 的蓝色点与横线表示的自举置信区间位置；3. 最后比较其余灰色基线点是否压在零线附近或落在负值一侧
论文图 3。原论文 Figure A1:：“Figure A1: Matched-minus-mismatched rhythm statistics on AIST++: (1) onset strength within ± 0.1 beats of reference beats; (2) autocorrelation within ± 0.05 beats of one- and…”。
该图左 panel 为在位起音强度匹配减错配的差值，右 panel 为一至两拍自相关匹配减错配的差值，零表示匹配与错配相等。像素可见本方法蓝色点在左右两侧均明显位于正值区，置信横线不包含零，而多数灰色基线点压在零线附近，个别如 PN-Diffusion 落在负值侧。解释时必须引用原文数值，本方法在位对比为 0.379、周期对比为 0.272，均为生成方法中最大，但论文同时报告将运动条件平移约 1/4 或二分之一拍后起音峰相位基本不动，这与片段级起音相位先验一致，限制了局部运动依赖相位跟踪的主张。
拿掉部位区分、频带分离与隐动态监督会发生什么？
条件消融用与主表相同的起音协议比较单独训练的变体，单频带变体把慢快能量相加后送入双分支，双部位把五部位按关节数加权平均能量与特征，因此改变的是模型输入而非仅换评分参考。完整五部位双频带在 2 数据集的 BCS、BHS、F1 最高，在五部位分辨率合并频带使 F1 在 AIST++ 降 8.38 个百分点、在 TikTok 降 9.54 个百分点，保留双频带但合并为上下半身使 F1 降 12.18 与 9.98 点，支持同时保留部位与频率区分。
但两部位下频带分离未提升 F1，单频带下细划分也无一致增益，说明好处依赖组合表示，且训练预算差异限制完全归因于结构。隐动态权重消融评估 0 到 10 多档，零即纯流匹配，所有非零权重在 2 个数据集 F1 均高于零，权重 1 时 F1 峰值为 AIST++0.5576、TikTok0.2999，零时为 0.502 与 0.233，权重 10 时回落到 0.549 与 0.285，说明更强监督非单调改进。FADc 最低却在 AIST++ 零处 0.542、TikTok0.01 处 0.471，而权重 1 处为 0.562 与 0.493，最高 F1 权重与最低 FADc 权重不一致，这是同步与分布质量的权衡证据。
下表整理条件消融的降幅，比较问题是部位合并与频带合并各自带来多大 F1 损失，公平条件是相同起音匹配与相同训练评估流程，F1 越高越好。
| 数据集 | 操作 | F1 变化 | 完整模型 F1 | 含义 |
|---|---|---|---|---|
| AIST++ | 五部位合并频带 | 降 8.38 百分点 | 55.76 | 需保留快慢区分 |
| TikTok | 五部位合并频带 | 降 9.54 百分点 | 29.99 | 需保留快慢区分 |
| AIST++ | 双频带合并为两部位 | 降 12.18 点 | 55.76 | 需保留细划分 |
| TikTok | 双频带合并为两部位 | 降 9.98 点 | 29.99 | 需保留细划分 |
| 2 个数据集 | 两部位下再分频带 | 未提升 | 对照 | 组合才有效 |
表后解释是完整模型在 2 数据集同时最好，但负结果同样重要，两部位下分频带无效与单频带下细划分无一致增益表明不能把结论简化为越细越好，未评测边界是不同训练预算下的归因强度。
下表整理隐动态权重与节律对照的权衡，问题是同步最好与音质最好是否为同一权重，条件是相同起音 F1 与 CLAP 的 FADc，方向为 F1 越高越好、FADc 越低越好。
| 条件 | 指标 | 权重 1 | 权重 0 | 权重 10 或最优 |
|---|---|---|---|---|
| AIST++ | F1 | 0.5576 | 0.502 | 权重 10 为 0.549 |
| TikTok | F1 | 0.2999 | 0.233 | 权重 10 为 0.285 |
| AIST++ | FADc | 0.562 | 0.542 最低 | 非 1 最优 |
| TikTok | FADc | 0.493 | 0.471 在 0.01 最低 | 非 1 最优 |
| AIST++ | 在位与周期对比 | 0.379 与 0.272 最大 | 基线多含零 | 支持参考节律对应 |
表后解释是权重 1 同步最好但音质不是最好，所有非零权重同步优于零支持隐动态的增益，但 FADc 最优在零或 0.01 说明同步与分布质量存在张力，主观分 4.3 与 4.5 虽高于所选基线 1.0 与 1.1 分，仍只覆盖所选基线与整体质量相关性，不能替代未测的延迟成本。
哪些结论不能从当前证据推出？
论文明确给出 3 类限制。第一，运动条件平移约 1/4 或二分之一拍后起音峰仍在原相位，这与片段起音相位先验一致，因此不能主张模型已实现局部运动依赖的相位跟踪，节律对照支持的是与参考节律的对应而非逐拍跟随。第二，跨舞蹈相似度只刻画不同输入间的变化，不度量固定舞蹈多次采样的多样性，也不度量相对训练音乐的新颖性，低相似不能等同于质量或响应性。
第三，隐动态只匹配变化幅度，不约束变化方向或节拍位置，且最高 F1 权重与最低 FADc 权重分离，说明同步与分布质量需权衡，不能用总体趋势断言每组每步都成立。资源侧原文未提供硬件预算与延迟测量，训练最长 100 轮、推理 31 步欧拉的计算量不能直接换算为实际延迟，冻结参数也不意味着输出确定，因为采样起点仍是随机噪声。缺失证据不是技术错误，相关性不是因果，未测量误判率与部署成本时不应承诺这些量得到改善。
要复现先做什么，哪些超参数与条件必须照抄？
复现先按数据与长度条件搭流水线。姿态用 17 关节约定与附录五部位索引，速度为相邻差乘帧率，能量用 4 阶巴特沃斯前后向滤波 1.4 赫兹低通与 3.0 赫兹高通，99.5 分位截断后傅里叶重采样到隐长度并钳制非负，MotionBERT 冻结提 512 维特征后部位平均对齐。编码器能量标准化下界十的负 5 次方，四头注意力、门控与融合维度按 256、128 与 768 到 256 实现，填充标记置零并排除在交叉注意力外。
音乐侧用冻结 DiffRhythm 的 64 通道、2048 倍下采样、44.1 千赫兹立体声变分自编码器，变换器 16 块、隐宽 2048、32 头、前馈 4 倍，流时间经 S 形映射采样，条件丢弃 0.2，优化器 AdamW 学习率 7.5 乘十的负 5 次方、预热后衰减、半精度、裁剪 1.0，隐动态权重 1，种子 42，推理指数滑动平均权重加 32 点欧拉。评价必须照抄 44.1 千赫兹重采样、256 跳起音检测、正负 50 毫秒一对一匹配与全参考时长计分，否则 BCS 与 BHS 不可比。
资源状态方面，本次未发现来源绑定且完成超文本传输安全协议状态验证的资源，不得声称代码模型或数据已公开，复现前需自行确认可达性。教学例子中若自设数值必须标为例子，不能混入上述原文数值。
何时值得尝试这种组合，还需补哪项验证？
当舞蹈包含躯干持续运动叠加四肢短促装饰，且希望配乐同时保留大包络与瞬时重音时，值得尝试五部位慢快能量加关节特征的条件组合，因为它在 2 数据集完整模型下 F1 最高，且多粒度 BAS 一致第一。当生成音乐听感起伏过平或过碎时，可尝试隐动态一致性，因为它在不加参数与推理计算下使所有非零权重 F1 高于纯流匹配。但若目标是逐拍相位跟随，当前证据不支持直接采用，还需补运动平移下的相位响应曲线与更细相位控制实验。
若关心分布质量，需同时报告 FADc 随权重的变化，因为最优同步权重不是最优音质权重。若要部署，还需补延迟、显存与长序列截断影响的测量，不能用训练轮数或欧拉步数代替。复述方法时记住一句话，分解保留何时与何种动作，编码器决定各部位各频带占多大比重，隐动态决定局部变化幅度轮廓是否像参考，三者缺一不可，但每者的增益都只在原文的协议与权重下成立。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses