📄 TMD-Bench: A Multi-Level Evaluation Paradigm for Music–Dance Co-Generation

7.7/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1/1.5

✅ 7.7/10 | 前25% | #音视频生成 | #流匹配 | arxiv

👥 作者与机构

• 第一作者：Xiaoda Yang（浙江大学）、Majun Zhang（浙江大学）（标注为同等贡献）
• 通讯作者：Zhou Zhao（浙江大学，zhaozhou@zju.edu.cn）
• 其余作者：Changhao Pan（浙江大学）、Nick Huang（Tecent, China）、Yuguang Yang（Tecent, China）、Fan Zhuo（浙江大学）、Pengfei Zhou（新加坡国立大学）、Jin Zhou（Tecent, China）、Sizhe Shan（浙江大学）、Shan Yang（Tecent, China）、Miles Yang（Tecent, China）、Yang You（新加坡国立大学）

💡 毒舌点评

这篇工作为音乐–舞蹈联合生成量身打造了一个多级评测范式 TMD-Bench，其中 MDAlign 将节拍-运动重音对齐拆解为物理度量与 MLLM 感知判决，思路务实且填补了该方向评测的空白。然而，10k 的数据集体量偏小，自研基线 RhyJAM 在关键的视频指令遵循和 MLLM 感知对齐上仍明显落后于 Sora 2 等商业模型，离真正的“卡准拍”和“听懂指令”还有明显距离。此外，声称的“统一基线”更像是一个为了验证评测基准而存在的基础模型，并未在方法架构上展现足够的新颖性。

📌 核心摘要

• 要解决的问题：现有音视频生成评测无法刻画音乐节奏与舞蹈动作间的细粒度韵律耦合，缺乏专门面向 text-driven music–dance co-generation 的评测基准。
• 方法核心：提出 TMD-Bench 评测基准，核心创新在于 MDAlign——一种将物理指标（基于节拍/运动重音离散事件的 VBCS 和 ABHS）与 MLLM 感知判断结合的双轨韵律对齐评估框架。同时构建了 10k 规模韵律对齐数据集、结构化 Music Captioner，并提供了一个统一的流匹配基线模型 RhyJAM。
• 与已有方法的新颖之处：首次在音视频联合生成评测中系统引入节拍级对齐度量，并将物理可计算指标与 MLLM 知觉判断整合为一个可扩展的多级评测协议；MDAlign 的物理指标无需成对真值，适用于开放式生成场景。
• 主要实验结果：在 100 条测试提示上对比 Sora 2、Veo 3 等闭源及多个开源模型。韵律对齐方面，RhyJAM 在物理指标 Video Beat Consistency Score (0.50) 和 Audio Beat Hit Score (0.27) 上表现最优或持平，但 MLLM 感知对齐分 (0.79) 落后于 Sora 2 (0.85)；音频生成方面，在节奏与律动 (0.59) 和速度 (0.51) 维度指令遵循突出，但流派、氛围、功能维度薄弱；视频质量方面，RhyJAM 在低层一致性、运动平滑度指标 (0.94, 0.99) 上表现出色，但 MLLM 指令遵循得分 (0.56) 远低于闭源模型 (0.91)，暴露了其在复杂语义理解上的短板。
• 实际意义：为音乐–舞蹈联合生成这一小众方向提供了第一个可复用的评测工具、数据集和基线，推动了韵律一致性从主观感受走向可量化、可比较的科学研究。
• 主要局限性：数据集仅 10k 对样本，规模有限，泛化性受限；RhyJAM 在视频指令遵循和 MLLM 感知对齐上显著落后于最强闭源模型；MDAlign 对齐指标对节拍检测和姿态估计的错误鲁棒性未明；MLLM-as-a-Judge 的效度验证仅基于 10 位学生评分，样本量和一致性报告不足；数据集和模型权重是否公开语焉不详。

🏗️ 方法概述和架构

TMD-Bench 是一个面向 text-driven music–dance co-generation 的多级评测范式，其核心是将评估解耦为三个轴：音频生成质量与指令遵循、视频生成质量与指令遵循、以及音视频节奏对齐。每个轴均采用“低层可计算物理指标 + 高层 MLLM 感知判决”的双轨架构。

1. 音频评估

• 物理层：沿用 Production Quality (PQ)、Production Complexity (PC)、Content Enjoyment (CE)、Content Usefulness (CU) 等维度评估音频质量，并引入 CLAP 相似度衡量文本-音频语义一致性。
• 高层（MLLM-as-a-Judge）：使用 MLLM 进行 MOS 模拟，输出上述四个质量维度的感知分数。
• 细粒度指令遵循：为超越单一的 CLAP 分数，论文基于 Qwen-Omni 微调了一个 Music Captioner，该模型能将音频按六个维度（核心乐器、节奏与律动、速度、流派、氛围与情感、功能场景）生成结构化描述（图3）。评估时，将 Captioner 的输出与提示文本进行维度级比对，得到可解释的语义遵循分数。

2. 视频评估

• 物理层：采用 VBench 风格的指标，包括 Subject Consistency、Background Consistency、Imaging Quality、Aesthetic Quality、Dynamic Degree、Motion Smoothness，并加入 ViCLIP 计算视频与文本的语义相似度。
• 高层（MLLM-as-a-Judge）：MLLM 分别从 Instruction Following（指令遵循）、Quality（视觉质量）、Motion and Consistency（运动与一致性）三个角度进行整体感知打分。

3. 音视频对齐评估 (MDAlign) 这是 TMD-Bench 的核心创新，旨在评估音乐的节奏结构与舞蹈动作重音之间的时间耦合程度。

• 物理层（事件序列化）：框架首先将音视频转换为共享时间轴上的离散事件序列。对音频，提取节拍时间戳集合 A。对视频，通过姿态估计提取关键点速度信号 V(t)，并将其局部极大值作为运动重音集合 M（图3）。
• 物理层（核心指标）：
  • Video Beat Consistency Score (VBCS)：衡量每个运动重音与最近音乐节拍的接近程度，使用高斯核形式计算，对微小时间偏移具有鲁棒性。计算公式为 VBCS = 1/|M| Σ exp(-min|m - a|² / (2σ²))。
  • Audio Beat Hit Score (ABHS)：衡量音乐节拍被运动重音有效覆盖的比例，计算公式为 ABHS = 1/|A| Σ I(min|a - m| < τ)。
  • 时间一致性：通过计算 VBCS 的标准差 (CSD) 和 ABHS 的标准差 (HSD) 来评估对齐行为的稳定性。
  • 整体物理对齐得分为 VBCS 和 ABHS 的算术平均。
• 高层（MLLM-as-a-Judge）：MLLM 评估整体的节奏连贯性，输出 1–5 的对齐分数，以捕捉物理事件匹配无法感知的高层韵律张力。

4. RhyJAM 统一生成模型 RhyJAM 是作为基准验证的单阶段流匹配扩散模型，用于文本到音乐-舞蹈的联合生成（图4）。

• 输入与编码：输入包括音频波形、视频帧和文本提示。音频和视频分别通过 VAE Encoder 映射到潜在空间 za_0 和 zv_0；文本通过条件编码器得到条件表示 hc。
• 统一扩散过程：对两个潜变量施加相同的噪声调度 α(t), σ(t)，在同一扩散时间步 t 生成噪声潜变量 za(t), zv(t)。
• 核心架构（Fusion Block）：堆叠的 Fusion Block 负责逐步融合信息。单个 Block 内部流程为：先进行 Self-Attention 捕获模态内上下文，再利用 Cross-Attention 注入文本条件 hc，最后通过两模态间的 Cross-Attention 交换跨模态信息，显式实现韵律对齐。
• 预测头与训练：经融合后的潜变量分别送入模态特定的预测头，输出各自的速度场 v^a 和 v^v。训练目标是最小化两个分支速度场与解析目标之间的流匹配损失之和。

💡 核心创新点

1. 首创音乐-舞蹈联合生成多级基准：为 text-driven music–dance co-generation 任务定义了首个系统性评测框架，特别是由物理指标和 MLLM 感知判分构成的“双轨制”韵律对齐评估协议，填补了该细粒度耦合评测的空白。
2. MDAlign 双轨对齐度量：通过将音频节拍和视频运动重音映射为离散事件序列，提出 VBCS、ABHS 等无需成对真值的物理对齐度量，并辅以 MLLM 感知判断，既能避免单一物理匹配的机械性，又能克服纯主观评测的不可复现性问题。
3. 结构化 Music Captioner：基于 Qwen-Omni 微调的多维度音乐描述器，将音乐指令遵循评估从粗粒度的相似度比对提升为六个维度的可解释属性检查。
4. 联合流匹配基线 RhyJAM：提供了一个将音乐和舞蹈两模态在统一流匹配框架下联合生成的开源基线，通过交叉注意力显式注入跨模态信息，验证了端到端方法在韵律同步上的潜力。

📊 实验结果

所有评估均在 TMD-Bench 构建的测试集（100 条多样化提示）上进行，对比模型涵盖闭源端到端、级联式和开源端到端模型。主要结论由下表支撑。

Table 2: 音频指令遵循与质量（部分）

Table 3: 视频质量与指令遵循（部分）

Table 4: 音视频节奏对齐

结果图示分析： 图5（雷达图）直观展示了各模型在 VBCS、ABHS、MLLM Align. 等核心对齐指标上的表现，清晰地印证了 RhyJAM（红色）在物理指标上领先或持平，但在感知对齐分上不及 Sora 2（蓝色）的结论。

图6（条形图）详细对比了音频指令遵循六个维度的得分，突出了 RhyJAM 在“节奏（Rhy.）”和“速度（Tempo）”维度的相对优势，以及在“流派（Genre）”、“氛围（Amb.）”和“功能（Func.）”等维度的显著短板。

🔬 细节详述

• 训练数据：包含两个互补数据流：(i) 纯音乐数据，用于训练 Music Captioner，采用 MLLM 辅助标注→人工修正→回训→重标注的迭代流水线；(ii) 10k 规模经人工审核的节奏对齐音乐–舞蹈对，来自公开视频平台。舞蹈对数据要求清晰的全身舞蹈和稳定镜头，音频经 UVR5 分离人声，并通过 RMS 和 SNR 过滤静音/低质片段。
• 损失函数：RhyJAM 使用流匹配损失，目标是最小化预测速度场与解析目标的 L2 距离之和。
• 训练配置：优化器 AdamW，学习率 1e-5，常数调度，权重衰减 0.01，梯度累积 8 步，共训练 10 个 epoch。使用 DeepSpeed ZeRO-2 和 bf16 混合精度。视频预处理为 480×480，24 fps，每段 117 帧；音频重采样至 16 kHz。
• 关键超参数：Flow-Matching 训练步数 1000，shift 5；推理用 UniPC 求解器 50 步，shift 5；无分类器引导权重音频 3.0，视频 4.0。
• MLLM 效度验证：在 12 个评测维度上，Gemini 3.0 Pro 与 10 位学生主观评分的总体 PLCC 为 0.6117，SRCC 为 0.5916，表现优于 Gemini 2.5 Pro 等模型，且在 50 次重复评估中展现了极高的自洽性（11/12 维度一致性为 1.0）。
• 物理对齐指标分析：附录将模型输出与训练集子集进行对比，显示训练集的 VBCS/ABHS 更高、离散度更低，表明数据存在更强韵律先验；高对齐的人工精选片段在指标上单调递增，验证了 VBCS/ABHS 与人类韵律感知偏好的一致性。
• 训练硬件：论文未说明 GPU 型号、数量及训练时长。
• 正则化手段：未提及特殊正则化技巧。

⚖️ 评分理由

• 创新性 (1.3/2)：首次为音乐-舞蹈联合生成建立了完整可操作的评测体系，MDAlign 的“事件+感知”双轨评估思路有新意。但评测框架中多数低层指标（如 VBench 类）并非原创，RhyJAM 的架构也属流匹配+交叉注意力的常规组合，方法本身的新颖性贡献集中在评测设计上。
• 技术严谨性 (1.2/1.5)：流匹配及 MDAlign 指标推导正确，Music Captioner 和 MLLM Judge 的选择有验证支撑（与部分学生评分的相关性、自洽性）。主要扣分点在于：对 MLLM-as-a-Judge 的验证仅基于 10 位学生，样本量（100 条）偏小，且未报告评分者间一致性（inter-annotator agreement）；对节拍检测、姿态估计失败等噪声在评估链中的传播影响未作分析。
• 实验充分性 (1.1/1.5)：对比了 9 个以上代表性系统，覆盖全面；实验在音频、视频、对齐三个维度的结果相互印证，结论自洽。严重不足在于缺乏任何消融实验，未分析 RhyJAM 的交叉注意力、文本条件、噪声调度等关键组件对对齐性能的影响，也未见对无分类器引导尺度的选择依据；Music Captioner 的验证也缺少对生成误差的深入分析。附录虽补充了数据集分析和 MLLM 验证，但无法弥补核心实验的缺失。
• 清晰度 (0.9/1)：全文结构清晰，图示（图1-4）对理解评测框架和模型架构帮助很大，附录提供了 Prompt 模板和数据构建细节。略有瑕疵：对级联式 Baseline 的具体拼接方式交代不够清晰，可能会引起读者困惑。
• 影响力 (0.8/1.5)：TMD-Bench 为音乐-舞蹈生成这一专业化方向提供了首个评测工具，虽在此细分领域有明确价值，但因任务受众较窄，对更广泛的音频/视觉/多模态社区的辐射影响有限。它为未来工作设立了一个值得关注的基线，但离推动领域性大突破尚有距离。
• 开源 (1.0/1.5)：论文承诺代码开源（https://github.com/MM-Speech/TMD-Bench），但实际仓库内容未知。未明确说明数据集、Music Captioner 和 RhyJAM 模型权重是否会一并发布，故不得分。
• 可复现性 (0.4/0.5)：正文和附录提供了详细的训练超参和数据处理流水线，增加了部分复现的可能。主要障碍在于：关键资产（数据集和模型权重）能否公开尚不确定，且训练硬件信息缺失。
• 工程/实践价值 (1.0/1.5)：构建了一套从数据清洗、结构化标注到多级评估的完整流水线，Music Captioner 的迭代标注和 MDAlign 的解析流程具有复用价值。整体上仍是学术基准，尚未达到面向工业界直接部署的成熟度。

🚨 局限与问题

• 论文明确承认的局限：

  • 当前数据集规模仅 10k，难以覆盖所有舞蹈/音乐风格，泛化性受限。
  • RhyJAM 的整体性能与顶级闭源商业系统（尤其在视频指令遵循和 MLLM 感知对齐上）仍存在较大差距。

• 审稿人发现的潜在问题：

  • 缺乏消融实验：这是本工作的最大硬伤。RhyJAM 的交叉注意力、联合训练等设计对韵律对齐的贡献缺乏量化分析，无法证明其架构选择的优越性，使得“统一基线”的建立不够坚实。无分类器引导尺度（音频3.0，视频4.0）的选择也缺乏依据。
  • MDAlign 指标的鲁棒性未明：VBCS/ABHS 高度依赖上游节拍检测和姿态估计的精度。若出现严重丢拍或人体姿态飞点，物理对齐指标的误差边界和对上层 MLLM 评分的影响链条未被分析，可能导致不可靠评测。
  • MLLM Judge 验证不够充分：10 位学生和 100 个样本的规模对建立效度证据偏薄弱，尤其未报告评分者间一致性系数（如 α-Krippendorff’s alpha），使得其与“人类判断”对齐的主张缺乏统计学说服力。
  • 开源承诺模糊：论文仅提及代码仓库链接，未对数据集、模型权重等核心复现资产做出版权/隐私许可下的明确公开声明，这会严重影响社区采纳和后续研究推进的积极性。
  • 对商业模型的评测偏见风险：若商业模型的后端接口更新，TMD-Bench 对它们的评测结果可能很快失效，形成“刻舟求剑”的局面。论文未讨论如何处理这种动态变化。

← 返回 ICML 2026 论文速递