📄 FUSEMOS: Perceptual Evaluation of Text-to-Music Generation with Dual-Encoder Fusion and Ranking-Aware Composite Loss

#音乐生成 #模型评估 #预训练 #对比学习 #多任务学习

✅ 7.5/10 | 前25% | #音乐生成 | #多任务学习 | #模型评估 #预训练

学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高

👥 作者与机构

• 第一作者：Jing Yang（武汉大学电子信息学院， MiLM Plus (小米)）
• 通讯作者：Ningning Pan（西南财经大学计算机与人工智能学院）， Gongping Huang（武汉大学电子信息学院）
• 作者列表：Jing Yang（武汉大学电子信息学院， MiLM Plus (小米)）， Haoyu Wang（西南财经大学计算机与人工智能学院， MiLM Plus (小米)）， Ningning Pan（西南财经大学计算机与人工智能学院， 通讯作者）， Zhao Wang（MiLM Plus (小米)）， Jianxuan Yang（MiLM Plus (小米)）， Gongping Huang（武汉大学电子信息学院， 通讯作者）

💡 毒舌点评

亮点：非常务实地解决了T2M评估中的一个痛点——单一CLAP编码器“懂语义不懂音乐”，通过双编码器融合显著提升了评估精度，消融实验做得扎实有力。短板：虽然方法有效，但核心创新（融合两个预训练模型+设计一个损失）在深度学习领域属于常见套路，且论文缺乏对模型推理速度或轻量化可能性的讨论，这在实际部署评估系统时是个关键问题。

📌 核心摘要

1. 问题：现有文本到音乐生成(T2M)的自动评估方法大多依赖单一的CLAP模型，它擅长捕捉文本-音频的语义对齐，但在反映音色、表现力等细粒度音乐特征方面存在不足，导致评估不全面。
2. 方法核心：提出FUSEMOS框架，采用双编码器融合架构。该架构并行使用CLAP（擅长语义对齐）和MERT（擅长音乐结构建模）两个预训练模型分别提取特征。采用后期融合策略，在各自预测出中间分数（整体音乐印象OMI和文本对齐TA）后进行线性加权融合，得到最终分数。
3. 创新点：a) 双编码器互补：整合了CLAP的语义能力和MERT的音乐性建模能力。b) 后期融合策略：相比早期特征融合，更能保留各模态的特性。c) 排序感知复合损失：结合了截断回归损失（抑制噪声标签）和对比排序损失（建模人类偏好的相对排序），同时优化绝对精度和相对排序一致性。
4. 实验结果：在MusicEval基准数据集上，FUSEMOS全面超越现有基线(MusicEval, CLAP-only)。关键指标对比见下表：

   指标	MusicEval (基线)	FUSEMOS (本文)	改进幅度
   OMI U-MSE↓	0.560	0.260	53.6%
   OMI U-SRCC↑	0.637	0.811	+0.174
   TA U-MSE↓	0.568	0.392	31.0%
   TA U-SRCC↑	0.495	0.644	+0.149
   OMI S-SRCC↑	0.862	0.977	+0.115
   TA S-SRCC↑	0.861	0.940	+0.079

5. 实际意义：为T2M研究社区提供了一个更可靠、与人类判断更一致的自动评估工具，有助于加速模型的迭代和比较。
6. 主要局限性：(1) 评估框架依赖两个较大的预训练模型，可能带来较高的推理成本。(2) 实验仅在单一基准(MusicEval)上验证，在其他生成模型或音乐风格上的泛化性未知。(3) 论文未涉及评估模型本身的速度或轻量化设计。

🏗️ 模型架构

FUSEMOS是一个双编码器、后期融合、多任务预测的评估框架，旨在同时预测音乐的整体音乐印象(OMI)和文本对齐(TA)分数。

整体数据流： 输入为一段音乐波形和对应的文本描述。两条并行的特征提取路径（CLAP分支和MERT分支）分别提取音频特征。每个分支根据其特性，对OMI和TA给出中间预测。最终，两个分支的中间预测被拼接，通过一个轻量级线性层融合，输出最终的OMI和TA分数。

架构图： FUSEMOS架构图 （注：此为论文中Fig. 1，展示了完整的双分支架构、特征处理流程和基于排序感知复合损失的训练目标。）

主要组件详解：

1. CLAP分支：

   • 功能：捕捉文本与音乐之间的高层语义对齐信息。
   • 组件：
     • CLAP Text Encoder：提取文本嵌入 EText_CLAP。
     • CLAP Audio Encoder：提取音乐嵌入 EMusic_CLAP。
     • TA预测：直接计算 EText_CLAP 和 EMusic_CLAP 的余弦相似度，作为TA分数的粗略估计 ŷTA_CLAP。这是利用了CLAP本身在共享空间中的对齐特性。
     • OMI预测：将 EMusic_CLAP 输入一个专用的MLP (MLP_OMI^CLAP) 进行预测，得到 ŷOMI_CLAP。
   • 数据流：文本 → Text Encoder → EText_CLAP；音乐 → Audio Encoder → EMusic_CLAP。EText_CLAP 和 EMusic_CLAP 直接用于TA计算，EMusic_CLAP 用于OMI预测。

2. MERT分支：

   • 功能：捕捉音乐的细粒度声学特征，如音色、节奏、和声进行等。
   • 组件：
     • MERT Encoder：提取音乐的逐帧隐藏状态 E0。
     • 注意力池化：使用一个可学习的查询向量 q，通过多头注意力机制对 E0 进行池化，得到固定维度的音乐表示 EMERT。这允许模型动态关注重要的音乐片段。
     • TA预测：将 EMERT 与CLAP文本嵌入 EText_CLAP 拼接，经LayerNorm后输入专用MLP (MLP_TA^MERT)，得到 ŷTA_MERT。这里没有使用余弦相似度，因为MERT和CLAP的文本编码器不在同一空间。
     • OMI预测：直接将 EMERT 输入专用MLP (MLP_OMI^MERT)，得到 ŷOMI_MERT。
   • 数据流：音乐 → MERT Encoder → E0 → 注意力池化 → EMERT。EMERT 用于OMI预测；EMERT 与 EText_CLAP 拼接用于TA预测。

3. 后期融合模块：

   • 功能：整合两个分支的预测结果。
   • 机制：将两个分支得到的中间预测分数拼接：
     • ŷOMI = Linear_OMI([ŷOMI_CLAP, ŷOMI_MERT])
     • ŷTA = Linear_TA([ŷTA_CLAP, ŷTA_MERT])
   • 动机：让每个分支先独立学习其优势领域的评估能力，再在分数层面自适应加权融合，避免早期特征融合可能造成的干扰，保留了各自表示空间的完整性。

4. 排序感知复合损失：

   • 用于联合训练两个分支和融合层，同时优化预测的绝对精度和相对排序。

💡 核心创新点

1. 双编码器融合框架：首次将为跨模态对齐预训练的CLAP与为音乐理解预训练的MERT进行融合，用于T2M评估。这解决了单一CLAP模型在捕捉音乐细粒度属性上的不足，实现了语义对齐能力和音乐结构建模能力的互补。
2. 基于分数的后期融合策略：不同于常见的早期特征拼接或注意力融合，本文在每个分支独立完成初步评估（生成中间分数）后，再进行分数级的线性融合。这种设计更灵活，能更好地利用每个编码器在其擅长领域的评估结果，实验也证实了其优于早期融合方案。
3. 排序感知复合损失函数：设计了由对比排序损失和截断回归损失组成的复合损失。对比排序损失显式建模样本对之间的相对排序关系，更符合人类评价的排序特性；截断回归损失忽略微小误差以抵抗标签噪声。两者结合，既提升了绝对评分的准确性（降低MSE），也显著改善了与人类偏好排序的一致性（提升SRCC/KTAU）。

🔬 细节详述

• 训练数据：使用MusicEval基准数据集，包含2748个由31个不同模型在384个文本提示下生成的音乐片段，具有专家标注的OMI和TA分数。采用官方提供的训练/验证/测试集划分。
• 损失函数：总损失 Lsum = β Lcon + γ Ltrun。
  • 对比排序损失 Lcon：计算批次内所有样本对的预测分数差异与真实分数差异的偏差，超过容忍度 α 的偏差被惩罚。dij = |(yi - yj) - (ŷi - ŷj)| - α， Lcon = (1/(N(N-1))) * Σ max(0, dij)。
  • 截断回归损失 Ltrun：仅计算绝对误差超过阈值 τ 的样本的L1损失， Ltrun = (1/N) Σ I(|yi - ŷi| > τ) |yi - ŷi|。
  • 权重： β=0.5, γ=1.0（通过验证集优化）。
• 训练策略：
  • 优化器：随机梯度下降(SGD)，学习率 5×10^-4，动量 0.9。
  • 批大小：训练时为4，验证时为2。
  • 超参数：截断阈值 τ=0.3，排序损失容忍度 α=0.2。
  • 训练细节：MERT编码器参数冻结，仅训练CLAP音频编码器（微调）、两个MLP头、注意力池化层和最终的融合线性层。
  • 训练硬件：单卡 NVIDIA H800 GPU。
• 关键超参数：所有MLP组件由三层全连接层和LeakyReLU激活函数构成。MERT提取的是最后一层的隐藏状态 E0。注意力池化使用可学习查询向量 q。
• 推理细节：论文未提及。
• 正则化：未提及除损失函数设计外的其他正则化技巧。

📊 实验结果

主要Benchmark结果：在MusicEval测试集上，与基线(MusicEval, CLAP-only)及多种消融变体对比，结果如下表所示。

表1：FUSEMOS及其变体与基线在MusicEval上的性能对比 Overall Musical Impression (OMI)

Textual Alignment (TA)

关键结论：

1. 整体性能：FUSEMOS在所有指标上均大幅超越基线。例如，OMI的U-MSE降低53.6%，S-MSE降低87.6%；TA的U-SRCC从0.495提升至0.644。
2. 消融实验有效性：
   • 双编码器 vs. 单编码器：MERT-only版本性能接近基线，表明单独使用MERT不足以全面评估，凸显了CLAP语义能力的必要性。反之，基线(CLAP-only)也不佳。两者互补。
   • 后期融合 vs. 早期融合：后期融合(FUSEMOS)明显优于早期融合变体(concat, atten)，验证了设计策略的有效性。
   • 复合损失 vs. L1损失：FUSEMOS-L1变体在所有指标上均弱于FUSEMOS，尤其是在排名相关性指标(S-SRCC)上差距明显，证明了排序感知复合损失的关键作用。
   • 余弦相似度机制：在CLAP分支中，直接使用余弦相似度预测TA(w/o-cos变体中替换为MLP)性能下降，表明预训练CLAP的相似度计算本身就是一个有效的TA特征。

⚖️ 评分理由

• 学术质量(6.0/7)：
  • 创新(2.0/3)：方法组合合理，解决了明确的问题，但并非颠覆性创新。
  • 技术正确性(2.0/2)：方法设计、实验设置和结果分析均正确无误。
  • 实验充分性(1.5/1)：在指定基准上进行了全面而深入的实验（包括多指标对比和多角度消融），但缺少跨数据集验证。
  • 证据可信度(0.5/1)：实验结果显著且一致，消融实验有力支撑了结论。
• 选题价值(1.5/2)：
  • 前沿性与应用空间(1.0/1)：针对快速发展的T2M领域提供评估工具，有明确需求。
  • 潜在影响与读者相关性(0.5/1)：对T2M社区有价值，但对广义的语音/音频处理领域影响较为局部。
• 开源与复现加成(0.0/1)：
  • 论文详细描述了方法、超参数和训练设置，但未提供官方代码、模型权重或完整的复现脚本，降低了即刻复现的可能性。

🔗 开源详情

• 代码：论文中未提及代码仓库链接。
• 模型权重：论文中未提及公开的FUSEMOS模型权重。但提到了其初始化和依赖的预训练模型：CLAP模型（使用lukewys/laion_clap/music_audioset_epoch_15_esc_90.14.pt）和MERT模型（m-a-p/MERT-v1-95M）。
• 数据集：使用了公开的MusicEval数据集（提供了链接：https://www.aishelltech.com/AISHELL_7A），可获取。
• Demo：未提及。
• 复现材料：提供了较详细的超参数、优化器设置、硬件信息（单张H800 GPU）和模型结构描述，理论上具备可复现性基础，但缺少完整的代码和配置文件。
• 论文中引用的开源项目：CLAP预训练模型、MERT预训练模型、以及基线方法中提到的31个生成模型（具体模型未列出，但引用了相关论文）。
• 总结：论文未提及开源计划（代码、模型），但复现所需的训练细节在论文中有较多说明，且依赖的关键预训练模型和评估数据集均为公开可用。

← 返回 ICASSP 2026 论文分析