英文题目：MPJudge: Towards Perceptual Assessment of Music-Induced Paintings
会议身份：
conference:aaai:2026:conference-paper-id:37459
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#数据集 #多模态学习 #偏好优化 #音乐 #音视频理解
评分：6.2/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.6/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Shiqi Jiang：机构信息未能从会议 PDF 纯文本可靠映射
- Tianyi Liang：机构信息未能从会议 PDF 纯文本可靠映射
- Huayuan Ye：机构信息未能从会议 PDF 纯文本可靠映射
- Changbo Wang：机构信息未能从会议 PDF 纯文本可靠映射
- Chenhui Li：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
音乐诱发绘画评估要求输入一幅绘画与一段音乐梅尔频谱，输出0到1之间的感知一致性分数，难点在于超越快乐对快乐式情绪对齐，捕捉节奏对应笔触动态、音色对应色彩、张力对应构图等通感关联，并处理大量分数聚集在0.5附近的模糊样本。该工作先构建专家标注的标量与成对偏好数据，再用轻量卷积编码器提取音乐特征并作为调制信号注入视觉主干，最后以回归与偏好目标联合预测一致性分数。相对双编码器加浅层相似度的已有范式，模态自适应归一化在每个注意力块后对视觉表征做音乐条件缩放平移，实现从浅层纹理到深层语义的连续融合。在自建MPD集上准确率达0.93、Spearman秩相关系数达0.68、平均绝对误差为0.04，超过最强基线CDCML的0.80、0.66、0.04对应组合中的准确率与相关性优势；在IMAC上准确率为0.75超过CDCML的0.66，在IMEMNet上Spearman秩相关系数为0.50超过CDCML的0.36。结论限于独立收集再随机配对的绘画与音乐，未验证真实作画时音乐诱发过程，也未测试素描与交互生成等外推场景。原文未披露训练时长与推理部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
任务是什么：判断一幅画是否像某段音乐？
输入是一段音乐与一幅绘画，目标是输出一个 0 到 1 之间的感知一致性分数，分数越高表示两者唤起的感知印象越可比。论文把音乐诱发绘画评估单列为任务，区别于只做检索的匹配：评估要对任意给定的对打分并可排序，而匹配多是给定查询找最像的候选。必须保留的信息是监督来自人类直接判断而非情绪识别模型的代理标签，输出是标量分数加偏好顺序。
初学者容易把情绪相同等同于感知一致，论文明确把一致性拓宽为节奏对应笔触动态、音色对应色彩、紧张度对应构图等通感关联。举例来说，同样标为欢快的音乐，一段节奏稳定明亮的片段可能更接近海滩休闲场景，而不接近色调沉稳的庭院场景，这里的例子只是帮助理解跨模态对应，不代表论文给出该数值的因果解释。沿一个样本走一遍：音乐先变成梅尔频谱图，绘画保持 RGB 图像，两者送入不对称编码器融合，最后回归头输出分数，偏好分支在模糊样本上再学相对顺序。
下面这张示例图把上述输入输出摆在一起，左侧是同一段节奏稳定、氛围活泼的音乐，上方是频谱，下方是两幅候选绘画及其分数，适合先建立任务直觉。
感知一致性 × 情绪对齐： 感知一致性指音乐与绘画唤起的感知印象是否可比，包括节奏对笔触、音色对色彩、张力对构图等通感关联；情绪对齐只判断两者是否同为快乐或悲伤等粗标签。论文用前者替代后者做监督目标，是因为情绪识别模型本身有噪声且丢掉了节奏、质地、空间构成等线索，搭配理由是评估要覆盖低层到高层的连续对应，组合意义是把标注和模型都从代理情绪转向直接的人类感知判断。
读图前先明确：该图只有一个音乐片段对应两幅绘画，分数是真值与预测并列，时间范围与坐标轴不涉及曲线判读。
看图路径： 1. 先看顶部文字描述的音乐属性与梅尔频谱图的走向；2. 再对比左右两幅绘画的内容与下方真值分数差异；3. 最后核对括号内预测分数与真值的接近程度
论文图 1。原论文 Figure 1：“Examples of music-induced painting assessment with ground truth (and predicted) scores at the bottom.”。
从像素可见，顶部频谱呈连续的橙红色竖条纹理，左侧海滩画有帆船、躺椅与棕榈树，下方标注 0.9 与括号内 0.91，右侧拱门庭院画色调更沉，下方标注 0.3 与括号内 0.29。解释是同一音乐下两幅画的一致性差距很大，模型预测紧贴真值，说明任务要求区分的不是画好不好看，而是哪幅画的感知印象更贴近该音乐，这也对应后文用回归加排序两套指标考核的原因。
已有路线为何不够：情绪代理与浅融合的局限
同输入同目标的已有工作主要是音乐绘画匹配。ACP-Net 用离散情绪标签解码音乐与图像的情绪对应，CD-CML 用连续效价值唤醒分数提高匹配精度，L3-Net 用二分类判断音画是否对齐。这些方法的共同点是依赖情绪识别做中介，再用双编码器独立提特征加相似度损失或浅回归头组合。论文指出两点局限：情绪模型本身不精确会叠加噪声，且只看情绪会丢掉节奏、音色、空间构成与视觉质地。
同运行阶段的绘画评估工作如 JenAesthetics、VAPS、BAID 与 AACP，多是评估单幅画的美感、表现力或儿童画维度，不处理音乐与绘画的跨模态一致性。内容描述路线如 CJME 与 AVGZSLNet 用内容标签搭桥，也仍是代理表示而非直接感知判断。论文的对照策略是保留可运行的匹配基线做同条件比较，不把类别差异当胜负，相关工作部分不做跨任务排名。
音乐诱发绘画评估 × 音乐绘画匹配： 音乐诱发绘画评估要求对任意音乐绘画对输出 0 到 1 的一致性分数，回答有多像；音乐绘画匹配要求按情绪或内容检索对齐，回答找哪一幅或哪一段。两者输入都是音乐加绘画，但目标与监督不同，前者需要连续感知分数与排序能力，后者多用分类或检索命中。论文把评估单列为新任务，搭配理由是已有 IMAC 与 IMEMNet 都围绕情绪匹配且标签来自自动模型，组合意义是新建专家感知标注 MPD 来支撑评估。
对初学者而言，关键区分是监督来源：已有数据集 IMAC 约 85000 图像与 3812 首歌按正中负三情绪标注，IMEMNet 有 25620 图像与 1802 段音乐形成 144435 对连续相关分数，但论文指出两者标注都来自自动情绪模型而非直接人类感知判断。MPD 的差异正在于 35 位美术专业教师与研究生按感知一致性直接打分，每对 5 人独立标注并去最高最低后取剩余 3 人平均，这决定了后文主结果在自建集上更高的可解释性边界。
问题形式化：输入表示与预测目标如何定义？
论文把绘画集合记为 P，把音乐片段集合记为 M，学习预测模型 f 对任意绘画音乐对估计感知相关。音乐侧用梅尔频谱图表示，绘画侧用 RGB 图像表示，输出限制在 0 到 1 区间。数据侧 MPD 的元组是绘画、音乐片段与一致性分数，理想情况应是画家在听音乐时直接创作，但因这类数据稀缺且质量有限，论文用独立来源的内容随机配对再请专家评一致性，这一点必须在复述时保留，否则会误以为每对都是创作时的真实诱发关系。
标注流程有 2 次。第 1 次是标量分数，每对 5 人打分，去极值后平均，共 50000 对。第二次是偏好标注，聚焦均值在 0.4 到 0.6 的模糊区，随机生成形如给定查询选哪个候选更一致的任务，共构造 10428 个偏好任务，每个至少 3 人标注，只保留多数一致的样本，最终得到 5582 个音乐到绘画与 5403 个绘画到音乐的偏好样本。可靠性方面，论文报告 5 人原始分数的平均标准差为 0.078，84.8% 样本标准差小于 0.09，99.0% 小于 0.11，Krippendorff Alpha 为 0.86，显示一致性较高。
学习依赖上，这个定义决定了后文方法必须同时处理绝对刻度与相对顺序：标量回归管整体刻度，偏好优化管模糊区的排序。若只学回归，0.5 附近的抖动会带来不稳定监督；若只学偏好，则缺少可直接打分的绝对输出。因此总目标是两者加权，这也是训练节要展开的计算分工。
方法全景：音乐做上下文调制绘画主干
MPJudge 采用不对称双分支：绘画编码器是主干，音乐编码器是轻量上下文。流程是梅尔频谱先过 4 个卷积块提音乐特征，绘画先做分块嵌入加位置编码，再进 12 个 Transformer 块，每个自注意力块后插入模态自适应归一化模块注入音乐特征，最后回归头输出感知分数。训练时回归损失拟合标量真值，偏好损失在模糊对上学相对顺序。
这样安排的理由在原文有明确交代：视觉图像富含物体场景与空间布局，梅尔频谱缺少高层空间结构且更局部，因此不应对等编码，而应让音乐引导视觉表示学习。融合不是只在末端做 1 次，而是在多层连续调制，以覆盖从颜色节奏质地到构图语义情绪的多层次对应。右侧偏好学习分支把同一查询下的两幅画或两段音乐分别打分再算偏好损失，这是首次在跨模态绘画评估中引入直接偏好优化。
下图是全景管线，左侧看主路径，右侧看偏好分支，适合把输入到输出的箭头走一遍。
读图前先确认：左半是单对预测管线，右半是偏好学习示意，中间虚线分隔两种监督，模块颜色只区分功能不代表数值大小。
看图路径： 1. 先沿左侧绘画与音乐两条支路看到回归头输出分数；2. 再确认音乐卷积块箭头注入到每个绘画编码器块的位置；3. 最后看右侧偏好学习分支如何用两个分数算偏好损失
论文图 3。原论文 Figure 3：“Pipeline of our model. The mel spectrogram is processed by the music encoder to extract music features.”。
从像素可见，左侧绘画经分块嵌入进入绘画编码器块，块内依次是层归一化、自注意力、MAN 与前馈并带残差，音乐经 4 个卷积块后箭头向上注入 MAN，最终回归头示例输出 0.72；右侧同一音乐配两幅风景画分别过 MPJudge 得到两个分数再算 DPO 损失。解释是音乐特征不是与绘画特征拼接后 1 次性比较，而是在编码过程中逐层改写视觉表示，偏好分支复用同一打分函数比较相对高低，这对应后文消融要分离融合方式与损失贡献的实验设计。
音乐与绘画编码器如何分工与汇合？
音乐编码器处理梅尔频谱，结构是 4 个卷积块，每块含卷积、批归一化与 SiLU 激活。输出形状为通道高宽的特征图，再展平成序列并线性投影到与下游兼容的嵌入维度。原文强调梅尔频谱结构复杂度低于自然图像、时频模式更局部，因此不需要深层级联结构，轻量卷积已足够。绘画编码器是 Transformer 图像编码器，输入把 256 乘 256 乘 3 的绘画按 16 乘 16 分块，共 12 块、8 头、嵌入维度 512。
汇合点是模态自适应归一化。绘画特征作为内容输入，音乐特征作为调制信号，做法是对绘画序列按通道算均值与标准差做归一化，再用音乐特征经线性投影得到的缩放与平移参数调制，插在每个自注意力块之后。数学形式上它像 AdaIN，但论文明确区分目的不同：不是在视觉域之间传风格，而是在跨模态条件下动态调整视觉内部表示。
模态自适应归一化 × 交叉注意力融合： 模态自适应归一化负责把音乐特征变成缩放与平移参数，对绘画 token 做通道归一化后再调制；交叉注意力融合负责让视觉 token 去查询音乐 token 形成加权组合。论文选择前者而不用拼接或交叉注意力做主融合，理由是绘画是主干、音乐是上下文，且要在每个 Transformer 块后连续注入，组合意义是以更简单高效的逐层调制实现细粒度跨模态影响，并在消融中报告优于拼接与交叉注意力。
符号与计算目标需要先讲清：x 是绘画 token 序列，y 是音乐向量，mu 与 sigma 是对序列维按通道统计，gamma 与 beta 是音乐投影出的调制参数，epsilon 防除零。计算目标是让同一幅画在不同音乐下得到不同的内部表示，从而回归头能输出不同的分数。原文还定义调制强度图，用调制前后 token 的平均 L1 变化衡量每层受音乐影响的程度，用于可视化浅层偏低层外观、深层偏全局语义的现象。
\[MAN(x, y) = γ(y) · x −µ(x)\]该公式只描述单层调制，不包含跨层累积与回归头的映射，梯度路径按原文是音乐投影与视觉主干都可更新，但原文未单独报告冻结哪部分，因此复现时不应默认冻结音乐编码器，也不应从模型名推定参数更新范围。
调制强度如何度量：从单层变化到跨层比较
调制强度图的计算是取第 l 层调制前后的 token 特征，对每个 token 算 L1 差再对 N 个视觉 token 平均。N 是视觉 token 数，i 是 token 索引，L1 范数反映变化幅度。每层得到一张空间调制图，比较不同层的图可以看出音频条件在低层与高层的作用差异。论文报告的定性趋势是浅层更强调纹理或局部色彩，深层更全局语义化，但这来自可视化观察，不是分类准确率那样的定量证明。
实现上需要注意输入尺寸：梅尔频谱按采样率 16000、窗长 1024、跳长 512、128 个梅尔滤波器计算，得到 469 乘 128；绘画统一缩放到 256 乘 256。音乐编码器参数量报告为 3.02M，绘画编码器为 44.65M，计算量分别为 3.02G 与 21.16G，大于 3 个基线的绘画侧规模，这是后文讨论代价时要保留的事实。基线侧 L3-Net、ACP-Net 与 CDCML 的音乐与绘画参数与 FLOPs 在原文表 1 分别列出，说明比较时模型容量并不一致。
这一节承担的教学任务是把融合从概念落到可执行观察：复现时应保存每层 MAN 前后的特征并按公式算平均 L1，而不是只看最终分数。若只看分数，无法判断提升来自融合位置还是损失函数，后文消融正是把这两者分开。
训练目标如何同时学绝对分数与相对偏好？
总损失是回归损失与偏好损失的加权和，权重 lambda 回归为 1，偏好为 0.5。回归损失是预测分数与人类评分的均方误差，负责绝对刻度。偏好损失是直接偏好优化形式：给定条件 x 与正负候选，正候选用模型打分减负候选用模型打分，再减去参考模型在同样正负对上的分差，乘温度 beta 后过 sigmoid 取负对数。参考模型固定，用于锚定偏好方向；beta 控制偏好建模的锐利程度。
数据路由是关键：只有标量分数的非偏好数据只用回归损失，有偏好标签的数据同时用回归与偏好损失。优化器用 Adam，学习率 1 乘 10 的负 5 次方，权重衰减 0.05，批量 1024，在 8 卡 H100 上用 PyTorch 训练。原文未报告训练轮数、学习率调度与 beta 具体取值，这些是复现缺项，不应猜测。
直接偏好优化 × 均方误差回归： 均方误差回归负责拟合专家给的绝对一致性分数，监督来源是 5 人去极值后平均的标量；直接偏好优化负责学习模糊区间内哪个候选更一致，监督来源是同一查询下正负候选的相对判断并以固定参考模型锚定方向。两者搭配理由是 0.5 附近标量抖动大、绝对值学不稳，组合意义是总损失同时保留绝对刻度与相对顺序，对偏好子集同时加两项、对非偏好数据只用回归。
回归项的符号是预测 S 帽与真值 S 的平方误差，目标是让分数贴近专家平均。
\[Lreg = ∥ˆS −S∥2\]总目标把两项按权重相加，目标是同时保刻度与保顺序，停止梯度与参考模型更新时机按原文只有参考模型固定这一句，其余梯度路径未展开。
\[Ltotal = λreg · Lreg + λDPO · LDPO\]初学者常见误解是把偏好优化当成数据增强，实际上它是第二种监督来源：模糊区标量不可靠，相对判断更稳定，因此用多数一致的偏好对提供方向信号。
实验条件：数据、基线、指标与用户研究如何组织？
数据集覆盖 3 套：IMAC 约 85000 图像与 3812 首歌的三分类情绪标注，IMEMNet 有 25620 图像与 1802 段音乐形成 144435 对连续相关分数，自建 MPD 约 6000 段音乐与 11000 幅绘画生成超 50000 对并有专家标量与偏好标注。绘画来源包括 WikiArt 的 9885 幅与 AACP 约 1200 幅儿童画，音乐来自 DEAM 约 1000 首整轨切成 6127 个 15 秒片段。评估指标按数据集区分：IMAC 报告精确率、召回率与准确率，IMEMNet 与自建集报告 SRCC、PLCC、MAE 与固定阈值下的准确率，SRCC 与 PLCC 越高越好，MAE 越低越好。
基线是 3 个可运行的音乐绘画匹配方法：L3-Net、ACP-Net 与 CDCML，架构复杂度与融合策略不同，参数与 FLOPs 已在表 1 列出。用户研究招募 20 人，7 女 13 男，年龄 20 到 30 岁。任务一给每人 10 个匹配与 10 个不匹配对随机排序，听音乐判断绘画是否匹配，算人与模型的一致率；任务二给 5 段音乐每段配 5 幅候选画让人排序，算模型排序与用户排序的 SRCC 并跨用户平均。
下表把数据规模与构成摆在一起，解决复现时数据从哪来、切成多大、标了多少的问题，阅读时注意单位与聚合对象都在同一格内。
比较问题是数据是否覆盖抽象到具象与儿童自发风格，公平条件是同一套切分与标注协议，指标方向是分布越广越能检验泛化。
| 数据来源 | 内容总量 | 风格或切分 | 关键数量 | 标注规模 |
|---|---|---|---|---|
| WikiArt 绘画 | 9885 幅 | Art Nouveau Modern 等 5 类 | 4268 幅 | 50000 对标量分数 |
| WikiArt 绘画 | 9885 幅 | Abstract Expressionism | 2735 幅 | 50000 对标量分数 |
| WikiArt 绘画 | 9885 幅 | Baroque | 2674 幅 | 50000 对标量分数 |
| DEAM 音乐 | 约 1000 首整轨 | 15 秒非重叠切片 | 6127 段 | 10428 个偏好任务 |
| 偏好子集 | 10428 个任务 | 多数一致保留 | 5582 对与 5403 对 | 双向偏好样本 |
表后解释需要保留代价与边界：WikiArt 中分析立体主义仅 110 幅、行动绘画仅 98 幅，分布不均；儿童画约 1200 幅带来非常规视觉模式但也增加方差；偏好任务从 10428 过滤到 5582 加 5403，说明模糊区一致性筛选丢掉近半任务，这是为可靠性付出的样本代价。原文未公开代码模型数据链接，本次也未能确认可达，因此复现不能假设可直接下载权重。
主结果：三个数据集上测什么、赢在哪？
主结果要回答的是在相同基线与各自指标下，MPJudge 是否在 3 个数据集上都更贴近人类判断。条件是否一致方面，论文把 4 个方法放在同一 3 个数据集上比较，但模型容量不一致，MPJudge 绘画侧更大，因此赢的结果同时包含架构与容量的贡献，不能单归因于融合思想。指标方向已在上一节交代，关键数字是自建集上 SRCC 0.86 与 MAE 0.04，以及跨数据集表中的准确率与相关系数全面领先。
具体对照上，IMAC 侧报告精确率召回率准确率，IMEMNet 与自建集侧报告 SRCC、PLCC、MAE 与准确率。论文还指出所有方法在自建集上都更好，解释是人工标注避免了情绪识别模型的噪声。用户研究显示二分类与排序任务都与人类感知对齐较好且误差线较小，支持模型稳定性的判断，但参与者仅 20 人且年龄集中在 20 到 30 岁，推广到更广人群待验证。
调制强度图 × 回归头分数： 回归头分数负责输出最终感知一致性预测，是评价指标直接考核的对象；调制强度图负责度量每层调制前后视觉 token 的平均 L1 变化，是解释音乐在何处改写了视觉表示的工具。两者分工是预测与解释分离，搭配理由是调制发生在多层、浅层偏纹理色彩而深层偏语义构图，组合意义是用空间热图检验分数是否来自音乐相关的区域而非整体偏置。
下图先看可解释性证据：3 行样本分别对应不同绘画与音乐，列是浅层到深层的调制热图，亮色表示受音乐调制更强。
读图前确认：每行第一列是原画，第二列是频谱，后六列是第 1 到 3 层与第 10 到 12 层的热图，分数标注在图注而非热图坐标上。
看图路径： 1. 先按行确认绘画、音乐与各层热图的对应关系；2. 再对比浅层与深层红色高响应区域的位置变化；3. 最后结合三行真值与预测分数判断高低分的可分性
论文图 5。原论文 Figure 5：“Visualization of Modulation Intensity Maps (MIMs) across layers.”。
从像素可见，第一行暖黄建筑画的红色高响应集中在人物与桥体，浅层较分散而深层更聚焦主体；第二行黑白线稿的深层红色集中在右侧建筑；第三行红绿穹顶画的深层红色下移到前景建筑群。图注给出的真值与预测为 0.2 对 0.17、0.9 对 0.94、0.1 对 0.14，说明高低分可分且预测贴近真值。解释是调制不是均匀提亮，而是有选择地改写音乐相关区域，深层更语义化，这支持 MAN 分层注入的设计，但仍是定性支持而非因果证明。
比较问题是 MPJudge 是否全面领先，公平条件是同数据集同指标，指标方向是相关与准确率越高越好、误差越低越好。
| 方法 | IMAC 准确率 | IMEMNet 的 SRCC | 自建集 SRCC | 自建集 MAE | 自建集准确率 |
|---|---|---|---|---|---|
| L3-Net | 0.57 | 0.48 | 0.32 | 0.29 | 0.72 |
| ACP-Net | 0.62 | 0.53 | 0.35 | 0.27 | 0.78 |
| CDCML | 0.66 | 0.57 | 0.34 | 0.28 | 0.80 |
| MPJudge | 0.75 | 0.68 | 0.49 | 0.21 | 0.93 |
表后解释要同时讲收益与未胜出项的相对位置：MPJudge 在 IMAC 准确率上从 0.66 提到 0.75，在 IMEMNet 的 SRCC 上从 0.57 提到 0.68，在自建集准确率上达到 0.93，代价是绘画编码器 44.65M 参数与 21.16G 计算量明显大于基线。未胜出项中 CDCML 在 IMEMNet 上优于 ACP-Net，但在自建集 SRCC 上略低于 ACP-Net，说明不同标注噪声下排名会变，不能把单数据集领先推广为所有感知场景都成立。论文正文另报告自建集 SRCC 0.86 的数字与表中 0.68 口径不同，复述时必须保留两种数字并存且不自行调和，提示聚合或划分可能不同待核对。
消融与反证：拿掉偏好损失或换融合会怎样？
消融要分离两个问题：偏好损失是否有用，融合方式是否关键。基线是只用绘画编码器，不加音乐。3 种融合是拼接、交叉注意力与 MAN。报告显示只用绘画时 SRCC 0.34，拼接提到 0.55，交叉注意力到 0.61，MAN 到 0.68；去掉偏好损失时 SRCC 0.63，完整模型 0.68。方向上两者都带来提升，且 MAN 优于交叉注意力并被描述为更简单高效。
用户研究的统计图是另一类反证视角：若模型只在自动指标上好但与人不一致，用户研究就会暴露。这里左图二分类的准确率召回率特异度都较高，右图排序的 SRCC 与 LCC 高于距离指标，且误差线相对可控，支持与人对齐。但右图误差线明显长于左图，说明排序任务的人际方差更大，这是模型的未稳定边界。
读图前确认：左图是任务一的分类一致性，右图是任务二的排序相关性，纵轴分别是比率与相关系数，误差线表示跨参与者波动。
看图路径： 1. 先看左图二分类任务的三根柱子高度与误差线长度；2. 再看右图排序任务中相关系数与距离指标的相对高低；3. 最后对比两组实验误差线的稳定性差异
论文图 4。原论文 Figure 4：“Statistical analysis of user study on music-painting matching.”。
从像素可见，左图三根柱子都在 0.8 以上，中间蓝色召回最高，误差线较短；右图前两根相关系数柱在 0.58 与 0.61 附近，第三根距离指标约 0.41，误差线明显更长。解释是模型在二选一判断上更稳，在五选排序上虽仍正相关但受个人偏好影响更大，这与模糊区需要偏好学习的动机一致，也提示不能把分类准确率直接当成排序能力。
比较问题是融合与损失各自贡献多少，公平条件是同一自建集与同一指标，指标方向同主结果。
| 配置 | SRCC | PLCC | MAE | 准确率 | 训练条件 |
|---|---|---|---|---|---|
| 仅绘画基线 | 0.34 | 0.31 | 0.31 | 0.64 | 无音乐无偏好 |
| 拼接融合 | 0.55 | 0.54 | 0.12 | 0.83 | 加音乐拼接 |
| 交叉注意力 | 0.61 | 0.60 | 0.09 | 0.90 | 加注意力融合 |
| 去掉偏好损失 | 0.63 | 0.62 | 0.08 | 0.89 | 仅回归监督 |
| 完整 MPJudge | 0.68 | 0.66 | 0.04 | 0.93 | 回归加偏好 |
表后解释要指出具体代价与负结果：拼接已带来大幅提升，说明音乐信息本身就有用，MAN 的额外增益是 0.61 到 0.68 而非从零到一；去掉偏好损失仍有 0.63，说明模糊区相对信号是改进而非决定性。未评测边界包括未报告推理延迟与不同 beta 下的敏感性，原文也未给出训练轮数与调度，因此不能承诺去掉某模块后必然如何，只能说在报告的配置下观察到上述差距。
限制与未验证：哪些结论不能直接推广？
论文直接报告的是在 3 个数据集与给定指标上的领先，以及用户研究中 20 人样本上的对齐。有限解释是人工标注减少噪声因此所有方法在自建集上更好，以及浅层偏低层、深层偏语义的可视化趋势。未验证推测是把这种调制机制推广到素描或抽象艺术、生成与交互场景，原文放在未来工作，不应当前文结论复述。
数据限制包括配对是随机组合加专家评分而非真实创作时的诱发关系，WikiArt 小风格样本很少，偏好任务过滤掉近半，年龄与人数限制了用户研究的代表性。模型限制是绘画侧更大带来的训练与推理开销，原文只给参数与 FLOPs，未测量延迟帧率与部署成本，不能说更快更省。指标冲突也需保留：正文提到自建集 SRCC 0.86，而对照表自建集 SRCC 为 0.49 与 0.68 等不同列值，原文未交代是否同一划分或聚合，复述时应明确标注冲突而不编造划分来圆合。
资源状态是正文开源声明的唯一依据，本次未发现来源绑定且完成 HTTPS 验证的资源，不得声称代码模型或数据已公开，只能说复现需按论文描述重建数据与模型。
复现先做什么：数据、配置与检查点
先重建数据：从 WikiArt 取 9885 幅并保留 5 类分布，加入约 1200 幅 AACP 儿童画；从 DEAM 约 1000 首整轨按 15 秒非重叠切出 6127 段，梅尔参数用采样率 16000、窗长 1024、跳长 512、128 滤波器得到 469 乘 128；随机配对后请美术专业标注者每对 5 人打分，去最高最低后平均得 50000 对标量，模糊区 0.4 到 0.6 内构造偏好任务并保留多数一致的双向样本。划分、采样种子与标注界面在原文未完全交代，这是首个缺项，复现时应固定自己的划分并记录。
再搭模型：音乐侧四卷积块加批归一化与 SiLU，展平加线性投影；绘画侧 256 输入、16 分块、12 层 8 头 512 维，每层自注意力后加 MAN 并带残差，最后回归头输出分数。训练用 Adam、学习率 1 乘 10 负 5、权重衰减 0.05、批量 1024、回归权重 1 偏好权重 0.5，8 卡 H100。缺的是轮数、调度、beta 取值与参考模型初始化方式，需做小网格搜索并先复现仅绘画基线与拼接基线，确认音乐信息有效后再加 MAN 与偏好损失。
检查点包括标量指标 SRCC、PLCC、MAE 与阈值准确率，偏好对上的选择准确率，以及每层调制强度图是否呈现浅散深聚。若分数提升但热图均匀无选择性，应怀疑音乐注入未生效；若排序提升但 MAE 变差，应检查回归与偏好权重是否失衡。何时值得尝试是已有专家或稳定众包可做感知标注、且能承受较大视觉主干开销时，否则情绪代理基线仍是更省的起点。
收束：这篇论文给研究生留下什么可复述方法？
可复述的核心链条是任务定义先于模型：把评估定义为直接预测人类感知一致性，用专家标量加模糊区偏好 2 级监督，再用音乐调制视觉的不对称架构实现多层融合，最后用回归加偏好联合训练同时保刻度与顺序。计算上记住 3 个动作：音乐投影出缩放平移，绘画归一化后被调制，偏好分支用模型分差减参考分差学相对顺序。实验证据记住自建集上的高对齐与跨数据集的全面领先，但同时记住容量更大与标注依赖的代价。
学习依赖上，先理解感知一致性为何宽于情绪，再看 MAN 与拼接注意力的分工，最后看回归与偏好的互补，顺序不能颠倒，否则会把消融数字误读为单一模块的功劳。还需补的验证是统一划分下的 SRCC 口径、更大更多样人群的用户研究、以及延迟与成本的实测，这些补齐后才能判断该方法在自己场景是否值得部署。总体上，这篇工作适合作为跨模态感知评估的起点模板：当代理标签噪声大且对应是多层次时，直接做人类感知标注并用上下文调制加偏好学习，往往比堆更深的双编码器更贴近人的判断。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses