Predicting Music Valence and Arousal via Textual and Multimodal In-Context Learning in Large Language Models

论文预测音乐引发的感知情绪，用效价表示情绪正负、唤醒度表示情绪能量，难点在于效价抽象且依赖语境，直接从音频回归或零样本提问都容易严重失效。紧凑音频基础模型先对输入音频给出初始效价-唤醒度估计，大语言模型再依据若干带标签示范预测修正量并加回初始值，形成两阶段推理时修正。文本方式以Whisper转写的歌词与Qwen2-Audio生成的自动音频描述代替声音，多模态方式直接输入原始音频，两种方式都冻结大模型权重，只在推理时组织提示。相对已有直接回归与零样本提问，关键差异是不让大模型猜绝对分数，只学纠正小模型偏差，从而把上下文对齐负担转到残差估计上。在以CH818作训练与示范、整个MER60作留出测试的设置下，文本方式效价决定系数R²_V从基础模型的0.110提升到80示范GPT-5时的0.427。同样以CH818作示范、整个MER60作测试的设置下，多模态方式效价决定系数R²_V从零样本Qwen3-Omni 30B的0.037提高到10示范时的0.346。该跨数据集推理时修正结论受限于仅60首的MER60测试规模，且多模态方式效价决定系数R²_V在超过10示范后回落，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

代码相关资源：https://github.com/DCN2001/MusicEmotionModeling — 链接可访问（HTTP 200）
模型相关资源：https://github.com/DCN2001/MusicEmotionModeling — 链接可访问（HTTP 200）
第三方资源：https://github.com/DCN2001/MusicEmotionModeling — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

音乐情绪为什么要分成效价和唤醒度两个连续分数

这篇论文研究的是感知到的音乐情绪，也就是普通听众听完一段音乐后会感受到什么样的情绪，而不是作曲者想表达什么或听众实际产生多强的身体反应。输入是 30 秒左右的音乐音频片段，输出是两个连续分数：效价衡量积极还是消极，唤醒度衡量能量高还是低，取值范围都归一化到 1 到 9 分。

对刚入门的同学来说，可以把唤醒度理解为这段音乐听起来兴奋还是平静，它和响度、速度、配器密度等声学线索关系较直接；效价理解为听起来愉快还是悲伤，它往往依赖歌词含义、文化联想和上下文，同样响亮的音乐可以是欢快也可以是愤怒。论文反复强调的就是这种不对称：唤醒度用音频模型已经能预测得不错，效价则长期偏低。

评价用决定系数 R2，1.0 表示完全预测准确，0 表示还不如直接猜均值，负值表示严重偏离，比猜均值更差。后文所有提升都要放在这个标尺下理解，负值转正本身就意味着从不可用变为可用。

效价 × 唤醒度： 效价指听感上偏积极还是偏消极，唤醒度指情绪能量或兴奋程度，二者组成连续二维情绪空间；本文把每首 30 秒片段映射为 1 到 9 分上的两个分数，唤醒度多与能量 tempo 相关较易从音频估计，效价更抽象且依赖语义上下文，因此是本文要重点改进的维度。

已有音乐情绪识别路线为何在效价上卡住

连续效价唤醒度预测已有经典路线和深度学习路线。经典路线如支持向量回归加手工特征，在小而标注可靠的数据上跨数据集表现相对稳健；深度路线如 VGGish、Music2Emo 等多用卷积循环结构或预训练音频主干，在 DEAM 等大规模众包标注数据上验证集分数好看，但换到标注更严的数据集上效价常常掉到零附近甚至为负。

论文特别讨论了数据集质量的影响。DEAM 公开易得但众包标注质量波动大，MER60 和 CH818 由作者团队组织，分别有 40 名被试在实验室用 2 维情绪界面标注和 3 名音乐专家标注，可靠性更高但分发受限。理解这一点很重要：后文基座模型在 DEAM 上训练时效价 R2 可达 0.542，但换到 MER60 就变成负值，并不是模型写错了，而是分布和标注标准变了。

另一条相关路线是用大语言模型做音乐任务。已有工作多做符号 MIDI 的类别情绪标注，而本文做的是直接从音乐音频出发的连续回归，并且关注推理时不更新权重的上下文学习，这在音频连续回归里此前探索很少。

大模型直接预测效价为什么失败，论文想解决什么

作者先做了一个预实验：在 MER60 的 60 首 2011 年以前西方流行歌曲上，直接让 GPT-5 和 Qwen3-Omni 30B 做零样本效价唤醒度预测。结果唤醒度 R2 分别达到 0.699 和 0.764，接近文献中 0.800 左右的音频基线；但效价 R2 分别是 -0.801 和 0.037，远低于文献中 0.270 左右的音频基线。

这个对比很有说服力。因为这些老歌很可能已经出现在大模型的预训练语料里，如果靠记忆歌名或文本描述就能答对，效价不该这么差。作者据此判断，单纯的记忆或文本联想不足以完成效价推理，需要显式的上下文对齐来告诉模型音频特征与分数之间的映射关系。

因此论文的具体问题是：在不从头训练大模型、不做微调的前提下，能否利用与测试集完全不重叠的辅助数据集提供的音乐加标签示例，在推理时改善大模型对效价的预测，同时不损害唤醒度。辅助集选 CH818，测试集固定为整个 MER60，严格跨数据集。

两阶段框架如何把小模型初值和大模型校准连起来

整体流程分两步。第一步用一个小而专用的音频基座模型对输入音频给出初始效价唤醒度估计，记为初值向量；第二步把初值连同若干示例一起交给大语言模型或多模态大模型，让它预测一个校准偏移量，加到初值上并截断到 1 到 9 的有效区间，得到最终分数。预测残差而不是直接预测绝对分数是关键设计，目的是让大模型只关注纠偏。

下面这张官方框架图把两条精修路线画在了一起，读图时先分清共用部分和分支部分。

看图路径： 1. 先从左侧输入音频出发，沿三条分支分别找到基座预测、歌词与音频描述的去向；2. 对比右上多模态分支与右下纯文本分支在提示词拼接位置上的不同；3. 确认基座预测同时进入两个分支，说明它是共用的校准起点；4. 看最终输出都标注为(V,A)，理解两条路线是二选一的精修路径

论文图 1。原论文 Figure 1:：“Overview of the proposed framework. A base audio model produces initial valence–arousal (VA) predictions, which are refined via in-context learning using either a text-only LLM…”。

从像素上看，左侧是同一份输入音频，分出 3 路：中间橙色路是音频编码器加回归头输出基座预测，绿色路是声源分离得到人声再经语音识别得到歌词，底部黑色长线是原音频直接送往音频语言模型生成描述。右上灰框是多模态路线，用多模态模型的音频编码器处理原音频，再与文本编码混合拼成含 N 个示例的提示词送入多模态模型；右下灰框是纯文本路线，把描述、歌词与基座预测拼成含 N 个示例的提示词送入纯文本模型。两路最终都输出效价唤醒度，是二选一的实验对照，而不是串联使用。

基座模型把音频变成什么样的初始分数

基座模型沿用了 Music2Emo 的音频分支，但把其中的 MERT 特征换成 BEATs 嵌入。具体做法是每段音频取 5 秒粒度的 BEATs 特征，平均池化为 768 维向量，再送入带批归一化、ReLU 和 dropout 的多层感知机做回归。训练用 AdamW、学习率 0.0001、批量 64、均方误差损失、150 轮。

这个模型只在 CH818 上训练，测试时直接用于 MER60，因此它的初值本身就包含跨语言跨文化的泛化误差。论文用 CH818 训练的基座在 MER60 上效价 R2 为 0.110、唤醒度 R2 为 0.783，虽不算高，但比 DEAM 训练版本和其他深度基线在 MER60 上的效价负值要好，所以被选为后续校准的锚点。

基座模型 × 残差修正量： 基座模型是 91M 规模的任务专用音频回归模型，负责给出初始效价唤醒度估计；残差修正量是大语言模型要预测的真实值减初值之差，二者分工是小模型提供稳定锚点以降低难度，大模型只学如何校准偏差，相加并截断到合法区间后得到最终分数。

纯文本路线如何为听不到音频的大模型构造替代输入

纯文本大模型不能直接处理音频波形，所以每个示例和待测查询都要序列化为文本。一个示例包含 5 类信息：基座初值、歌词、音频描述、真值分数，以及真值减初值得到的目标偏移量。查询部分结构相同，只是没有真值和目标偏移量，需要模型来输出偏移量。示例数 N 就是提示词里放几个这样的示例，实验中对每个测试片段随机抽取 N 个 CH818 片段作为示例，重复 5 次取平均。

歌词的获得分两步：先用 HTDemucs 做声源分离取出人声音轨，再用 Whisper-large-v3 转写。这样做是希望减少伴奏干扰，让转写更干净。音频描述则用 Qwen2-Audio 对每段音频生成一段英文连贯段落，要求覆盖 4 个方面：整体情绪或氛围、能量与速度感、旋律与和声的情绪色彩、人声或乐器表达。

歌词 × 音频描述： 歌词是经人声分离加语音识别得到的文本，承载主题与语义信息；音频描述是用 Qwen2-Audio 对原音频生成的英文段落，概括整体情绪氛围、能量速度感、旋律和声色彩与演唱演奏表达；二者都是不能直接读音频的纯文本大模型所用的音乐替代表示，前者补语义后者补听感。

多模态路线把原始音频放在提示词的什么位置

多模态路线的提示词结构与纯文本路线基本一致，区别是把音频描述替换为原始音频。每个示例仍然保留基座初值、歌词、真值与目标偏移量，但声学信息不再经过文本转述，而是由多模态模型自带的音频编码器把音频变成音频 token，与文本交错放入上下文窗口。

这样模型能同时利用声学细节和文本语义。论文还试验了在多模态输入上再加歌词、再加音频描述的不同组合，用来回答原始音频是否已经足够、文本描述是否冗余。实验用的是 Qwen3-Omni 30B，解码温度固定为 0，以减少随机性。

文本上下文学习 × 多模态上下文学习： 文本上下文学习只把基座初值、歌词与音频描述连同示例真值和残差一起拼成提示词，交给 GPT-5 等纯文本模型；多模态上下文学习把其中的音频描述换成原始音频，由多模态模型的音频编码器直接处理声学信号；前者适合检验文本替代是否足够，后者检验原始声学信息能否进一步帮助校准。

哪些参数被训练，哪些只在推理时使用

需要训练的只有小基座模型，它用整个 CH818 的平均标注做监督，以均方误差为目标更新权重。大语言模型和多模态大模型的参数都不更新，不做微调，所有改进都发生在推理时拼接示例的环节。这意味着复现时不需要准备大模型的训练算力，但需要能调用 GPT-5 或 Qwen 系列模型的推理接口，以及生成歌词和描述的前处理模型。

上下文示例的构造本身没有训练，只是检索与拼接。对每个 MER60 测试片段，从 CH818 中随机采样 N 个片段组成示例集，把它们的初值、歌词、描述或音频、真值与残差写进提示词。论文报告的均值与标准差是 5 次独立随机采样下的结果，因此示例选择带来的波动是已知且被量化的。

没有报告梯度在大模型内部的路径，也没有报告基座模型在 CH818 上的划分细节之外的超参数搜索过程。理解这一点可以避免误解：本文的提升来自推理时校准，不是大模型学会了新的音频编码权重。

数据划分、标注聚合与比较条件是什么

CH818 含 818 个 30 秒中文流行片段，由 3 名专家标注，一致性为中高；MER60 含 60 个 30 秒西方流行片段，每个由 40 名被试在实验室标注，严谨度更高。每个片段都用多名标注者的平均值作为真值。基座训练和上下文示例都只用 CH818，MER60 全程只做测试，不参与任何训练或示例选择，因此是严格的跨数据集评估。

比较时要注意输入条件不同：基线音频模型只看音频，纯文本上下文学习看的是基座初值加歌词加生成的描述，多模态路线还能看到原始音频。指标都是 R2，越大越好，负值表示比猜均值还差。示例数、是否加入基座初值、是否加入歌词或描述，都是受控的消融维度。

CH818 × MER60： CH818 是 818 首中文流行音乐片段的辅助集，用于训练基座模型和抽取上下文示例；MER60 是 60 首西方流行音乐片段的测试集，全程只做 held-out 测试；二者曲目不重叠、语言文化与标注流程不同，因此能检验跨数据集泛化，而不是在同一分布内拟合。

基座模型与零样本大模型各自强在哪里弱在哪里

先看跨数据集的基线全貌。下表只截取原表在 MER60 上的两列，并保留训练数据来源，用来回答换分布后谁还站得住。比较问题是不同训练数据的模型在 MER60 上的效价与唤醒度 R2，条件是都不在 MER60 上训练，指标越大越好。

Model	Training Data	\(R^{2}_{V}\)	\(R^{2}_{A}\)
SVR-based [11]	CH818	0.270	0.800
Base model (ours)	DEAM	–0.127	0.660
Base model (ours)	CH818	0.110	0.783

从表中可见，用 CH818 训练的经典支持向量回归在 MER60 上效价 0.270、唤醒度 0.800，仍然是最稳的跨数据集参考；本文 CH818 训练的基座效价 0.110、唤醒度 0.783，在深度模型中最好但效价仍明显低于经典基线；而 DEAM 训练的 VGGish、Music2Emo 和基座在 MER60 效价上都是负值，说明在原分布上验证集 R2 超过 0.5 并不能保证换分布后有效。

再看零样本大模型：GPT-5 效价 -0.801 但唤醒度 0.699，Qwen3-Omni 效价 0.037 但唤醒度 0.764。这说明唤醒度可以直接从大模型得到接近基线的分数，效价则不行。后续所有上下文学习的起点都很低，尤其是纯文本路线的 0 样本效价为负，因此从负值到正值的跃升不能只看绝对增量，还要看是否超过了基座初值的 0.110。

文本上下文示例把效价从负值拉回到多少

纯文本路线用 GPT-5，示例数从 0 增加到 80。下表只整理论文摘要与正文连续句子中有逐字证据的效价关键点，用来回答文本示例是否真的改善了效价。比较的是同一 GPT-5 在不同示例数下的效价 R2，测试集同为 MER60，指标越大越好。

条件	效价 R2
CH818 基座在 MER60 上的初值	0.110
GPT-5 零样本直接预测	-0.801
GPT-5 加 80 个文本示例后	0.427

5 个示例就足以把效价从 -0.801 拉到 0.188 左右，唤醒度也从 0.699 升到 0.805 附近；继续增加到 80 个示例时效价单调爬升到 0.427，唤醒度升到 0.874。论文正文指出，更大的上下文集合为效价提供了更丰富的信息。但要注意这是平均 5 次随机采样的结果，80 样本时标准差约 0.054，说明示例选择仍有波动，且 80 个示例的提示词更长、推理代价更高。

输入消融进一步显示，只用基座初值效果很差，去掉基座初值也会下降，验证了 2 阶段设计的必要性；单个输入中音频描述最有信息量，单用歌词贡献很小，但三者全用时最好，说明基座提供锚点、描述提供主要上下文、歌词提供互补线索。

多模态示例数与输入组合为何呈现不同规律

多模态路线用 Qwen3-Omni 30B，示例数同样从 0 扫到 80。下表只保留有逐字证据的效价关键点，用来回答原始音频是否能用更少示例达到相近效果。比较的是同一多模态模型在 0 样本与 10 样本下的效价 R2，测试集同为 MER60，指标越大越好。

条件	效价 R2
Qwen3-Omni 零样本直接预测	0.037
多模态上下文 10 个示例后	0.346

5 个示例就把效价从 0.037 提升到 0.283 左右，10 个示例达到峰值 0.346，只用 10 个示例就接近纯文本路线 80 个示例的 0.427，说明原始音频的信息密度更高。但与纯文本路线不同，超过 10 个示例后效价略微回落到 0.24 左右，唤醒度稳定在 0.78 附近不再明显增长。作者推测音频 token 拉长了上下文，限制了更多示例的有效性，这是一个尚未解决的代价与扩展性问题。

输入组合的规律也不同：单用基座初值在多模态下已经有竞争力，基座加歌词达到最优的 0.346，再加音频描述反而略微损害效价，说明原始音频已提供足够声学信息，文本描述变得冗余。模型容量消融显示，把 GPT-5 换成更小的 Qwen2-7B、Qwen3.5-122B、GPT-5-mini 会把 80 样本效价降到 0.164、0.285、0.317；把 30B 多模态模型换成 3B、7B 会把 10 样本效价降到 0.123、0.308，总体上大模型更好，但这只是该测试集上的趋势，不能推广为参数越大在所有音乐上必然越好。

这些结论在什么条件下才成立，还有哪些没测

所有提升都依赖严格的跨数据集设定：示例来自 CH818 中文流行，测试是 MER60 西方流行。如果换成同分布内测试、其他语种或完整歌曲而非 30 秒片段，示例数与输入组合的最优点可能变化，论文没有给出这部分证据。MER60 只有 60 首，样本量小，R2 对个别歌曲误差敏感，5 次采样的标准差已经显示波动。

未胜出项也要看到：多模态 80 样本不如 10 样本，音频描述在多模态下是负作用，歌词单用贡献小，基座初值单独使用在纯文本下接近无效。这些反例说明没有一种输入在所有路线下都最优。论文也没有测量推理延迟、token 成本或人工听感评价，不能把 R2 提升直接等同于用户体验改善，也不能承诺示例数越多一定越好。

来源方面，作者仓库当前可用，提供了代码、模型权重与示例，但第三方链接只能证明论文提到了该地址，不能据此认定作者已开源其他内容。测试集歌曲年代久远可能已被大模型见过，但零样本效价仍差，这反而支持了本文需要显式示例校准的判断，而不是记忆泄露带来的虚高。

要复现第一步该准备什么，先跑通哪条链路

第一步是复现基座模型：在 CH818 上用 BEATs 特征平均为 768 维向量训练 MLP 回归，损失为均方误差，优化器 AdamW，学习率 0.0001，批量 64，150 轮，然后在 MER60 上测得效价约 0.110、唤醒度约 0.783 附近，作为后续校准的起点。如果这一步的跨数据集分数对不上，后续残差目标的分布也会偏移。

第二步是准备文本替代：用 HTDemucs 分离人声后用 Whisper-large-v3 转写歌词，用 Qwen2-Audio 按 4 个维度生成英文描述。建议先跑通纯文本路线，因为它只调 GPT-5 等文本接口，提示词结构在论文图 2 中有完整字段，解码温度设为 0，每个测试片段随机抽 N 个示例重复 5 次。

多模态复现需要能处理音频 token 的 Qwen3-Omni 30B，注意 10 样本附近最优，不必一开始就跑 80 样本。关键超参数与信息条件是示例数 N、是否加入基座初值、是否加入歌词或描述，以及随机采样的种子，这些都要与 R2 一起记录，否则无法判断波动来自方法还是采样。

什么时候值得尝试这种训练-free 的校准思路

当你已经有一个小而专用的回归模型，但它在新分布上效价偏低，又没有预算微调大模型时，这种 2 阶段残差校准值得尝试。它的好处是完全在推理时工作，示例集可以灵活更换；代价是提示词随示例数变长，纯文本路线需要 80 个示例才达到 0.427，多模态路线虽 10 个示例就到 0.346 但再加示例会回落。

容易产生的误解是把大模型当成直接的情绪预测器。本文证据恰恰相反：零样本效价很差，真正起作用的是示例告诉模型的映射关系，以及小模型提供的锚点。去掉锚点或去掉示例都会明显掉点，因此不能只用大模型替代音频模型。

还需要补的验证包括更大规模与更多文化背景的测试集、完整歌曲级别的预测、以及对示例选择策略的系统研究，例如按相似度检索示例是否比随机采样更稳。只有在这些条件下仍能复现效价提升，才能说该方法具有超出 MER60 小样本的泛化价值。

📎 论文与评分元数据

排名：前50% | 文档类型：方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses

← 返回 2026-10-23 语音/音乐/音频论文速递

原文与引用

📄 用示例校准大语言模型来预测音乐的效价与唤醒度#

👥 作者与机构#

📌 核心摘要#

🔗 开源与复现资源#

🧭 深度解读#

音乐情绪为什么要分成效价和唤醒度两个连续分数#

已有音乐情绪识别路线为何在效价上卡住#

大模型直接预测效价为什么失败，论文想解决什么#

两阶段框架如何把小模型初值和大模型校准连起来#

基座模型把音频变成什么样的初始分数#

纯文本路线如何为听不到音频的大模型构造替代输入#

多模态路线把原始音频放在提示词的什么位置#

哪些参数被训练，哪些只在推理时使用#

数据划分、标注聚合与比较条件是什么#

基座模型与零样本大模型各自强在哪里弱在哪里#

文本上下文示例把效价从负值拉回到多少#

多模态示例数与输入组合为何呈现不同规律#

这些结论在什么条件下才成立，还有哪些没测#

要复现第一步该准备什么，先跑通哪条链路#

什么时候值得尝试这种训练-free 的校准思路#

⚖️ 评分明细#

📄 用示例校准大语言模型来预测音乐的效价与唤醒度

👥 作者与机构

📌 核心摘要