英文题目：Music Artistic Captioning: Towards Translating Music into Expressive Language
会议身份：
conference:interspeech:2026:conference-paper-id:ullah26_interspeech
来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。
标签：#提示学习 #大语言模型 #长音频处理 #音乐 #音频字幕生成
评分：7.0/10 | 创新 1.2/2 | 技术严谨 0.9/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Ubaid Ullah：机构信息未能从会议 PDF 纯文本可靠映射
- Hyun-Chul Choi：机构信息未能从会议 PDF 纯文本可靠映射
- Zied Bouraoui：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
本文处理分钟级长音频音乐艺术字幕生成，输入为演进波形，输出为多句连贯叙事，需融合速度配器与情感曲式并跨段保持一致，配对数据稀缺与微调过拟合使长程连贯更难。方法分四步：先做全局与功能与局部三尺度切分得到时间分区，再抽取声学语义特征并聚合成证据词典，接着将词典语言化为伪证据并组装含邻段的分层上下文，最后由冻结指令大语言模型生成经格式校验的字幕并经一次性迭代提示优化仅校准文风。与依赖配对微调的字幕器不同，该方法以冻结证据约束生成，模块可换且无需重训，检索增强与结构化提示保障可控叙事与跨数据集泛化。在MQAD测试集基准下，MAC的B1得分为0.3112，高于LP-MusicCaps的B1得分0.1972。在歌剧与全曲场景下其情感一致性与Art得分领先而语义相似度落后，体现表达性与语义对齐的权衡。该结论适用边界受限于切分与特征工具有效及英语程序注释风格偏好成立，人评缺失使艺术性主张尚未验证。推理开销与硬件为两块RTX 3090上分别运行推理与特征提取，生成温度为0.2且最大2048令牌，原文未披露训练成本与延迟吞吐。
🔗 开源与复现资源
- 代码相关资源：https://github.com/uu95/MAC — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，什么信息不能丢？
输入是一段长达数分钟的完整音乐波形，典型例子是歌剧或管弦组曲，包含配器、情绪、速度、结构随时间展开的变化。输出是多句连贯的英文叙事解说，要求读起来像节目单注释，有起承转合，同时每句断言都能在音频中找到依据。
必须保留的信息有两类。第一类是可听的低层声学属性，例如速度、节拍、起始密度与动态起伏，它们决定推进感与紧张度。第二类是高层感知属性，例如乐器、体裁、演唱状态、情绪与多维情感，它们决定色彩与叙事角色。如果丢掉时间结构，解说会变成对整曲的平均印象，无法对应高潮、过渡与主题发展。如果丢掉证据约束，语言模型容易编造不存在的乐器或情绪转折。
初学者可以这样理解学习目标。先沿一个样本走完全程。输入瓦格纳歌剧片段，进入切分得到全局段、功能段与局部窗，进入编码得到每段的速度与乐器情绪分布，进入口语化得到伪证据，进入分层拼接得到带邻段的上下文，进入大模型得到分段解说，再拼接成全曲叙事。目标是让最后文本的每处转折都能回指到某段证据，同时段与段之间有承接。
已有两条路线为什么撑不起长叙事？
第一条路线是配对监督的短片段标题生成。做法是用音乐编码器接解码器，在 10 秒到 30 秒的音频文本对上训练，数据不足时用伪标题补充。这条路线分工明确，编码器管听，解码器管说，但在长曲上会失效，因为训练时没见过分钟级结构演化，学到的是数据集特有措辞，换风格或换曲库就迁移困难。
第二条路线是检索增强或指令微调的音频大模型管线。用音乐嵌入加检索文本条件化大模型，再加推理或效率改进。这条路线改善了对齐，但仍多面向短片段或事实检索，难以维持长程连贯。更关键的是监督瓶颈，配对数据稀缺导致模型过拟合训练标题的措辞，难以做可控叙事。
免训练的上下文学习与结构化提示提供了第 3 种可能。不更新权重，只靠指令与外部文本接地。但论文指出，对长音乐不能只靠外部文档接地，因为解说必须忠实于随时间变化的音频线索，朴素提示在分钟级输入上容易幻觉与漂移。因此需要轻量且音频接地的替代方案，把约束从外部文档换成从音频自动抽取的多尺度证据。
要解决的矛盾是什么，如何判定好坏？
中心矛盾是艺术性与忠实度难以兼得。艺术性要求长、多句、有文采、有跨段呼应。忠实度要求不虚构乐器情绪速度结构，且能随段落推进。短标题指标只看一句与参考的词语重叠，无法评价长叙事。
论文把好解说定义为同时满足两条。第一，扎根于可听结构与属性。第二，读作连贯的节目单式散文，而非标签堆砌、问答碎片或通用空话。表 1 的例子直观展示差异。标签法输出固定词表，语言模型标题法输出短而数据中心，问答法输出窄问答模式，只有本文方法输出随时间推进的证据接地长文本。
判定因此分两种场景。有参考的基准场景用词语重叠与语义相似度衡量与人工或机器参考的接近程度。无参考的艺术场景没有标准答案，只能从语义对齐、情感一致与自创艺术分 3 个角度间接检验，外加独立大模型裁判打分。这意味着同一系统可能在不同场景下排名不同，需要分开解读。
免训练框架的全景与三阶段分工是什么？
方法名为音乐艺术解说，简称 MAC，定位是模块化免训练框架。免训练指不对解说任务做任何参数更新，大模型现成调用。模块化指切分、编码、生成 3 阶段解耦，可替换工具。
第一阶段是音乐结构分析。把波形切成全局、功能、局部 3 种尺度。全局是等长粗分，提供全曲基线。功能是用结构分析工具找出的乐段边界，提供 verse 与 chorus 之类的结构角色。局部是固定滑窗，提供帧级细节。每个区间存起止时间与结构标签，为后继编码建立多分辨率基座。
第二阶段是多分辨率音频编码。对每区间抽低层声学向量与高层语义分布，再聚合成每尺度的证据词典。第 3 阶段是证据接地的分层解说。把词典口语化为伪证据，再按全局加功能邻域加局部邻域拼接成上下文，送入指令大模型生成结构化输出并做格式与证据提及校验。贯穿始终的还有 1 次性迭代提示优化，只调提示措辞以兼顾文风与忠实度。
切分与编码如何把声音变成可用证据？
切分的操作对象是连续波形。实现上音频重采样到 24 kHz，全局切成 4 个等长段，局部用 5.0 秒不重叠窗，功能段用 MSAF 工具基于新颖性与重复性线索找边界。短于 2.0 秒的区间会被跳过，避免噪声碎片进入后继统计。
编码分两支。低层分支用常规音乐信息检索工具计算速度、节拍、起始率与动态，形成 4 维向量。高层分支用 MERT 基础模型抽隐状态，再经预训练头得到体裁、乐器、人声、情绪、标签等任务的类别分布，以及 28 维情绪向量。每个区间因此同时有数值声学与概率语义。
聚合时对长音频按特征类型合并，细尺度用阈值与取前列抑制噪声。具体是只保留置信度高于 0.1 的标签并取前 5 个，若无达标则回退到首位，跨块聚合取前 3 个。这样每尺度得到一个证据词典，键是区间与属性，值是可解释的候选标签与数值。
多尺度切分 × 证据词典： 多尺度切分负责把波形按全局、功能、局部 3 种时间粒度划分出可编码区间，证据词典负责把每个区间抽到的低层声学向量与高层语义分布聚合为结构化记录，二者搭配的原因是长曲的结构角色与瞬时音响必须在同一索引下对齐，组合后生成器才能同时看到目标段、邻段与全局走向并做跨尺度调和。
伪证据与分层上下文如何约束大模型？
证据词典不能直接喂给大模型，需要口语化。系统用自然语言汇总器把每尺度词典转成有序提示上下文字符串，即伪证据。例如把速度数值、乐器分布、情绪向量写成可读的槽位句，保留数值与标签的可核对性。
分层上下文的拼接有固定顺序。先放全局汇总作为全曲基线，再拼接目标功能段及其邻段，再拼接目标局部窗及其邻窗。有序拼接符保证时间关系不丢失，目标段总能看到左右邻居与全局走向。生成时要求模型关联并调和跨尺度线索，例如把局部加速解释为功能段的推进角色，把功能段转折放回全局轨迹。
生成输出要求结构化格式，包含解说字段。确定性检查做两件事。第一，解析并校验格式，失败最多重试 3 次。第二，做最小合理性检查，要求解说至少提及上下文中的一个证据线索，否则过滤。这种槽位填充加校验的设计把开放生成收敛到证据允许范围。
伪证据 × 分层上下文： 伪证据负责把证据词典中的数值与标签口语化为大模型可读的自然语言槽位，分层上下文负责按全局基线加功能邻域加局部邻域的顺序拼接这些口语化证据，二者搭配的原因是纯数值无法直接约束语言生成而扁平拼接会丢失时间关系，组合后每段生成都带有长程锚点与近邻连贯条件。
生成与校验的调用细节是什么？
调用的生成器是 GPT-OSS 20B，通过 vLLM 推理引擎服务，温度设为 0.2，最大 token 设为 2048，随机种子固定为 42。低温与固定种子意在降低叙事发散，保持同一证据下措辞相对稳定，但论文并未声称输出确定，低温不等于确定性求解。
每段调用输入两部分。一是该段的分层上下文，二是经迭代优化后缓存的该尺度专用系统与指令提示。输出按歌曲存成口语化特征与原始响应的两个文件，便于复查证据与文本的对应关系。
指令大模型 × 槽位校验： 指令大模型负责在给定分层上下文与风格指令下产生结构化叙述，槽位校验负责解析输出格式并检查解说是否至少提及一个上下文中的证据线索，二者搭配的原因是现成大模型擅长文采但易脱离音频，组合后文采生成被限制在可听证据允许的断言集合内并支持失败重试。
教学例子帮助区分 3 类输出。标签堆砌只给词，短标题只给一句通用赞美，问答只答乐器提问。本文的分段解说会写弦乐如何渐强、速度如何推进、小提琴如何保持希望的紧张感、尾段全团如何释放，这种推进感正来自邻段与全局的同时可见。
没有训练阶段时，什么被冻结，什么被搜索？
本研究没有神经网络训练阶段，需要明确说明以免误解。被冻结不更新的有三部分。MERT 与其分类头是预训练好的，只做推理。MIR 工具与节拍跟踪是规则与现成模型，只做计算。指令大模型是现成调用，只按提示生成，不做微调。
真实计算是切分、编码、聚合、提示搜索与生成。唯一的搜索是 1 次性迭代提示优化。它不碰权重，只改提示中的语气、粒度与排序等少量指令参数。流程是用元指令生成器从基础指南与一条示例解说种子化提示，再用裁判模型检查生成与示例的风格匹配及与证据词典的忠实度，返回批评后改写提示，按目标函数选优并缓存。
目标函数由两项加权组成。一项是与同曲参考的相似度，另一项是裁判打分。论文明确不调权重，且让裁判权重更大，因为相似度粗糙，捕捉不到细粒度情感、强度与风格。为防过拟合，每尺度只保留最优提示并在所有曲目复用，且用多个示例做消融检验。缺项是论文未报告优化步数、候选数与收敛曲线，也未给出梯度路径，因为本来就没有梯度。
迭代提示优化 × 证据忠实度： 迭代提示优化负责只改写系统与指令提示中的语气、粒度与排序等少量措辞，证据忠实度负责由裁判模型判断生成是否贴合证据词典并与风格参考保持平衡，二者搭配的原因是用户想要节目单式文风但不能以虚构为代价，组合后得到每尺度缓存复用的提示版本而模型权重始终不更新。
在哪些数据与基线上测，条件如何对齐？
数据分基准与艺术两组。基准用 3 套短音频。MusicCaps 约 20 秒人工标题，MQAD 子集约 30 秒机器标题，Song Describer 约 2 分钟人工短注。艺术组用无配对参考的长音频。瓦格纳指环歌剧 11 部约 15.1 小时，MSD 全曲 100 首约 6.2 小时。前者考叙事丰富的歌剧，后者考完整歌曲。
下表把样本量、时长与标注来源并列，比较问题是两组数据的难度是否可比。公平条件是同一系统要在两种时长与两种标注风格下都测，避免只在短机器标题上取胜。指标方向是基准看与参考越接近越好，艺术看情感一致、语义接近与艺术分越高越好。
| 来源证据 | 量化值一 | 量化值二 | 量化值三 | 量化值四 |
|---|---|---|---|---|
| 来源句一 | 20s | 1 | 5.7 | — |
| 来源句二 | 30s | 1 | 9.1 | — |
| 来源句三 | 706 | 23.2 | — | — |
| 来源句四 | 11 | 15.1 | — | — |
| 来源句五 | 100 | 6.2 | — | — |
表中 MusicCaps 与 Song Describer 都是人工但长度与风格差异大，MQAD 是机器标题风格更规整，歌剧与 MSD 全曲则无参考只能间接评价。这种搭配迫使系统展示跨数据集泛化，而非拟合某一种措辞。
基线选 6 个开源音乐语言模型。FUTGA、MusiLingo、MU-LLaMA、Qwen-Audio、Qwen-Omni 与 LP-MusicCaps。为公平，除 LP-MusicCaps 外每个基线都测共享极简提示与其推荐模板两种设置，取较好者进主表，附录保留两种。另设消融基线，用与 MAC 相同的证据文本但去掉分层上下文与提示优化，以分离两处贡献。无公开权重的模型不纳入比较。
情感对齐 × 艺术分： 情感对齐负责比较从解说文本预测的情感与从音频预测的情感是否一致，艺术分负责把事实性、表现力与相邻窗口连贯性合成为无参考长叙事质量，语义对齐只测音频文本嵌入余弦易偏爱短泛文本，二者搭配的原因是艺术解说既要情感走向正确又要具体连贯，组合后才能区分华丽但空洞的文本与扎实且连贯的叙事。
实现参数与评价公式如何复现？
复现先对齐实现参数。切分、聚合阈值、生成温度与硬件预算都按原文交代。下表把关键取值集中，比较问题是换环境时哪些必须照抄才能得到可比叙事。公平条件是同一证据抽取与同一生成预算。数值越大不代表越好，而是决定粒度与成本。
| 来源证据 | 量化值一 | 量化值二 | 量化值三 | 量化值四 |
|---|---|---|---|---|
| 来源句一 | 10 | +1 | 2 | 1；4 |
| 来源句二 | 1 | 3 | 2 | 0；5 |
| 来源句三 | 29 | 2 | 25 | 0.2；2048；42；3090；24 GB |
| 来源句四 | 3090 | 24 GB | — | — |
表后需要强调三点。第一，全局 4 段与局部 5.0 秒是本文取值，不是普适最优，改动会改变上下文长度与连贯性。第二，阈值 0.1 与取前 5、前 3 是噪声抑制手段，阈值过低会引入误检标签，过高会丢稀有乐器。第三，生成用两块 24 GB 卡分别跑推理与特征抽取，说明长曲流水线的显存分工，推理延迟与吞吐论文未报告，不能从卡数推定实时性。
评价分有参考与无参考。有参考用 BLEU、ROUGE-L、METEOR 与 BERTScore，越高越好。无参考用三项。语义对齐是音频与解说经 MuQ-MuLan 嵌入后的余弦。情感对齐是用在 CARER 上微调的分类器从解说预测情感，再与音频侧情感预测比一致。
艺术分是事实性、表现力与连贯性的合成，事实性用软同义与数字匹配减词汇偏置，表现力看具体性与词汇多样性，连贯性看相邻窗口解说嵌入相似度均值。另用两个独立大模型裁判对流畅、完整、表现打 0 到 5 分。
基准短标题上赢在哪里，输在哪里？
主结果的比较问题是免训练证据约束能否在有参考基准上超过微调基线。公平条件是为公平比较只用功能级分层上下文生成全局解说，不叠加多尺度集成优势。指标方向是 5 个自动指标越高越好。
| 来源证据 | 量化值一 | 量化值二 | 量化值三 | 量化值四 |
|---|---|---|---|---|
| 来源句一 | 0.3112 | 0.1414 | 0.2271 | 0.1614；0.1807；0.1984；0.0546；0.1785；0.1316；0.0932；0.1395；0.0380；0.1411；0.1261；0.1708 |
| 来源句二 | 0.2452 | 0.1147 | 0.2070 | 0.1440；0.1352；0.1360；0.0336；0.1475；0.1020；0.0188；0.0676；0.0183；0.1407；0.0842；0.0052 |
| 来源句三 | 20 | 0.1949 | 0.0975 | 0.1654；0.1926；0.2705；0.2500；0.1125；0.2045；0.2120；0.2622；0.1528；0.0508；0.1745；0.1465；0.2132 |
表后解释主要收益与代价。在 MQAD 上 MAC 全面最好，说明当参考风格规整且与 MIR 属性重合度高时，提示优化能有效适配指令与风格。在 MusicCaps 与 Song Describer 上增益小且不一致，因为人工标题常强调 MIR 证据弱覆盖的稀有乐器与文化场景线索，且风格差异大，长而多样或短而省略显式速度节拍，微调基线反而因域内对齐占优。
未胜出项必须点名。MusicCaps 上 FUTGA 与 LP-MusicCaps 在部分指标仍居前二，Song Describer 上 MU-LLaMA 与 FUTGA 更稳。这支持论文的判断，MAC 换来的是跨数据集更均匀的鲁棒性与模块化免重训，而非每列第一。去掉提示优化后 MQAD 明显回落，说明风格适配贡献可度量。
长叙事艺术评价是否支持更连贯的主张？
艺术场景的比较问题是无参考时长曲上谁的叙事更扎实动人。公平条件是在 MSD 全曲与歌剧上用同一情感、语义、艺术三件套，外加同量纲裁判打分。方向是三项越高越好，裁判 0 到 5 分越高越好。
| 来源证据 | 量化值一 | 量化值二 | 量化值三 | 量化值四 |
|---|---|---|---|---|
| 来源句三 | 0 | 5 | — | — |
表后解释机制。MAC 在两套长音频上都领先情感与艺术分，歌剧上的艺术分优势更大，说明维持跨段叙事声音在超长结构上价值更高。Qwen-Omni 在语义上最好，但这与 MuQ-MuLan 偏爱短通用匹配有关，长而结构化的解说反而被低估。去掉分层上下文后歌剧语义略升但艺术分下降，正好暴露语义余弦与叙事质量的背离。
裁判打分进一步佐证。MAC 在完整性上领先，在流畅与表现上至少持平最好，两个裁判的绝对分因校准不同不可跨裁判比较，只能看排名。论文给出的 MSD 首 5 秒例子把 107 每分钟拍数、每秒近五拍、电吉他鼓合成器与男声、降 B 小调到降 G 大调的调性游移都写进推进叙事，颜色标注区分证据、文采与衔接词，便于核对每句的证据来源。
去掉分层与优化后，哪项能力先掉？
消融要回答两个部件各自管什么。去掉分层上下文但保留证据文本，主要掉艺术分，因为跨段链接与相邻窗口 1 致性被削弱，段与段变成孤立描写。去掉提示优化但保留分层，主要掉情感与艺术，因为输出退回更安全、更平淡的措辞，证据使用变弱。
歌剧上的不对称值得细读。去掉优化在歌剧上的艺术分跌幅大于在 MSD 上的跌幅，说明越长、越需要统一叙事声音，风格指令的价值越大。去掉分层在歌剧上语义微升，可能是短通用句更容易命中嵌入余弦，但连贯性公式与裁判完整性同时下降，说明自动语义指标不能当人评。
论文还提到多示例检验提示优化的过拟合，但未给出完整步数与方差。复现时应把消融理解为必要性证据而非充分性证明，即去掉后变差支持其有用，但不能反推加上后必然在所有曲风都变好。
哪些边界没有测，哪些数字不能外推？
第一，长艺术解说的可靠评价仍是开放问题。大模型裁判只是间接代理，有局限。人工评价主观且贵，论文没有做。自动语义指标偏爱短泛文本，艺术分虽经软匹配减偏置，但因生成与评价同用 MIR 与 MERT 伪标签，存在自偏好风险，不能把艺术分当金标准。
第二，证据覆盖有盲区。稀有乐器、文化与情境线索弱于 MIR 表达，人类标题常写而系统抽不到，这解释了部分基准上的差距。相关性不等于因果，不能把情感一致高直接说成系统理解情感，只能说在所用分类器与伪标签下的预测一致。
第三，成本与延迟缺项。论文给了硬件分工与生成预算，但未测量误判率、延迟与总体成本，不能承诺这些量得到改善。总体趋势不等于每组每步成立，末步好不代表全程好，单样本例子不能推广到全部歌剧。
复现先做什么，需要什么才能跑通？
先按证据准备代码与数据。代码当前可用，地址为论文注明的开源仓库。权重方面 MERT、MIR 工具、节拍跟踪与生成大模型需分别可下载或可调用，论文只声明代码与示例，不能把代码可用等同于整系统一键可运行。
第一步跑通切分与编码。重采样、MSAF 功能切分、5.0 秒局部窗、4 维声学与 MERT 分布、阈值与取前聚合要逐项核对，保存每尺度证据词典与口语化上下文。第二步跑通 1 次提示优化并缓存每尺度提示，注意只改措辞不训权重，记录示例选择以备回查。第三步用固定温度、最大长度与种子做分段生成与格式重试，再拼接全曲。
还需补的验证有三项。用另一歌剧或全曲集测跨库稳定性。找人工听评核对乐器情绪转折是否真实可听。用不同裁判与嵌入模型重算情感与语义，检验排名是否依赖特定评价器。超参数照抄原文取值起步，再小范围扰动阈值与窗口，观察艺术分与连贯性的变化方向。
何时值得尝试，何时不值得？
当任务是分钟级无参考叙事，且配对数据不足、又需要可控文风时值得尝试。MAC 的分工把听与说解耦，听由可替换的检索与分类工具负责，说由现成大模型负责，中间用可读伪证据与分层上下文衔接，调试时能定位到某段证据缺失还是提示措辞问题。
当任务是短片段拟合特定人工措辞，或评价只看词语重叠时不值得硬套。此时微调基线可能更高，且长叙事的连贯与文采在短指标下不加分。当证据工具覆盖不到关键线索时，应先补乐器与文化标签的识别，而不是调提示。
常见误解需要澄清。免训练不等于确定性，也不等于零成本，推理与特征抽取仍需显存与时间。提示优化不是微调，不能从冻结参数推定输出不变。艺术分高不等于人类听众一定更喜欢，还需人工与多评价器交叉验证。记住这些边界，才能把该方法用在它真正擅长的位置。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses