DJustify：给人声流行歌做衔接与故事整场的 AI DJ

📄 DJustify：给人声流行歌做衔接与故事整场的 AI DJ

英文题目：DJustify: Reason-and-Verify DJ Planning for Pop Transitions and Story-Driven Sets

评分：6.4/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Wei-Han Hsu：机构信息未能在本次解析中与作者逐人可靠绑定
• Li-Jie Lin：机构信息未能在本次解析中与作者逐人可靠绑定
• Po-Hsuan Lai：机构信息未能在本次解析中与作者逐人可靠绑定
• Po-Hsiang Huang：机构信息未能在本次解析中与作者逐人可靠绑定
• Jeng-Yue Liu：机构信息未能在本次解析中与作者逐人可靠绑定
• Li Su：机构信息未能在本次解析中与作者逐人可靠绑定
• Yi-Hsuan Yang：机构信息未能在本次解析中与作者逐人可靠绑定

📌 核心摘要

自动DJ需让两首歌不间断衔接，流行乐人声密集、段落功能多变，选曲、进出点、重叠长度与手法相互牵制，固定规则难以兼顾。DJustify用同一指令微调模型承担过渡规划、选曲与按情感弧线排歌，规划先给出候选，再渲染成音频交外部声学检查器核验，失败时返回可执行修改并继续修复。与已有电子舞曲混音系统的差异在于联合推理加渲染后校验，并通过采样保留同一曲对的多种合法过渡。输入侧用节拍与下拍网格、结构分段、和弦、逐帧人声活动和效价与唤醒度标签构成候选切点，输出包含 incoming曲目、cue-out、cue-in、重叠长度和手法的结构化方案。在由种子曲构成固定曲对、听众按1–10分制打分的过渡盲听Test1中，平均意见分MOS为本系统5.6高于Mosaikbox的4.0。在同一Test1固定曲对盲听设置下，平均意见分MOS为本系统5.6高于自实现跨淡入淡出的4.7但低于人类DJ的6.7。在给定故事提示、每套三分钟的故事集盲听Test2中，故事规划的故事连贯性评分显著高于无故事消融，而过渡质量评分与人类DJ无可测差距。结论验证范围限于自采曲库和短时试听，原文披露的本地部署成本为全程运行于一块48 GB显卡并使用4位量化模型。

🔗 开源与复现资源

• 第三方资源：https://github.com/ddman1101/DJustify — 链接可访问（HTTP 200）

• 第三方资源：https://jamie930625.github.io/djustify/ — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

DJ 要解决的输入输出是什么

DJ 的基本任务是让音乐不断流。用两张唱盘交替播放，上一首还没有结束，下一首已经在某个进入点悄悄进来，两首歌重叠一段时间后再完全交接，听众几乎感觉不到接缝。自动 DJ 要替人做 3 个互相影响的决定：下一首放哪首歌，上一首从哪里离开、下一首从哪里进入，以及两首歌用什么手法叠在一起。

这件事在电子舞曲里相对好做，因为乐句规整、前奏尾奏多是纯器乐、节拍网格稳定，固定规则按拍子对齐再做交叉淡化就能混过去。流行歌难在人声又密又突出，主歌副歌桥段的功能结构每首歌都不一样，风格跨度也大。同样的混合手法，换一组进出位置就可能把一句正在唱的主歌拦腰切断，换一首下一首歌，原来可用的进出位置和手法又都不成立了。所以论文把选歌、选点和选手法看成一个耦合问题，要求一次给出联合方案，而不是各自最优再拼起来。

已有自动 DJ 路线卡在哪里

一条路线是自动 DJ 混音。早期按速度和能量排序，或按节拍和隐主题相似度选混音点，更完整的管线把选点和对拍混合写成带约束的优化，Mosaikbox 再加上和声兼容和声部分离。另一条是学习式直接生成过渡，例如对抗学习交叉推子和均衡曲线，或用生成模型排歌并合成过渡。这些工作几乎只在电子舞曲上搭建和评测，人声处理多是把人声分离掉或检测重叠人声，而不是通过进出时间把完整乐句保住，评价也看节拍与和声而非歌词是否被切断，而且选歌、选点和合成是逐对孤立优化的，播放顺序没有预设的情绪形状。

另一条是语言模型的推理与自我修正。思维链提示能改善推理，但增益集中在符号和数学任务，让模型自己改自己的输出，若没有外部反馈，自我批评常常不提升甚至变差。音乐智能体方面，最接近的是用思维链融合音乐信息检索工具输出来做和弦识别，但那是对符号标签的融合，不是听渲染后的音频。本文的定位是把两者接起来：用大语言模型做联合推理和多采样，用渲染后音频的外部确定性检查来验证和修复，并且把播放顺序按情绪弧来规划。论文明确说明不与为鼓打贝斯设计的完整管线直接比较，因为目标风格不同。

为什么流行衔接需要先推理再听一遍

纯文本的大语言模型能读结构、歌词和候选点并给出理由，但它听不见自己排出来的混音。如果只让它自己检查自己，在没有外部信号时并不可靠。另一方面，符号锚点只是在纸面上合法，真正落到按节拍网格对齐的秒数并渲染出来，才会暴露切在乐句中间、两路人声撞车、中间出现静音空洞或进歌还停在前奏里等问题。

论文因此把规则的角色从做决定改成做验证。规则不再直接规定用哪种混音，而是作为一组声学门限，界定哪些渲染结果算合法，不合法时告诉规划器具体改哪里。规划器负责产生多样化的候选，验证器负责兜底，这样既保留多种合理解法，又能修掉偶发但刺耳的错误。同一个循环既做单段衔接，也做整场编排，只是整场多了一个故事提示和选歌排序的外层。

整体流程如何从一首歌走到一段混音和一场演出

系统分上下两层但共用同一个验证规划循环，驱动它们的都是同一个指令微调大语言模型 Qwen3.6-35B-A3B，只靠任务提示词区分做衔接、选歌还是排整场。全部在本地一块 48 GB 的 NVIDIA RTX 6000 Ada 上运行，模型为 4 比特量化，不调用闭源接口。

单段衔接的输入是正在播放的歌 A 和一个候选池，检索模块先给出候选池，规划器联合选出进来的歌 B、在 A 上的离开点、在 B 上的进入点、重叠长度和混合手法。方案渲染成音频后，外部检查器按人声、能量、结构和配对 4 类门限打分，失败就触发修复，最多修 4 轮，还不过就带标记返回而不重新采样。整场则是从指定的开场歌出发，按故事提示选歌并排成先起后收的情绪弧，每个相邻连接固定配对再走同样的渲染验证循环。

下一首歌选择 × 进出点 × 混合手法： 下一首歌选择决定进来的是哪一首歌，进出点决定上一首从哪里离开、下一首从哪里进入以及重叠多长，混合手法决定用长叠加还是带效果的短切换，三者互相牵制，换一首歌就换了一组可用的进出位置和手法，因此由同一个规划器一次给出完整方案。

下面这张总览图把两层画在了一起，读图时先走主路径再看回路，有助于理解规划与验证的分工。

看图路径： 1. 先沿左侧种子歌与歌曲池经预处理到检索模块的主箭头看输入来源；2. 再看中间规划器内选歌与选点选手法之间的双向箭头；3. 接着看渲染、检查器与失败修复回路如何回到规划器；4. 最后看下方故事描述经情绪曲线到同一验证循环的整场路径

论文图 1。原论文 Figure 1:：“AI-DJ overview. Top: a planner jointly selects the next track, cue points, and technique; the rendered transition is scored by acoustic checks (vocal/energy/structure/pairing)…”。

上半是单段系统，从种子歌 A 和歌曲池经预处理与检索进入规划器，规划器同时做选歌与选点选手法，渲染后经检查器，失败沿修复箭头回去重新渲染，通过才输出衔接。下半是整场系统，故事描述经同一模型变成情绪曲线，再选歌排序后进入共用的验证规划循环，播完一段再选下一首。中间的共享模块箭头说明两层用的是同一套循环，检查器标注的人声、能量、结构和配对对应下文四族门限。

预处理把每首歌变成什么可用信息

在规划之前，每首歌先用现成估计器得到节拍与下拍网格、结构分段和和弦。真正驱动选点和检查的是两类特征。一类是逐帧的人声活动，用在 Jamendo 语料上训练的唱歌声检测网络得到，告诉规划器哪里在唱、哪里是间奏。另一类是情绪标签，先用 MuQ-MuLan 嵌入上的回归基线得到，再结合音频和转写歌词用音频语言模型在上下文中精修，用于情绪弧和配对门限。

基于这些信息，系统只允许在音乐上站得住的锚点上打点，例如乐句尾、段落边界、和声重新开始处和低频起始点，并限制在网格上。这些锚点构成每首歌的候选短表，也就是交给规划器的可选位置卡。规划器不能任意指定秒数，只能从短表里选，这就把搜索空间收敛到乐句完整、节拍对齐的位置上。

cue-out × cue-in × 重叠长度： cue-out 是正在播放歌曲的离开位置，cue-in 是进入歌曲的进入位置，重叠长度是两首歌同时发声的时间，三者共同决定保留哪一句歌词、压住哪一句，系统先从预计算的候选短表里选点，渲染时再对齐到节拍网格的具体秒数。

规划器一次给出什么样的方案

规划器拿到歌 A 和候选池后，要同时输出五件事：进来的歌 B、A 上的离开点、B 上的进入点、重叠长度和混合手法。手法覆盖从长重叠到短切换的连续谱，长重叠如副歌叠在尾奏上，短切换则带一个效果如回声、刹车、倒带或滤波器。论文把显式思考模式作为开关来研究：关掉时模型直接输出结构化方案，打开时先就结构、人声活动、候选锚点和手法进行权衡再落子。

采样温度也分开设置，衔接采样用 0.6 以保证混音可靠，选歌用 1.0 以让曲目更多样。因为符号锚点要到渲染时才解析为网格上的秒数，纸面合法不等于听感合法，所以必须渲染后再验证。论文特意不用音频语言模型当打分器，理由是它能给分但未必真听见了声音。

长叠加 × 效果切换 × 回声与刹车： 长叠加指重叠时间长的融合，例如副歌叠在前一首尾奏上，效果切换指交接干脆并加一个效果，论文列举回声、刹车、倒带和滤波器，规划器按两首歌的结构和人声活动在连续谱上挑选，检查器在人声碰撞或能量空洞时要求缩短重叠或换手法。

检查器发现哪几类错误又让规划器怎么改

检查器是一组跑在渲染信号上的确定性声学门限，分四族。失败时它不只说不行，而是返回可执行的改法，例如把进出点移到乐句尾、缩短重叠或换手法，规划器据此修改，最多 4 轮。下表是论文给出的门限与纠正动作对照，读表时注意比较问题是同一段渲染音频要过哪几关、每关失败对应什么改法，通过为合法，不通过就要按动作改，而不是给一个好坏分数。

这张表说明检查器只管渲染后可听见的硬伤和配对失配，不管风格偏好。表中配对门限在固定歌对时会关闭，因为此时不允许重选 B。开关思考与检查可得到 3 个变体：完整版是有思考加检查修复，只去检查的是有思考无修复，两者都去的相当于直接输出。论文用这 3 个变体分离思考与验证各自的作用。

显式思考 × 渲染后验证 × 修复： 显式思考是模型在输出结构化方案前先权衡结构、人声和候选锚点，渲染后验证是把方案真正混成音频再用确定性声学门限检查，修复是检查器返回移到乐句尾或缩短重叠这类可执行改法，思考增加多样性和可执行比例，验证兜住纸面成立但听感出错的方案。

故事编排如何把多首歌排成先起后收

整场从一首给定的开场歌开始，模型从共享池子里按歌词、情绪倾向与唤醒度、速度和调性挑出最能实现上升再收束叙事的歌曲，每个故事幕选一首，并在速度与调性兼容门限下排序。每个相邻连接固定配对后走同样的衔接循环，歌词钩子落点还会额外影响该段内的进出位置。

为分离故事的作用，论文设了无故事消融：同样的门限和检查器都在，但没有故事，只按声学兼容逐首选下一首。故事版与无故事版的对比因此包含选歌排序加开场策略的整体效果，而不只是排序本身。论文也交代了开场差异，故事版、交叉淡化和 Mosaikbox 都从规定的开场歌开始，无故事版则从有合法出口锚点的歌曲里随机抽开场。

valence × arousal × 情绪弧： valence 指情绪的正负倾向，arousal 指唤醒度或能量高低，情绪弧是整场按开场、推进、收尾安排的倾向与能量走向，故事规划先按文字故事选出符合弧线的歌曲并排序，再对每个相邻连接调用同样的衔接验证循环。

没有训练新混音模型时实际算了什么

这篇没有训练端到端的混音生成网络，也没有微调作为规划器的大语言模型。需要说清的是，系统里实际执行的计算是预处理估计、检索、模型推理、渲染和门限检查。预处理调用现成的节拍、结构和和弦估计器，人声检测网络是在 Jamendo 上训练的，情绪标签是回归基线加音频语言模型精修，这些是输入特征的来源，不是本文新训练的混音器。

规划与修复的计算是调用本地量化的模型做推理，按温度采样多次方案，渲染模块把符号方案落到网格秒数并混成音频，检查器在波形上算门限并返回改法。没有训练不等于输出确定，采样温度和检索候选都带来随机性，所以同一对歌能给出多种衔接。论文也没有报告梯度路径、参数冻结或优化器更新，因为不存在针对混音目标的反向传播，复现时第一步是把预处理、检索、渲染和门限跑通，而不是准备训练集。

听感实验在什么条件下比较才公平

论文做了两个盲听和一个客观消融。衔接测试固定歌对，十二首种子歌取自真实 DJ 演出，每种系统拿到相同的歌对，这样比的只是选点与合成，选歌的作用放到整场测试里，此时会重选进入歌曲的配对门限是不激活的。被试对每段按 1 到 10 打分，条件包括 3 个自家变体、人类 DJ、Mosaikbox 已发布实现、按已有思路自实现的流行平台式交叉淡化，以及换用外部检测器选点的基线，后者跑完整管线和修复但选点种子换成外部检测器，用来分离候选位置的作用。自家每个刺激都是规划器一次生成，不重采样不挑选。

整场测试每人领一个故事提示，比较 3 分钟的演出，分别打故事连贯和衔接质量，条件有故事版、无故事版、人类 DJ 和两个自动系统。人类条件由职业 DJ 制作，单段时混同样的固定对，整场时自由选歌选点选手法。所有选歌都从自采的 400 首全曲池子里选，以英文和中文为主兼有韩语和日语流行歌，速度约 75 到 140 拍，预处理方式一致，刺激都做响度归一化并在适用时对拍。每人随机评一部分，共 103 人参加衔接测试、99 人参加整场测试，其中 28 名衔接被试自报有 DJ 实操经验。统计用均值加 95% 自助置信区间，差异用置换检验，衔接是配对、整场按故事分层。

单段衔接在固定歌对上赢在哪里

下图展示固定歌对下各系统衔接质量的平均分，读图时先看横轴 1 到 10 分的条形长短，再看完整系统与人类 DJ、交叉淡化与 Mosaikbox 的差距，误差条为 95% 自助区间。

看图路径： 1. 先看纵轴七个条件的排列与横轴 1 到 10 分的均值条长度；2. 再比较完整系统与人类 DJ、交叉淡化与 Mosaikbox 的条形差距

论文图 2。原论文 Figure 2:：“Transition quality in Test1 (N=103). Bars show mean ratings; error bars are 95% bootstrap confidence intervals.”。

图中人类 DJ 约 6.7 分，完整系统约 5.6 分，两个去掉部分机制的变体在 5.5 到 5.7 之间，换用外部选点后掉到 4.8 分，交叉淡化约 4.7 分，Mosaikbox 约 4.0 分。有 DJ 经验的听众呈现同样排序，只是把人类 DJ 拉得更开。Mosaikbox 是电子舞曲混音器直接跑流行歌，交叉淡化是自实现的拍对齐淡化而非完整选歌优化，所以结论只在流行人声、固定对、盲听均值下成立。

下表把关键对照放在一起，比较问题是在固定歌对下只换选点与合成，指标是 1 到 10 分越高越好，公平条件是同一批听众内配对比较，表中配对差值与显著性来自原文置换检验。

这个对照的结果意味着换外部选点的基线跑了同样的修复仍只有 4.8 分，且 12 对里只有 1 对的位置与自家重合，说明差距主要来自起点候选是不是懂人声的锚点，修复补不上起点差距。完整系统仍低于人类 DJ，有经验听众差距更大到约 1.9 分，因此不能说已达到人类水平，4 组显著性经校正后仍成立。

整场故事编排是否让人听出连贯性

再看整场质量的读图任务，重点看故事分与衔接分两组柱子在故事版、无故事版与人类 DJ 之间的高低，样本为 99 人按故事分层。

看图路径： 1. 先区分故事分与衔接分两组柱子；2. 再看故事规划与无故事在故事分上的高低与衔接分的接近；3. 最后比较故事规划与人类 DJ 两组柱子的高度是否接近

论文图 4。原论文 Figure 4:：“Story-driven set quality (Test2, N=99), mean story and transition ratings.”。

图中可见故事版的故事分与衔接分都与人类 DJ 接近，无故事版的故事分明显低一截而衔接分与故事版接近，交叉淡化和 Mosaikbox 整体偏低。原文报告故事版的故事分比无故事版高约 1.9 分，故事分层检验显著，衔接分两者无区别，故事版的故事分与人类 DJ 无区别，衔接分与人类 DJ 也无显著差异，但后者是未发现可测差距而不等于证明相等。故事版的衔接分高于交叉淡化但该项未校正，故事分与交叉淡化则无显著差异。

这个对比的成立条件要讲清。故事版与无故事版共用衔接引擎且衔接分无区别，又从同一池子选出每场都不同的歌曲，所以故事分的提升来自选歌加排序加开场策略的整体，而不是衔接手法本身。由于无故事版开场是随机抽而故事版是规定开场，开场差异也是对比的一部分。整场是 3 分钟短演出与三选一故事提示下的结果，不能直接推广到 1 小时俱乐部演出。

思考与检查分别带来多样性和可执行性吗

客观消融回答两个问题：方案能不能渲染出来，以及固定歌对能给出多少种不同的合法衔接。多样性定义为手法、切出点或进入点任一不同即算不同，对 20 对固定歌每对采样十次计数。可执行比例是在 100 个采样种子上能执行出音频的比例，它只管能不能出声，不管好不好听。

下图比较 4 种设置下每对固定歌的不同衔接数量，读图时先看横轴从无思考提议到完整系统的顺序，再看纵轴十次采样中不同衔接的计数分布，红色虚线为确定性规则的 1 种。

看图路径： 1. 先看横轴四个设置从无思考提议到完整系统的顺序；2. 再看纵轴每对固定歌对十次采样中不同衔接的计数分布；3. 注意红色虚线标出的确定性规则为 1 与各箱体中位数的抬升

论文图 3。原论文 Figure 3:：“Output diversity over 20 fixed track pairs: for each pair we sample the planner 10 times (T=0.6) and count distinct transitions (differing in technique, cut, or entry).”。

图中完整系统每对中位数 6.5 种，四分位约 5 到 8 种，远高于确定性规则的 1 种。有思考把提议中位数从 3 提到 5，无思考时加检查从 3 提到 6，有思考时再加检查从 5 到 6.5。带检查计数的是返回的渲染输出且包含未全过的带标记返回，说明验证后仍剩多种选择。无思考加检查的提升显著，有思考再加检查的提升不显著。

下表对照开关显式思考与检查修复后，在同样 100 个采样种子上能正常出声的比例，比例越高说明执行失败越少，比较问题是同一采样规模下哪种机制减少无法渲染的情况。

从这张表看，大部分增益来自思考，可执行比例从 91% 升到 98%，再加检查修复到 99%，残余失败多是符号锚点落到离边界太近。听感上 3 个变体均值 5.7、5.5、5.6 分，置换检验无显著差异，说明检查主要增加可靠性而非平均分。但在两个种子上，无检查版本把主唱切在乐句中间，有经验听众只给 2.0 和 1.8 分，完整版修掉后到 5.0 和 4.8 分，这是偶发抢救而非测得的人声错误率。

可渲染性 × 输出多样性 × 受约束多样性： 可渲染性指采样方案能否在不违反硬性时间和效果窗约束下真正输出音频，输出多样性指对固定歌对采样十次得到多少种在手法、切出点或进入点上不同的衔接，受约束多样性是论文的折中目标，即保留多种合法方案而不是只给一个确定答案，同时用检查和修复拦下明显错误。

哪些结论还不能下与容易误解的地方

首先是未胜出项。单段完整系统仍显著低于人类 DJ，整场与人类 DJ 无显著差异只是无可测差距，不能说已达到人类水平。换外部选点的基线说明起点候选比修复更重要，但 12 对里只重合 1 对，样本很小。检查器修掉的切人声案例只有两个种子，不能算出整体人声错误率，也没有建立平均质量提升。

其次是范围限制。曲池是自采 400 首流行歌且速度集中在 75 到 140 拍，种子取自真实演出但只有十二首，整场每场只有 3 分钟，每人只听一个故事，统计上故事分层但样本仍有限。Mosaikbox 与交叉淡化的实现条件与原文完整系统不完全对等，前者跨风格使用，后者只是重实现的淡化部分。

还有一个常见误解是把可执行当成好听。论文明确区分，能渲染只代表不违反硬性时间与效果窗，残余失败多在边界附近，而好不好听要看盲听分。同样，没有训练不等于输出确定，温度采样让同一对歌有多种结果。来源未确认或链接不可达只是本次未能验证，不应记为技术缺陷。

想复现第一步要准备什么

复现的第一步是把数据与预处理跑通，而不是调大语言模型。需要准备自采曲库并为每首算出节拍下拍网格、结构分段、和弦、逐帧人声活动和情绪倾向与唤醒度，再按乐句尾、段落边界、和声重启和低频起始生成候选短表。检索模块、渲染器与四族声学门限要先能独立运行，门限失败要能返回移到乐句尾、缩短重叠、换手法或重选进入歌曲这类可执行动作。

规划器用本地量化的 Qwen3.6-35B-A3B，衔接温度 0.6、选歌温度 1.0，修复最多 4 轮，失败带标记返回。评测要分开做，固定歌对比衔接并做听众内配对检验，整场按故事分层并分别打故事与衔接分，同时报告自助区间。关键温度与信息条件都要保留，否则多样性与可执行比例数字不可比。

关于资源要分三件事说。论文正文给出两个链接分别指向代码与试听页，但本次只验证第三方可达而未确认作者归属与开源许可，因此不能写成作者已开源或权重可下载，只能说论文提供了相应链接，实际可用性需以仓库页面为准。系统可运行还取决于本地显卡与量化环境，论文报告为单块 48 GB 卡。

什么时候值得尝试这个思路

当曲库是人声密集的流行歌，且主要痛点是切词、撞人声或进歌还停在前奏里，这个先联合规划再听一遍修复的思路值得尝试。它的代价是每次方案都要渲染并最多修 4 轮，推理与计算开销高于一次淡化，但换来的是同一对歌有多种可选衔接和偶发错误的兜底。如果起点候选本身不懂人声，后面再修也补不上，应该先把候选锚点做好。

整场故事编排适合短演出或按情绪弧组歌的场景，论文在 3 分钟与三选一故事下显示故事分提升且衔接分不掉，但长演出、舞池能量控制与调速跨度更大的情况尚未评测。还需要补的验证包括更大曲池与更多种子下的人声错误率、修复轮数与延迟成本，以及与更多流行向自动 DJ 在同等选歌条件下的对比。总体上，把生成与验证分开是实用的设计，规划器管多样性，确定性门限管可靠性，两者不要互相替代。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-27 语音/音乐/音频论文速递