跟住键盘手而不是固定磁带：Accomplice 如何把跟谱、指挥与播放拆开做现场电子伴奏

英文题目：Accomplice: Computer Accompaniment for Keyboard Performance.

会议身份：conference:nime:2026:conference-paper-id:nime2026_140

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#开源工具 #信号处理 #音乐 #音频交互

评分：5.8/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.7/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Roger Dannenberg：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

Accomplice要解决的任务是以键盘MIDI输入为感知、以MIDI与OSC和O2消息为输出，在含停顿、华彩与变速的实验音乐中实时估计总谱位置并驱动电子声部，难点在于和弦内音符乱序、滚奏跨时、错音与临时变速下的鲁棒对齐和跨设备低抖动同步。Conductor模块负责跟随与速度位置估计，用动态分组把无序演奏音符划分到对应总谱和弦并输出乐谱时间映射，其输出进入扁平乐谱秒时间映射。虚拟时间调度器先把本地真实时间对齐到全局秒时间，再经扁平乐谱秒时间与节拍位置两级变换把谱面速度标记编译进播放时钟，形成可平滑收敛的播放映射。Player模块负责按cue语义与每轨微调参数调度合成器与多媒体，并做延迟预补偿与预滚建立控制器状态。与早期动态规划跟随相比，新机制对归入同一和弦的演奏音符施加发音间隔上限并对不匹配的额外音符施加小惩罚，从而抑制跨和弦的贪婪误匹配。在133场钢琴演奏评测任务下，扩展跟随方法的总预测误差指标为不足最优HMM基线系统总预测误差指标的一半，低于最优HMM基线系统的总预测误差指标。该结论适用边界受限于键盘MIDI输入与排练充分的剧目，对声乐直跟、颤音装饰音与左右手严重错位等情况尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，系统要输出什么，哪些信息必须保留？

这篇论文要解决的是现场电子音乐中真人键盘与计算机如何合拍的问题。输入是来自键盘的 MIDI，可能是电子键盘，也可能是带 MIDI 输出的原声钢琴，例如雅马哈自动演奏钢琴。目标不是把整首曲子从头到尾固定播放，而是让计算机听着真人演奏，实时估计演奏到了谱面哪个位置、以什么速度前进，再据此驱动伴奏与控制。

输出包括 3 类。第一是 MIDI 音符与控制器，可以驱动合成器或数字音频工作站，也可以开关效果器插件。第二是开放声音控制协议 OSC 消息与 O2 消息，可以控制 Max 与 Pd 等交互软件、采样器、视频或灯光等时间媒体。第三是排练与演出用的界面状态，例如滚动钢琴卷帘显示当前位置。

必须保留的信息有 3 层。第一是谱面位置，不能只保留速度，因为重新进入、中途启动与预卷控制器都需要位置。第二是速度与速度映射，因为谱面写明的变速要提前执行，而演奏者的表情性偏离要靠实测回归来修正。第三是事件的时间戳与通道属性，因为延迟补偿、预卷程序切换与区分发声消息和状态消息都依赖这些字段。

开场先沿一个样本走完全程。钢琴家按下若干音符，MIDI 进入指挥器中的跟谱器，跟谱器对照独奏谱给出当前位置，指挥器结合近期音符做线性回归得到速度，播放器按该位置与速度推进伴奏谱，在对应拍点发出 MIDI 音符或文本谱面规定的 OSC 字符串，合成器发声。本文没有训练神经网络，因此后文训练一节讲的是无训练声明与真实计算过程。

此前有哪些路线，为何本文仍选择符号跟随？

论文把相关工作分成 3 条路线。最早是 1984 年前后由丹嫩贝格与维尔科等人开创的符号或离散事件伴奏，用音高事件与谱面做匹配，输入多为 MIDI 或单音检出后的符号。第二条是针对原声乐器的连续信号路线，用概率方法与机器学习直接处理音频，代表性工作包括对歌声跟踪的随机方法、用隐马尔可夫模型做声学分割与跟随，以及后来对表情速度预测、伴奏声部表情化与多声部强化学习对齐的研究。第 3 条是近期面向古典音频的研究，论文引用了综述与对齐数据集，指出音频输入仍是研究热点。

作者的选择理由写得很明确。音频输入要处理复音识别、混响变化、伴奏串音与话筒位置等不确定性，而 MIDI 提供准确离散的音符信息，延迟低且可靠，因此在真实音乐厅干扰下更稳定。也就是说，同样的跟随目标下，符号输入把识别问题绕开，把主要难度留给对齐、速度估计与演出结构处理。

论文还提到历史背景。早期计算机伴奏曾被寄望于解放固定磁带，但常规 MIDI 音色吸引力有限，后来实时音频处理兴起，作曲家转向用现场电子变换声音。40 年后研究界重拾伴奏，但多集中于古典音频，而现代作曲家可能更需要灵活性、开放软件与常用工具兼容。Accomplice 的定位因此不是在音频跟随上竞争精度，而是在 MIDI 跟随基础上提供模块化、可与常用软件集成的实验音乐演出系统。

实验音乐现场提出了哪些固定播放解决不了的问题？

论文第 3 节把基本操作定义为 3 段。现场演奏者演奏作品，跟随器比较演奏与谱面并持续估计谱面位置，指挥器据此决定伴奏当前位置与速度，播放器向合成器或其他过程发送控制。难点在于实验音乐很少能从头到尾匀速演完。谱面本身有速度变化，演奏者还会有表情性伸缩、呼吸延长、错音、琶音拉开、左右手错位，以及华彩、休止与延长记号等不可预测段落。

如果只用固定媒体，要么电子声部必须做得很突出以便歌手找拍，要么只能做成不需要精密同步的铺底，音乐意图无法实现。论文在歌剧案例中明确报告了这种困境。此前用固定媒体演室内歌剧时，受限于演出空间的合成排练，只能让固定段落清晰可闻或弱化同步要求。

另一个问题是延迟与分布。伴奏软件、键盘、MIDI 输入输出与音频合成都有延迟，多台计算机时钟也不一致，若不做时间戳与时钟同步，多机播放会抖动。还有可排练性问题。排练中需要从任意位置启动、静音独奏声道、调整音量时值与音色路由，还要在中途进入时把合成器控制器恢复到期望值，否则每次重来都要从头播放。Accomplice 要解决的正是这些演出工程问题。跟随要容忍错音与和弦内乱序，调度要同时尊重谱面速度与实测速度，结构上要用提示点表达启动等待与定速段落，输出上要同时覆盖音符与参数控制。

系统全景：谁听、谁定拍、谁发声？

Accomplice 用 Serpent 语言实现，Serpent 被描述为类似 Python 的音乐编程语言。系统分成两个主要进程。指挥器实现乐谱跟随与速度位置估计，播放器按指挥器的时间信息演奏谱面。两者分离后可以有多个播放器，例如需要很多 MIDI 通道，或在多台计算机上做声音合成，未来还可以用同一接口换成支持时间伸缩的音频播放、帧率可调的视频播放或灯光提示。

网络层用 O2 协议支撑分布设计，O2 提供时钟同步使不同计算机按共享全局时间调度，并提供自动发现以免去手动配置地址与端口。输入输出关系可以这样复述。现场演奏与谱面同时进入指挥器，指挥器输出谱面位置与速度给播放器，谱面也同时提供给播放器作为待播放内容，播放器再输出到合成器与数字信号处理。谱面位置与速度是唯一的跨进程指挥信号，播放器不直接听键盘，只听指挥器的时间映射。这样的分工使跟随算法可以替换，例如未来用音频跟随的指挥器，而播放器逻辑不变。

下图是系统框图，先看输入如何汇入指挥器，再看指挥信号如何驱动播放器，最后看发声与效果两条输出路径。

看图路径： 1. 先找到上方两个输入框并确认左侧是现场演奏而右侧是谱面内容；2. 再沿中间横向箭头确认指挥器向播放器只传递位置与速度；3. 最后看播放器下方分叉到合成器与效果处理的两个输出箭头

论文图 2。原论文 Figure 2：“Accomplice system, input, and output with separate”。

从像素看，图上方有两个圆角输入框，左侧标注现场演奏，右侧标注谱面，两条箭头向下汇入左侧大框指挥器，右侧大框播放器也有一条来自谱面的箭头，中间一条横箭头标注谱面位置与速度从指挥器指向播放器，播放器下方分出两条箭头分别指向合成器与效果处理框。该图把前述分工可视化。指挥器是大脑，播放器是手，谱面是乐谱，位置速度是节拍手势，合成器与效果是乐器。对应到真实组件就是离散对齐只发生在指挥器内部，连续调度只发生在播放器内部，跨进程只有低维时间状态，避免把每个音符的识别结果都广播出去。

时间如何表示：四级调度器各自听谁的？

论文用 4 级调度器维护多种时间表示。最底层是真实时间，即本机计算机时钟。上一层是虚拟时间调度器，把本地时间映射到全局时间，驱动来自 O2 时钟同步。上一层是展平时间调度器，维护真实时间到谱面秒的映射，驱动来自乐谱跟随器，谱面秒的含义是不计速度变化的标称秒，但实际演奏可快可慢。最上层是拍点调度器，维护展平时间到拍的映射，驱动来自 MIDI 文件的速度轨，伴奏事件按拍调度。每 1 级在任意时刻都是带偏移与缩放的线性映射，事件按序增量处理，因此计算高效。

之所以不用简单的每分钟拍数控制，是因为谱面写明的突然变速应当提前执行，而不是等独奏者新速度被观测到才跟随。若把谱面直接展平成秒，同步只需调节每真实秒走多少谱面秒，且速度变化已被编译进去，但音乐人难以按秒工作。Accomplice 的做法是保留拍表示，同时通过分层映射获得展平的效果。

指挥器给出的理想映射形式为谱面时间等于起点位置加速率乘以时间差，播放器收到更新后不是硬跳变，而是以约 100 毫秒量级的收敛时间平滑趋近，指挥器到播放器的延迟为毫秒量级，因此该层面的不一致不易察觉。真正可察觉的调整来自独奏者偏离谱面速度的情况，此时指挥器必须计算新的映射并发送给播放器。

延迟补偿的思路是利用预测提前发声。例如从按键到声音总延迟为 10 毫秒，就把预测的下一事件时间减去 10 毫秒，相当于提前 10 毫秒演奏，以抵消软件、键盘、MIDI 与合成的延迟。为减少抖动，MIDI 数据附带精确计算的时间戳，输出驱动按时间戳调度，比在播放器进程内因界面更新而延迟调度更精确。

展平时间 × 拍点时间： 展平时间是把谱面速度变化编译进秒级时间轴的表示，分工是让系统能提前加速或减速以呼应谱面写明的变速，拍点时间是保留以拍为单位的谱面表示，分工是让音乐人仍按拍编辑与调度事件，搭配原因是既要编译速度以便同步计算简单，又要保留拍号以便可读可编辑，组合后通过 2 次线性映射实现真实时间到展平时间再到拍点的逐级换算。

下面这张调度层级图值得逐层细读，请先记住每一层只听左侧一个驱动源，再看层间引用与动作方向如何分开表达。

看图路径： 1. 从下向上辨认真实时间经虚拟时间再到展平时间最后到拍点的层级顺序；2. 对比左侧三个外部驱动方框分别对应哪一级调度器的映射更新；3. 注意层间虚线向下引用与实线向上驱动的方向差异及其含义

论文图 3。原论文 Figure 3：“Hierarchy of schedulers is used to maintain multiple representations of time. From top to bottom: (1) Beat position, which”。

从像素上看，顶部是拍点调度器并向右输出伴奏事件，中部是展平时间调度器，底部是虚拟时间调度器与真实时间圆框。左侧 3 个方框分别对应速度轨、跟谱器与时钟同步，虚线向下表示引用，实线向上表示动作。该结构把人的拍表示与同步用的秒表示分开管理，避免了循环依赖。

乐谱跟随 × 指挥器： 乐谱跟随负责把演奏者弹出的每个 MIDI 音符与谱面和弦对齐并估计当前谱面位置，指挥器负责把该位置与速度转换成连续的时间映射并分发给播放器，二者搭配的原因是跟随是离散的事件匹配而播放需要连续的速度推进，组合后播放器即使在 2 次跟随更新之间也能按速率外推伴奏进度。

音符如何对齐：动态分组算法在算什么？

跟随部分沿用早期动态规划思想并做了两处改进。基本目标是在已观测的前缀内找到演奏与谱面对齐中评分最高的方案，匹配加分，跳过与多余减分。当新音符使总分超过历史最高时报告 1 次匹配。键盘的特殊困难是和弦内音符可以任意顺序出现，不存在简单的有序事件表。Accomplice 采用动态分组算法，把演奏音符序列与谱面和弦序列对齐，允许一个和弦内的音符以任意顺序匹配，并记录已用音符以惩罚重复音符复用同一和弦，同时容忍滚奏等时间拉开的情况。

矩阵视角是行表示谱面复合事件即和弦，列表示演奏事件即音符，每个格记录谱面前缀与演奏前缀的最佳对齐评分，更新时只依赖邻格。论文给出的改进有两点。第一是限制可归入同一和弦的演奏音符时间跨度，简化描述中条件为新音符时间减去同组已有音符时间小于 0.1，实际算法对滚奏放宽该约束。第二是对不匹配谱面的演奏音符增加小惩罚，避免零代价导致急于匹配的奇怪错位。实现上不计算整列，只考虑当前位置附近目前为 60 个谱面事件，且只需两列，因此只存约 120 个格。

下面整理算法中可直接核对的常数与计算预算，阅读时先问这些取值奖励什么惩罚什么，再问局部窗口如何保证实时性。

这些取值的效果可以这样理解。匹配奖励与跳过代价相等使系统在漏音与错位之间保持对称压力，多余代价虽小但把随意归组的投机路径堵住，时间跨度约束把相隔较远的同音高误归为同一和弦的可能性降低。代价是窗口与时限都是启发式，若演奏大范围跳跃或极端滚奏超出窗口，仍可能错过正确对齐。论文明确承认的边界是颤音与装饰音，因音符数不固定而暂不支持，左右手高度独立甚至出现复节奏错位时也会超出当前分组假设。

下面这张动态规划邻格示意图有助于理解更新的局部性，阅读时请对照伪代码中的变量名逐格辨认。

看图路径： 1. 先确认该示意图横轴是演奏音符而纵轴是谱面和弦事件；2. 再定位中央四个实线格并读出左上为 w 右上为 x 左下为 y 右下为 z；3. 观察新音符到来时只需依赖邻近格更新当前列的局部性特点

论文图 5。原论文 Figure 5：“Dynamic programming approach to score following using”。

从像素看，图为四格矩阵，横轴上方标注演奏音符，纵轴左侧标注谱面事件，中央 4 个实线格分别标为左上 w 右上 x 左下 y 右下 z，周围为虚线格表示未计算区域。该图说明更新右下格时只需看左邻与上邻，论文正文强调从 w 经 y 到 z 的转移已被包含，因此无需回溯整表。

播放器 × 提示点： 播放器负责按指挥器给出的时间映射发送伴奏音符与控制消息并提供音量时值等微调，分工是执行连续输出，提示点负责规定何时启动、何时等待、何时固定速度，分工是处理休止、华彩与分段等非连续演奏结构，搭配原因是仅靠连续跟随无法表达停止等待或重新进入，组合后系统能在实验音乐的断裂结构中仍保持可排练可操作。

MIDI 输出 × OSC 与 O2 消息： MIDI 输出负责驱动合成器与数字音频工作站的音符、音色切换与控制器，分工是兼容传统音乐设备，OSC 与 O2 消息负责以地址加参数形式控制 Max 与 Pd 等交互软件或灯光视频等媒体过程，分工是扩展到非音符参数控制，搭配原因是现场电子音乐既需要发声也需要同步控制效果器与媒体，组合后同一拍点位置可同时触发音符与任意参数消息。

中途进入与华彩如何操作：提示点与播放器微调做什么？

论文用提示点表达非连续演出结构，每个提示点有起止时间，行为如下。启动按给定谱面位置与速度开始，可由踏板、鼠标点击或 OSC 消息触发。节拍器启动类似但先以当前速度敲 8 拍以提示独奏者。匹配启动类似启动但等待独奏演奏中出现独奏谱起点音符才开始。三击踏板用于无手操作，用脚踏三下定速，第四拍开始。

等待意味着伴奏停在休止或长音上，直到独奏到达提示点末尾，用于华彩等速度不可预测段落。固定速度意味着伴奏按固定速度演奏而忽略演奏者。保持类似固定速度但进入提示点时的速度在整个提示点内保持不变。这些提示点由表演者在界面中编辑成序列，以应对分段、暂停与重新进入。

播放器方面，每个轨道或通道都可实时调整。包括整体平移时间以补偿知觉起音与 MIDI 触发差异，按比例伸缩以改变断连到连奏的发音方式，给 MIDI 力度加偏移以改变响度，静音或独奏，改路由到不同 MIDI 音色或通道。界面还显示滚动钢琴卷帘，帮助排练时选择任意位置启动并确认当前位置。

OSC 与 O2 谱面用文本语言 Allegro 书写，每行一个定时事件，例如在第 8 拍第 16 通道发送采样器地址消息，地址与端口在播放器中填写，通道 16 标记发声消息，通道 17 标记状态改变消息。中途启动时系统会预卷从头至启动点之间的所有奇数通道 OSC 与 O2 消息，以及所有 MIDI 程序切换与控制器，以重建合成器期望状态。显示文本则通过附加注解属性在滚动谱上呈现。

本研究训练了什么，没有训练什么，真实计算是什么？

本研究没有训练神经网络，也没有报告梯度、损失、优化器、数据集划分训练或参数冻结更新。不能把无训练等同于确定性求解，因为跟随结果仍依赖演奏输入、错音分布与启发式评分，同样输入下若涉及时钟抖动与线程调度仍可能有细微差异，但论文未量化该方差。

真实计算分为 3 类。第一是跟随计算，每个新 MIDI 音符到达时在约 60 事件窗口内增量更新动态规划列，维护评分、已用音高与时间戳，按最高分报告匹配。第二是指挥计算，对近期约 4 秒音符起音做线性回归得到预测时间与速度，生成起点位置、起点时间与速率三元组并经 O2 发送，播放器侧做平滑收敛。第三是调度与输出计算，按 4 级线性映射把事件从拍换算到全局时间再到本地时间戳，MIDI 驱动按时间戳输出，OSC 与 O2 按文本谱面在对应拍点发送，预卷阶段补发状态消息。

复现时不需要准备训练硬件，只需准备带 MIDI 的键盘、装有 Serpent 与 O2 的笔记本电脑、合成器或数字音频工作站，以及独奏谱与伴奏谱的 MIDI 文件与提示点序列。缺项是论文未报告跟随阈值搜索过程、回归窗口长度消融与 CPU 占用，复现者需自行记录延迟与抖动。

歌剧实测与算法对照各测什么，条件是否一致？

论文的实测分两层。第一层是歌剧 Felicita 的全剧现场，用真人钢琴家做独奏者，钢琴家跟随指挥与歌手，Accomplice 跟随钢琴家，输出驱动 Logic Pro 中的 MIDI 音轨与合成器效果，另有现场打击乐、维奥尔琴、歌手、舞者与投影。工作流是先从记谱软件导出钢琴声部 MIDI 并导入 Logic Pro，再导入人声录音以模拟整体声音，在记谱软件中草拟 MIDI 声部后导出到 Logic Pro 继续配器加效果，限制是现场不跑 Logic Pro 音序器因此混音自动化不可用，只能依赖 MIDI 力度音量等控制器，设计定稿后从 Logic Pro 导出 MIDI 给 Accomplice，演出时 Logic Pro 各轨设为播放输入 MIDI，从而复现排练时的音符音色与混音。

第二层是算法层面的外部对照。论文承认直接在歌剧上无法做批量统计，因为实时系统时间依赖且缺乏真值，因此用预测时间与实际匹配时间之差做客观描述，并引用另文在 133 场钢琴演奏上的研究，称扩展后的跟随器在大误差与彻底失败上比隐马尔可夫基线降低一半以上，对动态时间规整与深度学习基线改进更大，但该研究标注为在审，本文未给出可核对的划分与指标表。

数据集方面提到 Lee 的音频数据集与 ASAP 符号对齐数据集，但明确 Accomplice 当前不支持倚音与颤音，而 ASAP 中常见装饰音，因此未直接在 ASAP 上报告主结果。部署成本方面只给定性描述，未报告 CPU 占用、内存或功耗，延迟只给毫秒级与 100 毫秒级等量级表述。

跟随误差分布显示什么，哪些大误差是设计内行为？

歌剧实测的客观度量是每个被匹配音符的预测时间减去实际时间，预测基于线性回归，理想用约 4 秒近期起音。论文报告中央柱为负 50 到正 50 毫秒，认为相当好。大误差有 3 类原因。歌手为呼吸拉长音符导致偏离谱面，钢琴错音导致匹配间隔变大与信息减少，琶音在谱面期望时间内拉开数十分之几秒。

超出直方图范围的极值经过个案核查。最大正误差为 3.1 秒，发生在谱面写明的 9 秒延长记号之后，因实际停顿更短而钢琴总是提前进入，系统靠进入后的若干钢琴音符重建时间速度再恢复伴奏，属于为避免演出事故而设计的追赶行为。最负误差为负 1.6 秒，因歌手把音符唱得比谱面长，相当于插入未写明的延长记号，论文称除非排练中发现并改谱，否则难以处理。总体超出范围的有 7 个值，但未导致明显严重错误。

定性层面，排练与演出中系统在大量错音与时间偏离下无需人工干预即跟住钢琴，钢琴家称其为听话的宝贝，从不强加音乐主张。论文提示这正是设计使然，但也引出人机协作中何为理想协作与如何看待智能协作者的问题。

下图是误差直方图，阅读时先确认零点含义再看拖尾成因，不要把单侧拖尾直接读成系统性偏快或偏慢。

看图路径： 1. 先读横轴标注确认是预测时间减去实际演奏时间的秒数值；2. 再看纵轴计数并找到中央零点附近明显最高的那个柱子；3. 比较左右两侧拖尾的高度与延伸范围是否对称并记录差异

论文图 8。原论文 Figure 8：“Histogram of prediction errors for performed note times.”。

从像素看，图横轴为预测时间减去实际演奏时间的秒数，范围约负 1 到正 1 秒，纵轴为计数，中央零点柱高超过 500，其左右相邻柱约 90，两侧随偏离迅速降低但右侧在 0.2 到 0.4 秒仍有数十计数，左侧在负 0.2 到负 0.5 秒有零星分布，最边缘在负 0.7 与正 0.6 秒附近有极矮柱。该形状支持多数音符预测准确而大偏离稀疏且不对称的判断，不对称部分需结合延长记号与呼吸延长等个案解释，而不能推广为整体偏置。

下面把实测中可核对的误差与个案条件整理成对照，阅读时先问度量方向与聚合对象，再问大误差是否对应可复现的谱面结构。

这些对照的支持点在于中央集中说明在常规段落预测可用，追赶机制把长休止后的结构性提前吸收为若干音符内的恢复，避免可闻的错拍。局限在于该度量只覆盖被匹配音符，未匹配音符的漏检与错配未进入直方图，且无真值与基线对比，不能读成超越某系统的证明。未胜出项是歌手擅自延长的处理，论文明确称只能靠排练改谱，实时算法本身不解决。

两处算法改动各针对什么失败，拿掉会怎样？

论文没有以表格形式报告消融，但正文明确给出两处相对早期动态算法的改动及其针对的失败。第一是同组时间跨度上限，针对演奏错误与谱面模式巧合导致的跨时间误归组，例如相隔较远的同音高被归入同一和弦。第二是对多余音符加小代价，针对零代价时系统急于匹配而产生的奇怪错位。论文称两者都有助于避免罕见但令人意外的失配，但未给出拿掉每一项后的误差增量，因此不能写拿掉后必然恶化多少，只能写原文支持该改动用于堵住特定投机路径，效果待以受控对照验证。

另一处可视为结构消融的是提示点类型。若去掉等待与固定速度，华彩与不可预测段落只能靠连续跟随硬跟，论文的演出经验表明这会迫使伴奏去猜不可猜的速度，因此提示点的存在是把不可跟段落显式标记为等待或定速，而非提高跟随精度。播放器微调也可视为人工补偿层。时间平移补偿知觉起音差异，伸缩改变断连连奏，力度偏移改变响度，静音独奏与改路由用于排练隔离，这些都不改变跟随评分，但改变输出可听性。复现时若要补消融，应固定同一演奏 MIDI 回放，分别关闭时限约束与多余代价，统计大误差数与彻底丢失次数，并报告窗口为 60 事件时的计算量变化。

哪些情况本文明确说还跟不好？

论文明确列出 3 类局限。第一是颤音，音符数在谱面中不固定，需要额外标注才能定位，既有工作曾解决但本文实现尚未纳入。第二是更一般的装饰音与不定事件，包括倚音与重复颤音，允许演奏间过大变化，当前版本不支持，因此在含大量装饰音的数据上不直接评测。第三是左右手高度独立，例如复节奏或一手规律一手自由，导致左右手互相超前，当前按和弦整体分组的假设会被打破，论文称正在试验新的转移规则与分手匹配，并引用硕士论文与在审的划分最优工作，但本文未将其作为已验证结果。

演出层面缺的两项功能是按谱面小节号导航显示与提示点自动链接，例如延长记号后自动进入等待下一音符的匹配提示点，实测中手动操作可行但在短停顿时令人紧张。评价层面论文也承认困难。实时系统难以批量跑数据集，演奏准确性与目标差异大，标准误差率与表情偏差尚无统一标准，本文的歌剧统计没有真值且高度依赖具体输入，因此不能推广为通用精度声明。

伦理部分说明研究对象是软件系统本身，未设正式人体受试者流程，但已告知排练演出性质，未收集除节目单海报外的个人数据，歌剧参与者按专业人员获酬。

要复现演出效果，先准备什么，先验证哪一步？

复现前先区分 3 类可获得性。论文称 Accomplice 为免费开源软件并可从作者处获取，但本次阅读未发现经验证的资源绑定，因此不能写代码当前可用或已公开，只能写按论文说法联系作者获取并核对版本。演示视频在正文中给出链接，但本次同样未做可达验证，只能作为原文提及的信息而不承诺可播放。

第一步准备输入输出链。准备带 MIDI 输出的键盘或自动钢琴、笔记本电脑、合成器或数字音频工作站，确保 MIDI 带时间戳并校准从按键到声音的总延迟，论文示例为 10 毫秒量级，复现时用实测值替代。第二步准备谱面。独奏谱与伴奏谱分别存为 MIDI，保留速度轨，OSC 与 O2 事件按 Allegro 文本写成拍加通道加字符串形式，发声用 16 通道，状态用 17 通道，地址端口在播放器中填写，注解属性用于滚动显示。

第三步编辑提示点。按乐曲结构标出启动、8 拍预备、匹配等待、三击定速、等待、定速与保持段，特别把华彩与延长记号标为等待，避免让跟随器猜速度。第四步排练验证。先用固定演奏 MIDI 回放检查跟随是否稳定，再做真人演奏，重点验证中途启动的预卷是否补发程序切换与控制器，播放器时间平移与力度偏移是否补偿听感，O2 多机时钟是否一致。

第五步记录缺项。补测 CPU 占用、端到端延迟分布、错音率与大误差数，并保存超出直方图范围的个案谱面位置，以便与本文的 3.1 秒与负 1.6 秒个案对照。何时值得尝试。若演出是键盘 MIDI 驱动的实验电子音乐，需要分段进入与参数同步，且能接受手动标注颤音与改谱处理呼吸延长，则该方案值得尝试。若输入只能是原声无 MIDI，或装饰音密集且不允许改谱，则应先补音频跟随或装饰音扩展的验证。

学完本文应带走什么判断，还需补哪项验证？

带走的判断有三句。第一，跟随与指挥分离使离散对齐与连续播放解耦，跨进程只传位置速度，模块替换与多机扩展才可行。第二，时间分层把谱面速度的提前执行与实测速度的滞后修正分开处理，拍表示留给人看，展平表示留给同步算，延迟补偿靠预测提前实现。第三，实验音乐的可靠性更多来自结构表达与排练接口，而不仅是跟随精度，提示点、预卷、播放器微调与滚动显示共同决定了能否在断裂结构中安全演出。

未验证的推测要单独标记。扩展算法在 133 场演奏上减半大误差的说法在本文中为在审引用，可能但待验证，不能作为已证收益。零多余代价必然导致急于匹配的程度也未量化，只能写原文发现小惩罚有助于避免特定错位。还需补的验证包括固定回放下的消融对照、未匹配音符的漏检统计、不同错音率下的失败边界，以及多机时钟抖动与端到端延迟的实测分布。

初学者复述时可用一句话检验自己。说清键盘 MIDI 如何变成位置速度，位置速度如何经 4 级映射变成拍点事件，拍点事件如何同时变成声音与参数控制，以及华彩与休止为何必须用提示点而不能只靠跟随。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 12 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 nime-2026 论文汇总