不打断演奏的反馈：用游戏引擎把鼓面击打变成实时可视练习

英文题目：Exploring Real-Time Interfaces With Sensory Percussion.

会议身份：conference:nime:2026:conference-paper-id:nime2026_18

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#教育 #开源工具 #用户研究 #实时处理 #音频交互

评分：6.7/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.5/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Graham Lazorchak：机构信息未能从会议 PDF 纯文本可靠映射
• Emily Wang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文针对打击乐声音转瞬即逝、教师同步形成性反馈难以与演奏共存的教学难题，以军鼓混合传感器信号为输入，以Unity实时视觉与附加音频反馈为输出，难点在于反馈须静默共存且保持教学一致性与易读性。先由EHSP传感器接收击打区域与力度输入并负责区分演奏技巧，输出MIDI音符与速度后经OSC/UDP发出，再由Unity独立线程OSC处理器接收该消息输入并负责缓存与记录高精度时间戳，输出带时间戳事件交由GlobalData与场景GameObject分发，最后由三首练习曲接收分发事件输入并分别负责映射为间隔曲线、节奏偏差六边形与爆米花刚体运动，输出可视反馈供练习。相对已有鼓触发器控制灯光视频的表演导向映射，本工作以教学一致性为约束策展相关传感参数并提供同步形成性反馈，提出相关性与易读性准则以支撑练习与表演。在Table of Time练习场景设置下，60 BPM条件下节拍速度指标为60 BPM，高于50 BPM条件下节拍速度指标的50 BPM。结论适用边界受限于单传感器军鼓加笔记本谱架式摆放的个人练习场景，爵士与古典群体或课堂部署的外推效果尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/the-bard-in-the-lab/ehsp-interface-demos — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

为什么练习打击乐时老师一开口就打断演奏？

本文输入是作者要解决的教学矛盾、采用的硬件与软件，以及最终交付的练习工具，目标是让研究生能复述从敲击到画面的完整链路，必须保留的关键信息是系统只用一只军鼓上的传感器做输入、用游戏引擎做实时显示、以及 3 个练习曲各自的反馈定位，输出是一套可下载复跑的开源库与质性使用报告。学习依赖是先理解声音稍纵即逝带来的指导困难，再理解混合乐器与游戏引擎为何适合并行反馈，最后才能看懂 3 个界面为何取舍不同的信息。

作者开篇指出，同步反馈指老师在学生演奏过程中或刚演奏完一段时给出的评论，它对音乐学习很重要，但声音消失得很快，事后讲评依赖音乐记忆，同步讲评又要提高嗓门，会干扰学生富有表现力的演奏。录像自评是常见替代，但作者指出它把学习切成先录后看两个阶段，来回拖动 cumbersome 且占用存储，对需要高帧率观察击打的打击乐手尤其不便。于是作者提出的问题不是做更准的鼓触发器，而是能否让演奏与反馈共存且不互相覆盖。

本文研究的任务限定为探索实时界面如何支持打击乐练习与教学，不包含自动评分排名或大规模学习增益测量，后文所有例子都应按此边界理解。

已有路线为何多做演出效果而少做练习反馈？

与本文同输入的有混合乐器研究，同目标的有音乐教育反馈研究，同运行阶段的有游戏引擎实时视听研究，三者对照能看清本文的位置。混合乐器方面，电子鼓控制器在上世纪七十年代出现，后来出现结合原声鼓与触发器采样垫的混合打击乐，本文使用的混合打击乐传感器夹在原声鼓上，能区分鼓面多个演奏区域，并区分 stick shots、rim knocks 与 dampened notes 等技法，用户可在配套软件中把不同区域与技法映射为采样触发、 MIDI 数据与混响尾音、延迟反馈等效果参数。

已有工作曾用鼓触发器控制现场视频与灯光，但作者说明那些工作强调现场演出而非练习与教育场景。游戏引擎方面，已有工作扩展引擎的声音能力、从声音生成 3 维视觉或制作声音游戏，共同点是实时处理输入并改变输出，区别于为固定媒体配画，其中有工作强调可预测与不可预测兼具的映射，这在教育场景反而不利，因为教学更需要一致性。

教学反馈方面，作者引用音乐教育研究，指出教师培训与经验差异很大，而同步形成性反馈通常最常见，其理想模型包含目标、对当前水平与目标差距的评价、以及拉近差距的行动。本文把这些文献转成设计约束：界面必须实时、映射必须稳定、信息必须能支撑目标、差距与行动三者。

本文要回答的两个研究问题是什么？

作者明确提出两个研究问题。第一，游戏引擎的实时特性以何种方式支持音乐教学与练习。第二，如何设计把打击乐控制器作为输入设备的界面。与之对应的贡献有三项：开源的视觉表达库，把混合打击乐、开放声音控制协议与 Unity 游戏引擎连起来；展示教学、练习与演出用途的练习曲。

第一作者作为职业演奏者的质性案例研究。需要强调的是，这是 1 篇系统与探索性案例论文，没有提出新的识别算法，也没有做对照组学习效果实验，它的证据是能否稳定跑通实时链路、3 个界面是否覆盖不同反馈类型、以及在真实练习中发现了什么可用与不可用之处。读者复述时不要把设计反思说成受控实验结论，也不要把第一作者的个人体会推广为所有流派与水平演奏者的普遍规律。

从敲一下军鼓到屏幕变化经历了哪些环节？

先沿一个样本走完全程。演奏者用鼓棒敲一下军鼓，鼓本身发出声学声音并给手触觉反馈，夹在鼓上的传感器拾取振动并送入配套软件，配套软件一方面输出音频，另一方面把击打区域与力度经开放声音控制协议发给 Unity，Unity 再产生附加音频与实时视觉，所有声音与画面最终汇入给演奏者的反馈。这个安排的理由是尽量少侵入已有乐器，演奏者仍打原来的鼓，只是多了一个不改变动作的传感层。

配套软件把传感器输入转换为消息，Unity 侧按地址过滤不同音符编号，忽略或合并与当前练习无关的取值，从而让每个练习曲只关心自己需要的信息。下图把上述分支画了出来，左边是人与鼓，中间是传感软件与引擎，右边是统一的反馈，理解该图是理解后文 3 个练习曲的前提。

本段导读图三的阅读顺序：先找演奏者与军鼓的起点，再沿中间两个软件节点向右看音频与视频如何分叉，最后看右侧反馈如何把声学声音与引擎输出合并。

看图路径： 1. 先从左侧演奏者敲击军鼓的起点沿箭头向右追踪主链路；2. 再区分声学声音直达反馈与经传感器软件再到引擎的两条路径；3. 最后确认引擎同时输出音频与视频并汇入右侧反馈框

论文图 3。原论文 Figure 3：“Diagram of VESPer inputs and outputs”。

该图显示演奏者敲击后声学声音有一条直达反馈的通路，另有一条经传感器软件与开放声音控制消息进入游戏引擎再输出音频与视频的通路，引擎输出的视频是本文 3 个练习曲画面的来源，引擎输出的音频包括节拍器脉冲与游戏音效，也可与传感器软件同时触发采样。复述时要记住区域与力度是在配套软件侧先被映射为音符编号，再由 Unity 按地址监听，这是后文过滤与合并的基础。

传感器消息如何进入游戏引擎并被练习曲使用？

开放声音控制协议在这里是白话说的信使加地址本。它不合成声音，只负责把谁打了、打多重这类控制信息从传感软件搬到 Unity。实现上传感软件原生支持 MIDI 与开放声音控制路由，作者选用后者经用户数据报协议发送，Unity 侧用一个跑在独立线程的处理器接收，因为 Unity 不允许辅助线程直接调用引擎相关函数，所以消息先进入缓冲并记录以 ticks 为单位的时间戳，使输入计时不受帧率影响。

每个场景有一个游戏对象管理连接，脚本引用该对象并按全局数据类中记录的端口与地址添加监听器，原型处理器提供可重写的方法，接收命令消息、MIDI 音符编号与音符力度 3 个参数，音区与技法统称为 timbres 的映射在传感软件内完成。作者选择 Unity 的理由是它在游戏行业与相关研究中常见，便于复用物理、音频与渲染能力。

混合打击乐 × 开放声音控制协议： 混合打击乐负责保留原声鼓触感并区分击打区域与技法，开放声音控制协议负责把这些击打事件以消息形式搬运到游戏引擎，二者搭配的理由是前者贴近乐器而不改变演奏动作，后者与声音合成解耦只传控制信息，组合后游戏引擎才能在不干扰发声的前提下做实时视觉。

同步形成性反馈 × 实时可视化： 同步形成性反馈指在演奏中或刚结束一段时给出的对照目标的评价与下一步动作，实时可视化指随击打立即更新且保留在屏幕上的图形，二者搭配的原因是口头反馈会与演奏声音互相覆盖，而视觉通道可以并行呈现，组合意义是让演奏与反馈同时发生且演奏痕迹可回看。

理解上述链路后，再看 3 个练习曲如何取用同一份数据。下表把 3 个练习曲的输入、映射与反馈定位放在一起比较，阅读问题是同一鼓击数据为何做出 3 种完全不同的画面，公平条件是它们都接同一传感器与同一消息通道，指标方向不是谁分高，而是信息取舍是否匹配各自目标。

上表的主要收益是把设计差异显性化：曲线图保留时间痕迹适合看变化趋势，时间之桌引入预期节奏适合练准，爆米花引入物理系统适合表现区域与氛围。具体代价在后文案例中出现，例如爆米花的物理漂浮会削弱对力度细微变化的响应，时间之桌在高速下指示趋中而失去指导性。未胜出项在这里不是某个模型，而是被过滤掉的信息，例如时间之桌刻意不用力度与音色参数，爆米花刻意不用 timing 信息，这种取舍本身就是相关性判断。

下面先看曲线图的实际像素，为后文案例中直线变锯齿的现象打基础。

本段导读曲线图三联屏：左上重复节奏在大力度下的锯齿，中上由慢到快滚奏伴随颜色变浅，下方变换重音时波形形状的不一致，每幅下方都有线宽调节条。

看图路径： 1. 对比三个子图横轴时间延续与纵轴音符密度的走向；2. 观察线条颜色随力度变化的位置，特别是加速变轻的段落；3. 注意下方线宽滑杆只是显示调节而不参与演奏判定

论文图 5。原论文 Figure 5：“Screenshots from the Grapher etude. The position on the vertical axis indicates note density, while the color indicates velocity.”。

该图证实曲线图的编码规则：横轴是随演奏向右延续的时间，纵轴由音符间隔换成位置，间隔越小位置越高，颜色由力度换成冷暖，力度越大越偏红。左图重复节奏形成周期性尖峰，中图滚奏加速时曲线爬升且颜色变浅表示变轻，下图重音移动时波形形状随之改变，说明重音会牵动 timing。复述时要指出它没有预期答案线，判断均匀与否靠观察者自己对比形状，这是它被称为自我评估工具的原因。

音色分区 × 力度： 音色分区指鼓面中心、边缘以及闷音、边击、 rim knock 等不同发声位置与技法在软件中被映射为不同音符编号，力度指每次击打的强度数值，二者分工是前者区分打在哪里与怎么打，后者区分打多重，搭配后练习工具可以分别追踪声音质量与动态变化，例如爆米花按分区落到不同曲面并按力度弹跳。

三个练习曲各自让演奏者做什么、看什么？

曲线图是练习辅助。它把音符间隔转成纵向位置，把力度转成颜色，随演奏实时更新，作者列出的潜在用途包括自评滚奏均匀性、观察未量化弹性节奏、练习装饰音一致性，后两者难用节拍器网格锁定，因而可视化能暴露例如四击装饰音中第三到第四击之间的间隙。时间之桌是教学游戏。它取自常见的细分练习，平时用慢速节拍器把一拍依次分成两连音、三连音、四连音等，本实现要求每八拍执行新的 tuplet，适合追求精度的进阶者。

它用高精度日期时间类给每个输入打时间戳，节拍器脉冲与游戏音效用引擎音频源播放，传感软件可同时触发采样。为照顾人类反应时间并提高感知公平性，它偏向把偏晚输入判为准，作者说明更稳健的校准是未来工作。爆米花是愉悦催化剂。它把每次鼓面击打实例化为一块爆米花并从世界中的曲面施加垂直物理力，鼓面不同区域对应引擎中不同曲面，每块爆米花带刚体组件与凸包碰撞体，行为更多由物理系统决定而非演奏者直接控制，因而是单向因果。

它借用军鼓文献听起来像爆米花炸开的玩笑，适合作为观众投影，作者强调它与前两者不同，不提供 timing 信息，而突出区域与力度这两个关乎音质的因素。

本研究有没有训练模型？真实计算是什么？

本研究没有训练阶段，没有神经网络权重更新，没有梯度路径、损失函数、优化器、冻结与解冻、数据划分训练可言，读者必须明确说出这一缺项，不能从游戏引擎或传感器名称推定存在学习。真实计算是规则与引擎仿真。

传感软件侧把振动分类为区域与技法并映射为音符编号与力度，消息侧经用户数据报协议传输并在 Unity 缓冲中按 ticks 时间戳排序，应用侧是 3 类确定性计算：曲线图做间隔到纵坐标与力度到颜色的映射，时间之桌做输入时刻与预期细分网格的偏差计算并驱动六边形位置与颜色，爆米花做刚体实例化与碰撞仿真。监督来源不是标注数据，而是预期节奏网格与演奏者自己的观察判断，重置时机是每次进入新场景或切换细分时重新计时，不存在跨会话的参数记忆。

把无训练等同于输出确定是错误的，因为爆米花受物理引擎随机性与帧步影响，时间之桌受人类反应与系统延迟影响，同一击打在不同运行中可能呈现细微差异。

案例研究在什么乐器与摆放条件下进行？

本节交代可复现的实验条件而非对照实验。虽然练习曲按单只军鼓设计，但第一作者当时使用一套四件鼓加踩镲与两片镲，传感器只放在军鼓上，练习时仍使用整套鼓，笔记本放在类似谱架的位置，在踩镲后方略高处。练习目标包括连音 timing 准确性、幽灵音与 rim shot 一致性、奇数拍节奏移位。作者声明这是第一作者的非穷尽自我评估，其音乐与设计偏好不能推广到不同背景、水平与风格的演奏者，且因其身兼开发者，练习曲已与其目标对齐。下表把信息流与实现细节并置，阅读问题是复现时哪些环节必须一致才能得到可比现象，条件是同一硬件链路与同一消息过滤逻辑，方向是越一致越可比。

上表说明复现先要保证鼓、传感盒、传感软件、消息地址与引擎监听一致，其次要记录节拍速度与细分范围，否则时间之桌的偏差含义无法对比。具体代价是作者未报告延迟测量、误判率与系统开销，也未做纵向进步量化，录像自评仍是展示长期进步的重要补充。未评测边界包括新手如何上手、教师如何嵌入课堂、古典与爵士打击乐手体验差异，以及同步视觉是否定量影响节奏感，这些在结论中列为未来工作。

三个案例分别显示了什么可用与不可用？

案例一是新视角。第一作者用一只手先练十六音符与八分音符三连音的并置，熟练后再加入另一只手，军鼓上传感器只捕获其中一只手的声部，用曲线图观察 timing，发现均匀三连音应呈直线，任何偏离立即可见，且常在听觉察觉之前先在视觉上看到变化，尤其刚加入另一肢体时。作者把这比作老师在旁无声注视，卸载了部分自我监控负担。案例二是意外用途。

第一作者起初怀疑爆米花的实用性，觉得物理漂浮削弱了对力度变化的响应，可读输出不清，但在练习乐队曲目时发现 A 段用边框敲击、B 段用鼓心敲击，导致爆米花在不同区域堆积并在 B 段首击集中释放，形成宣泄感，又在跟随歌曲演奏时发现重拍 rim shots 对应边缘大片迸发、幽灵音对应中心小幅弹跳，戴耳机时更容易判断 rim shot 是否打中，意外获得区域反馈。案例三是反转。

第一作者把时间之桌设在每分钟五十到六十拍、细分二到十二，用单跳加左脚踩镲保持四分音符，发现高速下指示趋中、 medium 速度下小误差导致指针乱跳，眼睛只在切换细分时看屏幕，其余时间看手，随后改用装饰音与 paradiddle 变奏仍觉重复，转而用曲线图加外部节拍器练好 tuplet 指法再回来，说明新工具是扩展而非替代。

本段导读时间之桌两联屏：左侧数字七配居中蓝色六边形表示七连音较准，右侧数字四配偏离竖线的橙色六边形表示四连音稍抢。

看图路径： 1. 先看左侧大数字确认当前要求的每拍细分数量；2. 再看六边形相对白色竖线是居中还是偏向一侧；3. 对比蓝色与橙色发光在两幅截图中的位置含义

论文图 6。原论文 Figure 6：“Screenshots from the Table of Time etude.”。

该图证实时间之桌的编码：大数字是当前每拍细分要求，白色竖线是预期时刻，六边形位置表示抢或拖，颜色表示准确程度，左图六边形压在线上为高准确，右图六边形偏离竖线并变色为稍早。复述时要强调它是有标准答案的判定，与曲线图无标准答案的呈现形成对照，这也是作者把前者归为指导性、后者归为促进性的依据。

拿掉明确目标或换一种编码会发生什么？

本节按论文特有细节展开两类对照，不是消融神经网络，而是比较设计取舍。第一类是目标明确程度。曲线图无显式评价，可支撑多种目标，评价与行动留给用户；时间之桌有最明确的挑战与评价，要求把给定节奏演奏得尽可能均匀，屏幕标记直接提示抢拖并隐含纠正动作，还配可调速度节拍器并在切换细分时发声；爆米花强调氛围目标而不给评价与技法建议，用区域与力度暗示声音质量， timing 缺席本身就是设计。

第二类是信息筛选。传感软件把输入转为消息后，各练习曲按音符编号过滤，曲线图区分中心与边缘，其他两者对触发消息一视同仁，时间之桌舍去力度与音色，爆米花舍去 timing，说明相关性是主动策划。作者提醒这种策划可能固化隐性标准，例如时间之桌按严格数学平分评价连音，适合行进鼓或某些室内乐语境，但不一定符合其他风格的诠释期待。

下表之外的失败条件包括爆米花漂浮物理限制快速动态辨读，高密度下时间之桌响应不清，以及闪烁过度刺激与静态无趣之间的美学权衡。

指导性反馈 × 促进性反馈： 指导性反馈直接指出偏差与纠正方向，促进性反馈只呈现演奏痕迹把判断留给学习者，前者如时间之桌用六边形相对竖线的位置告诉你抢了还是拖了，后者如曲线图只画出音符密度与力度颜色，搭配讨论的意义是同一传感器数据可以因教学目标不同而选择不同明确程度的可视化。

相关性 × 可读性： 相关性指只呈现与当前练习目标有关的信息而过滤无关传感器通道，可读性指呈现方式能在演奏中扫一眼就看懂，二者分工是前者做信息筛选，后者做图形编码，组合意义是即使数据全面，若在高速演奏中看不懂或与目标无关，实时界面仍无法指导练习。

本段导读案例一的实际曲线：前段平稳直线为单手均匀三连音，后段突然锯齿为加入另一只手后的扰动。

看图路径： 1. 先看曲线前段平稳直线对应的单手均匀演奏；2. 再看后段锯齿突然变大对应的加入另一只手之后；3. 注意纵轴仍是音符密度而非音高，颜色仍表示力度

论文图 8。原论文 Figure 8：“The Grapher rendering of A1’s left hand when practicing Version B of the exercise in Figure 7.”。

该图把案例一的文字描述落到像素：横轴延续、纵轴为音符密度，平稳即均匀，锯齿即不稳，颜色仍表力度。它支持作者的判断，即视觉先于听觉暴露加入肢体后的 timing 变化，也划出边界，即它只显示被传感器捕获的那只手的声部，另一声部的干扰是间接体现在该声部 timing 上的，不能据此还原完整复节奏。

哪些结论不能从现有证据得出？

论文直接报告的是系统跑通、3 类界面行为差异、以及第一作者在特定套鼓与摆放下的使用体会，有限解释是实时视觉能让演奏与反馈并存、把声音痕迹留屏、减少停下来翻录像的管理负担，未验证推测是它能否提高长期学习速度或适用于新手与课堂。缺失证据不是技术错误，但必须明说：没有多被试、没有对照组、没有学习增益量化，没有延迟、误判率、帧率与开销测量，没有覆盖古典与爵士、不同水平与流派的差异。

相关性不是因果，例如看到直线变平稳与感觉进步同时出现，不能断定是可视化导致进步，也可能是同时加练了外部节拍器。总体趋势不等于每步成立，例如时间之桌在慢速细分切换时有用，在高速高密度下反而不清。作者在讨论中明确传感器数据是基础但不保证教学成功，学生学习方式不同，纯数字评价不足以称为教学，实时界面只是工具生态的扩展。

要复跑这套系统先准备什么、还需补什么验证？

复现先做三件事。硬件上准备一只军鼓、夹式传感器与传感盒、运行传感软件的笔记本，传感器只贴军鼓即可，但要记录是否同时打了其他鼓镲以免误归因。软件上从当前可用的开源地址获取演示与起始代码，该资源状态为可用，链接可达，另有演示视频可对照操作，配置传感软件中区域与技法到音符编号的映射，确认开放声音控制端口与地址与 Unity 全局数据类一致，每个场景保留管理连接的游戏对象。

练习上先跑曲线图看单手均匀性，再跑时间之桌从慢速小细分开始并记录速度与细分范围，最后跑爆米花观察区域堆积，注意时间之桌偏向接受偏晚输入的容差设定。还需补的验证包括测量端到端延迟与抖动、统计不同力度与区域的识别稳定度、记录帧率与音频视频同步、设计新手与教师参与的课堂流程观察，以及用外部节拍器对照检验视觉是否带来额外增益。

未来开发方向包括更细的消息解析如 MIDI 控制信息、兼容其他混合打击乐、让 Unity 回传 MIDI 影响声音选择、以及围绕平滑换区与快速技法切换的新游戏。

何时值得尝试这套实时可视练习？

当练习目标能说清要看什么、且眼睛有空看屏幕时值得尝试。例如练滚奏均匀性、装饰音一致性、连音细分准确性、幽灵音落点是否偏离中心，这时曲线图与时间之桌分别提供无答案的痕迹与有答案的偏差，爆米花提供区域触感的趣味对照。当目标是高速高密度下的瞬时纠正，或演奏者必须全程盯手与谱面，或曲目诠释本就不追求严格平分，就应降低期待或改用录像与老师讲评。

复述方法时记住一句话：敲击产生声音与触感，传感软件输出音频并发送区域与力度消息，引擎输出附加音频与视频，反馈是三者合并。记住取舍：相关即只给目标有关的信息，可读即扫一眼能懂，指导性给方向，促进性留判断。最终判断应表述为报告显示系统可行并在个案中支持自我观察，可能在更广人群与课堂中仍待验证，而不承诺延迟、成本或学习速度已改善。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

另有 5 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 nime-2026 论文汇总