谁来定下第一拍：半自动机器人长笛用头部预备动作决定合奏起始

英文题目：Playing Together with a Semi-Automated Robotic Flute Using a Gesture Cue Detection System.

会议身份：conference:nime:2026:conference-paper-id:nime2026_127

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#用户研究 #音视频 #音乐 #音视频交互

评分：5.8/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.7/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Jaeran Choi：机构信息未能从会议 PDF 纯文本可靠映射
• Juhan Nam：机构信息未能从会议 PDF 纯文本可靠映射
• Hikari Kuriyama：机构信息未能从会议 PDF 纯文本可靠映射
• Gou Koutaki：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该研究处理半自动长笛合奏的同时起奏同步问题，输入为演奏者起奏前头部预备动作视频与吹奏气流，输出为机器人按键动作与MIDI钢琴伴奏的触发时刻，难点在于音乐意图不可直接观测且约50ms机械延迟会破坏人机同时感。系统先用MediaPipe Face Landmarker以30fps追踪面部垂直速度曲线，顺序检出最大上行峰与随后最大下行峰并将其间隔定义为手势提示时长D。接着按长笛手特定的手势提示起奏比率2.28由峰值时刻外推意图起奏点，并提前补偿机械延迟后发送MIDI触发。最后由14路SG92R舵机经线驱与齿条齿轮机构执行指法而人同步吹奏。与机器人倒计时主导的定时播放相比，该机制把起奏控制权交还演奏者并保留身体预备动作的自然协商过程。在8名长笛手被试内三条件后测问卷设置下，同伴感条目Q2的得分为6.50，高于可预测性条目Q3的得分4.00。该结论适用边界仅为Moon River同时起奏的实验室合奏场景，尚未验证变速、力度变化与长时协同，且部署依赖14路舵机硬件并需补偿约50ms延迟。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要保留什么？

本文解读的对象是 1 篇关于半自动机器人长笛与合奏起始控制的研究。输入是论文正文证据与本次收到的官方原图像素，不引入其他生成分析的评价。目标读者是刚进入语音、音乐或音频领域的研究生，重点是能核对、能复述方法。必须保留的信息包括任务定义、硬件与软件分工、手势到起始时刻的计算链条、3 条件对照的实验安排、客观时差与主观问卷的测量方式，以及主要结果与限制。

输出按学习依赖展开，先讲合奏起始为何困难，再讲相关路线，然后走完一个样本从点头到发声再到按键的完整路径，最后讲实验条件、结果、未解决的问题与复现步骤。教学中出现的举例会明确标为例子，不添加无来源的数值或效果断言。关于代码、模型或数据是否公开，本次资源状态显示没有完成验证的可用资源，因此不能写已公开，只能按原文讨论系统构成与实验过程。

长笛演奏可以拆成两类动作。第一类是发声，需要把下唇放在唇板上，向吹孔边缘吹气，涉及持笛角度、气流角度、口型、气息宽度与速度等多参数配合。第二类是指法，需要组合 25 种以上的指法，几乎动用全部手指。对初学者而言，指法记忆与口型控制同时压上来，练习负担很重。半自动的思路是把这两类动作拆开，人继续负责吹气发声，机器负责按键。

这样人保留了对音色与乐句的直接控制，机器承担了易错的机械记忆部分。理解后文的关键是记住这个分工，机器不是代替人吹出声音，而是在人吹出的同时把正确的音孔关闭或打开。

合奏的另一个难点在第一音之前。双人或多人合奏在开演瞬间需要隐性协商谁来带领，何时进入。演奏者常用点头、身体摆动、呼吸等非发声动作提前暗示拍点与速度。论文把开演前紧接着的那次点头看作手势线索，把它当作音乐意图的表达。系统要用摄像头实时读出这个动作，预测演奏者心里想要的起始时刻，再在该时刻触发机器人按键与伴奏播放。

如果预测偏早，机器先动，人会感到被抢拍，如果偏晚，人声先出，机器像没跟上。因此起始对齐既是时间问题，也是主导权与信任问题，这解释了为什么实验同时测量客观时差与主观同伴感、主导感、信任感。

同输入同目标的已有路线有哪些不同？

全自动乐器机器人路线以完整复现演奏动作为目标。文中回顾的例子包括能即兴并配合人的马林巴机器人、含人形同步目标的乐队研究、具有 41 个自由度并复现嘴唇、颈、肺、阀门、手指、喉、舌奏、手臂与眼睛的长笛机器人，以及仿中国竹笛的吹气嘴加气动手指机器人。这类系统能自主演出，主要用于分析演奏机制或供欣赏。它们的输入是乐谱或预设程序，输出是完整声音，运行时不需要人同时吹奏。与本文的半自动长笛相比，差异不在机械复杂度高低，而在运行阶段是否留出人同时参与的通道。

演奏辅助路线以降低学习门槛或矫正特定动作为目标。例子包括结合听觉、视觉与触觉的竖笛教学系统、萨克斯呼吸辅助装置、全驱动钢琴手部外骨骼、长笛口型参数可视化增强长笛，以及从录音估计长笛控制参数以给出指导的方法。这类系统的共同点是部分自动化、部分留给人，期望让初学者或身体受限者更容易演奏。本文的机器人长笛属于这一支，但更强调合奏起始瞬间的主导权归属，而不仅是把音按对。

手势同步研究路线以解释人与人如何对齐为目标。已有工作指出加速、周期、时长、峰值速度等运动学特征携带拍点与速度信息，长笛演奏中手势速度特征与实际起始时刻保持稳定比值，支持从手势预测意图。也有系统据此实时调整自动伴奏速度。但论文指出，这些工作多聚焦机制分析或预测精度，较少检验手势控制如何改变演奏者的主导感与合作感。本文的增量正在于把手势预测放进可演奏的半自动硬件，并用 3 条件对照检验体验变化，而不是只报告预测误差。

论文实际要解决的判断是什么？

论文要回答的问题不是机器人能否按谱按键，而是当开演时刻由谁决定时，演奏者是否会把机器人从播放设备重新看作合奏伙伴。具体操作化为两个可检验的对比。第一是触发方式对比，计时器自动起始与手势推断起始在客观时差与主观同伴感、主导感上是否分离。第二是视觉反馈对比，在同样手势触发下，有速度曲线与预测标记的界面与无界面是否改变可预测性、自信与焦虑。曲目固定为钢琴与长笛同时进入的月亮河，这样第一音的对齐压力最大，也最能暴露主导权感受。

需要提前澄清一个常见误解。时间更稳不等于体验更好，体验更好也不等于时间更稳。计时器条件下人去适应机器，客观方差可能很小，但人会感到自己被带领。手势条件下机器去适应人，主观上更像一起演奏，但检测噪声与机械延迟会引入方差。论文同时保留这两类指标，正是为了不把其中一类当作另一类的代理。另一误解是把无训练等同于确定性求解，本研究没有训练神经网络，但摄像头噪声、点头幅度差异与舵机延迟仍带来不确定性，冻结参数不保证每次输出一致。

系统全景：一个点头如何变成一次按键？

先沿一个样本走完全程。演奏者手持装有自动指法机构的长笛，面对摄像头，准备演奏月亮河第一音。演奏者在发声前做 1 次点头，摄像头以每秒 30 帧记录面部区域，系统提取面部关键点垂直运动的速度曲线，找到先出现的最大上行速度峰与随后出现的最小下行速度峰，两峰间隔记为手势线索时长，再用固定比外推得到预测起始时刻。在该时刻，软件发送乐器数字接口信息，驱动对应舵机拉线或顶杆关闭音孔，同时触发钢琴伴奏，人同步吹气发声。考虑到机器人机械延迟约 50 毫秒，触发时刻会提前补偿，使按键实际落点与人的气息起始自然对齐。

半自动演奏 × 自动指法： 半自动演奏指人负责吹气发声、机器人只负责按键的分工，自动指法指 14 路舵机按 MIDI 音符开闭音孔的执行方式，二者搭配的理由是长笛发声依赖口型与气息而指法组合繁多，组合后新增的作用是让演奏者用自然吹奏保持音乐控制，同时把记忆指法的负担交给机器。

为理解整体装置，先看合奏搭建的实拍视角。下段是该图的阅读引导，读完再看图，再读图后解释形成闭环。

观察时注意人、笛、电脑三者的连接关系，人是声源，笛上机构是执行器，电脑是感知与触发器，不要把屏幕上的曲线当作声音波形。

看图路径： 1. 先看右侧演奏者手持带舵机排的长笛、面对笔记本电脑的整体朝向；2. 再看左侧三幅近景中电路板、排线与舵机阵列与笛身的固定关系；3. 最后看电脑屏幕上的速度曲线与钢琴卷帘，确认手势检测与伴奏在同一界面

论文图 1。原论文 Figure 1：“Overview of the ensemble performance setup using the developed semi-automated robotic flute and the gesture- cue-based control system with MIDI accompaniment.”。

该图左侧三幅近景展示笛身与透明支架、成排蓝色舵机、橙黄排线与绿色电路板的装配关系，右侧展示演奏者从背后手持该装置、面对显示速度曲线与钢琴卷帘的笔记本电脑。这一视角把方法全景落到可复述的动作，吹气由人完成，按键由电脑经电路板驱动舵机完成，手势由摄像头进入电脑再回到笛身形成闭环。后续两节分别展开硬件执行链与软件感知链。

硬件做了什么：笛身、按键与电路如何分工？

长笛本体分为头节、中节与足节。头节有唇板与吹孔，是人发声的入口，中节主要是键，足节附近有杠杆，键与杠杆是机器按压的对象。自动指法机构把长笛固定在亚克力支架上，用专用夹具加螺栓螺母固定，夹具与笛身之间垫硅胶片防滑。支架上布置十四台舵机，每台驱动一个键，支架侧面安装电机控制电路板。另有专用手托放在平时持笛支撑点附近，使演奏者能保持接近正常的持笛姿势。下段先给出笛身结构图的阅读引导。

读图时按从左到右的顺序区分发声区与指法区，发声区只与人的嘴和气有关，指法区只与机器的拉线与顶杆有关。

看图路径： 1. 从左到右确认头节、中节、足节三段红色标注的划分；2. 找到吹孔与唇板在头节的位置，理解人负责发声的部位；3. 找到中节的键与足节附近的杠杆，理解机器负责按压的部位

论文图 2。原论文 Figure 2：“The flute’s sections: the head joint, middle joint, and foot joint.”。

该图标注了头节、中节、足节 3 段，以及吹孔、唇板、键、杠杆 4 个部位。它帮助初学者建立空间对应，吹气入口在左端头节，按键阵列在中段与右端足节，硬件改造围绕后者展开而不遮挡前者。

手势线索 × 起始时刻预测： 手势线索指开演前点头动作的垂直速度曲线，起始时刻预测指用最大上行速度峰时刻加上手势时长乘比值外推吹奏起点，二者搭配的理由是头部预备动作与人声起始存在相对稳定的时间比，组合后新增的作用是把不可直接观测的演奏意图转成可提前触发的机器人按键时刻。

按键执行有两种互补方式。第一种是线拉式，用于大多数键。每个键配可拆键盖，线的一端系在键盖下部，另一端系在舵机摆臂上，舵机转动拉线即压下键以关闭音孔，对杠杆则是压下即打开对应键。线用压接珠固定位置，键盖底面做成挂钩形状以防演出脱落，杠杆因结构难以用键盖则直接系线并留足够余量以便拆卸。第二种是齿条齿轮式，用于侧面不便装键盖的键，例如布里恰尔迪键。

电机转动小齿轮，带动齿条直线往复，齿条端头直接顶压侧键，从而把旋转运动转为可靠的直线按压。选择两种方式不是为了展示工艺，而是因为不同键的几何约束不同，单一方式无法同时保证可拆、稳定与不破坏乐器。下段给出齿条齿轮结构的阅读引导。

观察时区分示意与实物，示意看运动转换方向，实物看齿轮与被顶键的接触点。

看图路径： 1. 先看左侧示意图中小齿轮转动与齿条向上直线运动的箭头关系；2. 再看右侧实物图中蓝色舵机上的黑色齿轮与被顶起的金属侧键；3. 确认该结构用于不便安装键盖的侧键，与拉线方式形成互补

论文图 8。原论文 Figure 8：“Rack & pinion system for Briccialdi key”。

该图左侧示意标出小齿轮与齿条及向上箭头，右侧实物标出蓝色舵机上的黑色齿轮与被顶起的金属侧键，红色箭头指向受力部位。它说明侧键为何不用拉线，拉线难以稳定封闭侧音孔，而齿条端头直顶更可靠。复述时要能说出哪类键用哪种方式，以及可拆性如何保证。

电路部分由电源接头、微控制器与电机驱动器组成。原文指明微控制器采用某款小型主控，驱动器采用多路脉宽调制驱动芯片，舵机用脉宽调制控制，通过改变固定周期脉冲中高电平持续时间调节有效输出电压。电路板照片显示多路舵机线集中接入驱动板，主控居中，电源在侧边。硬件复现的关键动作是按音符标定每路舵机的拉线行程与齿条行程，确保音孔可靠闭合且不卡键，同时保留手托与硅胶防滑以维持自然姿势。

软件算了什么：从面部运动到起始时刻的链条？

软件用摄像头与面部关键点跟踪实现手势线索检测。实现语言为常见脚本语言，面部跟踪用现成的人脸关键点工具，视频采集为每秒 30 帧。系统取面部关键点垂直运动，得到速度曲线，依次检测最大峰即最大上行速度与随后最小峰即最小下行速度，两峰间隔定义为手势线索时长。记最大峰时刻为起始基准，记手势时长为间隔，记固定比为 2.28，则预测起始时刻等于基准时刻加上间隔乘以该比值。

该比值沿用先前长笛二重奏研究提出的数值，本研究直接采用而不重新拟合。预测时刻一到，系统发送乐器数字接口信息触发机器人按键与伴奏，人同时吹奏。触发还需补偿约 50 毫秒的机械延迟，使实际按键落点与人的气息起始对齐。

线拉式按键 × 齿条齿轮按键： 线拉式按键指舵机转动拉线压下键盖关闭音孔的分工，齿条齿轮按键指旋转的小齿轮带动直齿条直线顶压侧键的分工，二者搭配的理由是正面键可用可拆键盖稳定受力而侧键与杠杆难以挂盖，组合后新增的作用是在不破坏乐器的前提下覆盖全部所需键位。

对初学者而言，关键是区分 3 个时刻。第一是最大峰时刻，代表点头上扬最快的瞬间，第二是最小峰时刻，代表随后下砸最快的瞬间，第三是预测的发声时刻，位于第二峰之后一段外推距离处。手势时长是前两者的间隔，外推距离是该间隔的 2.28 倍。一个具体例子是，若某次点头两峰间隔为 0.2 秒，则外推约 0.456 秒，预测起始落在最大峰后约 0.656 秒，此为教学示例的算术演示，不是论文报告的实测均值。实际复述时必须说明比值是引用前人结果的冻结参数，本研究未报告按被试重估，也未报告梯度训练或在线更新。

该链条的脆弱点也在原文访谈中得到呼应。小幅度点头有时不能被稳定识别，演奏者会被迫夸大动作，说明峰检测对动作幅度与摄像头角度敏感。视觉反馈界面会显示速度曲线、已检峰、预测起始标记与钢琴卷帘播放头，有界面时演奏者能看到系统是否找对峰，无界面时只能凭按键声与伴奏声判断同步。这为后文有无界面的对照埋下机制解释，分散注意力与增强可预测性可能同时存在。

本研究训练了什么，没有训练什么？

本研究没有训练神经网络，也没有报告梯度路径、损失函数、优化器、训练轮数或数据划分。面部跟踪调用现成工具，手势到起始的映射是固定比公式，不是学习得到的回归器，舵机控制是按音符的脉宽调制查表执行，不是策略学习。必须明确指出的缺项包括该比值是否因人而异、峰检测阈值如何设定、延迟补偿是否为常约 50 毫秒，以及失败检测如何回退。原文未给出这些细节，不能从工具名称推定其内部实现。

真实计算过程是推理与标定而非训练。推理侧每帧更新面部关键点垂直位置，差分得到速度，维护峰状态机，先锁最大峰再等最小峰，算出间隔即外推触发时刻，并调度乐器数字接口信息。构造侧按乐曲音符标定每路舵机行程，固定支架、手托与走线，设置倒计时与伴奏同步。评估侧计算机器人按键与人声起始的时差，并收集试后问卷与访谈。复现时应把工作量放在动作标定、延迟测量与峰检测鲁棒性上，而不是寻找训练脚本。若要改进，应先做按人的比值校准与点头幅度校准，再考虑是否引入在线自适应。

与谁比，在什么条件下比，指标方向是什么？

实验采用被试内设计，3 条件为计时器起始加钢琴卷帘、手势起始加视觉反馈、手势起始无视觉反馈。曲目为月亮河，长笛与钢琴同时进入。被试为 8 名长笛手，4 名职业水平，4 名高水平业余，均有至少五年合奏经验，均未用过该机器人长笛。每人完成十八试，分两个九试序列，每个序列含 3 条件各 3 次，顺序在被试间平衡，另有至多 15 次练习。因操作问题剔除七试。

每试后用一到 7 分量表评价，实验后完成总体问卷与半结构访谈。客观指标为起始异步，定义为机器人时刻减去人类时刻，正值表示人等人等机器，负值表示人声先于机器。主观指标包括同伴感、主导感、信任感、自然度、响应恰当性、界面支持度与易用性，分数越高表示越认同正向陈述。

计时器起始 × 手势起始： 计时器起始指系统倒计时后自动播放、演奏者跟随机器人的分工，手势起始指演奏者点头、机器人解析后跟随演奏者的分工，二者搭配比较的理由是只有对照才能分离主导权方向对体验的影响，组合后新增的作用是检验时间稳定性与同伴感之间是否存在折中。

下表整理 3 条件的触发与反馈差异，以及软件链条的关键运行参数，阅读问题是各条件在谁决定起始与能否看到预测依据上有何不同。公平条件是同一曲目、同一硬件、同一伴奏同步方式，不同的只是起始决定权与界面可见性。指标方向是异步绝对值与方差越小越稳，主观正向题分数越高越好。

上表把触发权与可视性拆成 2 维，计时器条件代表机器人带领，两个手势条件代表人带领，有无界面则隔离视觉解释的作用。代价是手势条件引入检测噪声与机械延迟，计时器条件虽稳但主导感可能受损，后文结果正对应这一折中。表中数值写法保留原文单位形式，倒计时、帧率、比值与延迟补偿均来自正文连续句。

为检验界面设计的教学价值，下图给出 3 条件界面的实际像素。读图前先明确比较问题，有界面是否让峰与预测线可见，无界面是否完全黑屏。

看图路径： 1. 先看上方面板白色速度曲线上的红蓝峰点与红色预测起始线；2. 再看右侧蓝色钢琴卷帘方块，确认预测线与第一音符的对齐关系；3. 对比下方面板全黑无曲线，理解无视觉反馈条件的隔离意图

论文图 11。原论文 Figure 11：“Overview of the three interface conditions.”。

该图上方面板显示白色速度曲线、红蓝峰点、红色预测起始线与右侧蓝色钢琴卷帘，下方面板为全黑对照，对应无屏幕条件。它说明有界面时演奏者可用眼睛核对系统是否找对点头，无界面时只能靠听觉判断，这解释了为何有人觉得界面增加可预测性而有人觉得看屏幕打断身体 timing。复述时要能说出红蓝点分别对应最大与最小速度峰，红线为预测起始。

主结果：时间稳定性与体验分离了吗？

客观时差的分布显示计时器条件标准差最小，两个手势条件中无界面比有界面标准差更小。均值方向上计时器条件为正，表示被试倾向于等机器人先动再吹，手势条件出现负值，表示部分试次人声先于机器。职业与业余分组无实质差异，职业约为 0.036 秒上下 0.163 秒，业余约为 0.031 秒上下 0.205 秒。教学含义是把决定权交给人会引入双向偏差，人可能抢先，也可能等待，而计时器把人的策略收敛为等待。

起始异步 × 主导感： 起始异步指机器人按键时刻减去人声起始时刻的客观时差，主导感指试后问卷中我在开演时刻感到有控制的主观评分，二者搭配的理由是客观时差小不等于主观上感到自己在带头，组合后新增的作用是同时揭示计时器更稳而手势条件主观同伴感更高的分离现象。

试后单题均值呈现分离，同伴感、主导感类题目在无界面手势条件最高，有界面手势次之，计时器最低，而信任、可预测与易用类题目在计时器最高。这支持论文的核心判断，手势控制提升同伴感与主导感，计时器控制时间更稳。条件内细节是手势响应恰当性在无界面高于有界面，视觉界面支持度在计时器卷帘高于手势曲线界面，说明手势曲线界面并未一致地帮助判断。组间比较仅在主导感一项显著，职业高于业余，其余无显著差异。

下表先整理被试规模与试次安排，再整理时差数字，比较问题是在相同曲目与同步伴奏下样本量与剔除是否足以支撑上述分离判断。聚合对象是试次级时差与被试级问卷，单位为秒与一到 7 分，方向已在前节说明。

上表说明样本为小样本专家型被试，练习充分但仍有操作剔除，时差均值接近零而方差较大，职业与业余在客观时差上无实质差异。这意味着客观稳定性结论主要来自条件间方差对比，而非组间差异。未胜出项必须指出，有界面手势在客观方差与部分主观题上均未胜过无界面手势，视觉反馈没有一致优势。同时易用性最高仍是计时器，说明手势带来的体验收益伴随可用性代价。

实验后总体问卷显示手势增加共聚感、音乐意义感与真实合奏价值感评分较高，界面增加可预测性与自信接近中点，无界面增加焦虑的反向题也在中点附近，提示无界面并未一致引发焦虑。访谈进一步支持同伴感解释，多人把无界面手势描述为更像一起演奏，把计时器描述为播放设备，有界面则有人觉得有帮助、有人觉得分心。早期手势试次常感不确定，多次重复后信任上升，但 1 次错误会重新引入不确定，这说明信任是脆弱且依赖近期成功率的。

去掉视觉反馈会怎样，换人会怎样？

论文没有做去掉某路舵机或去掉某峰的机械消融，最接近消融的是有无视觉反馈的对照与职业业余分组对照。有界面与无界面共享同一手势检测与预测公式，唯一差异是是否显示速度曲线、峰点、预测标记与卷帘。结果是无界面在同伴感与响应恰当性上不弱于有界面，在客观方差上甚至更小。这构成一个反证，更多信息不一定带来更好对齐，因为看屏幕会分割注意，把身体 timing 变成视觉核对任务。对复现的启示是不要默认加上可视化就是改进，应先测无界面基线。

换人对照显示职业与业余在客观时差上无实质差异，仅在主导感自评上职业更高。这说明预测公式的误差对两组相似，但职业者更敢于带领。访谈还报告策略差异，计时器条件靠预先 timed 呼吸，手势条件靠点头后短内部计数，适应随试次改善。失败条件包括小点头识别不稳定、需夸大动作、峰判据不清、手势灵敏度需个性化，以及希望支持变速、更好对齐呼吸 timing。这些都是未来应补的验证点，而非已证明的结论。

下表整理组间与界面对照的关键数字，比较问题是差异是否达到显著且方向是否一致。指标方向是主导感分数越高越好，显著性以原文报告为准。

上表表明唯一显著组差在主导感，其余多为描述性趋势，不能当作因果。未评测边界包括变速曲目、长时合奏、不同摄像头角度与光照、不同点头习惯，以及延迟补偿偏离 50 毫秒时的表现。原文未测量误判率与端到端延迟分布，因此不能承诺这些量得到改善。

哪些结论还不能下，缺了哪些证据？

第一是样本与曲目边界。8 名被试均为有经验长笛手，曲目为单一同时进入的慢速曲目，试次为实验室短试，不能推广到初学者、其他声部进入方式或变速表达。职业与业余的客观时差方差都较大，说明个体与试次差异不可忽略，总体趋势不等于每组每步都成立。第二是测量边界。客观指标只有起始一刻的时差，没有整曲 tempo 跟踪、力度与表情互动，主观指标为单题一到 7 分与访谈，没有盲测与长期使用数据。

第三是系统边界。比值冻结为 2.28，未按人校准，峰检测阈值、摄像头帧率抖动、光照与头部遮挡的影响未量化，50 毫秒延迟补偿是否为常数未验证，小手势漏检率未报告。

相关性不是因果。手势条件伴随更高的同伴感，但不能断言只要用手势就会自动产生信任，访谈显示信任随重复成功建立、随错误瓦解，更可能是可预测的成功对齐带来信任，而非手势本身。缺失证据不是技术错误，但复述时要用词区分，论文直接报告用报告或显示，有限解释用支持，未验证推测用可能或待验证。例如视觉反馈效果不一致是报告，无界面更伙伴是支持，个性化校准能解决问题是待验证。训练资源、推理开销、输出帧率与实际延迟应分别讨论，本文只给出 30 帧采集与约 50 毫秒机械延迟，未给出端到端延迟分布与计算开销，不能混为一谈。

要复现，先做什么，需要记录什么？

先复现最小可演奏链条。准备一支可拆卸改造的长笛、14 路舵机阵列、亚克力支架、硅胶防滑、手托、可拆键盖与压接珠、侧键齿条齿轮件、电源、主控与多路脉宽调制驱动板。按音符逐键标定行程，确保 tone hole 可靠闭合且不卡键，记录每键的行程、保持力与回放位置。软件侧用 30 帧摄像头采集面部关键点，计算垂直速度，实现最大峰后等最小峰的状态机，间隔乘 2.28 外推，提前约 50 毫秒调度乐器数字接口信息，同时触发钢琴伴奏。记录摄像头型号、距离、角度、光照、帧率抖动、峰阈值、比值、延迟补偿值与伴奏调度方式。

再复现 3 条件对照。用同一曲目月亮河，同一硬件与伴奏，先跑计时器 3 秒倒计时基线，再跑手势有界面与无界面，每条件多次重复并平衡顺序，保留练习试。同步录制视频与音频，按机器人按键减人声起始计算异步，保留均值与标准差。每试后用一到 7 分记录同伴感、主导感、信任感、自然度与易用性，实验后补总体问卷与访谈。必须保留剔除试次的原因与数量，如原文剔除七试。

何时值得尝试手势方案，当研究目标是增强主导感与同伴感且能容忍更大方差时值得试，当目标是最小方差或舞台零失误时先用计时器。还需补的验证包括按人校准比值与点头幅度、测量漏检率与端到端延迟、测试变速与呼吸对齐。

一句话收束：该用手势定第一拍吗？

该研究的直接报告是计时器时间更稳、手势条件同伴感与主导感更高，有限解释是手势让机器人更像合奏伙伴而非播放设备，未验证的是视觉界面稳定有用与个性化校准必然解决问题。对方差敏感的演出先用计时器，对体验与主导权敏感的探索先用无界面手势并记录每次对齐成败，待漏检率、延迟分布与按人校准补齐后再谈推广到变速与表情互动。复述方法时抓住一句话，人吹气，机器按键，点头双峰间隔乘 2.28 再补 50 毫秒即为第一拍，其余都是围绕这一拍的对照与解释。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

另有 8 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 nime-2026 论文汇总