按键交给机器呼吸留给人：4 支萨克斯重奏的半自动增强

英文题目：Robo-Sax Quartet: A Semi-Automatic Robotic Saxophone System for Augmented Ensemble Performance.

会议身份：conference:nime:2026:conference-paper-id:nime2026_104

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#教育 #用户研究 #音乐 #音频交互

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Gou Koutaki：机构信息未能从会议 PDF 纯文本可靠映射
• Masatoshi Hamanaka：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务输入为四声部乐曲序列与演奏者的吹气咬合吐音，输出为原声四重奏合奏，难点在于高音中音次中音上低音管体尺寸键阻力持管姿势差异大且合奏对时序同步敏感。方法分三步：先由转换工具把标准MIDI预处理为含吐音替代指法八度键时序的机器人优化序列并编码于正常音域外音符区。接着游戏式界面以60 fps视觉提示加单耳click经ESP-NOW无线分发到四台乐器实现同步。最后乐器端混合驱动机构拉线闭键靠键簧回弹开键由人类同步供气完成发声。相对全自动吹奏机器人，该划分只接管音高键而保留气息咬合表达，兼顾降低指法负担与维持原声具身性。在高音管按键延迟评测下，机器人系统的延迟指标为约25 ms，低于有经验演奏者手动操作的延迟指标约50 ms。结论适用边界在于固定速度排练曲目稳定，变速跟随与细腻表情协同尚未验证。硬件部署上系统重约2.1 kg并需腰包式7.4 V供电，无线通信延迟约5 ms。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么？为什么初学者会被萨克斯难住？

这篇解读的输入是会议论文正文与本次收到的官方原图像素，目标是让刚进入语音音乐音频的研究生能复述做法并核对条件。必须保留的信息是 4 种管体的不同机械方案、按键与呼吸的分工、延迟测量方法、听辨与访谈条件以及固定速度这一限制。输出则按学习依赖从任务到复现展开，先讲分工再讲证据。

萨克斯难在 3 件事同时发生：要记住约 32 个键的复杂指法，要把指法与谱面节奏对齐，还要用气息与口型让簧片稳定发声。对初学者，这意味着认知记忆、手指运动与生理控制 3 重负荷叠加，练音阶都容易半途而废。论文把这一困难作为设计起点，而不是作为演奏者个人努力问题。

半自动乐器 × 全自动乐器： 半自动乐器分工是机器只接管按键等音高操作，人保留吹气与表情；全自动乐器分工是机器同时接管发声与按键，人只旁观。搭配理由是萨克斯难点同时来自记忆指法与控制气息，初学者若 2 端同时学负担过重；组合意义是把易出错的离散按键自动化，把连续的呼吸与口型留给人，从而保留真声共鸣与身体参与。

论文选择的路线不是做 1 个自己吹自己按的全自动机器人，而是做半自动增强：机器管按键，人管吹气。学习者要理解的动作链是乐谱先变成带控制音的序列，序列经无线发到各琴，主控按脉宽调制驱动舵机拉线或推杆，人在视觉提示到达时刻送气，管体发出真声。这种分工把离散的音高切换与连续的音色控制拆开，前者可编程与可测延迟，后者保留人体实时调节。后续所有机械与软件设计都围绕这个分工展开。

同输入同目标下，全自动与半自动路线有何不同？

若按同输入同目标来对照，全自动路线输入同样是乐谱或序列，目标是机器独立发出音乐。做法包括早期音乐盒与打孔纸卷，后来的自动钢琴，以及能吹小号长笛萨克斯的人形机器人，用人工嘴唇与肺部加机器人手指完成全过程。这类系统长处是展示技术集成度，短处是观众只能被动听机器演，人不参与发声。

半自动路线输入仍是乐谱或演奏意图，目标是人继续演奏，机器只补人最吃力的环节。例如吉他和弦简化、提琴运弓辅助、长笛指法辅助，人的表情、时机与发声仍是主体。评价标准也不同：前者看机器是否像人，后者看人是否更易表达。初学者常误以为半自动就是全自动加了个人，其实实现目标不同。

本文站在半自动一侧，并把前人多做单件乐器辅助推进到 4 重奏合奏。区别在于合奏引入了新约束：4 台设备要同时被 1 台电脑控制，要处理通信延迟与机械延迟，还要让 4 种移调乐器在统一视觉提示下同步送气。理解这点才能明白后文为何花篇幅讲无线、电池、游戏化界面与八度键提前量，这些在独奏辅助论文里往往不需要。

要解决的合奏问题如何定义？

问题可复述为：在保留真声管体与常规持琴姿态的前提下，为高音、中音、次中音、上低音 4 种萨克斯分别装上足够力且不干涉身体的按键驱动。并用同一套序列与视觉提示实现 4 人同步演奏。输入是商用 4 重奏谱面转成的标准 MIDI，输出是 4 支真管同时发声的重奏。

约束有 4 条：管体尺寸与键阻不同，持琴时模块不能顶住胸腹，19 路舵机同时动作的瞬时电流要扛住，机械按键延迟要计入同步。任何 1 条不满足，合奏就会出现顶身体、带不动大键、掉电或声部错位。论文的贡献正是同时满足这 4 条，而不是只做 1 支独奏管。

用 1 个样本走完全程有助于建立概念：以高音萨克斯吹 1 个中音区音为例，输入是该音的 MIDI 音高加八度键控制音。主控收到的脉宽值驱动对应舵机经尼龙线拉动键子，目标是音孔在指定时刻闭合，输出是人同时送气后管体发出该音。若跨八度大跳，还需提前或延后驱动八度键，否则起音不稳。这个例子说明音高事件不是单个音符，而是主音加控制音的组合，时序精度决定合奏是否整齐。

系统全景：气、人、机器如何汇合？

全景可分为 3 层。乐器层是 4 支真萨克斯各背或前置 1 个机器人模块，负责按键。控制层是 1 台电脑运行游戏化界面，把 4 声部序列同时下发给 4 个无线发射器，各琴主控再驱动舵机。人层是 4 名演奏者看同一视觉时间条并听单耳节拍器，在触发时刻送气与控制口型。声音始终来自簧片与管体，不是扬声器回放，这就是论文强调的具身性。

呼吸控制 × 按键操作： 呼吸控制分工是人用气流速度、气量、口型与吐音决定发声、音色与乐句；按键操作分工是机器人按序列闭合或打开音孔决定音高。搭配理由是萨克斯发声本质是簧片加管体共鸣，音准切换靠孔位而表情靠气；组合意义是离散音高可预编程并精确复现，连续表情仍由人体实时调节，2 者在吹奏瞬间汇合为 1 个音。

下图是理解全景最省力的一张总览，左排展示 4 种管体加模块的尺寸递进，右幅展示 4 人同时持琴吹奏的真实合奏形态。阅读时应先建立 4 机加 4 人的对应关系，再去看后文的延迟与同步证据。

看图路径： 1. 先看左排 4 支管体由细到粗的尺寸变化，对应不同安装位置；2. 再看右幅 4 人持琴姿态是否与常规萨克斯持法一致；3. 核对每支管体外挂模块的有无，确认 4 重奏均为真声加机器人

论文图 1。原论文 Figure 1：“Overview of the robotic saxophone quartet.”。

从像素可见左排 4 支金色管体由细长的直管高音到弯脖大管依次变粗变长，背面或正面均附有带排线与电路的模块。右幅 4 人站立持琴口含吹嘴，姿态与常规重奏无明显差异，左侧还有 1 台显示器提供视觉提示。这支持正文说法：系统设计目标是让人以接近常规方式持琴，机器不改变呼吸发声路径。复述时要强调总览只是形态证明，延迟与同步精度在后文测量与演出中给出，不能只看照片就断言同步精度。

琴上模块：刚性、电路与大小管体如何分别处理？

高音管模块是理解机械的基础。主体是 1 块 2 mm 厚铝合金 A5052 折边板，重 195 g，折边成梁状以弥补铝比钢软的刚度，表面阳极氧化防短路。板经 2 个 M4 垫柱固定在管体上，1 处借用右手拇指钩原有螺孔，另 1 处焊在上部八度键旁拇指托上。早期打孔与胶粘在运输冲击下易脱落，改用拆键后气焊才牢固。拆下模块后管体仍可当普通声学乐器吹，小固定夹约 1 cm2 不影响持法。

电路主控是 M5Atom Lite S3，经 2 片 PCA9685 的 16 通道脉宽驱动芯片输出舵机位置。电源是关键：单舵机峰值可达 0.5 A，19 路同时动作瞬时接近 10 A，印制板为此用双面加宽电源地线并选 2 oz 铜厚以降压降与发热。舵机在 9 款中选了无刷微型 A20BHS，标称 7.4 V 下 0.075 s 转 60 度、扭矩 10.20 kg·cm、重 23.5 g。整机机器人约 700 g，加 1.4 kg 管体约 2.1 kg，仍轻于约 2.6 kg 的常规中音管，可手持。

下图把高音管的整机、电路与走线细节放在 1 处，适合核对刚性板与驱动链。图中可见纵向金属板、多路白色舵机臂与橙色箭头标出的拉线走向。

看图路径： 1. 沿左侧整琴找到背部金属板与舵机排布，确认可穿戴结构；2. 放大右上电路板上的 2 路 PWM 驱动与主控位置；3. 观察右下金属折边板的三维形状，理解刚性来源

论文图 2。原论文 Figure 2：“Robo-soprano saxophone with an attached robotic key-actuation module.”。

从像素可见左侧整琴背面确有纵向金属板与多路舵机臂，右上电路板标出 2 路 PWM 驱动与主控及直流插座，中下特写用橙色箭头标出拉线走向，右下是折边板 3 维图。这对应正文拉线经板孔连到键子的描述：舵机一转拉线收紧则孔闭，反转松线则靠弹簧回弹张开。复述时要指出张开速度由弹簧决定而非舵机决定，这是后文延迟不对称的根源。

拉线驱动 × 齿条齿轮推杆： 拉线驱动分工是用尼龙包覆线拉动键子闭合、靠键子弹簧回弹张开，适合小位移与小阻力键；齿条齿轮推杆分工是把舵机旋转转为刚性杆直线前推，适合大管体大阻力键。搭配理由是高低音萨克斯键阻与安装空间不同，单一拉线在背面会力量不足并接触身体；组合意义是形成按力大小分档的混合驱动，大键用推、小键用拉。

大管体不能照搬背置拉线。次中音与上低音管体大而重，键阻大且贴身持握，背置模块会顶住胸腹，远距离拉线力不够，还曾因线与身体接触短路烧板。改法是在正面键子与喇叭口之间加金属架，用舵机带齿条齿轮把旋转变直线前推，以刚性杆压键，杆头套热塑性聚氨酯软套防伤琴。八度键与高音侧键等只需小位移的开启动作仍用拉线，形成大推小拉的混合驱动。

下图是理解大管体差异的关键，应重点看推杆结构与演奏者持姿的对应关系。左组为 2 支大管，中组为推杆特写，右幅为坐姿持琴。

看图路径： 1. 对比左幅上低音与次中音管体的前置安装与高音管的背置差异；2. 沿中幅箭头看旋转如何变为直线下压，确认推键方向；3. 看右幅演奏者躯干与模块间隙，确认不顶住胸腹

论文图 4。原论文 Figure 4：“Robo-tenor and robo-baritone saxophones for en- semble performance.”。

从像素可见左组上低音与次中音管体正面确有纵向模块，中组特写标出齿轮旋转变垂直下压的橙色箭头，右幅演奏者坐姿持次中音管，模块与躯干留有间隙，手仍按常规位置扶管。这支持正文说法：前置推杆既提供大力又避开身体干涉。学习时要记住这不是装饰性变体，而是由力与姿态约束推出的必要分支，复述时需讲清力不足与顶身体 2 个原因。

MIDI 序列 × ESP-NOW 无线： MIDI 序列分工是承载 4 声部音高与提前或延后触发的控制音，决定何时动哪个键；ESP-NOW 无线分工是把电脑端 4 路指令低延迟点对点发到各乐器。搭配理由是有线 USB 在 4 人走动时会绊脚并与身体干涉，而合奏要求多机同步；组合意义是用标准音乐数据做内容层、用轻量 2.4 GHz 直连做传输层，实现可搬动的 4 重奏同步。

控制与供电的便携化同样重要。电脑经 USB hub 接 4 个基于 ESP32 的 M5Atom 发射器，1 对 1 对应 4 支琴，用 ESP-NOW 2.4 GHz 点对点直连，实测通信约 5 ms。每支琴需约 7.4 V 最高 5 A，改用腰包内 100 W 移动电源经 USB-C 供电加 DP100 模块稳到 7.2 V，摆脱地面电源线，支持舞台与行进式演出。游戏化界面用 C++ 加 DXLIB 写于 Windows，以 60 帧与显示器垂直刷新同步。谱面先转 MIDI，再插入正常音域外的 10 到 20 号控制音来显式指定吐音重复、替代指法与八度键提前延后。

下图把滚动界面与控制音分层画在一起，是复述预处理必须看懂的 1 张。上幅为滚动触发条，下幅为钢琴卷帘加控制音。

看图路径： 1. 先看上幅 4 列不同颜色音条向下滚动到红色横线的触发关系；2. 再看下幅被圈出的低音区控制音与主旋律音的上下分层；3. 确认吐音与八度键控制音不占用正常演奏音高区

论文图 5。原论文 Figure 5：“(a) Game-style graphical user interface (GUI) that enables simultaneous control of four robo-sax instruments.”。

从像素可见上幅黑底 4 列彩色音条向下滚动并被红色横线截断，横线标注为按键操作时刻，下幅钢琴卷帘中低音区另有 1 层小音块被红圈标为吐音、黄圈标为八度键控制。复述动作是：先沿时间轴找到主音，再在下方找到同时刻的控制音，2 者共同决定 1 次按键。这解释了为何直接用原始 MIDI 会不够地道，必须经转换工具生成机器人优化 MIDI。

游戏化图形界面 × 节拍同步： 游戏化图形界面分工是把音符从上向下滚向红色 timing 条，到线即触发按键，让演奏者按视觉提示送气；节拍同步分工是用节拍器耳机与固定速度序列保证 4 人同拍。搭配理由是初学者读 5 线谱慢，而机器人指法与人的送气必须在同一时刻相遇；组合意义是以看线送气代替读谱按指，降低谱面负担但把速度固定下来。

有无神经网络训练？真实计算过程是什么？

本研究没有训练神经网络，也就没有梯度路径、参数冻结更新或损失优化可讲。若把无训练误读为确定性求解是错误的，输出仍受机械弹簧、无线抖动与人送气差异影响。真实计算是规则与测量驱动的构造过程：选型对比 9 款舵机，测按键开关时间，测通信延迟，把延迟补偿写入 MIDI 时序，再经游戏化界面按帧触发脉宽信号。

监督来源是人工乐谱与人工标定的控制音，不是标注数据集的反向传播。重置时机也不是训练轮次，而是每次演出前把序列载入并对齐节拍器。运行时调用的是已写好的序列与转换规则，不是在线学习指法。理解这点才能正确评估后文延迟表的含义：它测的是物理动作时间，不是推理时间。

缺项要明确指出：论文未报告舵机位置闭环的控制律细节，未给出 60 帧触发与无线发送的端到端抖动分布，也未说明替代指法选择的搜索算法，只说由转换工具按显式规则嵌入。复述时不应从 M5Atom 或 PCA9685 名称推定实现了某种滤波或学习，这些都无源。把本节理解为机械与序列工程而非模型训练，才能避免夸大系统的智能程度。

测什么？在什么琴与什么条件下测？

实验按 4 个问题组织。第 1 问按键有多快：在高音机器人管上用卡西欧 EX-ZR100 以 240 帧每秒拍每个键，人工数起始结束帧换算毫秒，分关闭与张开 2 列，关闭靠舵机拉，张开靠弹簧。比较对象是文献称有经验者约 50 ms，但该人工数是隐含预判的整体动作，不与纯机械延迟严格同条件，只能作量级参照。

第 2 问音色像不像人：同一短乐句分别由人与机器人吹高音管，都听节拍器录音，对比波形与恒 Q 变换及音高轮廓，并做 10 人听辨。为防舵机噪声暴露，给人录音也叠加了类似机械噪声。这一控制若拿掉，听者可凭噪声直接判别，比较即不公平。

第 3 问合奏稳不稳：用雅马哈 YSS-61、YAS-62、YTS-62、YBS-62 共 4 支真管，大学管乐团萨克斯声部加作者经 2 个月排练。在约 100 人小厅、约 400 人大厅宴会与歌手合作 3 类场景演出，主屏经 HDMI 分到谱台与投影，单耳耳机给节拍。曲目包括 Sir Duke 等改编曲，总时长约 15 分钟的专场是主要考验。

第 4 问人怎么看：10 名 6 到 8 年管乐经验学生加 1 名职业者试奏后半结构访谈，另有 2 名零基础者在 30 分钟吹嘴教学后试吹中音机器人管。硬件与数据条件要保留：控制电脑跑 Windows 原生码，显示 60 帧同步，无线实测约 5 ms，电源按峰值设计，谱面是购买的商用 4 重奏谱。资源状态方面，本次未发现来源绑定且完成验证的开源代码模型数据，不得声称已公开。

延迟与听感的主结果是什么？

先看执行器选型是否公平充分。提出的问题是：在同为微型舵机的条件下，小体积舵机能否提供足够扭矩且长期可靠？公平条件是对比常用型号的厂家标称速度与扭矩，统一看供电电压与重量，噪声与耐久为否决项。指标方向是速度越小越快，扭矩越大越能压动键子。下表只整理厂家标称的电压速度扭矩重量，不复述电流与结构重量。

上表显示选用型号在 7.4 V 下达到 0.075 s/60◦、10.20 kg·cm 与 23.5 g，而对照型号仅 0.1 s/60◦ 与 2.5 kg·cm 且按原文不足以可靠压键，故扭矩是选型决定项。未胜出项是部分标称更强的舵机因噪声与堵转异响被淘汰，说明只看标称速度扭矩会误选。该表不能支持整机更轻或更省电的结论，重量与功耗需看下一张系统表。

再看系统级代价是否可穿戴可同步。提出的问题是：在 19 路同时驱动与 4 机同步下，电流、通信、重量与机械延迟是否落在可用范围？公平条件是同一高音管实测与同一无线链路实测，人工 50 ms 仅作量级参照。指标方向是毫秒与安培越小越易同步，重量越小越易手持。下表把电源、通信、结构与延迟放在同一行比较。

上表说明每舵机峰值 0.5 A、19 路罕见峰值接近 10 A 与通信约 5 ms 的事实结合后，同步补偿应以约 25 ms 级机械动作为主，而非常态电流或通信延迟。净收益是整机约 2.1 kg 轻于约 2.6 kg 中音管且延迟范围 12 ms 到 40 ms 平均约 25 ms。失败项是大行程键仍慢且金属架带来稍强泛音，该表不能推出每键每曲都更快更好的结论。听感上波形与恒 Q 音高轮廓大体一致，10 人中 4 人判对、3 人判错、3 人分不出，7 人更喜欢机器人版，原文解释为人可专注气息故更稳，但样本小不能写成音质定论。

拿掉什么会变差？访谈揭示了哪些失败条件？

论文没有神经网络消融，但有等价的对照与反证。听辨对照是给人声叠加机械噪声，若拿掉该处理，听者可凭噪声直接判别，比较即不公平。替代指法与八度键控制音是序列层面的消融对象：原文指出跨八度必须显式提前或延后八度键，否则起音不稳。虽未给出拿掉后的失败率数字，但机制上说明直接用原始 MIDI 会不够地道。

10 人访谈提供了系统的未胜出项。正向是读谱负担降、可吹超纲快速乐句、可专注呼吸与音准、换管更容易，2 名零基础者 30 分钟学吹嘴后即能吹旋律且愿继续练气。这些支持增强定位，但访谈以学生为主，不能推广到职业独奏评价。

负向更值得复述：习惯 5 线谱者觉得滚动界面不直观，吐音与机器指法分离导致咬合难，变速与延长记号难集体调整，有人感到被机器人演奏，主体感下降。这些不是训练不足可一笔带过，而是固定速度序列与视觉提示范式的固有代价。宴会演出中鼓手看屏跟奏出现轻微时偏，也说明大场地与多人即兴仍是边界。复述时要把正负并列，不只讲成功音乐会。

哪些表达与场景目前做不到？

局限要按证据分 3 层。直接报告的是只做按键音高，不调口型、吐音细节与精细气息，表情仍全靠人。序列按预定速度播放，不跟歌手或鼓手的实时变速，人必须跟机器。原文明确说这是 rehearsed 合奏够用、即兴交互受限，复述时不能把固定速度说成自适应跟随。

有限解释的是金属架带来稍强泛音，以及大行程键接近人工速度，这些有测量但成因未完全分离。支持的判断是听感接近与平均更快，待验证的是泛音多大程度来自架子共振、多大来自吹奏差异。论文用可能归因的措辞，解读也应保留不确定性。

未验证推测是自适应变速、意图感知与更紧的人机耦合能解决问题，原文只列为未来工作，不能当作已验证收益。未测量项也要点名：误判率、端到端演出延迟分布、电池续航、长时间佩戴疲劳、不同簧片与温湿度下的音准漂移均未报告。因此不能承诺省电、更准或更省力，总体趋势是平均更快、听感接近，但不等于每键每曲都更快更好。

复现先做什么？需要补哪项验证？

何时值得尝试：当目标是让初学者快速体验重奏、或研究真声增强而非全自动演奏时值得试。当目标是即兴变速、独奏细腻表情或大场地巡演时要谨慎，因为固定速度与视觉依赖会成为瓶颈。这一判断直接来自访谈与宴会演出的时偏证据，不是通用建议。

复现先做 4 件事：按高音管背置方案复刻 1 块 2 mm 折边铝板并阳极氧化，用 2 点固定并气焊拇指托。按 19 路峰值布电源与 2 oz 铜厚，用腰包电池加稳压模块验证手持。用 240 帧相机复测各键开关并把平均约 25 ms 与 12 ms 到 40 ms 范围写入序列补偿。把商用谱转 MIDI 后在 10 到 20 号区加入吐音与八度键控制音，再用 60 帧滚动界面加单耳节拍器排练 2 个月量级。

还需补的验证是端到端同步抖动、不同管体的大键推力标定、双盲听辨扩大样本，以及变速跟随的对照演出。关键超参数与信息条件要保留：A20BHS 在 7.4 V 下 0.075 s 每 60 度与 10.20 kg·cm，通信约 5 ms，界面 60 帧，控制音用 10 到 20 号。资源方面本次无可用开源声明，只能按论文文字与像素复刻，不可声称代码已公开。

一句话收束：它改变了什么，又没改变什么？

它改变的是音高生产的责任划分，把易错的离散按键变成可测可补偿的机械时序，让 4 种尺寸不同的管体能在同一视觉与无线时钟下合奏。它没改变的是声音仍来自人的气与簧片，表情、变速与主体感仍是人的功课。这一划分是全文所有选型的总纲，复述时应先讲分工再讲数字。

从学习路径看，先沿 1 个音走通谱面到控制音到舵机到送气的闭环，再去理解大管体为何换推杆、为何加控制音、为何用 5 ms 无线配 25 ms 机械补偿，就抓住了全文。重提结果时应加新对照：平均更快但大键仍慢，听感接近但泛音稍强，舞台稳定但靠固定速度与长期排练。若继续做，下一步不是把琴做得更像人，而是让人跟机器能互相听见变速，这才是增强合奏的真正缺口。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 nime-2026 论文汇总