英文题目:Robo-Bend: A Human-in-the-Loop Robotic Interface for Guitar String Bending.

会议身份:conference:nime:2026:conference-paper-id:nime2026_125

✅ 来源为官方会议 PDF;表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示,未冒称作者原始 TeX。

会议来源:官方记录 · 官方 PDF

标签:#主观评测 #用户研究 #音乐 #音频交互

评分:5.9/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名:前50% | 文档类型:系统技术报告

👥 作者与机构

  • Harumoto Kaneko:机构信息未能从会议 PDF 纯文本可靠映射
  • Gou Koutaki:机构信息未能从会议 PDF 纯文本可靠映射
  • Shigeru Kai:机构信息未能从会议 PDF 纯文本可靠映射
  • Akira Maezawa:机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

电吉他推弦以左手按品位置与手指推拉为输入、以弦张力变化引起的基频连续上滑为输出,难点在于高张力品位下手指力量不足且需兼顾止音与音准保持。新系统先由右脚表情踏板输出MIDI控制变化量并经数字音频工作站路由至微控制器,其输出进入预计算查询表将0-127映射为脉宽调制占空比以消除运行时运算。查表结果经直接寄存器写入以330Hz高频脉宽调制驱动伺服,再由齿条与小齿轮把旋转转为垂直头弦枕表面的直线顶弦位移,左手仅保留按品与触弦而弯音量交由右脚。与颤音摇把、B-Bender或数字变调相比,该头弦枕安装式非破坏模块不改琴体且不经过音频信号处理,因而保留原拾音链路与泛音衰减特性。在标准调弦电吉他物理性能评测下,踏板操作的平均最大偏移指标为约280音分,高于新手手指弯音的平均最大偏移指标不足50音分。该结论适用边界受限于所测弦规与样机,非线性踏板映射导致目标音高瞄准困难等尚未验证。系统硬件重345g并存在中位约92ms延迟,快速乐句与长期佩戴平衡仍需优化。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录,开放状态尚未核实。 可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

推弦难在哪,为什么不直接用效果器解决?

推弦是吉他手把按住的弦横向推拉,让张力增大从而音高连续上滑,再配合揉弦做出过渡。对研究生而言,先把输入想清楚:输入是手指横向位移与保持力,输出是基频轨迹,中间经过弦张力、品丝摩擦与琴颈形变。初学者要同时完成按准品、闷住相邻弦、稳定推到目标音分并保持,这是一个多任务协调问题。原文指出负担包括指尖疼痛、肌肉疲劳、老茧形成时间,以及同时闷音的复杂操作。

白话先讲增强乐器,增强乐器指在传统乐器上加传感与作动,英文为 augmented instruments,目标是扩展功能但保留原声音色。再讲数字信号处理弯音,英文为 DSP-based pitch shifting,它不对弦动手,而是对拾音器信号做数字变调。两者分工不同:前者改物理,后者改信号。论文选择物理路线,理由是数字路线容易引入延迟与共振峰偏移,破坏拨弦后自然的泛音变化。教学例子:比如把空弦信号整体升高,泛音包络会被拉伸,听感与真把弦拉紧不同,这只是帮助理解的例子,不代表本文测量了该失真量。

物理弯音 × 数字信号处理弯音: 物理弯音分工是直接改变弦张力从而连续改变基频与泛音结构,数字信号处理弯音分工是对已采集音频做重采样或相位声码器变换。搭配理由是前者保留原声学链路,后者需要改信号链并引入延迟与共振峰偏移,Robo-Bend 选择前者,新增作用是绕开数字伪影,用机械保持自然音色变化。

本解读的输入是带编号的论文原文证据与本次收到的官方原图像素,目标是让新生能复述方法与实验条件,必须保留的关键信息包括琴头安装方式、作动链条、控制链条、被试构成、测量工具与核心数字,输出是按学习依赖展开的中文讲解。资源状态方面,本次没有发现来源绑定且完成超文本传输安全协议状态验证的资源,因此不得声称代码、模型或数据已公开,只能按正文讨论可复现的设计要点。

机器人音乐是替代人,还是分担动作?

机器人音乐研究沿两条轴展开。一条是全自动演奏,英文为 fully automated performance,人不参与实时控制,机器完成按弦与激发,追求精度。另一条是增强乐器,英文为 augmented instruments,保留人的主体,用机械分担部分负担。吉他领域已有半自动工作,如单手贝斯的电磁螺线管按品、为偏瘫儿童做的脚控拨弦,以及可拆装吉他的半自动演奏辅助机器人,这些都是把 fingering 与发声负担重新分配。

在音高调制上,传统机械有颤音琴桥、拉弦器与踏板钢吉他,表现力丰富但多需对乐器永久改装或掌握专门技巧。数字方案如基于数字信号处理的效果器与基于传感器的手势检测,则存在软件延迟与音色变化问题。Robo-Bend 的定位是第三条:不改琴体、可拆装、直接改弦张力、控制权仍在人脚下。

增强乐器 × 全自动演奏机器人: 增强乐器分工是保留人的实时演奏主体,只用传感与作动扩展原有乐器功能;全自动演奏机器人分工是把按弦与激发都交给机器追求精度与复现。两者搭配理由是前者保留具身控制与音色,后者解决机械难题,Robo-Bend 取前者路线,只把弯音的张力负载外包给机器,左手仍负责按弦、闷音与拨弦,新增作用是重新分配动作而不取代演奏者。

对新手而言,关键判断是比较条件是否一致。类别不同不能直接比胜负:全自动机器人比的是无人的复现精度,增强乐器比的是有人参与时的可控性与负担。Robo-Bend 的对照是同一人、同一琴、同一品位下手指推弦与脚踏推弦的比较,这才是同输入同目标的公平对照。

本文要解决的具体任务与交付是什么?

本文任务不是做自动弹唱机器人,也不是做变调效果器,而是做一个可装在现有电吉他琴头、无需永久改装的推弦辅助模块。沿一个样本走一遍:乐手左手按住第 3 弦某品,右脚踩下表情踏板,踏板角度经 MIDI 控制变化信号送到单片机,单片机驱动舵机经齿轮齿条顶压琴头处的第 3 弦,弦张力上升,拾音器拾到的音高连续升高,分析软件检测到音分变化。目标是让不同力量与熟练度的人都能获得相近的最大升高量,并能实时连续控制。

论文列出三项贡献:设计实现琴头安装、无需永久改装的机构;通过减轻身体与认知负担支持新手与手部力量有限者;把音高调制从左手解耦到脚踏,提供新的身体交互。需要强调的边界是当前实现只针对第 3 弦与第 4 弦,理由是整体重量平衡,尚未覆盖全部六弦。同时论文承认踏板操作到音高变化的映射需要重新熟悉,非线性映射是主要可用性瓶颈。

系统全景:脚如何隔空拉紧弦?

全景分 3 段。输入段是脚踏表情踏板,信号经数字音频工作站以 MIDI 控制变化信号路由。计算段是中央单片机查表得到脉宽调制占空比,经驱动芯片输出高频信号。执行段是琴头模块的舵机转动,经齿条变为直线位移,顶杆垂直于琴头表面按压指定弦。整个链条保持原声学链路不变,没有对音频信号做软件处理,因此论文称其绕开数字伪影与延迟,提供由张力直接带来的自然音色变化。

下面这张总览图把人机回路 1 次讲清,左侧是人与琴与踏板的位置关系,右侧是模块特写与顶弦动作,阅读时先建立从脚到弦的因果箭头,再进入机械与控制细节。

看图路径: 1. 先看左侧人物全身:左脚踩踏板、琴头装有模块,确认人机回路的输入与输出位置;2. 再看右上特写:辨认黑色舵机盒、白色支架与走线,确认模块固定在琴头;3. 最后看右下两张对比:观察顶杆压弦前后弦的偏移方向,确认是垂直顶压而非横向推弦

原论文 Figure 1:Robo-Bend: a robotic guitar string bending assist device.

论文图 1。原论文 Figure 1:“Robo-Bend: a robotic guitar string bending assist device.”。

从像素可见,左侧演奏者坐在凳上,右手在琴体处,左手在指板处,左脚踩在标为控制踏板的黑色踏板上,琴头处标为 Robo-bend 的白色模块清晰可见。右上特写显示两个黑色舵机盒固定在白色支架上,支架骑在琴头上,线缆沿琴头引出。右下两张对比显示顶杆压弦前后弦的侧向偏移,红色箭头标出按压方向,蓝色箭头表示动作先后。这支持论文的说法:调制任务被搬到脚下,左手仍保留传统按弦与演奏,共存而非替代。

机械如何顶弦:舵机、齿轮与刚性如何配合?

机械结构是为标准电吉他琴头设计的非破坏、可拆装扩展模块。作动器选用高扭矩高响应无刷舵机,型号为 X25,论文报告在 8.4 伏时最大扭矩为 28 千克厘米。旋转经齿条齿轮机构变为齿条的直线位移,齿条压弦,方向垂直于琴头表面以调制音高。外壳采用 3 维打印高刚性内部结构,目的是抵抗弦的巨大反作用力,减少结构变形。当前只做第 3 弦与第 4 弦,论文明确说是考虑整体重量平衡。

齿条齿轮机构 × 无刷舵机: 无刷舵机分工是提供旋转力矩与快速响应,齿条齿轮机构分工是把旋转转换为垂直于琴头表面的直线位移。搭配理由是琴弦张力反作用力大,直接直线电机难布置,而齿轮减速加齿条能放大推力并约束运动方向,组合新增作用是以小体积在琴头实现可控的顶弦位移,从而直接改变弦张力。

下图把上述链条可视化,左为 3 维模型剖视,中为整体装配,右为装到琴头上的实物,阅读时把旋转、滑动、按压 3 个标注连成一条动作链,再核对实物是否具备同样的力传递路径。

看图路径: 1. 先看左图三维模型中黄色齿轮、绿色齿条与白色下压箭头,理清旋转到直线到按压的链条;2. 再看中图整体三维装配,确认两个蓝色舵机对称布置对应第 3 弦与第 4 弦;3. 最后看右图实物上琴头,核对舵机、白色齿轮与琴弦的相对位置与固定方式

原论文 Figure 2:Robo-Bend mechanism. Left: CAD model of the rack-and-pinion drive pushing the string.

论文图 2。原论文 Figure 2:“Robo-Bend mechanism. Left: CAD model of the rack-and-pinion drive pushing the string. Right: Prototype mounted on the headstock.”。

从像素可见,左图黄色齿轮旁标有旋转箭头,绿色齿条旁标有向下滑动箭头,底部弦旁标有按压,齿轮转动带动齿条下滑顶弦的因果非常直观。中图显示深灰支架骑在琴头上,两个蓝色舵机分居两侧,绿色齿条从顶部伸出。右图实物为白色支架,黑色舵机上印有 X25 字样,白色齿轮与齿条啮合,弦从支架下方穿过。这说明设计把大力矩需求与紧凑安装矛盾用齿轮减速加直线约束解决,但代价是模块重量达到 345 克,专家反馈出现琴头下沉,后续需减重。

表情踏板 × MIDI 控制变化信号: 表情踏板分工是提供脚部连续角度输入,MIDI 控制变化信号分工是把该角度量化为 0 到 127 并经数字音频工作站路由到单片机。搭配理由是踏板是乐手已熟悉的脚控形态,MIDI 是现成低改造成本的传输方式,组合新增作用是让弯音控制与左手解耦,既支持实时演奏也支持序列自动控制。

没有神经网络训练时,计算与优化在哪里?

本研究没有训练神经网络,也没有梯度更新、参数冻结或监督损失,因此本节必须明确说明无训练阶段,避免把查表当成学习。真实计算是嵌入式实时查表加寄存器直写。中央单片机为 M5Atom S3 Lite,经 PCA9685 驱动输出 330 赫兹脉宽调制信号。表演者用表情踏板,其 MIDI 控制变化信号经数字音频工作站送到单片机,该配置同时支持实时演奏与自动序列控制。

为降低执行延迟,论文报告两项软件优化。一是预计算查找表,英文为 Look-Up Table,启动时生成 MIDI 输入 0 到 127 到脉宽调制占空比的映射并存内存,省去运行时算术开销。二是直接寄存器访问,实时处理时绕过标准库,按表直接写驱动芯片控制寄存器,减少通信开销。这两项都是确定性工程优化,不是统计学习,也不能从参数固定推定输出完全确定,因为弦张力、温度与机械间隙仍会带来变化。

查找表 × 直接寄存器访问: 查找表分工是在启动时把 MIDI 输入映射为脉宽调制占空比并存入内存,省去运行时算术;直接寄存器访问分工是绕过标准库直接写驱动芯片控制寄存器,省去通信开销。搭配理由是两者都针对执行延迟,组合新增作用是在不改变机械的前提下压缩从踏板到舵机动作的软件延迟。

未报告的缺项要指明:论文未给出查找表具体曲线形状、脉宽调制占空比范围、舵机角度与齿条位移的标定方法,也未报告从踏板模拟采样到 MIDI 再到单片机的分段延迟分解。因此不能从型号名称推定实现细节,复现时需自行标定并测量分段延迟。

实验条件:琴、工具、被试与任务如何固定?

实验用琴为标准调音的电吉他,弦规为点 010 到点 046,弦高约为第 1 弦 2 毫米、第 6 弦 2.5 毫米。数据分析自动化使用数字音频工作站与 Python,音高检测经 CREPE 完成。被试共 5 人,含第一作者,覆盖从高手到新手的不同音乐背景。所有试验中传统手指弯音与踏板操作交替比较,以消除疲劳与学习偏置的影响。

评估分 2 个阶段。第一是物理性能评估,测最大音高偏移与系统延迟。第二是可演奏性评估,测到达目标音高的时间与稳定性。具体瞄准任务是让被试用踏板复现手指弯出的音高,测量进入目标正负 5 音分内并保持至少 500 毫秒的起始点所需的稳定时间。主观问卷采用 5 点李克特量表,从强烈不同意到强烈同意,外加自由文本。

延迟测量用 240 帧每秒视频分析,从踏板输入到机构物理启动的中位数延迟。这些条件是复述与复现时必须锁定的信息,改变弦规、弦高或品位都会改变张力特性,不能直接比较数字。

最大能推多高:谁推都一样吗?

要回答的最大升高问题,需在同弦同品下比较手指与踏板。论文在第 3 弦的第 1 品、第 11 品与第 22 品比较,第 4 弦观察到类似趋势。手指弯音方差大,依赖熟练度与品位,特别是在第 1 品高张力处,新手几乎推不动;踏板则跨被试跨品位稳定。延迟方面,视频分析给出约 92 毫秒中位数延迟,之后音高平滑跟随踏板,无大幅超调或极端不稳。

下图是踏板输入与音高轨迹的直接证据,阅读时先分清双纵轴,再看延迟后跟随是否平滑,这决定了最大升高之外的实时可用性。

看图路径: 1. 先确认横轴为时间毫秒、左纵轴为音高音分、右纵轴为控制变化值;2. 再比较蓝色阶梯输入与橙色音高曲线的先后关系,估计初始延迟段;3. 最后观察橙色曲线上升后有无超调与振荡,判断跟踪是否平滑

原论文 Figure 5:Pedal input (MIDI CC) vs. pitch trajectory. After initial latency, pitch smoothly tracks the pedal.

论文图 5。原论文 Figure 5:“Pedal input (MIDI CC) vs. pitch trajectory. After initial latency, pitch smoothly tracks the pedal.”。

从像素可见,横轴为时间毫秒 0 到 1000,左纵轴橙色为音高音分,右纵轴蓝色为控制变化值。蓝色阶梯在约 500 毫秒附近从 0 跳到 127 附近,橙色音高在短暂延迟后从 0 附近爬升到约 280 音分附近,峰顶略有小鼓包后稳定在约 285 音分附近。这支持论文判断:初始延迟后跟随平滑准确,没有剧烈振荡,但延迟本身在快速乐句中可能成为瓶颈。

为把公平条件与指标方向讲清,下表整理最大偏移对照。比较问题是同品位下最大升高是否摆脱力量与把位限制,公平条件是同琴同弦同品交替测试,指标方向是音分越大表示推得越高,稳定性以被试内标准差表示越小越好。

条件品位手指弯音最大升高脚踏弯音最大升高可复现性
第 3 弦高张力第 1 品新手小于 50 音分约 280 音分被试内方差极小
第 3 弦中高把位第 11 品与第 22 品随熟练度变化约 280 音分跨品位稳定
高手与新手差距第 1 品最大差距约 300 音分差距基本消除新手即达高手水平

表后解释主要收益与代价。收益是踏板实现平均约 280 音分、约一个半音的动态稳定升高,且与肌肉力量与品位无关,显著降低入门门槛,反例是手指在第 1 品新手不足 50 音分,与高手差距可达约 300 音分。代价是该表只报告最大值,不代表能精准停在任意目标音高,瞄准与保持能力需下一节的稳定时间与问卷另行评估,未胜出项正是踏板的精细控制。

瞄准目标音高为何变难:非线性还是延迟?

可演奏性任务要求复现手指弯出的音高,稳定标准是进入目标正负 5 音分并保持至少 500 毫秒。结果是高手手指多数试验快速收敛,踏板则无论熟练度频繁出现未检出,即难以在目标附近稳定停留。论文认为主因不是力反馈缺失,而是踏板行程与弦张力之间的几何非线性,踏板踩深与音高变化不成比例,目标附近需要精细微调, performer 难以把握合适踩深。

下图对比高手与新手的瞬态波形,阅读时不要只看终点,要看收敛速度、台阶与过冲,这正是非线性映射的行为指纹。

看图路径: 1. 先确认上下两幅图分别为高手与新手,横轴均为时间毫秒、纵轴均为音高音分;2. 再对比每幅图中青色手指曲线与橙色踏板曲线的上升速度与最终高度;3. 最后观察橙色踏板曲线的台阶、波动与回落,判断精细控制难度

原论文 Figure 6:Pitch transition waveforms. Top: Expert.

论文图 6。原论文 Figure 6:“Pitch transition waveforms. Top: Expert.”。

从像素可见,上图高手中青色手指曲线在约 300 毫秒内迅速爬到约 220 音分并保持平稳,橙色踏板曲线呈阶梯爬升,在约 90 音分与约 115 音分处停顿,再缓慢爬到约 210 音分,收敛慢且有细小波动。下图新手中青色手指曲线始终贴近 0 到 30 音分,基本推不动,橙色踏板曲线能爬到约 135 音分并维持,但中段有抖动,末段大幅回落,显示过冲与控制粗糙。这支持论文结论:踏板让新手实现从无到有的调制,但精细瞄准仍困难。

主观问卷进一步分离了延迟与非线性的责任。手指弯音负担平均 4.4 分,确认为普遍障碍;踏板疼痛减轻 4.4 分、可长时间演奏 3.6 分,说明减负目标达成;瞄准困难 4.4 分,评论多指音高变化与踏板踩深不成比例;对约 92 毫秒物理延迟的不适仅 1.8 分,极低。论文提出认知掩蔽假设,即认知资源集中补偿非直观映射,反而掩盖了对时间延迟的感知,该解释属于有限解释而非直接测量,应用可能与待验证表达。

边界与代价:重量、延迟与映射如何制约实用?

已验证的边界有三。第一是映射非线性,踏板位移与音高不成比例,导致目标附近微调难、稳定时间长、频繁未检出,这是软件侧查找表补偿曲线未线性化的结果。第二是延迟,约 92 毫秒中位数延迟超过人类感知阈值,当前因认知掩蔽未被抱怨,但论文明确指出一旦熟练并要求更快乐句,隐藏延迟必然成为新瓶颈,未来需绕过 MIDI 协议、由单片机直读踏板模拟值。第三是重量,模块 345 克导致专家反馈琴头下沉,破坏乐器原有平衡,减重是实用化必做项。

未评测的边界也要点明。当前只覆盖第 3 弦与第 4 弦,未验证多弦同时弯音;只报告标准调音与特定弦规弦高,未验证其他张力条件;只用 CREPE 离线分析音高,未实现基于实时音高估计的闭环控制;作动器声学噪声仅定性评估为适合演出无听觉疲劳,未给出声压级数字。这些缺失不是技术错误,但意味着总体趋势不等于每组每步成立,换弦规或换琴仍需重测。

为把代价量化,下表整理延迟、重量与主观评分,比较问题是减负收益是否伴随可用性代价,公平条件是同一批 5 人同琴完成 2 阶段任务,指标方向是负担与瞄准困难分越高越重,延迟不适分越低表示越不敏感。

条件指标数值方向含义
模块装琴头重量345 克越小越好专家报告琴头下沉
手指弯音负担李克特 5 点平均 4.4 分越高越重普遍障碍确认
延迟不适感李克特 5 点平均 1.8 分越低越不敏感认知掩蔽下未察觉
瞄准困难李克特 5 点平均 4.4 分越高越难非线性为主因

表后解释收益与反例。收益是疼痛减轻 4.4 分与可长时间演奏 3.6 分,支持身体负担解耦成立;反例是瞄准困难同样 4.4 分,且延迟不适仅 1.8 分,说明用户痛点已从力量转移到映射直观性。若只看最大升高会高估实用性,必须同时看稳定时间与主观瞄准分。

复现先做什么:按什么顺序锁条件?

复现应按输入到输出的因果链锁条件。先锁吉他与安装:标准电吉他、固定琴桥亦可,弦规点 010 到点 046,弦高第 1 弦约 2 毫米、第 6 弦约 2.5 毫米,模块固定于琴头对应第 3 弦与第 4 弦,确保无永久改装且绝缘可靠,记录模块重量与琴头平衡变化。

再锁控制链:表情踏板经数字音频工作站以 MIDI 控制变化信号 0 到 127 送 M5Atom S3 Lite,经 PCA9685 输出 330 赫兹脉宽调制,启动时生成查找表并用直接寄存器访问输出。建议自制标定流程:逐级步进 MIDI 值,记录齿条位移与 CREPE 音分,绘制踏板到音高曲线,验证非线性拐点位置,再尝试用补偿曲线做线性化,这是论文指出的首要改进。

最后锁测量:用 240 帧每秒视频测踏板到机构启动延迟,用数字音频工作站同步记录 MIDI 与音频,交替测试手指与踏板以消除疲劳偏置,稳定标准取进入目标正负 5 音分并保持至少 500 毫秒。伦理与安全方面,5 名被试均在知晓机构与流程后自愿知情同意,被告知可能有类似学琴的指尖酸痛,设备牢固固定于琴头且电气绝缘,原型材料为聚乳酸、亚克力与标准金属件。资源可用性方面,本次未发现可验证的公开链接,不得写当前可用或已公开,论文称将分享硬件与软件,复现前需按正文自行搭建并补测分段延迟与噪声。

何时值得尝试,还需补哪项验证?

当目标是让新手或手部力量有限者快速获得约 280 音分的稳定推弦,或把左手从弯音负载解放以探索脚控表达时,值得尝试该物理顶弦路线。当目标是毫秒级快速经过句中的精准音高,或要求全弦覆盖与轻量无感佩戴时,当前版本尚不合适,应等待线性化映射、直连低延迟架构与减重后的迭代。

还需补的验证很具体:一是线性化后的稳定时间重测,看未检出率是否下降;二是分段延迟分解与直读模拟踏板后的对比,看约 92 毫秒能压缩多少;三是多品多弦与不同弦规下的最大升高矩阵,看约 280 音分是否普适;四是基于实时音高估计的闭环控制,看能否抑制细小振荡与过冲。论文还提出独特于物理作动的想法,包括锁定特定弯音宽度的模式,以及把踏板初始位置偏置为恒定升高半音从而松踏板实现下行,这些属于待验证的新表达,不应写成已实现效果。

一句话收束:Robo-Bend 报告显示用琴头顶弦加脚踏能稳定实现约 280 音分并消除力量差距,支持其作为降低门槛的增强乐器;但瞄准困难与重量延迟的代价表明,真正到实用仍需先修映射曲线,再修延迟与重量。

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1
  • 评分模型:muse-spark-1.3-contributor
  • 评分请求协议:openai_responses

← 返回 nime-2026 论文汇总