三人合奏不散架：受限角色与脚下振动如何托住新手协作

英文题目：Feeling Connected: Designing Instruments and Haptic Feedback for Collaborative Music Exhibits.

会议身份：conference:nime:2026:conference-paper-id:nime2026_138

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#用户研究 #音乐 #音频交互

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Paul Preuschoff：机构信息未能从会议 PDF 纯文本可靠映射
• Karl Deilmann：机构信息未能从会议 PDF 纯文本可靠映射
• Lea Schirp：机构信息未能从会议 PDF 纯文本可靠映射
• Jan Borchers：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

无排练陌生三人组走近即玩协作音乐展品的输入是三人同步即兴动作，输出是连贯合奏与社会连接体验，难点在于能动性不清、节奏对齐难与互不知晓对方行为。先以7人参与式设计工作坊确立直观性与平衡性约束及三类声音交互隐喻，其输出的角色划分直接决定三件乐器的分工研制。接着研制鼓触发打击乐、琴键启停管风琴和弦、风箱管连续调制铺底三角色乐器，经Arduino传感与MIDI至Ableton Live合成音频管线实现鲁棒触发与表现力。然后耦合脚下振动地板与乐器内激励器，以节拍脉冲、个体动作与群体混合三种触觉条件进行7组21人60分钟实验室对照评估，使反馈设计进入迭代闭环。相对已有单人新乐器研究，关键差异是将受限音高集与共享鼓贝斯伴奏支架同多感官社会线索绑定，以降低错音焦虑并维持面向同伴的视觉协调。在实验室对照评估条件下，年龄上限参与者的年龄指标为42岁，高于年龄下限参与者的年龄指标20岁。结论适用边界受限于受控室内成人短时演奏，尚未验证博物馆实地、儿童与长期使用外推性。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://cdn-shop.adafruit.com/datasheets/MPR121.pdf — 链接可访问（HTTP 200）
• 第三方资源：https://www.onsemi.com/download/data-sheet/pdf/qrd1114-d.pdf — 链接不可用（HTTP 403）
• 第三方资源：https://docs.arduino.cc/resources/datasheets/A000066-datasheet.pdf — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：新手三人走近就玩为何总散架？

这篇论文的输入是真实展厅情境：3 名互不熟悉且水平未知的参观者走到一件大型音乐展品前，没有排练时间，也没有老师逐句指导，只能靠看一看摸一摸就开始合奏。研究目标不是培养演奏家，而是在几分钟内让新手体验到一起即兴的连接感。必须保留的关键信息是 3 人同场、角色互补、听觉加触觉双通道，以及采用边设计边验证的研究路径。 学习依赖上先要理解协作即兴的两个难点。第一是能动性不清：我按下去到底出了什么声，这个声音在整体里算什么。

第二是时间对不齐：各按各的就成了噪音。论文把解决思路拆成三件事：用受限音高让乱按也好听，用共享伴奏给统一拍点，用振动把拍点和动作感补到脚下和手上。理解这三件事的先后关系，才能读懂后文为何同时做乐器和反馈。 工作坊草图是理解设计来源的重要证据，下图收录了早期头脑风暴的手绘格子，能看到伴奏拆轨、触摸网格、打地鼠敲击、走键跑圈等想法，其中关于气流的想法直接长成了后来的风箱管。这些草图不是装饰，而是收敛过程的记录。

看图路径： 1. 先找中上黄色 Air 格确认气流与管乐关键词；2. 再看左上伴奏拆轨与按钮开关草图；3. 再对比右上触摸网格与右中打地鼠敲击图

论文图 2。原论文 Figure 2：“Example ideas and sketches from the workshop. The idea regarding airflow (top middle) inspired the Bellow- Pipe instrument.”。

这张拼贴图的教学价值在于展示发散到收敛的过程。左上想把伴奏拆成可用按钮开关的轨道，右上想用网格同时管音高和琴键，右中想用敲击对应节奏，底部则想用走和跑等全身动作参与。中部黄色区域写明向管乐借隐喻，解释了为何最终没有用轮子式连续控制器，而是回到更像管乐的孔加风箱结构。记住这个选择，后文连续调制的学习成本就有了出处。

前人走过哪条路：映射反馈与协作如何分工？

相关工作按同输入同目标来对照，而不是按乐器新奇程度排名。第一条线是映射，也就是手势如何变成声音。前人提醒映射要在表达自由与技术精确之间取舍，还要在因果清楚与可探索之间取舍。视觉提示能提高精度但可能削弱学习，而即兴中形成的动作词汇更多取决于身体连贯与美学，而非纯效率。这支持论文把手势做大做可见，并把音高空间收紧。

第二条线是反馈。论文强调反馈不只是纠错，而是一种阻力和伙伴：好的阻力能带来持续表达，振动耦合能让数字乐器从单向控制器变成可响应的系统。洛伦兹黄铜与触觉乐器等例子说明，把声音与触觉绑在一起能提高可玩性与亲密感。这直接引出本研究的地板振动与乐器内激振器，也解释了为何振动信号要与声音同源。 第 3 条线是协作与展品。

集体即兴被描述为节奏与乐句的持续相互调节，新手满意度与控制感相关，协作需要平等而不过载的贡献方式。对多用户展品，前人提出用具体物件做社交中介，用多模态与合作体验模式吸引留住交付。这解释了为何论文坚持 3 个不同但威力相当的角色，以及为何不用闪灯抢视觉，而是把视觉留给看同伴。3 条线合在一起，构成了后文设计约束的依据。

要解决什么：走近即玩展品的设计约束有哪些？

论文把展厅约束写得很具体：观众技能未知、停留短、不能排练、不能细讲。由此定出 9 个目标：社会连接、好玩、有直觉、角色平衡、旋律托底、节奏托底、看起来不吓人、动作透明、有力量感。其中透明特指同伴和围观者也能看懂你在干什么、出了什么声。这个定义很重要，它把评价标准从好听扩展到看懂。 为此作者先把声音交互分成 3 类。

举例说，单点交互像敲鼓，敲一下响一声；两点交互像风琴，按下起音松开止音；连续交互像小提琴或长号，发声期间随时可调。这里的例子仅用于帮助理解分类，论文实际乐器另有具体实现。这种分类的好处是 3 人不撞车，各管一层，从源头减少互相掩盖。

另一个关键决定是眼睛留给人、振动留给己。作者明确不用闪灯类视觉反馈，避免玩家低头看自己的乐器。乐器要支持脱离视线演奏，位置安排要能看到彼此。地板振动则提供亲密而有力的个人通道。这样听觉管音乐、视觉管社交、触觉管锚定，3 通道各有分工。

这个分工是后文 3 种振动对照的前提。

系统全景：三件乐器加振动如何连成一件展品？

先沿一个 3 人小组走完 1 次完整输入到输出。假设 3 人分别站在鼓、键、管前：鼓手拍一下悬空鼓面，电容触摸信号进控制器；键手按下弹簧键，光学距离传感器给出键程与速度；管手按住管身小孔并推拉风箱，孔的通断定音高、风箱距离调音色。3 路信号统一进一块开发板做去抖滤波，再以音乐设备数字接口发给电脑上的声音合成软件，合成出各自音色后送到定向音箱，同时把低频振动信号送功放，驱动每人脚下振动板和管内小激振器。

下图是三件乐器的实物外观总览，左大图为整机，右三小图分别对应鼓、风箱管、键，是核对角色分工最直接的依据。图中手势示范了拍按压 3 种大动作，符合大而可见的要求。

看图路径： 1. 先看左侧整机确认鼓键管同台共处一件展品；2. 再看中部鼓架确认上方悬挂拍面与下方金属拍面分层；3. 再看右上橙色波浪管身确认孔位沿轴线排布；4. 最后看右下橙色长条琴键确认按压倾角与双手位置

论文图 1。原论文 Figure 1：“We built a collaborative music exhibit for three players and evaluated different modes of haptic feedback in a user study (n=21).”。

从像素看，整机把三件乐器做在一台展品上而非三台孤立设备。鼓用框架悬起红色拍面，分高低两层；风箱管是橙色波浪管身，孔位沿管身一字排开；键是橙色长条弹簧键，排成一排可下压。手在图中示范了拍、按、压 3 种动作，也为后文眼睛看人、手靠触觉的协作方式提供了实物基础。

全景还要记住两个支架：受限音高让乱弹不难听，共享伴奏给出鼓与贝斯参考。这两个支架在后文实验中一直存在，是比较 3 种振动模式的公平底座。

三件乐器各管什么：触发启停与连续如何实现？

鼓管单点触发。它有 6 个鼓面：头顶悬挂 4 个，面前放两个大鼓面。传感用接电容触摸芯片的触摸板，只给开或关，不测敲击力度。早期试过压电测力度但常误触发，所以退回稳健的开关触发。音色上顶部 4 个对应 4 个上行木琴音，底部两个对应镲与定音鼓，适合打节奏重音。

键做得大是为了让按压动作从远处也看得见。 键管两点启停。它有 5 个大弹簧键，用反射式光学距离传感器测距离，从而实现音符开、关与力度检测。音色对应电风琴，适合弹旋律与和弦。风箱管走连续加离散混合。

它有 7 个孔沿波浪形管身排开，波浪由大到小提示低到高的音高映射，孔边是导电环同样走电容触摸。窄端有一个风箱控制器，用激光测距传感器测位置并映射到音色调制。每个孔内还有小风扇与小激振器，持续触摸时给手以气流加振动的管乐感。

受限音高空间 × 共享伴奏支架： 受限音高空间负责把每个乐器能发出的音限制在协和的小集合里，降低错音焦虑；共享伴奏支架负责提供统一鼓点与贝斯时间参考，让 3 人不排练也能对拍；搭配理由是前者管音高不出错，后者管时间不散，组合后新手既敢按又能合在一起。

单点触发 × 两点启停： 单点触发负责敲一下发一声然后自然衰减，适合鼓类节奏重音；两点启停负责按下发声松开停止并可带力度，适合风琴式旋律和弦；分给不同乐器的理由是避免 3 人做同一件事而打架，组合后形成节奏与旋律互补的分工。

信号链是统一音乐接口管线。下图是展品的系统框图，教学上只要记住 3 段：传感进板、板进电脑合成、电脑分两路输出。框图显示顶部 3 路乐器线汇入开发板，开发板向下送到声音合成软件。软件一侧向下接 3 个音箱图标，另一侧接到功放，再由功放驱动振动装置。

看图路径： 1. 先沿顶部乐器线找到开发板汇聚点；2. 再沿中间箭头看到声音合成软件声音生成；3. 再看右侧功放分出振动与音箱两条去向

论文图 3。原论文 Figure 3：“Schematic overview of the exhibit. The instru- ments are connected to an Arduino Uno, which sends cor- responding MIDI signals to Ableton Live.”。

框图细节对应正文所说的音频送音箱、低频音频送功放驱动振动板与管内反馈，说明听觉与触觉同源而分路。复现时先让 3 路空信号能分别出声、分别出振，再合起来试串扰。这个顺序能更快定位是传感问题还是功放串扰问题。

有没有训练模型：本研究算了什么没算什么？

本研究没有训练神经网络，也没有报告梯度、损失、优化器或权重更新，因此不存在冻结与更新的划分，也不能把系统稳定等同于确定性求解。缺项要明确指出：论文未给出合成参数的自动学习过程、未给出振动信号的自适应算法、未报告延迟与算力的定量预算。这些缺项不是疏漏，而是研究类型决定的：这是一项设计与行为研究。 真实计算过程是规则与映射加现成工具推理。开发板侧做传感去抖与滤波，把原始通断与距离变成音符开关、力度与控制量。

电脑侧声音合成软件按固定映射把这些事件变成 3 类音色，并按固定方式生成 3 类振动：节拍脉冲、本人动作的降调低通版、全组合并版。调用关系是单向流水线，没有在线学习或按人重置模型的时机。 工作坊侧的计算是质性分析。7 人设计工作坊的录音与访谈用反思性主题分析归纳，关注直觉、身体参与与社会协调。这不是分类器训练，而是用编码提炼设计假设，例如乐器不应像真乐器以免吓退新手，但应保留可识别隐喻以便上手。

评估侧问卷只做描述统计，访谈同样做主题分析，不做显著性故事。理解这一点，就不会误把问卷均值当成模型指标。

实验怎么搭：测什么和谁比条件公平吗？

评估分两段。先是 7 人参与式设计工作坊，参与者有古典乐与电子乐背景，在受控实验室用低保真原型做发散与反馈，淘汰了轮子式连续控制器，确立了风箱隐喻。这段解决乐器长什么样、怎么玩。后是 7 组共 21 人的实验室协作评估，每组 60 分钟。每组走 4 步：先 5 分钟自由探索并可换乐器，之后固定乐器。

再在 2 分钟伴奏下依次体验 3 种脚下振动：节拍脉冲、本人动作反馈、全组合并反馈，后 3 步顺序做平衡。每步后填问卷加简短半结构访谈，全程有观察记录。 比较的问题是：在伴奏相同、乐器固定、时间相同的前提下，哪种振动更能帮上拍、帮感知同伴、帮控制且不添乱。问卷用五点量表，方向是分越高越同意。访谈用反思性主题分析，日志与问卷只做描述统计。

事后还让参与者对 3 种模式排名并比较何时协作最容易。需要记住的公平底座是伴奏与乐器映射全程不变，变的只是脚下振动的内容。 下面这张表交代谁在玩、玩了多久，帮你判断主结果能推广到哪里。它不是效果表，而是样本与协议表，不能当成胜负证据。公平条件是每轮都是相同伴奏即兴加同套问卷，指标方向均为越高越正向。

表后要说清边界：样本是成年人为主的实验室小组，非博物馆混龄人流，更非儿童为主的场景。部分问卷只剩 19 人。音乐审美基于西方背景，音色与音阶选择自带假设。因此把结论搬到真实展厅前，还需补儿童捣乱、围观加入、长时间磨损等未评测边界。这张表的作用正是限定推广范围。

主结果如何：哪种振动帮对拍哪种添乱？

观察到的群体轨迹是一致的：先是各玩各的自我探索，很少看人；随后出现动机变化与呼应式你来我往，像短小的音乐对话；到第三阶段，有的组把对话放大，有的组故意捣乱试探系统。问卷趋势是同伴感知与协调随轮次上升，自己的声部贴合度一直偏正向，参与基本平等，领导感弱，愉悦一直高。这个轨迹说明学习效应强，轮次本身就会带来进步。

3 种振动的分工在访谈里最清楚。节拍脉冲常被说稳住合拍，脚底的贝斯拍让起点好找，不必竖耳同时听伴奏和同伴。全组合并反馈让人更意识到别人，但声源难分时会增加认知负荷。本人动作反馈让人更清楚自己的声音，有人因此感到像在独奏、与他人隔开。有人原话说没有振动的旋律很奇怪，因为古典乐器本来就有振动，这支持振动让乐器更自然的判断。

节拍脉冲反馈 × 动作反馈： 节拍脉冲反馈负责通过地板把统一拍点传到脚底，帮全组对齐时间；动作反馈负责把本人或全组乐器声音降调滤波后变成振动，帮人感知谁做了什么；比较理由是前者是公共时钟，后者是行为回声，对照才能看出新手更需要对时还是辨源。

下面这张表把 3 轮可直接对照的数字放在一起，比较问题是：在同一伴奏与同组人条件下，愉悦、帮助感与控制感是否随振动内容变化。公平条件是每轮都是 2 分钟伴奏即兴加同套问卷，指标方向均为越高越正向。

表后解释要同时看收益与代价。全组合并的愉悦最高而帮助感最低，说明热闹不等于好用。

节拍脉冲帮助感最高，支持它是最稳的对时工具。本人与合并的控制感更高，说明能感到自己的动作回来了，但本人动作也带来感到独奏的反例。论文还报告组间比较未发现某一模式在所有组都让协作最容易，且非参数检验在各问卷项上均无显著差异，因此不能把节拍脉冲说成对所有组都最优。未胜出项在这里就是全组合并的帮助感，它提醒混合信号会模糊声源。

拿掉什么会怎样：支架与振动的反证在哪里？

论文没有做神经网络消融，但有 3 类可读作对照的证据。第一是支架的双面性：缩小的音高与固定拍点帮新手快速起步、减少错音焦虑，但也有人感到被规定了节奏与旋律，限制了创意。这说明约束是入门脚手架而非全程最优，后期应放宽。有人觉得节拍限制创造，但承认对合奏有帮助，这正是脚手架的典型表现。 第二是振动内容的对照：节拍脉冲保留而动作混合拿掉时，对时变易。

反过来只给本人动作时，对时提示弱了但自我声音更清楚；全组混合则在提高他人意识的同时带来过载。这组对照不支持振动越多越好的推测，支持按需切换：要对拍给脉冲，要找自我给本人，要感知全组再给混合并接受分离变差。这种条件化结论比单一最优更符合数据。 第三是视觉通道的对照：当听觉被音乐占满、触觉给锚定时，视觉成了混乱时恢复同步的主通道。

参与者说自己上手后才有余力看别人，看手势与身体移动成了对拍补充。这反证了不用闪灯、保持视线通透的设计是有偿的：若挡住视线或让玩家低头，协作恢复会变难。早期认知负荷高的报告也支持注意力是分阶段释放的，先顾自己再顾他人。

哪些还不能说：测量缺了什么因果能走多远？

直接报告的是：愉悦高、参与较平等、感知随时间上升、节拍脉冲口碑最稳、混合反馈易过载。有限解释的是：振动让乐器更自然、视觉是混乱时的恢复通道、约束前期有用后期嫌紧。这些有访谈与观察支撑，但仍是小样本质性归纳，用支持而不用证明来表达。措辞上要区分报告与推断。 未验证推测要单独标出：把实验室结果推广到博物馆大客流可能成立，但论文明确说受控原型不等于展厅，更多行为模式与边缘情况待验证。

换音色、音阶、伴奏可能更富表现力，但何种组合更好尚未测试。动态教程与按需加难度的想法只是未来工作，不能当成已有收益。这些都属于待验证，不能写入复现清单当作保证。 缺失证据不是技术错误，但不能承诺未测量的量。论文未测量误触率、端到端延迟、功放与振动板的功耗成本，也未报告推理帧率，因此不能说系统更快更省。

相关性不是因果，例如协调感上升可能来自熟练而非某种振动，轮次效应与顺序平衡只能减弱而不能消除这种混杂。总体趋势也不等于每组每轮都成立，事后排名就没有一致赢家。

要复现先做什么：物料链路与问卷如何照抄？

先抄链路再抄乐器。链路是传感进开发板做去抖滤波，以音乐设备数字接口进电脑声音合成，同时分听觉与振动两路输出。振动板是每人脚下一块约六十厘米见方的板子，由大功率激振器驱动，工作频段约 30 到 300 赫兹。这个顺序能区分传感故障与音频串扰。

物料核对要回到原文链接状态。电容触摸芯片资料当前可用，已公开可查。开发板资料当前可用，已公开可查。光学距离传感器资料本次链接不可用，复现键的测距部分不能依赖该链接，要另找同功能传感器并重测阈值与力度曲线。风箱用激光测距模块的链接在证据中只给到文字提及，复现时按实际到货手册校准行程与映射。

不要从器件名称推定量程。 协议照抄 4 步：5 分钟自由探索后固定乐器，再在相同伴奏下轮换 3 种脚下振动，每种约 2 分钟，顺序做平衡，每步后立即填问卷加短访谈。问卷要保留原意：留在拍上、易协调、可预期他人、感知他人、贡献贴合、参与平等、有无明确主导、振动有帮助、不压迫、有控制、愉悦，以及独立到紧密、费力到省力的两极项。事后加整体连接、协调、平等、心流、愿再玩与三模式排名。分析侧问卷只做描述统计，访谈用反思性主题分析，不要强行做显著性故事。

何时值得试：给新手展品的取舍清单是什么？

当你的场景也是走近即玩、多人同场、水平未知时，这套方案值得试：三角色分层、音高收紧、伴奏给拍、振动给脚。鼓给节奏重音，键给旋律和弦，管给连续铺底，3 人各有高光又不打架。抽象外观降低敬畏，但要留一个像鼓、像键、像管乐的可识别动作，否则直觉会丢。这个平衡是工作坊最重要的教训。

个体能动性 × 集体凝聚力： 个体能动性负责让每个人感到自己的声音有分量且可控；集体凝聚力负责让 3 人听起来像一支队伍而不是各玩各的；需要权衡的理由是限制越多越整齐但越不自由，反馈越多越热闹但越易过载，组合意义在于用分角色和分层反馈同时保住控制感和合奏感。

取舍有 3 条。第一，脚手架与自由：前期收紧帮起步，后期要放宽或分层加难度，否则高手会感到无聊。第二，个人清楚与群体感知：要对时给节拍脉冲，要找自我给本人反馈，要热闹给全组合并但接受声源变糊。第三，反馈丰富与感知负荷：乐器表面、按压行程、气流、振动都要有质感，但视觉留给看人，不要用闪灯把人拉回自己的乐器。3 条取舍都指向同一个原则：通道分工比堆料重要。

最后一句收束：连接感来自可预期的拍点、可辨认的自我声音和看得见的同伴动作，振动只是把这三件事分别送到脚下、手上和群体里。复现时先保住拍点与分工，再谈音色好听。如果只能先做一件事，先做节拍脉冲与视线通透，因为这两件在访谈中被提到最多。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 27 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 nime-2026 论文汇总