在虚拟现实里一起打拍子：乐器与舞台为什么必须一起设计

英文题目：Co-Designing Virtual Reality Musical Instruments and Spatial Layouts for Collaborative Music-Making.

会议身份：conference:nime:2026:conference-paper-id:nime2026_97

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#软件工具 #用户研究 #音乐 #音视频交互

评分：5.9/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.7/1.5 | 清晰度 0.9/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Alberto Boem：机构信息未能从会议 PDF 纯文本可靠映射
• Stavros Skouras：机构信息未能从会议 PDF 纯文本可靠映射
• Gad Baruch Hinkis：机构信息未能从会议 PDF 纯文本可靠映射
• Mélodie Mousset：机构信息未能从会议 PDF 纯文本可靠映射
• Luca Turchet：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

协同虚拟现实合奏的输入是多名远程演奏者的节奏手势与讨论话语，输出是可合奏的节奏声景与容纳混合技能的舞台布局，难点在于网络延迟与触觉缺失叠加多人贡献归属不清导致节奏难以对齐。本研究先以问卷与12场PatchWorld即兴合奏锁定节奏工具、空间布局与情感沟通三类需求，其输出直接确定两场工作坊的主题划分。接着在第一工作坊中以六件原型评估投票收敛出通用节奏盒，其四轴集成控制与双手触发等参数交由研发团队实现。再在第二工作坊中以低保真草图到实尺度占据试验迭代出三区半圆舞台，站位圆圈等反馈直接进入下一轮布局修改。与复刻物理鼓垫的思路不同，该工作将乐器多轴集成控制与半圆互视布局联合设计，使手势意图在发声前即可被看见并归因，视觉反馈从补偿手段变为构成性协作线索。在话语筛选任务下，待分析话语条数指标从初始切分的5,207条降至筛选后的1,956条。该结论适用边界受限于Meta Quest单硬件、9人熟手社区与纯节奏场景，旋律和声、大规模观众与长期技能成长等外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

为什么多人虚拟现实合奏不只是延迟问题？

这篇论文要解决的输入是分散在不同家庭网络中的多人同时演奏，目标是让不同水平的人能一起保持节奏并互相配合，输出是可复用的乐器设计与舞台布置原则。初学者容易把问题简化为网络卡顿，但原文的前期工作显示还有两层困难。第一层是时间对齐，轻微的触发生成与听觉返回偏差就会让公共节拍散掉；第二层是社会与空间，化身遮挡、看不见对方手势、不知道错拍来自谁，都会让人不敢尝试。

先解释关键词。虚拟现实乐器指在头显里用手柄位置与手势发声的乐器，英文是 Virtual Reality Musical Instruments，简称 VRMIs；音乐元宇宙指把创作、表演与社交放在持久虚拟空间里的设想，英文是 Musical Metaverse；共同设计指最终用户不是只做评价，而是直接决定原型取舍与参数，英文是 co-design 或 participatory design。

学习这篇论文需要保留的关键信息是实验条件而非结论口号：全部设计活动都在 PatchWorld 里完成，设备是 Meta Quest 3，参与者是该社区志愿者，过程包括前期问卷与即兴演奏观察，再进入两个主题工作坊。复述时要能说清谁在什么条件下做了什么，而不是只说通用节奏盒更好。

已有路线各解决了什么，为什么还缺一块？

同输入同目标的第一条路线是协作节奏与网络合奏。早期虚拟打击乐发现触觉与延迟决定可玩性，有形鼓棒更受欢迎；共享步进音序器尝试让同地多人一起编节奏；近期工作指出合奏的时间要求放大了头显反馈不足。但原文指出这些工作多为单人或双人，缺少 3 人以上混合技能组的验证。

第二条路线是表演空间与可视化。有人提出三圆模型区分个人、合奏与观众，也有人做增强舞台与布景框架，但多针对投影式同地表演，表演者身体在一起。另有工作在虚拟现实作曲中发现并排与面对面会自然出现，并讨论隐私梯度，但没有回答新手如何进入专家工作区而不破坏排练。

第三条路线是参与式设计。相关工作在乐器无障碍与输入输出上有效，但在虚拟音乐空间多为固定设计后评价，而非用户作为专家同时设计乐器与空间。本文的差异是把整个过程留在虚拟现实内部进行，并把乐器与布局当作互相依赖的一套生态来设计，而不是分开优化。

论文把大问题切成哪两个可操作任务？

论文把协作拆成两个互相牵连的设计问题。第一个是节奏乐器：如何做出直观、可同时演奏的基础节奏界面，并通过交互与反馈缓解网络与硬件延迟带来的不稳。动机来自前期 12 场即兴演奏的观察，参与者围绕初始节拍对齐，一旦有人偏差或系统延迟，整体就失去凝聚力。

第二个是舞台布局：如何布置分布式虚拟即兴空间，让专家与新手同时在场。新手需要近距离观察学习，专家需要不受打扰地操作复杂乐器，观众也需要明确方位。论文强调这两个问题在虚拟现实里不可分，因为乐器上的实时波形需要特定的站位才能被所有人看见。

举一个教学用的例子，不是论文数据：可以想象 3 个人各拿一个会显示波形的盒子，如果站成直线，后面的人就看不见前面盒子的显示，配合就会变难。这个例子只说明为什么乐器显示与站位要一起考虑，不代表论文测量了某种注视时间。

全程在虚拟现实里共同设计是如何组织的？

方法全景可以沿着一个参与者走完。参与者在家中连入 PatchWorld，先在引导下熟悉环境，然后进入工作坊 1 测试 6 个节奏原型，边演奏边讨论延迟、响应与合奏感，再用虚拟标记投票；工作坊 2 则从空白世界里的色块草图开始，先用小模型摆技能分区，再把真实乐器按实际尺寸摆进空间并做呼应演奏任务，边占边改。

两个工作坊采用不同分工。工作坊 1 是评估中介式共同设计，参与者不亲手写代码，但结构化反馈直接决定最终乐器的 4 个控制轴、双手支持、波形显示、触觉与专家模式，再由 PatchWorld 研发团队实现；工作坊 2 更直接，参与者亲手搭建与迭代空间。论文先做乐器再做空间，因为参与者一致认为先有稳定的节奏工具再谈站位更合理。

虚拟现实乐器 × 空间布局： 虚拟现实乐器负责把手部位置、旋转和敲击转成节奏与音色参数，空间布局负责决定谁能看见谁的手和波形显示；两者搭配的理由是合奏需要互相看见意图与结果，组合后新增的作用是乐器上的可视化成为空间朝向的设计依据，半圆与高差都是为了让波形同时可见。

数据收集用三角验证：每个工作坊从主持人与静默观察者两个视角录像，音频转写用 OpenAI Whisper，辅以观察者田野笔记。分析把录音切成离散话语并做反思性主题分析，编码围绕可用性、延迟、协作、乐器设计与音乐协调展开，再统计频率与共现。资源状态方面，本次没有发现来源绑定且完成验证的开源资源，因此不能声称代码、模型或数据已公开。

六个节奏原型各自测了什么机制？

理解原型的关键是沿着一只手走完输入到声音。手进入某个 3 维区域，系统读出水平位置、深度、高度与手腕旋转，再映射到音高、细分率、力度与采样长度，同时检测敲击动作触发采样，并在盒体上显示波形。6 个原型代表不同取舍，有的像鼓垫，有的像网格，有的靠预设，有的靠算法分布。

下面这张表把原文对 6 个原型的定义整理成可核对的对照，阅读问题是：哪个原型把多个表达轴放在同一界面，哪个把控制拆开了。表中措辞保留原文的映射说明，便于回查。

表后需要说明取舍与代价。P1 最像真实鼓却被一致否决，参与者说没有反弹或撞击感，即使关掉量化也觉得迟滞；P4 对新手友好但专家觉得不能实时控制；P6 让部分专家惊讶，但多人层叠后听不清谁做了什么。P3 被两组共同保留，因为它把四轴放在同一盒体且支持双手，视觉与触觉反馈帮助辨认个人贡献，认知负担相对小。

3 维用户界面 × 多轴手势控制： 3 维用户界面提供一个有体积的操作盒子，定义水平、深度、垂直和旋转各管什么声音；多轴手势控制负责用一只手同时完成选择、调制与触发，搭配理由是避免把控制拆到多个面板，组合意义是单界面内实现音高、细分、力度与采样长度的连续表达。

下图是第一工作坊的实际布置与 6 个原型的外观，阅读时注意左侧纵向分层同时呈现，右侧每个小图的多人站位与盒体透明度，这解释了为什么评价包含拥挤与可见性，而不只是音色。

看图路径： 1. 先看左侧纵向分布的多个层级，确认六个原型是分层同时摆放供比较；2. 再逐个找到右图 P1 到 P6 的形态差异，注意半透明盒体与鼓垫的区别；3. 对照多人围站姿态，观察哪些原型支持双手同时操作

论文图 2。原论文 Figure 2：“The different prototypes used in the first workshop.”。

这张图显示 P1 是锥形鼓垫围成一圈，P2 与 P3 是扁平发光盒体，P4 是深色平板加彩色节点，P5 是黄色半透明箱体，P6 是青色小立方体悬空。结合上表可以复述：形态差异对应交互假设差异，投票不是选好看，而是选能否在合奏中维持节奏并被看见。

下图是工作坊 1 产出的通用节奏盒，左图可核对 3 个部件，右图可核对 4 个映射轴，这张图是复述最终乐器必须依据的视觉证据。

看图路径： 1. 先看左图三个部件：主操作体、可调参数容器与彩色波形显示的位置关系；2. 再看右图三根红箭头分别标注的音高、细分率与动态层级方向；3. 注意两只手的不同动作标注：上手指触发与下手腕旋转控制采样长度

论文图 3。原论文 Figure 3：“The Universal Rhythm Box resulting from the first workshop.”。

这张图左侧显示主 3 维界面是一个半透明深色盒体，上方小平台放可调参数，侧面有彩色波形条；右侧显示水平箭头为音高，纵深箭头为细分率，垂直箭头为动态层级，手腕旋转箭头为采样长度，敲击发生在表面。复述时要强调统一交互面与双手支持是参与者明确要求的结果，而不是研发团队自行添加的装饰。

本研究有没有训练模型？真实计算过程是什么？

本研究没有训练神经网络模型，也没有报告梯度、损失函数、优化器或参数冻结方案，因此不能用训练轮数或收敛曲线来复述。把无训练理解为输出确定是错误的，因为网络延迟、参与者即兴选择与多人交互都会带来不确定性。

真实的构造过程是共同设计加研发实现。输入是参与者对 6 个原型的试奏、讨论与投票，处理是主题编码与频率共现分析，输出是设计参数清单，再由研发团队把四轴映射、双手触发、波形显示、可调触觉与默认隐藏的专家模式做进通用节奏盒。专家模式允许放大到房间尺度、复制成多个打击垫、旋转几何形态，并重映射滤波与效果发送。

空间部分的构造是低保真到高保真原型。先用灰色块与彩色标记在小尺度上摆草图，再按实际尺寸放入真实乐器并执行导航与呼应任务，根据遮挡与视线把站点从 5 个减到 3 个，并引入穹顶与高差。缺项要明确指出：论文未报告转写词错误率、编码者一致性系数、投票原始票数分布与延迟毫秒数，复现时只能重复流程，不能假装有这些阈值。

谁在什么条件下参与，数据如何变成证据？

参与者条件是复现的第一道门。两组共 9 人，A 组 4 人，B 组 5 人，自我认同包括非二元、女性与男性，平均年龄 40.1 岁，标准差 13.3 岁，均来自 PatchWorld 用户社区，多通过 Discord 招募，覆盖业余到有经验乐手，分处欧盟与美国不同时区。每组各完成 3 次约 60 分钟的远程虚拟现实会话，设备为 Meta Quest 3 上的 PatchWorld 应用，主持人负责引导，另有 1 名静默观察者记录并录制。

前期工作为任务聚焦提供依据。14 名来自不同虚拟音乐应用社区的乐手完成问卷，重视创作自由、全球可达与共在感，但指出延迟同步与化身表情不足；12 场协作即兴演奏持续 4 个月，每场 4 到 11 人，迭代测试乐器与布局，发现环形舞台可能改善互相可见与 timing 协调，混合乐器组合有助于维持不同水平参与度。

下面这张表把可核对的人数与话语处理量放在一起，阅读问题是样本有多小、分析单位是什么、过滤掉了什么。指标方向在这里不适用大小越好，只用于判断证据强度。

表后解释证据强度与限制。小样本 9 人限制了推广，只能说两个独立组趋同，具有提示性而非普遍规律；从 5207 到 1956 再到 363 的漏斗说明大量寒暄与技术问题被剔除，最终编码聚焦协作音乐评价，但论文未报告编码信度，复述时应说支持而非证明。硬件只用 Meta Quest 3 且家庭网络各异，节奏精度天然受限，这正是归因模糊的来源之一。

数据处理链是视频双视角加 Whisper 逐字转写加田野笔记，再做主题编码与频率共现。复现时先做同样的事：固定设备与应用版本，保留双视角录像，保存原始转写与笔记，公开编码手册的增删过程，而不是只公布最终主题词。

乐器投票与空间实测分别得出了什么？

乐器结果显示趋同而非偶然偏好。A 组投票给 P2、P3、P5，B 组投票给 P3、P5、P6，共同交集是 P3 与 P5；所有人否决 P1，对 P4 支持很少。深入试奏后 A 组放弃 P2，B 组放弃 P6，两组都收敛到 P3，理由是表达深度与认知可理解的平衡，以及波形叠加与触觉提示带来的动作声音一致性。论文报告参与者形容 P3 不太费脑，但仍有表达空间。

渐进复杂性 × 分层准入区： 渐进复杂性负责按时间与能力逐步 раскрывать 高级功能，分层准入区负责按空间距离把专家、中间与新手放在不同环带；搭配原因是同一批人技能不同且会变化，组合意义是新手先在外围观察学习，熟练后再进入中央操作复杂乐器而不打断合奏。

空间结果来自实际占用而非纸面设想。4 种概念包括分层同心圆、玻璃穹顶、可复制舞台单元与环形演奏舱，最终整合成三区配置：中央主持与专家平台用半圆布置多件高级乐器，保证手势对所有人可见；中间演奏站用对向半圆加轻微抬高，按节奏或旋律分组；外围新手与观众环用透明 barrier 保持沉浸又不干扰。设计同时满足包容性与工作区完整性。

下面这张表把空间实测的关键数字放在一起，阅读问题是多大算挤、多大角度与多高差能看清。数字越小不代表越好，需要结合遮挡报告来判断。

表后要讲清收益与代价。3 人半圆加 20 到 30 厘米高差解决了遮挡与视线，但代价是单舱人数上限低，大合奏必须用多个舱扩展；透明穹顶保留可见性并暗示准入，但仍需小任务门控来执行规则。未胜出的大圆方案与 5 人舱是重要反例，说明低保真小模型看不出视线问题，必须全尺寸占位实测。

下图是最终空间渲染，阅读时把图例与球体对应起来，才能复述三区如何同时实现观察学习与专家专注。

看图路径： 1. 先找到底部图例 1 到 4 分别对应的入口、专家、中间与新手区；2. 再看半透明球体如何把不同技能组包住又保持互相可见；3. 注意两侧标注的观众位置与中央表演朝向的关系

论文图 5。原论文 Figure 5：“A rendering of the space layout co-designed during the second workshop.”。

这张图中央下方是专家区，上方是入口，左右两侧球体是中间区，最外层是新手区，两侧还有观众剪影。复述要点是半圆朝向让专家手势同时被看见，中间区抬高保证越过遮挡，外围透明区让新手近距离观察而不进入操作区。

视觉反馈 × 触觉反馈： 视觉反馈负责把波形与手位置变成所有人共享的可读信号，触觉反馈负责给操作者本人确认敲击与归属感；搭配原因是头显系统触觉有限而视觉共享容易，组合意义是视觉成为合奏对齐的主要锚点，触觉则辅助区分自己的声音在混音中的位置。

视觉作为主要表达维度的发现值得单独强调。参与者不是把波形当作触觉的替代品，而是直接对着可视化演奏，根据视觉参数变化调整手位；所有人看见同一实时可视化，形成共享知觉锚点，手位在出声前就可读。论文同时提醒视觉主导可能排斥视障乐手，而音频稳定对时间协调仍是首要的，这种分工不能混为一谈。

哪些设计被否决，哪些条件一变结论就变？

把否决项当作对照来读最有学习价值。P1 否决说明熟悉的鼓垫隐喻在缺少惯性反馈时会产生负迁移，越像真实乐器越容易违背身体预期；P2 有响应但无维持基础节奏的机制，不适合节奏声部；P4 的预设对新手友好却让专家失去实时控制；P6 算法复杂但层叠后无法辨认个人贡献。

P5 把音高拆到相邻界面，被认为不如 P3 集成。这些不是拿掉某个旋钮会怎样的因果断言，而是参与者在合奏任务中的一致取舍。

空间的反证同样来自条件变化。小尺度草图看似合理，全尺寸占用才暴露视线与拥挤问题；5 人到 4 人只是边际改善，3 人才稳定；没有高差时中间站看不见专家，加 20 到 30 厘米才打通。这种必须全尺寸具身试验才能验证的结论，是论文反复强调的方法要点。

归因模糊 × 网络延迟： 网络延迟负责引入触发与听到之间的时间差，归因模糊负责让演奏者分不清错拍来自自己、系统还是同伴；搭配原因是三者都表现为节奏不齐，组合意义是仅做节拍对齐不够，还需要意图显示、延迟可视化与社会协商来恢复排练反馈环。

下图是第二工作坊的 4 张实拍，展示了从标记摆放到穹顶与阶梯的迭代痕迹，复述时应指出哪些是低保真草图、哪些是高保真占用，避免把概念图当成最终布局。

看图路径： 1. 先看左上与右上近景中彩色小球与漏斗状乐器代表的技能标记与站点；2. 再看左下阶梯状平台与绿色线框代表的低保真空间草图；3. 注意右下黑色穹顶与黄色圆环代表的准入控制与观众隔离设想

论文图 4。原论文 Figure 4：“Four screenshots taken from the recordings of the co-design session of the second workshop.”。

左上与右上显示参与者围着漏斗状站点与彩色标记讨论，左下列出鼓组、贝斯与混音等站点标签并出现阶梯与线框，右下显示黑色穹顶加黄色圆环的小人模型。这些像素说明准入控制与观众隔离曾用多种形态试错，最终才收敛到渲染图的三区方案。论文还报告即使开量化仍难保持节奏一致，说明补偿必须超出节拍对齐，加入预测性提示与同步指示。

在什么边界内这些结论才成立？

第一个边界是样本与设备。9 人、仅 Meta Quest 3、家庭网络各异， rhythmic 精度受延迟影响，结论应表述为有前景的设计方向而非普遍原则。两个独立组趋同支持了需求的真实性，但不能替代更大更多样样本的验证。

第二个边界是任务范围。研究只聚焦节奏乐器，未覆盖旋律与和声；只做了短期工作坊，没有纵向追踪技能成长是否如预期发生。专家模式与分层空间设想的渐进学习效果仍待验证。

第 3 个边界是测量缺项。论文未报告延迟毫秒分布、量化开关的对照数字、投票票数明细与编码一致性，也未测量误判率与操作负荷量表。复述时要区分直接报告、有限解释与未验证推测，对视觉主导与归因模糊用可能与待验证的措辞，不能承诺延迟或成本已改善。

要复现这套流程，第一步先固定什么？

先固定实验条件再谈乐器好坏。准备 Meta Quest 3 与同一版本 PatchWorld，招募兼顾新手与有经验的社区用户，分成 4 到 5 人的小组，每组安排 3 次约 60 分钟的远程会话，保留主持人与静默观察者双视角录像，用同一转写流程保存逐字稿与田野笔记。

再复刻任务序列。工作坊 1 按垂直分层同时呈现 6 个原型，每件测完暂停约 5 分钟讨论延迟、响应、反馈清晰度与合奏感，按需测试量化开关与节拍器，每人用虚拟标记投两票，胜出者在 16 小节鼓循环与呼应任务中复测；工作坊 2 从空白世界色块草图开始，用灰块与彩色标记摆技能分区，再按实际尺寸放入真实乐器并执行导航与呼应，根据遮挡把站点减到 3 人半圆并调试高差。

记录时保留关键参数：四轴映射定义、双手触发方式、波形是否所有人可见、触觉开关、专家模式默认隐藏与否、半圆角度 120 到 150 度、中间站抬高 20 到 30 厘米、单舱 3 人基线。资源方面，本次未发现可用开源声明，不得写当前已公开或给出可运行下载承诺；YouTube 记录链接在原文中仅作过程展示，不等同于代码开源。

何时值得尝试这套做法，还需补哪项验证？

当你的任务是多人同时维持节奏、成员水平不一、又需要互相看见意图时，这套做法值得尝试。优先做 3 维原生界面而非仿真鼓面，把多个表达轴放在同一盒体并配全员可见的实时可视化；空间上先做 3 人半圆基线，再用多舱扩展而非扩大单圆，外围留透明观察环并用小任务管理准入。

还需补的验证很具体：更大样本与更多样音乐背景下的投票稳定性，旋律与和声任务中的迁移性，纵向使用中新手是否真的沿外围到中央成长，以及归因模糊的显式干预是否有效，例如意图信号、延迟可视化、自适应量化与错误确认的社会协议。论文提出的同步轮与耦合振荡器可视化是一个待验证方向，不应当作已证收益。

最后一句收束：乐器与布局不可分是本研究最可带走的判断，波形显示要求半圆可见，半圆又要求乐器可视化足够可读，复述方法时把这两端连起来讲才算讲全。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

另有 7 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 nime-2026 论文汇总