先声还是先画：扩展现实视听乐器如何被设计出来

英文题目：Extended Reality Audio-Visual Instruments: Design Framework and Case Study.

会议身份：conference:nime:2026:conference-paper-id:nime2026_93

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#信号处理 #音视频 #音乐 #音视频生成

评分：5.3/10 | 创新 1.2/2 | 技术严谨 0.9/1.5 | 实验充分 0.6/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：后50% | 文档类型：方法研究

👥 作者与机构

• Esther Gruy：机构信息未能从会议 PDF 纯文本可靠映射
• Florent Berthaut：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文针对扩展现实视听乐器需同时创作空间化声音、图像与三维手势交互，而既有设计难以兼顾表演者沉浸、观众可理解性与协作约束的问题，以头显表演中的模态映射与空间使用为输入，输出可指导分析与创作的统一框架与分化乐器实例。在13件同行评审乐器基准任务下，框架的维度指标为9，高于判据定义的维度指标的4。方法链分三步：先融合视听乐器与扩展现实乐器定义界定扩展现实视听乐器的四条判据，输出明确的系统边界；再从13件乐器归纳表演者与观众视听传输等9维，承接判据形成可比较的分析表；最后以共享MagneTip原型分化出音频优先与视觉优先两件乐器，用协作式自我民族志回填并修订维度张力。相比仅重声音控制的乐器综述或仅重绘画隐喻的视听综述，该工作将模态间映射、传输与空间使用显式建模，使音色谱特征到笔触色相与明度的映射可被追踪复用。音频优先乐器将频谱划分为12频段驱动笔触形态，视觉优先乐器则以视觉笔触引导声音探索，体现了以模态优先级组织设计的实际意义。该结论适用边界受限于仅两名作者的长期实践，观众传输与多用户外放场景尚未验证，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

要解决什么问题：为什么需要单独定义扩展现实视听乐器？

这篇论文的输入是两类已有文献的交叉空白，目标是给出可用于分析与设计的框架并用案例验证。作者首先交代，视觉与声音的关系已被探索数百年，从颜色风琴到计算机普及后的同时创作动态图像与声音的视听乐器，再到近十年扩展现实带来的扩展现实乐器，都有各自的框架。必须保留的信息是，作者认为两者结合会产生特有顾虑，可能阻碍表现机会的探索，因此提出扩展现实视听乐器这一概念。

初学者可以这样理解任务：如果只做扩展现实乐器，以往工作往往只关心声音控制，视觉变化只停留在已有虚拟物体的位移旋转缩放或选择；如果只做视听乐器，以往工作较少依赖空间化交互。把两者放在一起，设计者既要处理 3 维空间中的移动与沉浸，又要让声音与视觉同等重要且互相影响，映射关系不再显而易见。论文要回答的不是某一种合成算法好不好听，而是如何描述与比较这类乐器的设计选择。

扩展现实乐器 × 视听乐器： 扩展现实乐器负责把虚拟内容放进 3 维空间并用 3 维交互操纵它，视听乐器负责让声音与图像同时被实时创作且同等可塑，二者搭配的理由是前者提供空间化与沉浸的交互条件，后者提供声画同等重要与可练习性的美学要求，组合后新增的作用是手势、声音与视觉在虚拟或物理空间中形成互相牵制的三方关系。

从学习依赖看，后续所有维度都建立在 4 个判定标准之上。论文合并莱文对富有表现力的视听乐器的要求与图尔谢等人对音乐扩展现实的前提，提出扩展现实视听乐器必须满足 4 条：能够实时创作并表演虚拟的、空间上持久的图像与声音；声音与视觉维度同等可塑且通过 3 维交互技术与物理交互设备操纵；交互遵循低入门门槛但技巧无上限；手势、视觉与声音在虚拟或物理空间中存在错综关系。缺少其中任何一条，例如只有预制动画或只有声音可变，就不属于本文讨论的对象。

附录：如何阅读本文的表格与图像

本文表格均为基于原文连续原句整理的归纳表，而非对原表矩阵的直接选择，因为本次可核对的原表矩阵清单为空。阅读时请把表头条件、指标名与声音优先、视觉优先两列当作对照阅读，数值与单位以原句为准。第一张表聚焦可数事实，包括 13 件文献构成、5 个月周期、每周至少 2 次练习、圆柱体尺寸、12 频段与 3 档时长；第二张表聚焦软硬件配置差异；第三张表聚焦最终框架取值。

图像方面，本文选择 4 张有像素的图，分别对应初始盒体结构、总体分化、视觉笔刷细节与设计时间线。每张图在正文中均有前导读、标记与后解释的相邻闭环，观察动作已写入焦点列表。未选择的图像仍由页面资源层保留，本文不为凑数量生成多余标记。术语方面，扩展现实视听乐器后文可简称视听乐器，但涉及迁移与映射时仍用全称维度名以保持可回指。

已有路线提供了什么，缺了什么？

论文把相关工作分为两支。第一支是扩展现实乐器，引用塞拉芬等人对虚拟现实乐器的历史、机遇与挑战，图尔谢等人扩展到混合现实，以及贝尔托对沉浸式乐器 3 维交互技术的分析。教学例子是，材料与形状改变这类 3 维操纵同时涉及视觉与声音外观，但已有综述的重点仍是声音控制。这意味着即使有视觉成分，也多是复制物理乐器并换比例换布局，没有把丰富的视觉操纵当作一等设计对象。

第二支是视听乐器，交互隐喻非常多样。绘画是最常见的隐喻，既有 2 维绘画也有 3 维绘画；除绘画外还有陶艺、雕塑、手势、外部控制器、全身运动与舞蹈，以及生物信号、粒子系统、写作与现场编码。显示与交互设备也多样，包括透明反射板、桌面配置与激光。论文报告，这些项目即使本意先做声音，绘画行为本身的视觉性仍使其进入视听范畴。

两支路线的缺口在于，扩展现实乐器框架不细究声画并重时的映射与沉浸问题，视听乐器综述往往只看绘画一种隐喻。作者因此主张需要一个同时覆盖扩展现实的空间性、表演者与观众沉浸，以及声音与视觉错综关系的新框架。这一定位决定了后文 9 个维度的取舍，而不是重复通用的人机交互启发式。

框架要刻画哪些设计选择？

论文把设计问题分解为 9 个维度，每个维度承担一个具体的比较任务。前 4 个是迁移维度，沿用本福德等人的迁移概念。表演者视觉迁移描述表演者在多大程度上感觉离开物理视觉空间进入远端视觉空间，例如只看面前普通屏幕为低，戴头显完全看不见物理空间为高。表演者听觉迁移类似，描述是否进入远端听觉空间，例如单点外放且能分辨外界噪声为低，空间化声音充满整个空间为高。观众视觉迁移与观众听觉迁移把主语换成观看他人交互的观众。

后 5 个是交互维度。交互隐喻指在虚拟环境中驱动交互的手势类型，例如绘画、雕塑、移动旋转物体或揭示虚拟内容。交互模态指物理手段，例如点击按钮、声音、各种手势识别或原声乐器输入。模态间映射描述声音、视觉与手势三者如何互相驱动，例如手势驱动声音再驱动视觉、手势同时驱动视听、声音影响视觉或视觉影响声音。协作可能性只看是否已实现多人交互，不把未来设想算入。空间使用描述乐器如何利用周围空间，可分为不同区域改变映射、连续移动不改变映射，或静态仅作展示。

理解这 9 个维度的关键是，它们不是孤立打分表，而是互相牵制。例如绘画隐喻天然占用空间，雕塑隐喻往往静止；手势类隐喻多配手势类模态；观众迁移高时表演者迁移很难同时很高，除非把头显内容串流给观众，但那又会拉低观众迁移。

初始共享原型是如何搭建的？

案例研究的起点是一个共享原型，它直接沿用玛格涅蒂普乐器。初学者可以沿一个样本走完全程：表演者非惯用手持一个木质共鸣盒与控制器支架，惯用手持带磁铁的笔；盒内有铺在振膜上的扁平线圈，放大后的音频信号送入线圈产生振荡磁场，磁铁靠近振膜时产生机械振荡并发出声音；振膜下方压紧的压电片拾取与盒体的物理交互；头显同时记录控制器与头部的位置朝向、按钮与摇杆操作。输出则是 3 维视觉渲染、送往盒体振膜的声音，以及送往外部扬声器的声音。

为了让读者核对硬件连接，论文用一张特写说明盒体内部结构。该图的前导读是，它不是效果图而是原型机拆解视角，重点是区分驱动与拾音两条音频链路。

看图路径： 1. 先找到图像中央同心圆状的铜线圈与标注 Coil 的箭头；2. 再确认上方压电片与泡沫标注 Piezo 加 Foam 的位置关系；3. 最后沿黑色线缆走向确认音频输入输出共用同一盒体结构

论文图 3。原论文 Figure 3：“Initial instrument. Top: laser-cut resonance box and engraved membrane with coil.”。

上段标记对应的图像显示，圆形盒体内可见同心圆状铜线圈，标注分别指向压电片加泡沫、线圈本体与音频输入输出线缆。这支持论文的文字描述：线圈作为音频输出，压电片作为音频输入，二者贴合振膜安装。软件侧基于戈多游戏引擎与纯数据音频环境的构建框架实现，头显使用过第二代与第三代任务头显。这一原型同时固定了绘画隐喻与磁铁线圈交互模态，为后文两种分化路线提供了相同的起点。

九个维度各自管什么：如何用它们读懂一件乐器？

这一节把框架当作测量工具，逐个说明操作含义。表演者与观众的视觉听觉迁移各管沉浸判断，需要结合显示设备与演出场地一起读，因为听觉显示会同时影响表演者与观众的听觉迁移取值。原文明确指出，有些取值为未指明，因为设备依赖演出语境，作者只能根据系统可能性或演出配置推断，这意味着该分析潜在地带有解释成分。

交互隐喻 × 交互模态： 交互隐喻指在虚拟环境中驱动交互的手势类型，例如绘画、雕塑、移动或揭示虚拟内容，交互模态指物理上实现交互的手段，例如手势识别、按钮、声音输入或空间位置，二者搭配的理由是隐喻决定表演者在空间中的移动方式而模态决定信号从何而来，组合后新增的作用是决定模态间映射与空间使用的起点与可变范围。

模态间映射 × 空间使用： 模态间映射描述手势、声音与视觉三者谁驱动谁，例如手势驱动声音再驱动视觉或视觉反过来影响声音，空间使用描述乐器是否把周围空间划分为改变映射的区域、连续可用或仅作静态展示，二者搭配的理由是映射决定信号流向而空间决定信号流向在何处发生变化，组合后新增的作用是让同一绘画动作在不同位置产生不同的视听结果，从而分化出声音优先与视觉优先两条路线。

表演者视觉迁移 × 表演者听觉迁移： 表演者视觉迁移指表演者在多大程度上感觉离开物理视觉空间进入远端视觉空间，表演者听觉迁移指在多大程度上感觉进入远端听觉空间而非本地单点发声，二者搭配的理由是扩展现实同时提供视觉沉浸与听觉空间化，二者可以分离选择，组合后新增的作用是揭示设计取舍，例如需要精细触摸物理振膜时必须保持低视觉迁移，而追求环境探索时可以采用完全虚拟现实的高视觉迁移。

以模态间映射为例，论文用箭头简写区分 4 类：手势同时驱动视听、手势驱动声音再驱动视觉、手势驱动视觉再驱动声音。空间使用则区分连续、分区与静态。协作可能性只认已实现的多人，不认技术上可行。掌握这些定义后，才能理解后文对 13 件乐器的归纳：没有高表演者视觉迁移，因为多为演出或多人共享空间，完全离开物理空间会带来设备负担；交互模态多用手势而非物理物体，以保持与手势类隐喻的连续性；绘画类多用连续或分区空间，雕塑类多为静态。

没有神经网络训练时，5 个月的协作自我民族志做了什么？

本研究没有训练神经网络模型，也没有冻结或更新权重、梯度路径与监督损失，因此该节如实说明无训练阶段，实际计算过程是迭代式设计、练习与记录。2 位作者分别负责声音优先与视觉优先版本，依据各自已有的艺术实践提供对照：1 位有 20 多年音乐经历与扩展现实乐器即兴演出经验，另 1 位有 15 多年多种绘画材料经验并修过艺术史课程。这种分工是有意的，目的是保证两种路线在起点上就形成对比。

研究持续 5 个月，每周至少 2 次独立设计与练习，每周拍摄当前版本视频并开会记录全部改动、新发现的演奏技巧与手势、困难与计划改进。下表把协议中的关键数量组织起来，阅读问题是，案例的观察密度与时间跨度是否足以支撑关于设计过程的判断。表前需要说明，公平条件是两者共享同一初始原型与记录节奏，指标方向是时间越长、分化越明显则证据越强。

表后解释是，13 件中 10 篇会议论文的构成显示筛选偏向同行评议的完整系统，而 5 个月加每周至少 2 次练习加每周视频日志的密度，支持作者能够捕捉模态间映射与空间使用的渐进变化。未胜出项是，该协议没有观众实测与多人协作实测，因此观众迁移与协作维度的取值更多是预期而非测量，这构成后文讨论的边界。

声音优先 × 视觉优先： 声音优先指先把物理与合成的声音空间做可演奏，再让视觉笔触去反映声音的频谱与感知特征，视觉优先指先把环境、笔刷着色器与空间分区做完整，再让声音为视觉增加深度与落地感，二者搭配的理由是同一初始原型允许两种学习依赖不同的作者分别推进，组合后新增的作用是通过对话式而非同步的方式暴露模态先后对映射、空间与交互模态选择的系统性影响。

时间线视角进一步显示两种路线的修改节奏不同。该图的前导读是，横轴为周，上下两排分别代表声音优先与视觉优先，每周的圆点代表按框架维度归类的改动，颜色与图标区分维度，重点看疏密与持续性而非精确数值。

看图路径： 1. 先沿横轴从 2025 年 9 月读到 2026 年 1 月确认时间方向；2. 再对比上排声音优先与下排视觉优先每周圆点数量的疏密变化；3. 接着注意声音优先后期仍有新圆点而视觉优先中段长期只有浅蓝色圆点；4. 最后观察首尾两端两条路线圆点堆叠方式的不同

论文图 5。原论文 Figure 5：“Timeline of per-week changes for each instrument organised by dimensions of the XRAVI framework”。

上段标记对应的图像显示，声音优先在首周堆叠多个维度的大改动，中后期仍间断出现新改动，视觉优先中段长期集中于同一类浅蓝色圆点，首尾才出现其他维度。这支持正文判断：声音优先的交互模态随演奏技巧持续演化，视觉优先的模态间映射被最频繁探索，而空间使用一旦代码定型就很少再动。像素不能精确辨认每个圆点的维度图例，因此此处不硬写图例文字，只报告节奏差异。

两件分化乐器各自的软硬件条件是什么？

声音优先版本的显示条件是混合现实，目的是保留对物理乐器与振膜上精细手势的可见性。硬件改动包括在盒体粘上海绵与金属片供非惯用手食指中指敲击打节奏，笔的两端分别装上刮擦与泡沫两种材料并保留磁铁，振膜翻面使铜层不被刮擦损坏。

软件上探索空间是以演奏者为中心的圆柱体，声音用颗粒合成并按角度切片分配，控制器绕身体移动在声音间交叉淡化，垂直位置移动颗粒在声音内的偏移，按钮切换圆柱体即声音集合，摇杆或敲击间隔控制可变延迟以构建复调节奏。

视觉上笔触位置跟控制器，颜色色相明度饱和度分别跟音高、亮度与噪声度，形状分层跟 12 个频段频谱，响度超阈值才起笔，视觉残留时长跟延迟时长使声音残留与视觉残留大致等长，地板与控制器上还显示切片边界与声音集合编号。

视觉优先版本的显示条件是虚拟现实，背景全黑加白色柱体按圆形随机排布，环境有上下两盏灯并随可视化调暗。交互提供 4 种着色器笔刷与 3 种时间档，声音用颗粒合成并直接呼应视觉。发光模式笔触为白色自发光加火花粒子，环境灯全关，只有笔刷与笔触发光且色调随空间位置变化。透视模式环境灯全关背景全黑，着色器用阴影转不透明混合把物理空间透视到笔触上，如同撕开背景。

色彩模式用模板缓冲揭示藏在空间中的立方体，笔触透明但扭曲背后环境并产生红绿蓝错位，只有隐藏物体不受影响。雷电模式笔触为深蓝动态闪电加粒子，环境全亮。4 种声音分别配高音加延迟混响、放大物理环境声加混响延迟、低音白噪声加回声与脉冲接近提示、低音颗粒加混响失真模仿雷声，笔刷高度与速度分别调音高与失真量。

下表把两条路线的已报告配置并置，阅读问题是，在相同起点下哪些条件被有意设为不同以放大分化。表前公平条件是两者共享磁铁线圈原型与绘画隐喻，指标方向是配置差异越大越能检验框架对分化的解释力。

表后解释是，主要收益是显示条件与物理改动的对照非常干净，混合现实对应精细触摸，虚拟现实对应环境探索；代价是声音优先的视觉多样性不足，视觉优先的观众体验受单人头显限制。未评测边界是两者均为单用户，多人、空间音频阵列与投影替代方案只在展望中提及，未进入本次可运行比较。

分化后看到了什么：笔触与演奏技巧如何不同？

论文报告的分化结果首先体现在演奏动作上。声音优先版本发展出 6 类技巧：在磁场上方不同高度悬停以调制合成声；用笔两端敲击刮擦改变噪声度与亮度；沿既有视觉笔触重复乐句并加入位置或物理交互变奏；控制器贴近身体快速切换声画、远离身体拉出同声音的大笔触。

慢速大音量填满空间；前探头部移动圆柱体以便用环形手势切换声音。视觉优先版本则发展为环境探索，笔触引导空间与声音效果，曾设计过沿笔触重播声音的附加隐喻但因与整体不合被舍弃。

为了核对文字描述与实际像素，该节先看总览图。该图的前导读是，四格分别对应视觉优先的创作与粒子特写、声音优先的复杂笔触与循迹重播，左侧全黑为虚拟现实，右侧可见墙面为混合现实，重点比较笔触粗细、颜色与手持关系。

看图路径： 1. 先区分左侧两格全黑背景的虚拟环境与右侧两格可见白板墙面的混合现实背景；2. 再对比视觉优先笔触的发光细线与声音优先笔触的宽厚彩色色带；3. 接着观察右手持笔与左手持共鸣盒的双手分工；4. 最后看 D 格中白色环形笔触如何作为重复演奏的视觉引导

论文图 1。原论文 Figure 1：“Diverging design of two XRAVI from the same initial instrument.”。

上段标记对应的图像显示，左起第一格白色柱体间有蓝色细碎发光环线，第二格黑底上有白色火花粒子向上喷发，第三格左手持盒右手持笔且笔触为绿红多层宽带，第四格白色环形笔触悬于手前。这支持正文判断：视觉优先更细更亮更依赖环境，声音优先更宽更厚更依赖手部物理交互，且白色环形笔触确实可作为重播的视觉引导。

4 种视觉笔刷的细节需要第二张图佐证。该图的前导读是，四格按左上、右上、左下、右下对应发光、透视、色彩与雷电，重点看背景明暗、透视内容与边缘错位，不要把亮度直接当作音量。

看图路径： 1. 先按左上、右上、左下、右下顺序辨认四种笔刷的底色与背景明暗；2. 再观察右上透视笔触中透出的真实窗外景物以确认抠洞效果；3. 接着看左下笔触边缘的红绿蓝错位与左上笔触的白色辉光差异；4. 最后对比右下蓝色闪电细线与背景白色柱状物的粗细与走向

论文图 4。原论文 Figure 4：“Visual-first instrument: images of the differ- ent brush modes. From top left to bottom right: Glow, Passthrough, Chromatic and Thunder.”。

上段标记对应的图像显示，左上白色粗笔触带辉光并绕过品红柱体，右上黑色背景上锯齿状缺口透出真实窗景，左下黑色带状笔触边缘有红黄蓝错位与白色圆圈，右下蓝色细闪电垂于白色柱体之间。这与文字描述的 4 种着色器一一对应，支持声音为视觉增加深度的说法。像素不能精确读出色相数值，因此此处只报告定性对应，不硬写颜色坐标。

下表把最终框架取值并置，阅读问题是，两种乐器在哪些维度真正分开。表前公平条件是两者同一起点同为绘画隐喻与单用户，指标方向是取值差异指向设计分化的位置。

表后解释是，主要分化不在空间是否分区，而在映射链条：声音优先让频谱与感知特征决定笔触外观，视觉优先让手势同时决定视听且声音服务于视觉落地。代价是前者笔触后期被刻意放大延长以平衡声画显著性，后者声音直到视觉方向明确后才加入。未胜出项是观众迁移两者均低，协作均为单用户，说明沉浸红利主要给了表演者而非观众。

如果拿掉一个模态或换一个顺序会怎样？

论文没有做消融实验式的定量对照，但提供了设计过程中的反事实线索，可作为初学者的对照阅读。声音优先路线早期先把视觉笔触当作声音探索的向导，只有当透明度调到能看清重叠笔触后，才转向让视觉忠实反映声音。这意味着如果拿掉视觉引导，演奏者将失去在圆柱切片间重复与变奏的位置记忆，跨声音集合的即兴将更难组织。视觉优先路线则相反，声音直到视觉方向明确后才加入，作用是为视觉增加深度并将其锚定在虚拟环境中。如果拿掉声音，环境探索仍可进行，但笔触将失去落地感，隐藏物体的接近提示与空间回声也将缺失。

另一个可比条件是交互模态的增减。声音优先在中后期多次加入基于敲击起音的视听残留控制、刮擦敲击新技巧与按钮摇杆合成参数，控制是渐进添加且只在确有必要时加入。视觉优先早期加入过带按钮的界面以关闭渐隐与清空画布，但更多选项因增加复杂度在几周后被放弃。这说明交互模态不是越多越好，而是取决于主要模态是否需要新演奏法。空间使用的对照也类似：声音优先去掉纵轴映射但增加可切换的声音集合与空间细分，视觉优先一旦分区代码写对就不再改动。

这些观察不支持因果断言，只能说支持一种设计假设：交互隐喻与交互模态先固定方向，真正拉开差异的是模态间映射与空间使用的反复调整。论文的时间线显示这两者被最频繁修改，而观众与协作维度在两条路线中均未被探索，这正是可复现的边界而非失败。

哪些结论还不能下：测量与设备的边界在哪里？

论文明确报告了 3 类限制。第一是文献分析的解释成分，听觉迁移与观众视觉迁移在设备信息不全时只能按系统可能性或演出配置推断，取值为未指明的情况已被保留而非强行填补。第二是案例的外推边界，两件乐器均为单用户，观众迁移为预期值而非实测值，表演者视角需投影给观众导致观众视觉迁移很可能为低，观众听觉迁移取决于场地 logistics，预期为中。第三是技术依赖，当前实现依赖专有头显，研究用公立大学经费购置设备，作者承认其生产条件未知且不易维护，并说明已通过开放标准与协议以及自由开源软件降低依赖，未来版本计划用投影与相机等更易维护的技术重做。

从证据等级看，关于对话式而非同步的模态设计过程，属于对日志与视频的事后解释，表达为支持而非证明。关于框架长期需要增删维度，属于待验证的展望。未测量的量包括误判率、延迟、帧率、推理开销与长时间即兴的内容多样性，论文没有承诺这些量得到改善。声音优先的视觉多样性不足与视觉优先的单人设备观众体验问题，已在展望中提出用视觉映射预设、空间分区、空间化声音阵列与物理空间反馈来缓解，但这些方案本次未实现也未评测。

资源状态方面，本次收到的证据中没有完成超文本安全状态验证的资源绑定，因此不得声称代码、模型或数据已公开。论文提到未来将以自由许可发布软件与硬件重建说明，但在本次可核对范围内只能写本次未能确认可达，不写当前可用。

要复现这项研究，先做什么、记什么？

复现分为框架复现与乐器复现两条线。框架复现先做文献筛选，只收同行评议的扩展现实视听乐器，按摘要初筛再通读全文确认是否满足 4 条定义，然后按 9 维度逐件编码并保留未指明项。关键是不要把技术上可行当作已实现，尤其是协作可能性只认已实现的多人。编码时同时记录显示设备与演出场地，因为它们直接影响 4 个迁移维度的取值。

乐器复现先重建共享原型：激光切割共鸣盒与刻纹振膜、铺设扁平线圈、振膜下压紧压电片与泡沫、线圈接音频输出、压电片接音频输入、控制器支架固定于非惯用手、磁铁笔持于惯用手、戈多加纯数据环境搭建颗粒合成与笔触渲染。

声音优先需额外粘贴海绵金属敲击区、制作刮擦与泡沫双头笔并翻转振膜保护铜层，再实现以演奏者为中心的圆柱切片、垂直偏移、按钮切换声音集合、摇杆或起音间隔控制延迟，以及音高亮度噪声度到色相明度饱和度、12 频段到分层形状、响度阈值起笔、延迟时长到视觉残留的映射。视觉优先需搭建全黑背景加圆形柱阵与上下双灯，实现发光、透视、色彩与雷电 4 种着色器与短中长三档渐隐，再按笔刷配 4 种颗粒合成声音与高度速度映射。

记录流程建议照搬原文：至少每周 2 次独立练习，每周 1 次视频加联合日志，日志字段包括改动内容、新技巧手势、困难、计划改进，并按 9 维度归类以便绘制时间线。何时值得尝试该框架，取决于是否同时关心空间沉浸与声画并重；若只做声音控制或只做 2 维绘画，既有框架已够用。还需补的验证是观众实测、多人实测与长时间即兴的内容多样性评估。

带走什么：给下一件扩展现实视听乐器的三条建议

第一条是把模态间映射当作常规检查项。两条路线都显示，某一模态先作为另一模态的回应被设计，关系随时间演变。声音优先先用笔触做声音探索的向导，后期才放大延长笔触以提升视觉显著性；视觉优先先定视觉方向，后期才加入声音以增加深度。建议在每次迭代后明确写下当前信号流向，并检查视觉是否忠实反映声音变化或声音是否有效锚定视觉，而不是默认两者自动同步。

第二条是把维度间的张力一起考虑。共享原型固定了绘画隐喻与磁铁线圈模态，但分化主要发生在映射与空间使用上，声音优先还演化了交互模态。这意味着改动空间分区时要同步检查映射是否仍成立，增加按钮或新手势时要评估是否增加不必要的复杂度。论文舍弃沿笔触重播声音的附加隐喻与舍弃更多界面选项，都是同一逻辑的体现。

第三条是同时设计表演者与观众的迁移。可以探索不对称设计，例如表演者在小尺度视听场景中低迁移操作，观众在大尺度环绕中高迁移体验，或让虚拟内容以不直接显示虚拟元素的方式影响物理空间，从而绕开头显视角的限制。长远看，框架本身也需随实践与技术修订增删维度，这要求后续工作补上观众实测、协作实测与可维护硬件重做，才能把本次单用户、预期迁移的结论推进为可部署的演出知识。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 1 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 nime-2026 论文汇总