不靠听觉合奏：把振动、触摸和视觉当作音乐材料的即兴装置

英文题目：Audionce: An Audiovisual Improvisation Environment Co-Designed by Deaf and Hearing Designers.

会议身份：conference:nime:2026:conference-paper-id:nime2026_13

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#多模态学习 #用户研究 #音乐 #音视频交互

评分：5.7/10 | 创新 1.3/2 | 技术严谨 0.7/1.5 | 实验充分 0.2/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 1.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.9/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Alon Ilsar：机构信息未能从会议 PDF 纯文本可靠映射
• Matt Hughes：机构信息未能从会议 PDF 纯文本可靠映射
• Yuka Maruyama：机构信息未能从会议 PDF 纯文本可靠映射
• Andrew Johnston：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作旨在让聋人与听人音乐家与非音乐家无需依赖听觉即可共享即兴，输入为参与者在房间中的身体运动与对扬声器表面的直接触摸，输出为同步演化的声音、振动与点云视觉，难点在于传统即兴以听觉正确性为中心易使聋人边缘化，且触觉频率分辨率不足以传达精细音高与旋律差异。系统先由房间三侧高处的多台深度相机经自研引擎重建三维点云并估计多人位置姿态，再经开放声音控制协议将位置包络映射至游戏引擎视觉渲染与工作站声音合成，最后由各乐器轨实时振幅回传驱动视觉脉动形成视听闭环。交互按趋近主扬声器的距离分层展开为静态呼叫、竖琴线触发、持续嗡鸣、节奏固定音型与触摸底鼓五态，分别承担召唤回应、探索、同步与触觉高潮功能，并联动和声从Cm7经Dm7到Gdim7与速度推进。与依赖可穿戴设备的可访问数字乐器不同，该设计以物理扬声器阵列加虚拟镜像构成共享空间场，将振动与触摸作为首要音乐材料而非补偿翻译。原文未提供可核对的关键定量结果。结论适用边界仅限小规模共处演示与两次明确界定为非正式过程展示的公开展示，尚未验证大群体、长期学习与不同听力音乐训练背景的外推效果。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://git.matth.cc/pointcaster → https://github.com/matth-av/pointcaster — 链接可访问（HTTP 200）
• 第三方资源：https://unity.com/ — 链接可访问（HTTP 200）
• 第三方资源：https://www.orbbec.com/products/tof-camera/femto-mega/ — 链接可访问（HTTP 200）
• 第三方资源：https://www.ableton.com/en/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么？为什么聋人参与即兴不只是把声音调大？

这篇论文的输入是真实房间里的人体运动、扬声器声音与振动、以及投影出的点云画面，目标是让聋人与听人一起完成有来有往的音乐即兴。初学者容易以为只要把声音转成振动或字幕就能解决可及性，但原文证据表明问题更深。聋人通过振动、空间感知、视觉节奏与具身经验参与音乐，其中低频与共享身体经验很重要，振动支持把音乐当作全身经验来感知。也就是说，任务不是补偿听力缺口，而是重新定义音乐行动本身。

论文反复强调的概念是听觉多样性，白话就是不同人用不同感知通道参与音乐，这些差异本身就是有价值的多样性，而不是偏离正常听力的缺陷。作者把研究对象限定得很清楚，主要关注 profound hearing loss 的聋人设计者，她通过耳朵无法感知音乐，自称为非乐手，而不是轻度听损或不使用手语的人群。这个限定很重要，因为后文所有关于触摸扬声器、振动作曲与视觉主导设计的结论，都建立在这一特定经验上，不能直接推广到所有听力状况。

开场需要保留的关键信息是输出形态。Audionce 不是耳机里的算法，也不是可穿戴设备，而是一个房间尺度的视听装置。房间里有一排 4 个物理扬声器，中间后方有一块大屏幕作为虚拟镜面，参与者在屏幕里看到自己与扬声器的点云化身。参与者走向扬声器的过程就是演奏过程，会依次触发竖琴线、持续长音、节奏固定音型与触摸扬声器控制底鼓等层次。本文后续将按学习依赖展开，先讲相关路线，再讲方法全景与组件计算，然后讲构造过程、实验条件、观察到的结果与反证，最后讲复现要点。

已有路线解决了什么？还缺哪一块拼图？

第一条路线是面向聋人的音乐体验与可及乐器研究。已有工作把声音转成身体不同部位的振动，例如 Emoti-Chair 让用户用身体感受不同频率；也有把乐器直接连到身体的穿戴式系统，例如 Felt Sound 与 Bodyharp，让用户通过皮肤感受声音并通过动作表达音乐；还有结合网页平台与触觉设备帮助聋人非乐手体验速度等概念。这些工作的共同点是扩展了振动与多模态反馈，证明了触觉可以传递节拍、节奏、速度变化与情绪差异。但论文指出，许多系统依赖个人穿戴硬件，或主要支持个人能动性与特定合作场景，较少支持装置情境下的集体即兴，也较少从设计早期就纳入聋人非乐手的视角。

第二条路线是视听与手势装置。点云在这里先用白话解释，就是深度相机测出的空间 3 维点集合，可以同时保留几何与尺度，又允许变形与叠加。已有艺术 lineage 包括用动作同步视觉与声音的 Messa di Voce，用动捕与手势可视化做沉浸式表演的 Blue Space，以及把 3 维点云当作双耳音频生成基础的 Points2Sound 研究。另一些多感官作品如 I N F R A 通过扬声器与物理对象把声音转成多感官体验，但论文判断，据作者所知，还没有人用点云技术为聋人与听人共玩提供包容性多感官环境。这就是本文要补的缺口。

第三条对照是作者自己的前期工作。2 位听人作者此前用惯性测量单元手持乐器与动捕相机做视听打击乐表演，后来转向自包含装置，让被红外相机追踪的参与者同时控制声音与视觉。2025 年中的早期版本关注肢体障碍参与，房间里有地毯与四件打击乐器，参与者走上魔毯触发贝斯与旋律，靠近乐器则混入打击乐声部。新版 Audionce 的不同在于，聋人研究者丸山由佳从早期就参与重设计，关键转折是她提出听人很少触摸扬声器，而触摸扬声器在聋人社群中是常见的音乐经验。于是扬声器本身变成了乐器，跑道式走向扬声器的旅程变成了曲式，这与此前为听人乐手设计的逻辑完全不同。

要解决的任务到底是什么？什么不算成功？

论文提出的引导问题是，如何设计即兴音乐环境，让听觉不再是有效参与的前提。这个任务的输入是多人的身体位置与姿态、触摸动作与相对距离，输出是同步变化的声音、振动与点云视觉。成功的标准不是还原出听人耳朵里的旋律，而是让聋人与听人能在同一交互场里发起、回应与推进音乐结构，并且双方都感到自己的行动是音乐性的。

举一个教学用的例子帮助理解，但它不是论文报告的数据。假设 1 位听人参与者听到和弦从 Cm7 转到 Dm7 会觉得推进很明显，而 1 位聋人参与者可能只感到振动能量变化而不知和弦名。如果系统只用和弦名来评价成功，就会误判聋人没有参与。论文的立场是，结构、强度与镜像等不发声也能玩的元素同样是音乐材料，评价应看互动是否持续与可协商，而不是音高是否正确。这个例子只是解释任务定义，不代表论文测量了和弦辨认率。

论文也明确了不做什么。作者说明 2 次公共展示都被视为过程性展示与概念验证，没有做正式访谈或问卷，只有作者的有限观察写入讨论部分。因此读者不能把后文的反思当作受控实验的胜负结论。另一个边界是，振动本身频率分辨率差，不足以传递旋律细节，这是听觉生理与触觉生理的差异，不是靠调大音量能解决的。承认这一点，才能理解为什么系统要用视觉结构与分层交互来分担音乐信息。

方法全景：走近扬声器的路程如何变成一首曲子？

先沿着一个参与者走完 1 次完整路径，再展开技术细节。参与者进入房间时看到 4 个扬声器排成一列，中间后方是虚拟镜面。此时系统处于静态召唤状态，4 个扬声器按大小分工发出不同八度的五音呼叫，视觉上是预渲染的扬声器点云图像，可以被多种方式操纵。当参与者走向左侧低音炮或右侧大监听音箱这两个主交互扬声器时，镜面里出现自己与虚拟扬声器之间的动画连线，用手或肢体穿过连线会触发竖琴般的音调，这是第一层回应呼叫。

继续穿过并溶解这些线，持续长音出现，左右移动改变和声内容，上下移动改变音色，前后深度控制密度与滤波，视觉上身体化身也同步变形。整步向前则进入新和弦与稍快速度。再靠近扬声器，基于 Reich 拍手音乐的节奏固定音型出现，身体化身随节拍脉动，前进推动速度与和声进入下一和弦。最后弯腰触摸扬声器表面，叠加底鼓并爆发大量粒子，上下移动改变节奏密度，左右移动改变衰减，曲子进入最终和弦与最快速度。

参与者可以退回跑道继续玩，也可以换到另一条跑道或直接离开结束交互。

这个全景导读对应下图的实时画面，图中是 2 名参与者的点云化身与竖直彩色线条，画面下方还有扬声器的点云块体， helps 初学者把跑道、身体与扬声器的三方关系看成一个整体。

看图路径： 1. 先找到左右两侧的点云人体剪影，确认两人同时在场；2. 再看人体周围竖直彩色线条的疏密与颜色分区；3. 最后看画面下方蓝色点云块体的位置，理解它对应物理扬声器

论文图 1。原论文 Figure 1：“Screenshot from Audionce.”。

这张截图显示的正是上述多层叠加的结果。左右两侧各有一个由密集点构成的人体轮廓，周围环绕黄绿青等颜色的竖直线，线的长短疏密随动作变化，表明声音与视觉被同一身体动作驱动。下方蓝色大块点云是扬声器在虚拟镜面中的对应物，说明物理对象与虚拟对象共处同一空间坐标。初学者应把这张图理解为交互进行中的状态，而不是静态召唤状态，因为静态时主要只有预渲染扬声器与呼叫，看不到如此密集的人体连线与粒子爆发。

物理扬声器阵列 × 点云虚拟镜面： 物理扬声器阵列负责发出声音、振动与可触摸的实体位置，是触觉与听觉的来源；点云虚拟镜面负责把同一房间的人体与扬声器重建成可变形、可叠加的视觉空间，是视觉协调的来源。二者搭配的理由是让听人与聋人不需要依赖同一听觉通道，也能在同一个空间坐标里对齐行动，组合后新增的作用是形成共享的身体参照系，参与者靠移动而非听辨来协商结构与时机。

从可核对的方法角度，作者总结了 5 条设计原则。第一，多感官交互本身就是主要音乐媒介，而不是声音的附属翻译。第二，动作与回应之间、声音与视觉之间要有即时透明的因果，让参与者立刻知道是自己造成了变化。第三，鼓励触摸扬声器并关注接近时的振动。第四，分层交互奖励探索，越深入跑道层次越多。

第五，同时支持个人与社会性即兴，2 人相向移动会以相同速率脉动就是社会性设计的例子。这些原则直接决定了后文的空间布局、映射与美学选择。

四个交互层各用什么信号控制什么声音与画面？

静态层解决冷启动问题。房间较窄，作者只让中间两个大扬声器可交互，左右两个小扬声器非交互但发出较安静的声音，共同构成呼叫。呼叫是 Cm7 和弦的不同转位，用不同节奏从 12/8 主节奏中挑选出来，音高跨越 4 个八度，扬声器越大音越低。这个设计让参与者一进门就听到空间里有结构，而不是面对沉默无从下手。视觉上此时是 4 个扬声器的点云形态，暗示真实扬声器但允许后续变形。

竖琴线层解决如何回应呼叫。参与者靠近扬声器时在镜面里看到自己，动画线连接虚拟身体与虚拟扬声器。穿过线触发竖琴音，5 个音高映射在扬声器阵列上，构成与呼叫相同的 Cm7 和弦，垂直移动控制八度移位。这里的计算很直白，身体穿线事件触发离散音高，高度决定八度，参与者被鼓励去应答扬声器的呼叫。

长音层鼓励慢速探索。溶解竖琴线后出现持续长音，横向移动改变和声内容，纵向改变音色，深度改变密度与滤波，每种声音变化都有视觉等价变形。整步向前进入 Dm7 和弦，速度也随接近扬声器而轻微前推。如果 2 名参与者相互靠近，他们以相同速率脉动，这是一个明确的社会性耦合设计。固定音型层则防止感官过载，长音淡出而节奏主导。参与者身体随时间脉动，前进推动速度与和声到 Gdim7，上下左右移动演奏音色音高，图形也随之改变纹理与噪声。

触摸层是聋人共创带来的最大变化。直接接触扬声器表面才能触发，用身体控制底鼓节奏，并在虚拟身体上爆发大粒子。弯腰触摸时叠加踢鼓，进入最终和弦与最快速度，沿扬声器向上移动节奏更密，向右移动衰减变长。这个动作把听人很少做的触摸变成了正式乐器操作，也让振动从背景变成作曲对象。

振动触觉反馈 × 视觉反馈： 振动触觉反馈负责传递低频能量、节奏脉动与触摸扬声器时的身体感受，分工是让聋人参与者直接用身体感知音乐进行；视觉反馈负责把音高变化、音色变化与结构位置变成身体化身的变形与粒子变化，分工是补偿触觉频率分辨率不足。搭配的原因是单一振动难以区分音高与音量，组合后新增的作用是让参与者用眼睛学会系统结构，再用身体去预测和选择下一步动作。

节奏材料的来源需要单独说明，下图是论文给出的 Reich 拍手音乐第一转位节奏谱，固定音型层与静态呼叫都从这里取材。

看图路径： 1. 先从左向右数出音符与休止符交替出现的完整一遍循环；2. 再比较前两组相连音符与后部跳跃式八分音符的疏密；3. 确认首尾反复记号表示该节奏型可循环推进

论文图 5。原论文 Figure 5：“First inversion of rhythm from Steve Reich’s Clap- ping Music.”。

该谱面为单行打击乐记谱，左右有反复记号，中间是音符与休止符的循环组合，前部有两组相连的双音，后部是分散的跳跃音符与休止交替。初学者应把它读成可循环的节奏细胞，而不是 1 次性旋律。论文的用法是从 12/8 主节奏中挑选不同节奏型分配给不同扬声器与不同阶段，因此参与者听到的不是完整复制，而是有呼应关系的变体。理解这一点才能明白为什么不同跑道位置会听到不同密度。

自由即兴 × 结构化作曲： 自由即兴负责降低对固定旋律、正确音高与记谱等级的要求，分工是让非乐手也能以感受与能量参与协商；结构化作曲负责预先选定和弦进行、节奏型与视觉脉冲，分工是替参与者承担一部分美学质量控制。搭配的原因是完全开放容易失去方向，完全固定又排斥聋人参与，组合后新增的作用是参与者在跑道上前后移动就能控制和弦、速度与段落顺序，即兴选择同时就是作曲结构选择。

为便于核对，把 4 个阶段的触发、声音、视觉与结构变化整理成表。读表的问题是，当参与者沿跑道深入时，每层新增了什么可控维度，又以什么为代价淡出了上一层。公平条件是同一跑道、同一主扬声器、同一前后位置序列，指标方向是层次越多探索奖励越大，但感官负荷也越大，需要淡出机制平衡。

表后需要解释主要收益与具体代价。收益是每一层都把一个抽象音乐维度变成身体维度，参与者不需要乐理也能推进曲式，前后移动控制段落，上下左右控制音色节奏。代价是信息密度向末端集中，触摸层同时有底鼓、最终和声、最快速度与粒子爆发，若不淡出长音就会感官过载。未胜出或未解决的一项是，系统用空间推进代替了旋律辨别，参与者可能推进了结构却说不清音高变化，这正是后文聋人设计者反思的核心。

深度相机、点云引擎与声音视觉分工如何连接？

技术链可以按数据流向复述。房间三侧高处安装多个 Orbbec Femto Mega 深度相机，用于生成安装空间的实时 3 维点云表达。定制引擎 Pointcaster 摄入相机数据并重建 3 维空间，分析出多用户姿态与位置，再经开放声音控制协议转发给 Unity 游戏引擎与 Ableton Live 数字音频工作站，其中 Ableton 内用多种 Max for Live 插件翻译与映射数据。分工是 Unity 负责视觉渲染，Ableton Live 负责声音合成。音频在 Ableton 内被实时分析，各乐器轨的幅度再送回 Unity，让声音与视觉进一步耦合。

映射层用分层状态系统实现平滑过渡，避免在竖琴线、长音、固定音型与触摸之间跳变。开放声音控制数据包括三轴最小与最大位置，例如最大高度映射到音高，邀请参与者下蹲穿梭与举手，最小与最大宽度映射到陷波滤波器，邀请大伸展。结果音频的幅度再进入视觉，形成闭环。投影在游玩区前方屏幕上，形成数字镜面，把参与者与扬声器阵列放在同一点云空间里。因为参与者在物理游玩区的重建中被可视化，他们可以靠移动而非单纯听觉反馈来协调交互。与作者早期手持手势乐器相比，点云系统把交互从个人设备转移到共享空间场，这是支持集体即兴的关键。

深度相机追踪 × 开放声音控制映射： 深度相机追踪负责把安装空间重建成 3 维点云并估计多人位置与姿态，分工是提供连续的身体空间数据；开放声音控制映射负责把位置包络转发给视觉渲染与声音合成并做分层状态切换，分工是把空间数据翻译成音乐变量。搭配的原因是需要把共享空间场与个人设备解耦，组合后新增的作用是参与者伸展、下蹲、举手等大动作直接改变滤波、音高与密度，不需要佩戴复杂硬件。

为便于复现，把链路中谁做什么、输入输出是什么整理成表。读表的问题是，若要重建最小可运行系统，哪些环节不可省略，哪些可以用同类工具替代。公平条件是同一房间尺度与同一双主扬声器布局，指标方向是延迟越低、因果越透明越好，但本文未报告延迟数字，只能从架构推断可能的瓶颈。

表后解释收益与代价。收益是视觉与声音由同一身体数据源驱动，天然同步，音频幅度回送又让视觉随音乐呼吸。代价是链路长，相机重建、网络传输、宿主映射与回送都可能引入延迟与抖动，论文未给出帧率或延迟测量，这是复现时必须自己补测的边界。另一个未评测边界是房间宽度限制了只能启用两个主交互扬声器，扩大到更多人时多人遮挡与身份跟踪是否稳定，原文没有数据。

没有神经网络训练时，系统在学什么、调什么？

本研究没有训练神经网络模型的阶段，也没有报告数据集划分、损失函数、优化器或梯度路径。初学者不要把无训练等同于确定性求解，系统输出仍随人体动作、相机噪声与房间声学变化。training 这一节在此承担的等价职责是讲清构造与标定过程，即系统如何被搭建、映射如何被冻结为可演奏状态。

真实计算过程是规则与映射构造。作者先用 MIDI 控制器与穿戴手势技术让丸山由佳通过低音炮探索音高、力度与节奏的触觉差异，试用不同扬声器并根据哪种操纵最有回报感来做设计决策。这个过程不是梯度下降，而是以人的触觉反馈为目标的人在环路搜索。随后作曲被固定为四扬声器呼叫加跑道推进结构，每个扬声器象征一种听的方式，呼叫是分配在数个八度上的五音型，偶尔在时间上重叠，给低音炮留出独立时刻与空间。映射被冻结为高度到音高、宽度到滤波、深度到密度等关系，分层状态机负责平滑切换。

需要指出的缺项是，论文未报告映射参数的具体数值范围、滤波截止频率、粒子数量与阈值，也未说明是否对不同身高参与者做归一化或重置时机。这些缺失不是技术错误，只是意味着复现者需要自己标定并记录。另一个缺项是监督来源，系统的正确性由设计者与参与者的具身判断决定，没有自动指标，复现时应保留同样的主观调参记录，而不是寻找一个最优损失值。

在什么房间、用什么材料、如何观察？

实验条件是 2 次公共过程性展示，都被作者定性为概念验证，而非正式实验。没有正式访谈或问卷，只有作者的有限观察。参与者知道自己被录像，被口头告知数据非识别化且可随时退出。资助与场地支持包括悉尼科技大学残疾研究网络、莫纳什大学、澳大利亚研究理事会、内西区议会，以及 NIDA 未来实验室的 1 次过程性展示。代码层面，点云引擎 Pointcaster 当前可用，已公开，Unity、Orbbec Femto Mega 与 Ableton 为第三方可用工具。

空间条件值得复述，因为它直接限制结论。房间一侧有四扬声器一字排开，左侧低音炮、右侧大监听为可交互主扬声器，另有两个小扬声器非交互但发声。中间后方是大投影虚拟镜面。早期原型还有三件纯视觉乐器用于让丸山由佳体会动作激发的风格与内心听觉想象，后来才确定扬声器本身就是乐器。设计过程还包括定期讨论声音与音乐的不同体验、分享故事、观看能传达相似情绪的动画音乐视频，这些质性构造步骤是方法的一部分。

下图显示了参与者进入装置时的真实房间视角，有助于把前文的点云截图放回物理空间理解。

看图路径： 1. 先确认房间中真实扬声器的摆放与大投影幕的位置关系；2. 再观察轮椅参与者的朝向与投影中点云化身的对应；3. 注意左侧墙边小扬声器与近处主扬声器的大小差异

论文图 4。原论文 Figure 4：“Participants Enter Audionce Installation.”。

该照片的前景是 1 位轮椅使用者背对镜头面向投影与扬声器，远端大幕上是彩色点云化身与竖直线条，近处可见黑色主扬声器，左侧墙边另有一只小扬声器。画面说明装置考虑了不同身体能力的进入方式，虚拟镜面与物理扬声器在同一视线内，参与者不需要转身就能同时看到因与果。初学者应注意照片曝光与广角会压缩距离感，不能据此估计跑道长度或触发阈值，原文也未给出房间尺寸与距离参数。

观察到了什么？什么算作协同成功的证据？

论文直接报告的不是准确率表格，而是 2 位设计者的反思与现场观察。聋人设计者以第一人称写道，她通过视觉与触觉而非音频体验即兴，起初按字典式音乐定义觉得这不像音乐制作，甚至怀疑自己是否正确地做音乐，尽管其他作者强调没有唯一正确方式。后来观察者指出她与听人艺术家能有效共同即兴，有些观众甚至没意识到她是聋人，因为展示时未披露，这被解读为积极结果，说明合作听起来没有异常或中断。但她同时指出，这依赖听人验证来确认音乐合法性，听人可能自然承担主导角色，这与前人发现的权力不平衡担忧一致。

听人设计者以第一人称写道，他本想以视觉主导作曲，把声音放在内心听觉里，甚至想做纯视觉视听作品，激活双方的内心耳朵。但看到丸山由佳触摸低音炮与扬声器操纵音乐元素的反应后，纯视觉想法被放弃，新增的元素是振动。跑道的发现给出了不言自明的指示，进入空间并走向扬声器就是走过曲式，参与者同时控制音高音色脉动与和弦进行、总速度与结构，来回移动会改变段落顺序。最让团队兴奋的突破是丸山由佳能与听人即兴而不被听出听力差异，其次是能通过即兴加讨论共同作曲，写出进入、移动与结束的简单指示。

下图是参与者身体与扬声器点云融合的画面，对应触摸层前后的高潮状态，可作为社会性即兴的视觉证据来读。

看图路径： 1. 先辨认中央两个彩色点云人体与左右两侧小扬声器点云；2. 再看人体边缘红黄亮色包层与内部青色主体的分层；3. 观察人体下方与黑色网格地面的倒影对应关系

论文图 6。原论文 Figure 6：“Participant Bodies and Speakers’ Point Clouds Merge.”。

画面中央是两个青绿为主、边缘带红黄亮色的人体点云，左右远处各有一个小扬声器点云，下方网格地面有倒影。人体点云的色彩分层表明声音幅度与动作强度被编码为颜色与粒子，融合姿态表明 2 人靠近时系统以相同速率脉动。初学者不要把颜色直接读成音高数值，原文只说低音产生更大化身、噪声合成产生更混乱粒子等类比，没有给出颜色到频率的定量映射，像素也无法精确读数。

拿掉视觉或振动会怎样？论文给了哪些反证？

论文没有做消融实验表格，但提供了可复述的反证链。第一个反证关于振动的局限。高低音相对容易分辨，但没有事先训练很难区分音高与音量，这与触觉频率分辨率差、难以传递细粒度差异的前人结论一致。也就是说，如果只靠振动，参与者能感到能量与情绪，却难以确认旋律细节。第二个反证关于视觉的补偿作用。

随着时间推移，视觉线索帮助理解系统结构与交互，持续参与与学习是更丰富多模态体验的必要条件。这支持了一个判断，视觉不是装饰，而是让振动可解释的结构支架。

第三个反证关于音乐定义本身。当音乐主要通过听觉透镜框定时，非听觉体验会被视为边缘，即使在包容设计中也是如此。丸山由佳的疑问与听人验证依赖揭示了隐性定义如何塑造参与与包容。这意味着评价若只用听人觉得好不好听，就会系统性低估聋人贡献。论文因此提出超越可及性的问题，谁有权定义音乐价值，这需要看权力关系，而不只是交互设计。

从复现角度，这些反证提示了至少两类必须保留的对照。一是单振动条件与视听触多模态条件的对比观察，记录参与者能否说出结构位置与下一步预期。二是短期初次体验与多次参与后的对比，检验学习是否改善可解释性。原文未做这两组对照，所以不能说视觉补偿必然发生，只能说在作者观察到的持续参与中出现了这种趋势，待验证。

哪些结论不能下？边界与成本缺了什么？

第一个边界是样本与协议。2 次展示无正式访谈问卷，只有作者有限观察，不能推广到所有聋人群体，也不能当作听人与聋人协作质量的人评胜负。论文明确把对象限定为有深重听损、自认非乐手的共创者，结论对轻度听损、人工耳蜗使用者或聋人乐手的适用性未验证。第二个边界是感知分辨率。振动不足以支持旋律辨别，触觉对音高音量细差的传递有限，系统靠预选音阶、同步节奏与视觉脉冲承担了一部分质量控制，这既是优点也是限制，参与者的自由度被作曲框架约束。

第三个边界是部署成本与规模。论文未报告训练资源之外的另一面，即运行开销、输出帧率与实际延迟。点云重建、多人跟踪、跨软件传输与音频幅度回送的实时性没有数字，房间宽度还限制了只启用 1 到 2 名参与者的交互。未来工作提到扩大群体、长期使用打磨映射、深化与聋人艺术家社群合作，但都没有给出时间表与预算。读者不应承诺延迟改善或成本降低。

第 4 个边界是文化与伦理。项目被描述为文化交换场所，听人通过触摸扬声器接触聋人音乐文化，这是超越可及性的价值。但作者也承认听人主导风险，若在复现中不披露或不协商评价标准，可能复制权力不平衡。伦理部分说明参与者知情录像、数据非识别化、可随时退出，但未说明数据保存期限与 2 次使用规则，复现时需自己补齐伦理审查。

要复现最小可玩版本，先做什么、用什么？

先做空间与声音骨架，而不是先调视觉特效。按原文可重放的步骤，第一步摆出四扬声器一列，确定左右两个主交互扬声器与两个非交互小扬声器，播放 Cm7 转位五音呼叫，节奏从 Reich 拍手音乐主节奏挑选，低音给大扬声器。第二步架设三侧高处深度相机，用 Pointcaster 重建点云并输出多人位置包络，经开放声音控制发给 Unity 与 Ableton，Unity 管渲染，Ableton 管合成，音频幅度回送 Unity。第三步实现跑道分层状态机，依次是穿线竖琴音、长音探索、固定音型、触摸底鼓，前进推进和弦 Cm7 到 Dm7 到 Gdim7 再到最终和弦，速度同步前推，长音在固定音型主导时淡出。第四步做触摸标定，弯腰触摸触发底鼓，上下改变密度，左右改变衰减，并爆发粒子。

关键超参数与信息条件在原文多为定性描述，需要自己记录。必须保留的是和弦序列、五音集合、12/8 来源节奏、高度到音高、宽度到滤波、深度到密度的映射方向，以及分层平滑切换。必须补测的是触发距离阈值、滤波范围、延迟帧率与多人遮挡处理。代码可用性方面，Pointcaster 当前可用已公开，Unity、Femto Mega 与 Ableton 为第三方可用工具，Max for Live 插件用于翻译映射，但具体插件链未开源细节，需自行实现。

常见误解需要澄清。误解一是以为点云虚拟镜面只是录像回放，实际上它是预渲染扬声器图像与实时人体点云的合成空间，允许变形叠加。误解二是以为触摸扬声器只是彩蛋，实际上它是正式乐器操作，直接决定最终和弦与速度。误解三是以为听人觉得好听就等于成功，实际上论文要求同时看聋人参与者能否发起与推进结构，以及是否需要听人验证才敢确认合法性。

何时值得尝试这种做法？还需补哪项验证？

当目标是让不同听力与音乐训练的人在同一房间持续共玩，而不愿让每个人佩戴复杂硬件时，这种共享空间场加跑道曲式的模式值得尝试。它的适用条件是房间可布置扬声器阵列与投影，参与者可用大动作移动，并且组织者愿意把结构、强度与镜像当作正式音乐材料来主持。当目标是精确传达旋律或训练音高辨别时，这种做法不合适，应选择其他以视觉记谱或触觉编码为核心的方案。

还需补的验证很具体。第一，补多人同时交互的稳定性测试，记录遮挡、身份交换与延迟。第二，补学习曲线观察，比较初次与多次参与后对音高音量结构理解的变化，检验视觉补偿是否可重复。第三，补权力关系记录，谁发起、谁跟随、谁决定结束，用行为编码而非事后印象来评估包容性。这些都不需要先发明新指标，从能否推进和弦、能否预测下一段、能否独立结束这三件事记起，就能与原文观察对齐。

回到中心判断。Audionce 的贡献不是证明振动等于听觉，而是建立了一个共同交互场，让振动、触摸与视觉成为平等的音乐材料。聋人主导的共创把扬声器从播放设备变成了乐器，把走向扬声器的路变成了曲式。复现者若保留这一立场，再补上延迟、学习与协作行为的测量，就能把这篇过程性展示推进为可核对的装置研究。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 3 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 nime-2026 论文汇总