多人同演不混乱：Gestalt 用分层与加权聚合保住表演者结构

英文题目：Gestalt: A Symbiotic Framework for Real-Time Collaboration between Performers and Mass Audiences

会议身份：conference:icmc:2026:conference-paper-id:paper-504

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#开源工具 #信号处理 #实时处理 #音视频 #音视频交互

评分：6.9/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.7/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Sitong Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Jinshuo Feng：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

Gestalt面向网络化音乐表演中大众参与门槛高、并发交互延迟大与观众缺乏独立声部的问题，以表演者肢体视频与50至200部手机多点触屏手势为输入，以双路音频合成控制与一对一粒子视觉为输出，难点在于数百路异步微手势聚合与视听一致性难以兼顾。先在边缘交互层处理原始输入，表演者客户端经MediaPipe姿态与手部追踪提取归一化参数并直发，观众手机侧经手势识别与映射输出轻量控制值，其输出均以WebSocket消息进入中间件从而卸载服务端计算。再由中间件做异构路由与聚合，表演者数据直接转发以保留结构主导，观众数据经50ms周期多因子活跃度加权平均与独占式单次触发处理，其聚合结果与直发结果分别进入7400与7402独立端口合成器汇合为可控混音。最后经音视分流完成反馈，服务端透传每用户位置、方向、速度与强度并广播audience_details，其输出进入监控面板渲染为一对一粒子，使连续调制与离散触发在听觉聚合的同时保持视觉可辨识因果链。与把观众仅作调制量的传统协助式架构不同，该双层异构与音视分流设计赋予观众独立合成器声部，兼顾了表演者主导曲式与群体公平参与。在本地单机与公网隧道两种部署场景下，本地模式80并发的吞吐指标为3,625 msg/s，高于公网隧道模式的吞吐指标3,009 msg/s。该结论的适用边界受限于受控WiFi实验室压力测试与5至10人小规模试用，80人以上公网隧道出现部分连接失败，大规模公演效果尚未验证。部署成本方面原文披露硬件为Intel-based MacBook Pro单机，服务端聚合固定50ms，本地端到端延迟约60ms而公网为100–260ms，峰值吞吐达7,540 msg/s。

🔗 开源与复现资源

• 代码相关资源：https://github.com/Purest-11/Gestalt — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么？为什么大规模观众共演容易乱？

本文面向刚进入音频与交互领域的研究生，目标是把 Gestalt 这套实时共创视听表演系统讲到可核对、可复述。输入是两类实时信号，一类是专业表演者的身体与手部动作视频流，另一类是 50-200 名观众在手机浏览器上的多点触摸流，输出是经 Max/MSP 合成器发声的双层协作音乐加上全屏投影的粒子视觉。

必须保留的关键信息是 4 层架构划分、表演者直发与观众聚合的端口分离、活动加权聚合与单次触发的双通道处理、本地与公网两种部署下的容量与延迟边界，以及当前仅经实验室压力测试与 5-10 人小规模试用的验证限度。论文研究的不是离线音乐生成或自动作曲，而是网络音乐表演中长期存在的矛盾，观众多了之后要么声音混沌、要么视觉与声音脱节、要么表演者失去结构控制。传统做法把观众数据并入表演者控制流做调制，观众只是影响参数的助手。

Gestalt 要解决的是如何在保留表演者结构主导的同时，给观众一个可独立演奏的声部，并且让上 100 人并发时延迟与吞吐仍可用。理解这一点后，后续的边缘计算、解耦与加权才有学习依赖关系，不会把它们误当成孤立技巧。

从被动聆听到网页广场：前人走了哪几步？

论文把历史放在从被动聆听到网页广场的线索上展开。早期网络计算机音乐如 1980 年代的 The Hub 用计算机网络支持音乐家之间去中心化协作，这是把网络用于专业演奏者的起点。移动通信普及后，Golan Levin 在 2001 年的 Dialtones 用预拨号触发 200 台手机铃声形成交响，但论文指出观众当时更像发声器而非演奏者。2013 年 Lee 与 Freeman 的 Echobo 用智能手机原生应用让观众控制音高与节奏，向主动音乐控制迈了一步，但要求数 100 人下载安装特定软件，现场即兴参与的流畅性与跨平台维护成本都成为障碍。

更近的 Soundworks 框架用超文本标记语言与网页音频接口实现扫码即加入的零安装流程，成熟了网页参与式系统的部署方式，但仍留下开放问题，即如何在数 100 人并发下同时保证低延迟交互与视听连贯性。Gestalt 的定位正是对这个未解点的回应，它不争论美学流派，而是在同输入、同目标、同运行阶段上做对照，同输入指的都是现场观众触摸与表演者动作，同目标都是大规模实时共演，同运行阶段都是演出时的在线交互。

原生应用路线在参与摩擦上处于劣势，网页路线在部署上占优但需补并发与一致性方案，这正是后文双层架构与聚合算法要承担的任务。

要同时满足的三个约束是什么？

论文把任务拆成 3 个必须同时成立的约束。第一是参与门槛，现场不可能要求上 100 人提前装应用、调权限，必须扫码即用且跨手机型号可用。第二是交互延迟，触摸到声音的端到端延迟要让用户保持行动因果感，本地约 60 毫秒被认为对渐变音色调制可接受，但对严格节奏同步仍然偏高，公网隧道下 100-260 毫秒只能做集体性参与而非精确合拍。第三是创作权分配不平等，表演者需要结构控制以避免演出散架，观众需要美学能动性以避免沦为背景噪声。

举一个教学例子帮助理解，例子不是论文数据，假设 80 人同时向上滑动，若简单平均则沉默多数会稀释积极者的意图，若随机采样则可能丢掉关键表达，若直接把音高平均则中央 C 与 E 的平均会得到无意义的 D，这说明连续参数与离散音符不能用同一融合方式。论文因此提出转译机制，音频侧用活动加权把离散手势聚成连贯纹理，视觉侧把每人触摸映射为独立粒子以保留个体可见性。

3 个约束互相牵制，降低延迟往往要简化计算，扩大参与往往增加服务器压力，强化观众声部又可能冲击结构，这就是需要分层与分流的根本原因。

四层架构如何让两类输入各走各的路？

Gestalt 采用 4 层架构，用户交互层、中间件服务器、音频合成层与视觉反馈层各承担一段可复述的动作。用户交互层包括表演者客户端与观众客户端，表演者客户端用 MediaPipe 做姿态与手部追踪并经客户端映射引擎转成控制参数，观众客户端在每台手机本地运行手势检测与触摸映射，把原始触摸先变成已映射的轻量值。

中间件是 Node.js 服务器，负责路由网套字消息并转成开放声音控制协议消息，表演者数据直接转发以最小化延迟，观众数据则进入加权采样聚合并对单次触发做特殊处理。音频合成层收到后经用户数据报协议广播到 Max/MSP，表演者与观众分别走 7400 与 7402 端口并驱动各自合成器实例，形成双层协作合成。视觉反馈层由服务器周期广播包含位置、方向、速度与强度的每用户明细消息，监控面板为每位观众渲染一个粒子，实现 1 对一同步。

转译 × 粒子监控： 转译负责把大量离散异步触摸重建成有序的音乐纹理与视觉形态，是全文的核心机制命名；粒子监控负责把每位观众的位置、方向、速度与强度渲染为一个独立粒子并用颜色编码手势类型，两者搭配的原因是声音需要聚合收敛而参与感需要个体可见，组合后观众既在听觉上有加权影响又在视觉上有可回指的行动因果链。

下面这张系统架构图把上述分叉画得最清楚，阅读时先分清左右两条输入路径，再看中间件的分叉逻辑，最后落到音频与视觉两个输出层，就能建立全篇的方法全景。

看图路径： 1. 先沿左侧表演者单元经中间件到 7400 端口的主路径走一遍；2. 再沿右侧观众手机经聚合与广播分叉到 7402 与视觉层的两条支路走一遍；3. 对照中间件中直接转发与加权采样加单次触发的字样差异；4. 确认视觉层标注的一对一粒子映射与音频层协作合成的位置关系

论文图 2。原论文 Figure 2：“System architecture diagram.”。

从像素可见，左侧表演者单元经网套字到直接转发再到 7400 端口是一条低分支延迟路径，右侧观众手机经手势检测与映射后进入加权采样与单次触发，再分叉为经 7402 端口的音频聚合与经网套字广播的视觉明细，底部视觉层的粒子 1 对一映射与音频层的协作合成并列呈现。这种画法直接对应了后文边缘计算与视听解耦的论证，即计算尽量推向手机端，声音要收敛而画面要保留个体，端口分离则保证了表演者结构控制不被观众洪流淹没。

表演者端如何做到 50 毫秒内从摄像头到声音参数？

表演者子系统的教学任务是理解速度优先的姿态估计如何服务音乐控制。界面中央用超文本画布在实时视频上叠加 33 个人体关键点与骨骼连线，形成可监控的数字孪生，周边模块显示观众人数、开放声音控制连通性、帧率与归一化到 0.00-1.00 的参数，并提供映射编辑器入口，布局目标是在演出中优先保证信息获取与态势感知。

双层异构协作架构 × 独立观众声部： 双层异构协作架构负责划分控制权与数据通路，表演者经 7400 端口直发以保留结构主导，观众经 7402 端口聚合后驱动独立合成器实例；独立观众声部负责让观众不再只是叠加到表演者参数上的调制量，而是有自己音高、音色与滤波可调的复调声部，两者搭配的原因是只有通路与合成实例分离，加权聚合才不会吞掉观众的复调身份，组合后形成表演者可引导但观众可独立发声的对位关系。

为满足低于 50 毫秒的摄像头到开放声音控制延迟目标，论文做了三项可复述的优化。第一是模型与加速选择，用姿态关键点轻量模型并启用图形处理器委托的网页图形后端，相比完整模型牺牲约 15% 关键点定位精度换取约 5 倍推理速度，理由是音乐控制更看重时间响应而非毫米级空间精度。

第二是宏微双尺度控制，身体姿态特征驱动宏观渐变参数如总增益与滤波截止，手部特征调制微观音色参数如混响深度与声像摆动速率，宽大幅度定方向而精细手势雕刻音色。第三是信号后处理，用指数滑动平均平滑抖动并以 0.5 置信度门限抑制漂移点，在噪声抑制与瞬态响应之间取平衡。在苹果 M1 设备上系统维持 40-60 帧每秒并实现低于 50 毫秒的端到端表演者链路。

下面这张表演者交互界面截图有助于把数字孪生落到可见形态，导读时先看中央人像与叠加层的对应，再看外围状态区的分区。

看图路径： 1. 观察中央视频流上叠加的粉色骨骼连线与手掌关键点；2. 确认双手举起时躯干与手腕连线的追踪是否连续；3. 注意画面顶部状态条与底部参数区的分区布局

论文图 1。原论文 Figure 1：“Performer interaction interface.”。

从像素可见，人物双手举起时粉色骨骼线从肩经肘到手腕连续延伸，手掌与面部有点状关键点标记，顶部与侧边保留了状态与参数区，说明追踪与监控处在同一工作区。这种所见即所得的叠加让表演者能直观判断动作幅度与映射是否生效，也为后文默认映射中肢体幅度管宏观、手部细节管微观的规则提供了操作基础。

观众手机端与大屏粒子如何分工？

观众子系统的教学任务是区分手机上的即时反馈与大屏上的集体呈现。观众界面用 Three.js 实现轻量 3 维反馈，遵循所见即触原则，触摸、滑动与释放生成拖尾粒子与爆发效果，让动作与反馈关系在知觉上明确。界面还用状态条显示连接与在线人数，用 0-100% 青紫渐变强度计隐喻音量贡献，用手势显示区报告当前识别到的上滑或下滑以澄清哪条映射生效。

客户端边缘计算 × 视听数据流解耦： 客户端边缘计算负责把手势识别与参数映射放到每台手机本地完成，服务器只收轻量已映射值以分散上 100 人并发时的映射开销；视听数据流解耦负责把同一触摸拆成两条需求不同的流，音频流做多对一聚合，视觉流保留每人位置与强度做 1 对一广播，两者搭配的原因是音频要收敛而视觉要保留个体，组合后才能同时做到 60 帧监控渲染与 50 毫秒聚合周期而不互相拖累。

监控界面是全屏场地投影，用 2 维画布渲染，星空与透视网格提供一致的视差背景，每位观众对应一个粒子，位置跟随手机触摸坐标，手势类别按颜色编码，向上为青色、向下为紫色、向左为橙色、向右为绿色、静止为蓝色，强度与速度调制光晕拖尾与火花，相近活跃粒子间绘制半透明连线形成涌现网络。它同时承担运维功能，显示网络拓扑、并发数与扫码指引，并可进入映射编辑器形成从状态监控到动态干预的闭环。

对观众而言看到自己粒子演化建立了行动到声音的因果链，对表演者而言粒子的空间分布与颜色指示了集体情绪方向，对现场旁观者而言粒子群本身就是生成性舞台视觉。 下面这张手机触摸面板截图先建立个体视角，阅读时注意中央大光点与手势文字的对应关系。

看图路径： 1. 先看中央青色大光点与周围散布的小粒子的大小对比；2. 再看底部左侧当前手势文字提示与右侧状态小窗；3. 观察右侧竖条强度计的颜色渐变与网格透视背景

论文图 4。原论文 Figure 4：“Audience mobile touch interaction panel.”。

从像素可见，中央青色大光点周围散布青紫小粒子，底部左侧明确显示当前手势为向左滑动，右侧有强度竖条与状态小窗，背景为透视网格，说明手机端同时完成了反馈、手势澄清与强度隐喻三件事。再看大屏监控的像素形态，有助于理解 1 对一映射在大尺度下的样子。

看图路径： 1. 比较绿色与青色两个发光粒子的拖尾长度与方向差异；2. 观察深色星空背景与底部透视网格的层次关系；3. 查看底部图例中粒子与手势类型及亮度与强度的对应说明

论文图 3。原论文 Figure 3：“Audience monitoring system.”。

从像素可见，深色星空下有两个带拖尾的发光粒子，绿色与青色拖尾方向与长度不同，底部透视网格与图例共同说明每个粒子对应 1 位观众、颜色对应手势类型、亮度对应强度。这种设计把集体活动的方向感与个体的可见性同时保留，是转译机制在视觉侧的直接体现。

映射、聚合与键盘触发三件事如何配合？

这一节把默认映射、活动加权与离散触发串成一条可操作的链路。默认表演者映射把左手高度、右手高度、臂展、左右手掌开合度与运动速度分别送到引擎音量、滤波、混响与声像等地址，连续量统一用 0.3 指数滑动平均系数平滑。默认观众映射把屏幕键盘送到中央 C2 到 B6 的音符地址，把上滑送到引擎音量，把双指距离送到混响，把手势能量送到声像速率，连续量同样用 0.3 系数而键盘不做平滑。

活动加权聚合 × 单次触发事件： 活动加权聚合负责把连续滑动类参数按交互强度做加权平均，越活跃的用户权重越大；单次触发事件负责把屏幕键盘的离散音符按最新到达值直接发送且用后即清，避免对音高求平均产生无意义中间音，两者搭配的原因是连续控制适合融合趋势而离散音高不能平均，组合后同一套架构既能做滤波扫频又能做即时音符触发。

活动评分综合 4 个因子，时间新鲜度、强度、速度与活动状态，速度先乘 2 再钳制到 1，动态手势的状态项取 1 而静止接触取 0.3 以保留 30% 参与感，默认权重为 0.4、0.3、0.2 与 0.1，优先保证实时性与交互强度。当观众超过 80 人时按评分降序只取前 80 名参与聚合以把延迟控制在毫秒级，采样集内按交互强度做加权平均，强度低于 0.1 者剔除以避噪，聚合周期固定为 50 毫秒。屏幕键盘把横轴 12 分区映射为半音、纵轴映射为八度，触摸起始只发 1 次音符，滑动与释放不重触发，客户端以单次标志标记，服务器对该标志采用固定权重 1.0、取最新到达值而不平均、用后即清以防 50 毫秒后重发。

所见即所得映射编辑器 × 声明式映射配置： 所见即所得映射编辑器负责让非程序员在图形界面上改手势到声音的对应关系并即时看到粒子反馈；声明式映射配置负责只写输入是什么、输出地址是什么、输入输出范围与平滑系数而不写处理逻辑，由通用引擎完成缩放与组包，两者搭配的原因是艺术家需要排练中快速试错而不需要重写代码，组合后改 1 次控制台配置即可经本地事件与广播同步到表演者端与全部观众手机。

映射编辑器用六字段声明式条目组织，手势名、是否启用、输出地址、输入范围、输出范围与是否平滑，支持多地址逗号并行输出与导入导出与重置，表演者端改配置触发自定义事件即时生效，观众端经网套字广播到全部手机，开放声音控制地址必须与 Max/MSP 路由大小写与斜杠完全一致，再经参数编号绑定到合成器参数，形成网页声明到路由再到合成器绑定的链条。

本研究训练了什么？没有训练时真实计算是什么？

本研究没有神经网络训练阶段，也没有报告梯度路径、损失函数、优化器、冻结与更新或数据划分下的监督学习过程，因此不能把系统行为理解为训练收敛的结果，也不能从参数冻结推定输出确定。真实计算是 3 类工程推理与规则计算的组合。第一类是既有模型的推理调用，MediaPipe 姿态轻量模型与手部追踪在浏览器端前向运行，只做关键点估计而不做反向传播，速度优先的配置与指数滑动平均加置信度门限属于后处理而非学习。

第二类是客户端规则映射与手势识别，触摸坐标到音符与参数的转换按声明式范围缩放与平滑系数执行，可复述为查表加滤波。第 3 类是服务器端聚合计算，按活动评分排序取前 80、按强度加权平均、对单次触发取最新值并即清，周期为 50 毫秒。

缺项需要明确指出，论文未报告姿态模型的训练数据、评估集精度细节与手机端手势识别器的学习过程，未报告映射参数的自动搜索或优化目标，复现时应把这些当作未验证部分而不自行补写拿掉某项必然怎样的因果断言。

压力测试与小规模试用在什么条件下测的？

实验按问题组织而非按图表顺序，首要问题是系统在多大并发下仍稳定以及延迟来自哪里。并发容量测试用自动化脚本模拟真实客户端行为，经网套字建连、发注册消息并按真实消息格式持续发送触摸与映射消息。测试硬件为英特尔芯片的 MacBook Pro，模拟客户端按 20% 高强度 30 毫秒、50% 中强度 50 毫秒、30% 低强度 100 毫秒的发送间隔配置，并发从 10 逐步加到 200，200 人阶段采用每批 50 人的交错加入以贴合观众渐进加入的真实场景。

部署分本地单机与 Cloudflare 隧道公网两种模式，本地单机把动作捕捉、触摸子系统与 Max/MSP 放在同一台机器，双机模式把捕捉与合成放表演者机器、监控放视觉机器并经局域网广播互联，公网模式经隧道生成观众 2 维码以支持全球接入。延迟分析基于代码分析与经验测量拆解，触摸采集、客户端处理、网络传输、服务器聚合与本地回环各一段。小规模试用在本地无线网与隧道下用 5-10 名志愿者验证扫码加入、触摸到声音的主观延迟、粒子与手势同步以及全程稳定性。

论文明确声明尚未经过大规模公演验证，网络复杂性与设备异质性的影响仍是边界条件。

延迟主要花在哪里？本地与公网差多少？

延迟问题的比较条件是同一套拆解口径下本地无线网与公网隧道的对照，指标方向是耗时越小越好，总延迟越低对节奏的支撑越强。论文报告触摸采集小于 1 毫秒、客户端处理 1-3 毫秒在两种模式下相同，差异主要来自网络传输，本地小于 5 毫秒而公网隧道为 50-200 毫秒，服务器聚合固定 50 毫秒，本地回环小于 1 毫秒，总计本地约 60 毫秒、公网 100-260 毫秒。

下面的表把这组拆解放在相邻段落中核对，阅读时先确认每行环节的比较口径一致，再看公网多出的转发与加密开销落在网络段而非聚合段。表前提出的问题是端到端延迟的瓶颈究竟在计算还是在传输，公平条件是同一客户端与聚合配置，指标方向是毫秒数越小越好。

表后解释需要同时给出收益与代价。本地约 60 毫秒对渐变音色调制可保持清晰能动性，这是边缘计算与固定聚合周期的收益，但对严格节奏同步仍然偏高。

公网 100-260 毫秒仍可做集体性参与，因为绝对节奏精度要求较低，但隧道转发与加密开销使上限明显受损。未胜出项是公网模式在超过 100 人后出现部分连接失败，说明延迟拆解不能只看均值，还需结合容量边界一起读。

200 人与 80 人两个稳定点意味着什么？

容量问题的比较条件是同一套模拟客户端强度分布下本地单机与公网隧道的对照，指标包括连接成功率、吞吐量与状态判定，方向是成功率越高越好、吞吐越高代表承载的消息量越大但需结合稳定性一起判断。论文报告本地在 200 人并发下保持稳定、峰值吞吐 7540 消息每秒，80 人阈值的基于活动的采样策略按预期工作。公网在 80 人下保持稳定、吞吐 3009 消息每秒，超过 100 人后出现部分失败，稳定上限约为本地的 53%，与隧道转发与加密开销一致。

表前提出的问题是在哪个人数下系统从稳定进入部分失败，公平条件是同一消息格式与强度配比，指标方向是成功率优先、吞吐次之。

表后解释要补上反例与边界。本地 200 人阶段用了交错加入而非瞬时洪峰，这贴合真实入场但不能证明瞬时 200 连接同样稳定。

公网 100 人出现七成成功与不稳定、150 人更高吞吐但不稳定，说明吞吐数字单独上升不等于可用，成功率与状态判定才是部署依据。小规模 5-10 人试用全部扫码成功、主观延迟可接受、每人粒子与手势同步且无崩溃，支持了零安装流程的可行性，但因样本小且非公演，不能推广为大规模结论。论文因此把更大部署指向双机运行与服务器集群等未来工作。

哪些设计在高压下起了作用？缺了会怎样？

论文没有标准消融表，但提供了可用作反证的机制与条件对照，教学上按去掉某环节可能暴露的风险来组织，但不补写必然因果。第一个对照是 80 人采样阈值，本地测试在超过 80 人后只聚合最活跃前 80 名，200 人仍稳定，这支持了排序采样把聚合延迟控制在毫秒级的作用，若改成全量平均则服务器每周期要处理更多映射值，论文虽未给出全量下的延迟数字，但从每秒数千消息的吞吐与固定 50 毫秒周期可以理解其保护意义。

第二个对照是强度低于 0.1 剔除与单次触发用后即清，前者避免静止噪声进入加权平均，后者避免同一音符在下一周期重发，若把音高也做平均则会出现中央 C 与 E 平均成 D 的音乐无意义问题，这是离散通道必须独立的直接证据。第 3 个对照是视听分流，监控 60 帧、手机 30 帧、聚合 50 毫秒并行运行，若把视觉也做聚合则会失去 1 对一可见性，若把音频也保留每人独立通道则 Max/MSP 侧将难以收敛。

未评测边界是双表演者 7401 端口的 3 层扩展、加速度计与陀螺仪输入、以及点对点替代集中隧道的公网稳定性，这些只在未来工作中提出而无数据支撑。

当前证据不支持哪些推广？

需要严格区分报告、有限解释与未验证推测。论文直接报告的是实验室模拟客户端下的容量与延迟拆解，以及 5-10 人小规模试用的可用性观察，这些是有条件成立的结果。有限解释是把本地约 60 毫秒解释为对渐变音色可接受、把公网延迟解释为对集体参与仍有效，这依赖于对节奏精度要求较低的前提，若换成打击乐齐奏则不一定成立。

未验证推测包括大规模公演下的真实无线网质量、数百种手机型号的异质性、观众行为从积极滑动到大面积静止的分布漂移，以及双机与集群部署的真实增益，这些在原文中明确列为局限与未来工作。资源状态方面，代码仓库当前可用，地址为公开链接，但可用不等于开箱可运行，复现仍需配置 Max/MSP 与 Pigments 参数编号、开放声音控制路由与端口，以及场地网络。

论文未测量误判率、每步推理开销与大屏渲染在满负荷下的掉帧分布，因此不能承诺这些量得到改善，总体趋势稳定不等于每组人数与每一步都稳定。

要复现这套共演，先做什么再做什么？

复现建议按学习依赖排序，先跑通最小闭环再加压。第一步按单机模式部署用户交互层、Node.js 中间件、Max/MSP 音频层与视觉层，核对表演者 3000 端口、观众 3002 端口、7400 表演者与 7402 观众端口以及 7401 预留端口，开放声音控制地址大小写与斜杠必须与图形映射配置完全一致，再经参数编号绑定到合成器。第二步用一台手机验证触摸到声音再到粒子的因果链，确认上滑、双指距离与键盘触发 3 条默认映射分别生效，检查强度计、手势显示与大屏颜色编码是否一致。

第三步用脚本按 20% 高强度、50% 中强度、30% 低强度的配比逐步加压，观察 80 人采样是否触发、50 毫秒聚合是否稳定、吞吐与成功率何时分叉。第四步再切到双机与公网隧道，重点记录网络段从小于 5 毫秒到 50-200 毫秒的变化以及 100 人以上的部分失败。关键超参数与信息条件要保留，表演者端指数滑动平均 0.3、观众连续量 0.3、置信度门限 0.5、活动权重 0.4 与 0.3 与 0.2 与 0.1、采样上限 80、剔除阈值 0.1、聚合周期 50 毫秒、触摸到开放声音控制约 100 毫秒的估计。

常见误解是把 200 人稳定当成任何网络下都成立，实际上它是本地单机交错加入条件下的实验室结果，换到公网或瞬时洪峰需要重新测量。

何时值得尝试 Gestalt 这条路线？

回到中心矛盾，Gestalt 的价值在于用可工程化的分工同时保住结构与能动性。当演出需要上 100 人用自带手机参与、又不希望排练被装应用与改代码拖住时，这套浏览器异构加边缘映射加视听分流的路线值得尝试，尤其适合以音色渐变与集体纹理为主、不依赖严格对拍的曲目。当曲目要求毫秒级齐奏、场地无线网不可控或必须全球公网大规模接入时，则要谨慎，应先补双机部署、服务器集群与点对点传输的验证，并做真实设备异质性测试。

对研究生而言，可复述的方法链是触摸在手机本地变成映射值，经网套字到服务器后连续量按强度加权、离散音符按最新值即发即清，再经分离端口驱动独立声部，同时每人明细经广播渲染为粒子。记住两个边界数字，本地 200 人稳定与公网 80 人稳定，以及一个机制要点，音高不能平均而趋势可以加权，就抓住了全文最强的证据与最实用的复现起点。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

另有 5 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 icmc-2026 论文汇总