会自己演奏的图画：把时间、导航和手势写进同一张 SVG 里

英文题目：Scores That Run: Graphic Notation with Embedded Performance Semantics

会议身份：conference:icmc:2026:conference-paper-id:paper-436

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#信号处理 #实时处理 #音乐 #音频交互

评分：6.7/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 0.3/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 1.2/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Rob Canning：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文输入为在Inkscape中绘制的标准SVG图形乐谱，输出为浏览器中同步展开的视觉动画、演奏指示与电子控制流，难点在于图形绘制与演出时间逻辑长期分离，需额外排练解释与外部同步系统才能变为可演出的时间结构。方法链分三步：先在元素标识符中写入轻量提示微语法声明行为，使乐谱成为可读可编辑的图形语义文档，再在浏览器加载时解析提示构建滚动或分页导航结构，形成可进入与停留的节点形态。接着由运行时引擎按轨迹求值运动场并生成OSC与MIDI消息，驱动视觉手势与外部声音引擎，输出的共享时间状态进入协同进程维持多设备同步而将渲染保留本地。与MaxScore依赖补丁逻辑将行为置于谱外不同，该工作把导航、节拍器、媒体触发与手势场同置于同一视觉表面，使谱面即执行环境，显著降低作曲到演出的中介成本。与IanniX以图形层作为电子系统控制器不同，该系统同时面向乐手视读与机器控制，运动可读亦可传输，统一了声学塑形与电子处理的姿态语法。在随机音高生成条件下，irand上限条件的随机整数指标为11，高于irand下限条件的随机整数指标0。该结论适用边界受限于中小规模乐团的浏览器演出场景，在大厅级时钟精度、故障恢复与复杂交互下的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://oscilla.cc — 链接可访问（HTTP 200）
• 复现相关资源：https://oscilla.cc — 链接可访问（HTTP 200）
• 第三方资源：https://neoscore.org/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么值得做成可核对的解读？

本文的输入是 1 篇关于图形记谱系统的论文，标题为 Scores That Run，作者为独立研究者 Rob Canning。目标读者是刚进入语音、音乐、音频领域的研究生，需要能照着复述方法、核对条件，而不是记住结论口号。必须保留的信息包括：用标准可缩放矢量图形作为谱面格式，在 Inkscape 中绘制，把演奏行为写进元素标识符，再由浏览器运行时解析执行；支持滚动延续、页面驻留和 sectional 之间导航；动画可只供人阅读，也可发出开放声音控制和乐器数字接口数据驱动电子声部。

本文的输出就是这篇解读本身，按学习依赖从任务到方法再到复现条件展开。需要先说明的是，这是 1 篇系统与记谱法论文，不是语音识别或音频分类论文，没有训练集准确率那类指标，证据全部来自论文正文给出的工作流、提示写法和案例描述。阅读时要把例子标为例子，把系统报告标为报告，把没有测量的部分标为缺项。

已有路线做了什么，本文站在哪条线上？

论文把相关工作分成 5 条线，帮助初学者定位。第一条是图画作曲，以 Xenakis 的 UPIC 系统为代表，画线和形状本身就是作曲材料并被合成为声音。本文认同视觉即材料，但不同在于语义仍附着在图上，谱面在演出时继续被演奏者读和执行，而不是 1 次性转成独立声音文件。第二条是动态与消息驱动记谱，以 INScore 为代表，视觉元素可在运行时通过开放声音控制消息被移动和改变。

本文的区别在创作模型：INScore 依赖脚本构造和外部持续消息控制，本文把行为直接写进可缩放矢量图形文档，绘画即声明。MaxScore 和 Bach 库把记谱放在 Max 数据流环境里，记谱是补丁逻辑的结果；本文反过来，视觉页面是主要作曲场所。第三条是轨迹控制，以 IanniX 为代表，图形层是活跃的、可演奏的，也产生开放声音控制和乐器数字接口。分歧在朝向：IanniX 更像电子系统的控制器，本文把文档本身当作可演奏的谱，动画、导航和时间结构首先是给乐手看的，其次才可能产生控制数据。

第四条是分布式演出，Quintet.net 证明了用记谱界面而非仅用音频同步来协调分布演奏，Decibel ScorePlayer 在平板上实现网络同步滚动、嵌入音频和实时绘画层。本文共享图形与同步承诺，但创作工具不同：不需要专用创作工具或平台专用应用，用通用矢量编辑器加现代浏览器即可，行为来自记谱同一表面。第 5 条是程序化记谱，以 neoscore 为代表，用 Python 代码构造图形，适合习惯编程的作曲家；本文只需要绘画，适合通过视觉安排和空间关系思考的作曲家。

作者还用 Vear 的数字谱分类说明本文横跨动画谱、技术指挥和系统即谱面：运动场展开是动画谱，内嵌时间语义协调合奏是技术指挥，解释文档的浏览器运行时与谱面不可分是系统即谱面。

要解决的分离问题具体是什么？

论文要解决的问题是记谱与其演奏逻辑分离。图形记谱提供视觉结构，邀请解释、手势、空间隐喻和时间流动，但从画好的谱到可演出的谱往往需要额外中介：排练讲解、辅助计时系统、专有播放环境或人工同步手势。行为住在谱面之外，住在软件补丁、指挥指示或群体协商里。于是出现两层皮：看的是一张图，跑的是另一套系统。本文提出把谱面做成图形语义文档，让视觉域和时间域共存于同一表示层。

具体来说，同一元素既承载看得见的形状，也承载可执行的提示；浏览器加载后解析并实时 enact，谱面会动、会提示进入、会触发持续时间、会引导形式展开，而不需要外部软件环境或脚本语言。需要区分的是，本文不研究自动作曲，也不研究音频识别精度，它研究的是创作到演出的直接工作流是否可以只用开放网页标准完成，以及形式拓扑、注意力、手势如何被写进同一表面。

从画图到演出，样本走完需要哪几步？

沿一个样本走完全程有助于建立全局图。第一步是画：在 Inkscape 里用线、形状、空间组织、字体强调和轮廓作曲，传统五线谱只有在有用时才加入，系统不把符号雕版当默认。第二步是命名：选中图形对象，打开可扩展标记语言编辑器，快捷键是 Ctrl 加 Shift 加 X，把提示微语法写进该元素的标识符属性。第三步是加载：浏览器打开该可缩放矢量图形文档，运行时读取文档结构，抽取提示，依据版式构造连续时间线或可导航区域网络。

第四步是演出：请求动画帧计时驱动遍历，滚动或页面状态按提示推进，到达提示即在每位演奏者本地执行语义，合奏的时间位置通过协调进程保持同步，但视觉渲染和解释留在各自浏览器本地。第五步是可选的电子声部：运动场在需要时发出连续控制流，离散触发发出节奏性事件，音频视频作为谱面原生材料进入演出环境。整个链条中文件本身不变，运行时只是执行文档声明的内容。

图形谱面 × 演奏语义： 图形谱面负责提供可看可读的视觉安排，包括线条、形状、版式和空间关系；演奏语义负责规定何时滚动、何时停留、何时跳转和何时触发媒体。两者搭配的理由是避免行为放在外部补丁或口头说明里，组合后同一张图既是记谱也是时间执行体，阅读位置就是执行位置。

这个全景的要点是 3 层共址：记谱层、时间层和界面层是同一层。结构提示管去哪里和待多久，文本与媒体提示管注意什么和以何种感知姿态听，运动场管共同关注什么手势。初学者复述时要能说出输入是带标识符的矢量图，中间表示是解析后的时间流与导航网络，输出是本地动画加同步时间状态加可选控制数据。

提示写在哪里，解析器读到什么？

提示的载体是标准元素的标识符。作曲家留在视觉工作流里，只做小的局部调整，不写外部配置。论文给出的例子包括导航、暂停、节拍器、变速等，语义与所管辖的视觉元素共址，行为是表面的一部分。运行时用 JavaScript 操作文档对象模型，用请求动画帧计时求值轨迹、触发器和游标，并可生成开放声音控制和乐器数字接口消息驱动外部声音引擎。

论文还提到一个处于测试阶段的专用 Inkscape 扩展用于辅助创作提示语义，但正文的默认流程仍是手工经由可扩展标记语言编辑器写入。在合奏设置中，导航和时间状态跨设备同步，允许协同演出而不需要专用播放主机或指挥。下面的表把论文明确给出的提示例子按类别整理，便于对照记忆，教学例子不代表测得的效果大小。

表前的问题是：不同提示分别控制结构、时间还是注意力，公平比较的前提是都写在同一标识符槽位并由同一运行时解释，方向是能否说清参数含义和执行结果。

表后需要解释主要收益与代价。收益是同一写法覆盖结构与时间：导航处理去哪里，暂停与变速处理待多久和多快到达，节拍器处理如何对齐，模式处理以何种顺序重访环境。代价是写法紧凑但依赖约定，参数单位和取值范围分散在例子中，正文没有给出完整语法表和错误处理，初学者需要对照示例谱逐个试。未胜出的边界是文本与媒体提示不规定具体声音结果，只塑造注意条件，这是有意为之，不是功能缺失。

SVG 标识符 × 提示微语法： SVG 标识符负责提供每个图形对象自带的、可编辑的文本槽位，即元素的 id 属性；提示微语法负责在这个槽位里用短括号表达式写出动作和参数。搭配的原因是在不改变 SVG 标准和绘画流程的前提下获得可解析性，组合后画图动作就同时是语义声明，不需要另写脚本层。

复述要点是：标识符是槽位，微语法是语言，运行时是执行者，三者缺一不可，且都不离开画图软件和浏览器。

滚动、页面和模式如何组成可演的形式？

形式拓扑是本文的第二个组件。滚动模式强调大规模方向运动，谱面水平展开经过时间；页面模式定义空间离散环境，演奏者可在其中停留、探索或发展材料；两者之间的过渡直接写在谱面里，使形式分节可见、可重复、可演奏。页面不是翻过去就结束，而是被激活，例如进入名为 form-G3 的页面后可停留或离开。

导航提示是铰链，连回滚动轨迹或转向另一页。页面模式更像连接地点的网络，而不是线性帧序列。模式结构可规定经过这些地点的遍历：概率选择在多个节点间移动，每个节点带建议持续时间，形式经由导航产生而非经由播放产生，同一环境可以不同顺序和不同时间条件下重现。确定性和不确定性都可能，复杂度可经由嵌套提高，该模式语法借鉴 SuperCollider 模式库，但用于谱面遍历而非事件生成。

超文本遍历也可显式选择：一组页面作为可导航菜单，作曲家写出可用状态及其连接，指挥或演奏者在演出中决定具体路线，形式在谱面定义的网络内经由处境化决策涌现。暂停、计时器和变速阐明在状态中停留多久，而节点组织决定身在作品何处。不确定程度是作曲决定，不是系统属性。

滚动时间线 × 页面节点： 滚动时间线负责表达方向性延续时间，乐团沿轨迹共同前进；页面节点负责提供可进入、可停留、可返回的局部环境。搭配的原因是单一线性时间容纳不下开放形式，组合后形式成为连续与离散混合的拓扑，作曲家用导航提示写作形式走向而不是只写播放顺序。

对初学者而言，关键动作是画出两种容器：一条可滚动的长带和若干命名页面，再用导航元素把它们连成图。运行时要么构造连续遍历时间线，要么构造可导航区域网络，取决于版式。记忆时不要把速度变化误记为内容变化：变速只改变材料到达多快和协调如何展开，不规定材料本身。

运动、文字和媒体如何进入同一语义层？

第三个组件把手势、文本和媒体统一为记谱。动画变换在视觉上创作、在运行时求值，包括沿路径运动、旋转、缩放序列和轨道轨迹。这些运动场可被演奏者解释性地读，也可暴露连续控制数据给现场电子声部。当开放声音控制开关为 1 时运动产生数据流，适合 SuperCollider 等环境；为 0 时运动只被阅读。

论文给出的运动到路径例子包含路径、持续时间和地址，旋转例子包含方向、持续时间、开关、地址和标识。原声与电子层因此共享一套视觉创作的手势语法。文本提示不只是放静态词，而是引用外部材料并使其成为随时间演化的对象：行可逐行出现，字符可逐渐浮现，片段可以变化顺序出现。嵌入的音频或视频被当作谱面原生材料，与导航和手势进入同一运行时语义，可在结构点自动激活或由演奏者触发。

视频可作为移动注意场，音频可建立共鸣、可作为缓慢演化织体，或经耳机私密传送以支持贴近模仿。时间定向也可不规定音乐内容而被作曲：倒数暂停按住谱面而声音继续。理解这一节要抓住分工：运动场管共享注意与手势资源，文本与媒体管感知姿态与环境，时间塑形管到达速率，三者都写在同一可执行层，解释与行为来自同一表面。

没有神经网络训练时，真正的计算和构造是什么？

本研究没有训练神经网络，也就没有梯度、损失、优化器、冻结与更新、训练集划分和早停。必须明确说出这个缺项，避免把无需训练误读为确定性求解。真正的计算发生在三处。第一处是创作时构造：人在 Inkscape 中布置几何与版式，并在标识符中写入提示，传播预解析器可把模板展开到成组子对象，每个元素按几何求值得出自己的参数，例如从自由绘制的一组形状生成音高、包络或密度的变化。

复用块允许结构模块定义 1 次并经由引用插入多处，同时保持内部提示与动画并自动避免标识符冲突。第二处是加载时解析：浏览器运行时读取文档结构，抽取提示，形成时间流与导航网络的内部表示，随机函数在初始解析时求值与持续生成新值的区别在此确定。第三处是演出时求值：请求动画帧计时推进滚动与动画，触发器按位置执行，运动按需转成控制消息，跨设备共享时间状态。调用的是既有浏览器能力，不是学习到的模型推理。

随机性来自模式与随机函数的设计选择，不是来自采样后验。复现时不应寻找权重文件，而应核对文档、解析器版本和网络协调进程的行为。

案例在什么条件下展开，能回答什么问题？

论文没有对照实验的数据集、划分、基线和指标，它用作品案例承担验证职责。主案例是正在发展中的作品 Ways Through, Not To. 中的一节，标题为 A Walk in Polygon Field，处于基于页面的环境。几何条件是同心多边形：中心 1 对三角形，外套正方形，再外套五边形，直至外围八边形，每个多边形以各自速度和方向绕中心轴旋转，默认状态可经由谱面内控制面板调整。每个多边形上有 1 对小多边形，既绕父形状轨道运行又自转，轨道与自旋可独立控制，形成视觉复节奏。

控制推子本身用沿直线运动的对象构成，经由内部信号总线通信，类似 Pure Data 的发送与接收，允许演出中调整任何视觉参数；另有调音台推子处理乐器输入输出、电平、效果发送和合成器电平，经由开放声音控制直接与处理现场电子声与空间化的 SuperCollider 补丁通信。空间条件是 8.1 声道环，每个演奏者话筒输出按父多边形旋转位置映射到环，顶点穿越触发调制频率变化。

交互条件是演奏者可在平板上触摸暂停与恢复各自跟随对象，所有动画与谱面状态经网络同步，每位选择以加载时分配的不同颜色标示。记谱条件是每条多边形边有不同描边样式，实线、虚线或点线表示不同演奏模式，如发音类型、 articulation 或音色方法，需演奏者协商；演奏者跟随轨道小多边形，跨越顶点即切换模式，同时触发电子声部事件。演出说明本身嵌入谱面。能回答的问题是结构、动画与电子元素在真实谱面中如何协同，回答不了的是普适有效性与效率比较。

案例显示了什么，哪些写法支撑了判断？

案例报告显示几何、运动与控制数据可以成为形式的能动者，而不是装饰。具体支撑有四点。第一，运动即记谱即行为：演奏者沿路径跟随，跨越顶点切换演奏模式，同一跨越向电子声部发送离散触发，提供与视觉结构同步的攻击脉冲。第二，空间与变换耦合：话筒到 8.1 声环的映射随旋转位置变化，顶点穿越改变该乐器信号的环调频率，器乐声音、空间位置与电子变换一起运动。

第三，层级深度可选：多边形组坐落在 2 乘 2 象限上，跨象限移动可作为结构标记提示映射变化，与他人的碰撞或接近可提示互动，演奏者能容纳多少层就用多少层，谱面提供深度但不强制。第四，能动性可见：各自选择以颜色区分，暂停与恢复由触摸控制，聆听、留白、回应被写进演出说明，动画记谱是向导而非命令。表前的问题是：在同一文档内，结构、媒体和手势写法如何分工，公平条件是都出自论文给出的原写法，方向是能否对应到可执行行为而非修辞。

表后解释显示：媒体写法把外部文件拉入同一语义层，导航与模式写法把形式写成可走的网络，手势写法用开关统一阅读与传输。代价是案例高度依赖具体作品与 SuperCollider 补丁映射，换 ensemble、换扬声器布局、换映射即换结果。未胜出或未评测的边界是：没有听众盲听比较，没有计时误差统计，没有在断网或异构浏览器下的降级数据，因此支持的是可行性与可读性判断，不是优于某基线的判断。

动画运动场 × 开放声音控制： 动画运动场负责给出演奏者共同观看的运动，如沿路径运动、旋转、缩放和轨道运动；开放声音控制负责在需要时把同一运动转成连续控制数据发给电子声部。搭配的原因是让原声手势和电子处理共享同一视觉语法，组合后运动既可只被解读，也可同时驱动合成、空间化和效果，且开关由提示参数决定。

初学者应把结果读成存在性证明：这样写可以这样演，且原声与电子可以共享手势语法，但不要推广为每组、每步都成立的总体趋势。

拿掉哪一块会怎样，论文给了什么可比的变化？

论文没有消融实验，也没有拿掉某模块后性能下降多少的数字，因此不能补写拿掉后必然怎样。但它在创作机制层面给出了可比的变化维度，值得当作准消融来理解。第一个维度是随机求值时机：irand 持续生成新随机值，rnd 只在初始解析时随机 1 次，前者是持续突变，后者是静态差异。选择不同，同一组自由绘制对象的每次演出差异程度不同。第二个维度是运动是否传输：开关为 0 时运动只被读，开关为 1 时运动也被发送，原声塑形与电子处理是否共享语法取决于这 1 位。

第三个维度是导航的确定性：固定铰链、概率模式、显式菜单 3 种方式 traversal 同一组页面，形式可重复性与演奏者决策空间不同。第四个维度是传播与复用的规模：逐个手写提示 versus 模板展开 versus 模块复用，创作成本与可维护性不同，但论文未测量创作时长。下面的理解是：这些不是性能消融，而是作曲自由度的开关，改变它们改变的是不确定程度、能动性分布和可扩展性。缺项在于没有报告关闭同步会怎样、没有报告解析失败率、没有报告大规模对象下的帧率，相关验证待补。

传播模板 × 复用块： 传播模板负责把一个提示模板展开到成组子对象并按几何或随机规则逐个求值，实现大量差异；复用块负责把已写好的结构模块定义 1 次并在多处插入且保持内部提示有效。搭配的原因是手工作画难以规模化，组合后视觉结构可重复、可分发、可分化，但仍保留在同一个 SVG 文档内编辑。

复述时要守住措辞：用报告或显示讲案例中出现过的行为，用可能或待验证讲推广到其他乐团与场地的推测。

哪些没有测，哪些容易误读？

限制首先是证据类型：全文是系统描述加作品案例，没有数据集、基线、指标方向和统计，表格是写法整理而非成绩单，不能把自动指标当人评，也不存在百分点与相对百分比的混淆，因为根本没有报告百分比提升。其次是运行条件缺项：未报告延迟、误判率、帧率、硬件预算和断网行为；训练资源与推理开销的讨论不适用，但浏览器版本、平板性能、网络协调进程负载仍是实际部署成本，论文未量化。

第三是可移植性边界：案例绑定 8.1 声环、SuperCollider 补丁映射、触摸平板交互和特定几何，换条件需重写映射，论文把不确定程度称为作曲决定是准确的，但也意味着结果不可直接搬运。容易误读有三处：一是把无需编程误读为无需学习，实际上仍需学微语法约定和形式拓扑设计；二是把可缩放矢量图形标准误读为任意浏览器开箱即得同步演出，实际上仍需该运行时与协调进程。

三是把运动产生控制数据误读为自动音乐，实际上映射由电子声部表演者决定，谱面只提供手势源。图注提到的两幅图分别显示滚动环境与多边形路径及外部空间化环，但本次解读没有收到图像像素，只能依据图注与正文归因引用，不猜坐标、颜色深浅、曲线形状或模块位置。原表清单为空，因此本文未选择原表，全部表格为依据连续原句整理的写法表。

要复现，先准备什么，按什么顺序做？

复现的第一步是确认可达性。本次收到的资源状态显示代码与复现资源均为可用，状态码为 200，地址为 oscilla.cc，第三方资源 neoscore.org 同样可用。这意味着当前可写已公开与可访问，但仍要在动手前亲自打开链接确认版本，因为网页内容可能更新。第二步是准备创作环境：安装 Inkscape，用线、形状、文本排版作曲，选中对象后用可扩展标记语言编辑器写入提示，先从导航、暂停、节拍器、变速各跑通一个最小例子，再试页面激活与模式遍历。

第三步是准备演出环境：用现代浏览器加载文档，检查请求动画帧驱动是否流畅，多设备时启动协调进程验证共享时间状态，单机时先验证本地执行再联网。第四步是准备电子声部（如需）：在 SuperCollider 中监听开放声音控制地址，先验证离散触发，再验证连续流映射到合成参数、频谱处理或空间化，避免 1 次全开难以排查。第五步是复刻案例子集：画同心多边形加轨道小体，加入推子与调音台元素，设定描边样式约定，嵌入演出说明，组织演奏者协商发音与互动规则。

关键超参数与信息条件要原样保留：速度、持续、拍速、保持时间、节点建议时长、开关位、地址字符串，改一处即换行为。文档、示例谱与说明据论文称可在 Oscilla 站点获取，复现时以站点实际文件为准。

何时值得尝试，还需补哪项验证？

当作曲思考经由绘画、空间推理和具身解释知识展开，当需要同一表面同时承载图像、结构框架与可执行环境，当乐团需要共享注意与集体导航而非固定线性播放，当原声手势与电子处理希望共享同一语法而不另起控制系统，这些时候值得尝试本文方法。当目标是符号雕版精度、自动演奏替代人力、或跨场地可比的分数提升，这套方法不对口。还需补的验证很具体：多浏览器与多平板下的同步误差与抖动统计；大对象量下的帧率与解析耗时。

提示写错时的容错与报错可见性；新手从零到首演的学习时长与常见错误；断网与重连后的状态恢复；不同扬声器布局与映射下的可迁移报告。只有补上这些，才能从可行性走向可部署性。

回到中心判断：本文的贡献不是更准的模型，而是一种可执行的表面，让记谱、时间与行为在同一张图上相遇。记住工作流一句话：画图即作曲，命名即编程，打开浏览器即演出，而每一步的证据都应回到原文与谱面本身核对。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 1 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 icmc-2026 论文汇总