📄 与 AI 反馈乐器一起演奏:关系中的能动性如何被走出来

英文题目:Navigating relational agency in AI feedback musicianship: a diffractive dialogue

评分:5.1/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.9/1.5

👥 作者与机构

  • Yichen Wang:The Australian National University, Canberra, ACT, Australia
  • Charles Patrick Martin:The Australian National University, Canberra, ACT, Australia
  • David Gunawan:Dolby Laboratories, Sydney, NSW, Australia
  • David Cooper:Dolby Laboratories, Sydney, NSW, Australia

📌 核心摘要

这篇论文研究演奏者与带有人工智能的反馈乐器长期合奏时,控制感和主动性如何形成。输入是两位演奏者分别使用音频反馈乐器和手势反馈乐器的现场演奏,输出是对演奏中关键时刻的文字反思和对话记录,难点在于同一声音片段会被两人读出相反的意义,常规的主导与回应二分无法解释。方法上先各自回顾录像写反思,再把两份反思放在一起读出差异和重叠,最后从对话记录中提炼共同概念,前一步的文字成为后一步讨论的对象。两件乐器的处理路径不同,一件在声音层面循环,一件在演奏手势层面循环,对比两者让作者看到维护反馈状态的不同手法。原文未提供可核对的关键定量结果。结论只适用于这套装置和这段合作期,作者承认需要更长时间和更大规模的演奏组合来检验。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

这篇论文到底在回答什么演奏难题

这篇论文研究的不是如何合成更好听的声音,而是两个演奏者各自带着一件会自己延续状态的 AI 乐器做即兴二重奏时,控制感到底在谁手里。输入是演奏者的动作和声音加上 AI 模型根据历史生成的延续,目标是完成一场能持续发展的即兴,输出是现场声音和演奏者对谁在主导的理解。必须保留的信息是反馈的延续性:如果把每一步都看成孤立触发,就无法解释为什么乐器会在没人动它时还继续变化。

以往的乐器讨论习惯把乐器当工具,演奏者发出意图,乐器负责传达,合奏讨论习惯用领奏和应答来分工。作者认为这两套说法装不下他们的体验:同一段稀疏的织体,一个人觉得是紧紧管住了,另一个人觉得是把主动权交出去了。论文因此想给 AI 反馈演奏提供一套从材料和过程长出来的词汇,而不是再套用领奏与应答的二分法。

反馈音乐人身份 × 关系性能动性: 反馈音乐人身份指把信号的反复循环当作音乐能动性核心的演奏实践,关系性能动性指控制和主动性不在人或乐器任何一方手里、而是在双方互动中临时形成的意思,两者搭配是因为本文要解释的不是乐器好不好用,而是人在循环里为什么一会儿觉得自己在带、一会儿觉得被带。

反馈乐器和智能乐器的已有说法缺了哪一块

反馈音乐研究此前已经注意到关系性:有人提出与反馈系统一起演奏会出现与之玩、对抗或被其演奏的感受,有人用分布式能动性描述多个行动者共同决定声音,也有人强调要放下预设意图、拥抱缠绕在一起的能动性。论文把这些说法当作起点,而不是要推翻的对象。

智能乐器这边,从早期的作曲和传感器解析,到用混合密度循环网络生成控制数据,再到用 RAVE 这类变分自编码器生成音频,技术上都已经能让模型记住历史并往下续写。已有演奏记录多是单人视角,或者把音频 AI 和手势 AI 分开谈。本文的不同在于同一实践里同时放了这两种 AI,并且是双人视角,这让作者能比较两种循环在合奏中如何互相牵扯。

作者还指出一个具体缺口:AI 自回归模型天然带有反馈,但这种模型内部的循环和舞台上人与人、人与乐器的大循环套在一起时,共同产生的音乐能动性还没有被细谈。本文就是冲着这个套叠结构来的。

为什么领奏与应答不够用

论文的提问可以转述为:在行动者实在论的视角下,演奏者和 AI 乐器的关系在反馈演奏里是如何被做出来的。行动者实在论在这里的意思是,东西和关系不是先摆好再互动,而是在具体的言说和操作中才显现出来。

举个教学性的例子:演出中出现一个空隙,2 人都觉得重要,但 1 人读作信任和管住了,另 1 人读作先交出去、以后再拿回来。如果只问谁在领奏谁在应答,这个分歧就只能算误解。但如果把能动性看作关系性的,这个分歧本身就是证据,说明同一声音在不同的人器关系里 enacted 出不同的控制。

因此论文不打算证明哪种乐器设计更可控,而是追踪五场演出里这种关系如何变化,以及演奏者发展出哪些维持和导航的办法。

整个研究是怎么搭起来的

研究的装置按作者的说法是一个多层合作装置,中心是两件乐器溯和 Agentier,加上 2 位演奏者、演出场地和后来的反思与对谈。做法分 3 段:先各自看录像写反思,再一起录音对谈,把各自的反思穿插着读,最后从对谈文字里整理主题。

反思有 4 个引导问题,分别问反馈如何塑造音乐决定,控制感分散或意外的时刻,关键时刻的意图与实际是否一致,以及何时觉得乐器在领而不是在应。对谈也有 4 个引导问题,分别找分歧、找重叠、找意图与乐器行为难分彼此的时刻,以及两个反馈系统如何缠绕。

下面这张舞台信号图先帮你建立整体位置感,左右两边各是一套完整乐器,各自向舞台输出声音,中间并没有一条总线把它们硬连起来,它们的相遇主要发生在声音空间和演奏者的聆听里。

看图路径: 1. 先看左右两栏分别属于哪位演奏者的哪件乐器;2. 再看音频线和 MIDI 线各自连接了哪些硬件和软件;3. 注意两件乐器最终是各自向舞台输出声音

原论文 Figure 2.:Caption: Stage setup diagram showing signal flow for the two instruments.

论文图 2。原论文 Figure 2.:“Caption: Stage setup diagram showing signal flow for the two instruments.”。

从图里可以看到,左边溯的一侧有在 Max 里运行的生成式 AI、硬件合成器和 MIDI 控制器,音频在软件和硬件之间来回;右边 Agentier 一侧有树莓派上的生成软件、合成器和触摸板,MIDI 在三者之间来回。这种左右分开、各成循环的布局,正是后文能比较声音反馈与手势反馈的基础。

溯是怎样在声音里做反馈的

溯的名字取追溯、向上游走的意思,它处理的对象是音频。演奏时先举一个具体走法:硬件合成器发出声音,加上门控噪声,一起和上一轮经过 AI 重塑的声音混合,送进 RAVE 模型的编码器,编码器给出当前音频窗的隐变量,再经过解码器变成新的音频,一部分送往舞台,一部分经过滤波和增益再送回编码器。

关键在于它有三处可动手的地方。第一是外层音频回送的增益,决定回来的声音占多大比重;第二是每个隐变量自己的小反馈,把上一窗的参数按可调比例偏置进当前窗,让声音不会一窗一变、跳得太碎;第三是在解码前直接用 MIDI 改个别隐维度,改变音色走向,但改完仍受小反馈约束,所以音色能动又不断裂。

读这张系统图时,先别被旋钮数量吓到,抓住一条大循环加多条小循环即可。大循环管声音材料是否持续回来,小循环管音色是否平滑延续。演奏者要做的就是在这两层之间配比,例如一开始多给硬件合成器的直接声去激发模型,之后慢慢收掉直接声、放大模型重塑过的声音。

看图路径: 1. 先找外层音频大循环从解码器回到编码器的路径;2. 再看编码器和解码器之间每个隐变量自己的小回路;3. 注意外部乐器输入和门控噪声是在哪里汇入的

原论文 Figure 3.:Caption: The system diagram for 溯 (Sù) showing the outer audio feedback loop, and inner loop of…

论文图 3。原论文 Figure 3.:“Caption: The system diagram for 溯 (Sù) showing the outer audio feedback loop, and inner loop of adjustable feedback of latent variables between the RAVE encoder and decoder.”。

图后需要点明的是,溯的反馈发生在可听的声音域,演奏者是听着声音变稠还是变空来判断循环是否建起来了。这也解释了为什么后文溯的操作常被描述为哄着它去探索:模型不给足够的声音材料就转不起来,给多了又可能冲掉。

溯 (Sù) × Agentier: 溯是在声音层面做反馈的乐器,输入和输出都是音频,Agentier 是在手势层面做反馈的乐器,输入输出都是演奏动作数据,两者搭配让同一场二重奏里可以同时观察到声音被 AI 重塑和动作被 AI 续写的两种循环。

Agentier 是怎样在动作里做反馈的

Agentier 的名字是能动键盘的戏称,它处理的对象不是声音波形,而是演奏动作数据,也就是 MIDI 层面的控制流。模型是用第二作者自己录的 8 路连续控制器数据训练的自回归混合密度循环网络,能生成控制流并决定何时更新。

演奏中的一次循环可以这样理解:触摸板的推子和打击垫、合成器的旋钮和琴键把人的动作送进模型,模型每 0.1 秒就能快速在自己生成和听人输入之间切换,既能补在人的手势之间往下续写,也能被人的持续输入带偏。模型的 8 路输出同时发往合成器的音符和音色参数以及触摸板的灯光推子,人看着灯、听着声音再动手,就形成了手势层面的调用与应答。

和溯相比,Agentier 的内层反馈不在声音里,而在动作历史里。模型记得自己刚才生成了什么走向,演奏者如果不持续给输入,它就会按自己的延续性越走越远。这就是后文演奏者说它总想往不同方向跑的由来。

内层反馈 × 外层反馈: 内层反馈指 AI 模型推理时把上一步的结果带进下一步,例如溯把上一音频窗的隐变量偏置进当前窗,Agentier 把已生成的动作历史带进下一次预测,外层反馈指演奏者听见声音、做出动作、再改变乐器输入的大循环,两层套在一起才解释了为什么乐器会有自己的延续性。

没有训练新模型时这里的分析工作是什么

这篇论文没有训练新的大型模型,也没有报告梯度、优化器或冻结策略。两件乐器用的模型是此前已有的:溯用的是预训练 RAVE 人声模型,Agentier 用的是此前在连续控制器数据上训练的手势模型。本文的计算工作在另一层,即对演奏记录和谈话记录的整理。

具体流程是:五场演出共 87 分钟的音视频先被保存,2 位演奏者各自写反思,然后进行五次录音对谈,转写后得到含反思在内共 23206 词、2 小时以上的文本语料。转写用的是本地转写与说话人分离工具。对谈不是事后编码的素材,而是生成概念的主要场所,词汇是在说话中定下来的。

衍射式对谈 × 行动者实在论: 行动者实在论把能动性看作在实践中才显现的关系,而不是人事先拥有的属性,衍射式对谈是把两人的反思互相穿插着读、专门找分歧和重叠的方法,两者搭配让分析不去裁决谁对谁错,而是用差异照出乐器在不同关系里显现的不同作用。

需要补的缺口也要说清:原文没有给出反思文本的完整编码手册,也没有报告模型训练超参数和推理开销。读者能复述的是分析步骤,不能复算模型内部的某一步数值。

五场演出和谈话是在什么条件下做的

五场演出跨越 2025 年 11 月到 12 月,前两场是现场音乐会,后三场是同一天在办公室做的录制。第一场用了溯加打击乐模型和带旋钮控制器的 Agentier,后面改成溯加人声模型和带触摸板的 Agentier。场地、记录机位和文档完整度都不一样,这一点后文解释变化时很重要。

反思和对谈的条件同样要交代:每场演出后各自写反思,再按顺序做五次对谈。对谈是口头实时进行的,而不是书面交换,这让观点的反转能被当场抓住。例如关于控制等于稳定还是等于变化,2 人的位置到最后是互换的。

下文两张表不是效果排行榜,而是帮你判断结论适用范围的条件表。第一张回答演了什么、用什么演的、演了多久,第二张回答分析语料有多大规模。读数时注意时长和词数只说明工作量,不说明演得好不好。

控制感为什么是关系性的

先看演出条件表,它说明后文所有关于控制的讨论都建立在配置并不完全相同的五场演出上。这张表比较五场的演出类型、溯与 Agentier 的具体配置和时长差异:五场的乐器配置和场地不同,时长也不同,因此不能把某一场的感受直接当成乐器的固定属性,只能看感受如何随条件和经验漂移。

CodeDateType溯 (Sù) setupAgentier setupDuration (min)
P12025/11/03Concert (concert hall)溯 + percussion modelS-1 + xTouch + MDRNN23
P22025/11/22Concert (DIY backyard)溯 + voice modelS-1 + QuNeo + MDRNN29
P32025/12/19Recording溯 + voice modelS-1 + QuNeo + MDRNN11
P42025/12/19Recording溯 + voice modelS-1 + QuNeo + MDRNN12
P52025/12/19Recording溯 + voice modelS-1 + QuNeo + MDRNN12

这组条件带来明确的限制和启示。主要事实是前两场是音乐会、后三场是录制,P1 用打击乐模型加旋钮控制器,后面用人声模型加触摸板,总演出时长 87 分钟。这意味着早期对谈里的分歧可能同时来自乐器版本、场地和经验,论文把这种混杂保留下来,而不是假装控制了变量。它的价值在于呈现真实实践中的漂移,代价是不能做乐器之间的公平胜负比较。

回到第一个主题。早期 1 人把控制等同于发散,1 人把控制等同于稳定:溯需要被哄着去变化,有变化才觉得管住了,Agentier 容易过度发散,不发散才觉得管住了。到了第五场,2 人的说法反过来了,而乐器本身并没有改变行为。作者因此说控制是相对于乐器特性、同伴和当下意图的关系性建构。

反馈时刻 × 反馈环境: 反馈时刻指某段音乐质地让反馈过程格外清晰地塑造了控制感,例如 dense 或 sparse 的段落,反馈环境指整场演奏中反馈可理解、可引导的那种好用状态,前者是局部可指认的片段,后者是需要从头探索才能进入的整体条件。

音乐质地和进入状态如何塑造能动性

第二个主题是音乐质地会和演奏者一起做出控制。稠密厚重的质地常带来 diffuse 的控制感,演奏者更敢放手,让反馈自己转一会儿,混响和延迟在这里被当作缓冲,帮助进入那种状态。稀疏的质地则出现分叉解读:P4 第 8 分钟附近的稀疏段,1 人读作两件乐器都被紧紧管住的信任时刻,另 1 人读作需要重新夺回影响力的失控时刻。作者把这类质地清晰、反馈作用明显的段落叫作反馈时刻。

第 3 个主题是进入反馈环境本身就是共享探索。两件乐器都是有状态的,每场都要从零建起来,开头常显得不稳、 intrusions 多。溯的演奏者会先给硬件合成器的声音,再慢慢收掉、放大 AI 重塑的声音,用输入去激发模型。反馈环境这个词在个人反思里并没有出现,是在对谈里长出来的,用来指那种终于可理解、可引导的好用状态。作者强调从随机起点花时间走进去是值得的艺术行为,而不是应该用预设跳过的麻烦。

下面是语料规模表,它说明主题是从多大规模的谈话里提炼的。表前要讲清比较问题:反思与每次对谈的时长和词数是否足以支撑跨场比较,指标方向是词数和时长越大、讨论越充分,但不代表结论更正确。

CodeReflectionDuration (time)Length (words)
RA1Author1 Reflections2906
RA2Author2 Reflections3577
D1Discussion 134:384595
D2Discussion 237:064792
D3Discussion 322:022705
D4Discussion 419:512404
D5Discussion 518:592227

表后解释主要信息与限制。两次个人反思共 6483 词,五次对谈共 18723 词,合计 23206 词,对谈音频超过 2 小时。这支持了作者说对谈是意义生成场所的说法,因为文本量主要在对谈里。但未胜出或未覆盖的范围也要点明:语料只来自这 2 位演奏者,没有第三方听众评价,也没有声音特征的自动测量,因此反馈时刻的划分依赖当事人指认,不能当作声学分类器。

注入 × 漏斗式引导: 注入指给溯的循环里打进噪声等能量把停滞或失控的状态激活,漏斗式引导指给 Agentier 持续送入触摸输入、把到处发散的生成约束在可用范围,两者看似一放一收,但分工相同,都是在维持乐器作为合作者的反馈状态。

不同配置和维持手法带来什么对照

虽然本文没有做消融实验,但配置变化提供了天然对照。P1 到 P2 的变化最大:溯从打击乐模型换到人声模型,Agentier 从旋钮换到触摸板,场地从音乐厅换到后院。P3 到 P5 配置相同、同一天录制,更适合看经验带来的变化。作者发现对控制的理解反转主要发生在后段配置稳定之后,这削弱了只用换设备来解释反转的说法,支持了经验和意图变化的作用。

第 4 个主题正是在对照中变清晰的。溯的维持手法是注入,在 04:40 左右怀疑模型没跟上输入时打进一个噪声抽击,把循环唤醒,再用隐维度去塑形。Agentier 的维持手法是漏斗式引导,用持续而细微的触摸输入占住循环网络的历史,让它只能做短打断、走不远。早期对谈强调一放一收的不同,后期更强调都是在维持反馈状态。

第 5 个主题是对领奏与应答二分的拒绝。作者起初也用领和应来提问,但越谈越觉得乐器很少在应,更多是在稳态和偏离之间滑动。导航能动性就是观察 ensemble 上下文、决定何时收紧、何时放手的能力,它在五场里逐渐增强,也从管自己的乐器扩展到信任同伴的乐器。

这些结论在什么边界内才成立

结论的第一条边界是人数和时间。二重奏只涉及 2 位作者本人,密集分析的五场只跨两个月,虽然 2 人此前有两年多的智能乐器实践,但不能推广到大乐队或长期驻留。换一批演奏者、换一种训练数据,关系性仍可能成立,但具体的注入和漏斗手法未必照搬。

第二条边界是证据类型。全部主题来自第 1 人称反思和对谈,没有听众实验,没有声音或手势数据的独立标注,也没有报告误判率、延迟或计算成本。因此不能承诺这种演奏方式会更稳定、更快或更省力,只能说在该实践里参与者发展出了可复述的维持和导航办法。

第三条边界是设计与训练未被细究。论文没有比较不同 RAVE 模型或不同循环网络结构,也没有讨论训练数据的选择如何塑造能动性。作者自己也指出,模型训练如何进入艺术研究可以另写 1 篇,本文只处理演出中的关系。

想复现或借用时第一步做什么

值得尝试的时机是:你已经有一件会自己延续的乐器,并且愿意把开头的不稳当作材料,而不是故障。如果你要的是上台即用的稳定乐器,本文的反馈环境思路反而不合适,因为它预设要花时间从头建状态。

复现第一步不是搭新模型,而是搭记录与对谈流程。把每场演出的音频、视频和参数操作存下来,演完各自按 4 个问题写反思,再按 4 个对谈问题录音讨论,重点记下分歧出现的时间点和当时的质地。论文的在线记录和转写工具链可作参考,但不要把第三方链接当成作者已开源全部代码,代码、权重和可运行系统要分开确认。

还需补的验证是第三方视角和声音侧的证据。例如请不参与演出的听者独立标出他们觉得控制转移的时刻,再看是否落在当事人说的反馈时刻上,或者把稀疏与稠密质地用可复算的特征描述出来。只有补了这类对照,才能判断词汇是只对当事人好用,还是对听者也可见。

读完应该带走的整体判断

把全篇连起来看,方法、证据和结论是扣紧的:因为乐器内部有记忆,演奏必须从头建状态,因为状态要建,控制感必然随时间漂,因为漂移会被 2 人读出不同意思,所以需要对谈来照出关系,又因为关系可被维持,演奏者才发展出注入、漏斗和导航。5 个概念里,前两个讲关系何时显现,后 3 个讲人用什么动作去接住它。

对刚入门的研究生,一个可复述的版本是:同一段声音可以在不同的人器关系里算作管住了或交出去了,好用的状态不是预设好的而是走进去的,走进去后要用具体手法维持状态,长期练的是在稳态与偏离之间导航。这套说法只在该二重奏实践里有证据,不要把它当成所有人机合作的通则。

最后回到论文的提醒:关系性能动性不是设计进去的属性,而是练出来的。设计能给的是有状态、可维持的循环和留给探索的时间,至于信任和放手的时机,只能在一次次演出里由人和乐器共同做出来。

📎 论文与评分元数据

排名:后50% | 文档类型:应用研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-12 语音/音乐/音频论文速递