Autonomous Listening-Based Synthesizer Control with Reinforcement Learning for Live Sound Matching.

英文题目：Autonomous Listening-Based Synthesizer Control with Reinforcement Learning for Live Sound Matching.

会议身份：conference:nime:2026:conference-paper-id:nime2026_89

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#强化学习 #实时处理 #音乐 #音频生成

评分：6.0/10 | 创新 1.2/2 | 技术严谨 1.3/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.9/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

Vincenzo Madaghiele：机构信息未能从会议 PDF 纯文本可靠映射
Stefano Fasciani：机构信息未能从会议 PDF 纯文本可靠映射
Tejaswinee Kelkar：机构信息未能从会议 PDF 纯文本可靠映射
Çağrı Erdem：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入是现场乐手的连续音频流，输出是对任意合成器参数的逐窗增量调制，难点在于目标持续漂移且域外音色不存在精确参数解，同时必须保持参数与音色轨迹连续并控制延迟。系统先将目标窗与合成器窗编码为音频描述子并拼接历史状态，以刻画运动目标与合成器当前状态的差异。再由柔性演员评论家策略输出有界参数变化并经由合成器渲染下一窗，使动作直接作用于声音生成环路。接着用多分辨率频谱与描述子距离类奖励驱动策略向当前目标靠近，推理时以长短时记忆预测网络补齐未知下一窗以消除累积延迟。相对离线声音匹配与离散步长跟随，关键机制差异在于训练与演出均在合成环路中进行连续控制并显式建模运动目标，实际意义是智能体可在演出中直接响应漂移目标而无需离线搜索。在域外音频语料匹配任务下，鼓组目标由Benjolin跟随时的多尺度频谱距离MSS指标为11.485±3.7，高于吉他目标由颗粒合成器跟随时的MSS指标10.072±3.2。该结论适用边界受限于所测四种合成器与所选描述子组合，复杂混沌合成器与色度类任务外推尚未验证。训练成本为在高端工作站约需5小时完成强化学习训练，推理开销需预留约10ms预测延迟以避免累积延迟。

🔗 开源与复现资源

代码相关资源：https://github.com/vincenzomadaghiele/RL- — 链接不可用（HTTP 404）
第三方资源：https://signalflow.dev/ — 链接可访问（HTTP 200）可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，现场匹配难在哪里？

输入是一路不断变化的现场声音，论文记为目标轨，可以是另一台合成器即时生成，也可以是吉他、贝斯、鼓等乐器的真实演奏。输出是受控合成器在同一时间窗内发出的声音，智能体不能直接改波形，只能改合成器的归一化参数。任务要求每隔一个控制间隔输出 1 次参数变化量，使下一段合成声在听感相关的度量下尽量接近当前目标段。

难点首先在于因果性。训练时可以用录好的文件同时看到目标段与合成段，但在现场必须在听到当前目标之前就落子，否则就会累积延迟。论文为此单独训练一个预测器，用过去若干窗的描述符提前估计当前窗。其次在于连续性。离线声音匹配允许每次从头试一组固定参数，而现场要求参数轨迹连续、音色过渡平滑，不能为追 1 帧目标而大幅跳参。

第三在于跨域不可达。当目标乐器与受控合成器的发声原理差异很大时，不存在能完美复现的参数，系统只能找审美上可接受的近似，这就把问题从精确反演变成了有取舍的跟随。

必须保留的关键信息是状态与动作的定义。状态由当前与上一窗的目标描述符、上一窗的合成描述符以及当前合成参数拼接而成，动作是取值在负一到一之间的参数增量，经裁剪后保持参数在零到一之间。输出声音用更新后的参数在当前窗内合成。理解这一闭环后，才能明白后文奖励、训练与评估为何都围绕窗级相似度展开。

同类路线做了什么，本研究接在哪一步？

声音匹配的经典路线包括遗传算法搜参数、深度网络从音频直接估计参数、可微数字信号处理把合成器做成可求导模块，以及强化学习反复试听打分。这些方法大多面向离线场景，目标是给定一段固定目标后离线迭代出最佳静态参数或调制曲线，评价标准是频谱图或描述符距离。

现场路线是少数派。已有工作包括人声与军鼓的实时音色重映射、基于交叉关联回归树的映射、学习相对运动而非绝对位置的跟随，以及把参数限制在当前值邻域内以保证连续性的方法。另一条相关线索是发散映射，即故意用低维控制信号驱动大量合成参数，追求可演奏性而非精确复制。

本研究直接延续作者前 1 篇监听智能体工作。前作使用离散动作且训练时不真正合成声音，本作改为连续动作空间，并在训练与演出中都集成声音合成，同时提出 5 种互补奖励并在内域、外域合成器目标与音乐人录音语料 3 种场景下比较。需要区分的是，本文不声称在离线指标上超过当前最优，而是把可实时运行的连续控制与跨域发散行为作为主要增量。

要解决的具体问题与可测目标是什么？

具体问题是跟随一个随时间移动的目标。每集开始时随机选定目标音色，训练到一成之后还会在集中间随机淡入新的目标参数，迫使智能体学会追移动目标。若目标来自语料，则每集随机截取一段时长为集步数乘以窗长的录音作为目标。

可测目标是窗级相似度最大化。智能体在第步看到新目标段后选择增量，使下一段合成尽量接近该目标段，所有奖励都写成距离的负值，最优值为零，越接近零越好。论文比较 3 组奖励组合，内域使用包含多分辨率短时傅里叶变换、谱收敛、绝对描述符距离与参数平滑的组合，外域则去掉频谱项而保留绝对距离、变化量距离与平滑项。

教学例子是正弦发生器跟贝斯。发生器只有音高与增益两个参数，目标贝斯的音高与包络变化相对简单，此时问题近似退化为用质心追音高、用能量追响度。若两者的音域不对齐，即使策略正确也会出现系统性偏差，这个例子说明描述符选择与量程对齐本身就是任务的一部分。

系统全景：一个样本如何走完听、想、拧、发声？

沿一个控制窗走一遍有助于建立整体感。假设当前是第个窗，系统已存好上一窗的目标与合成描述符以及当前合成参数。现场分支先用长短期记忆网络根据过去 10 个窗预测当前目标描述符，与已观测的上一窗信息拼接成状态。智能体前向 1 次输出参数增量，裁剪后得到新参数，实时音频图用该参数合成当前窗的声音并播放，同时计算其描述符供下一步使用。训练分支的区别在于目标来自文件或目标合成器，可以直接拿到当前窗真值用于算奖励，不需要预测。

下图是理解上述双分支的关键，它把训练时可用真值与演出时必须预测画成了不同线型，并标出状态拼接与奖励计算的位置。先看懂主声流，再看控制与描述符回路，就能把后文的状态公式与奖励公式放回正确位置。

看图路径： 1. 先从左向乐手吉他与下方机器人合成器两条声流看起，确认目标声与合成声分别进入中间波形切窗；2. 再看中间粉色上一窗与黄绿当前窗的划分，确认状态由当前目标加上一窗目标与合成加当前参数组成；3. 最后看右上实时分支虚线与右下训练分支点划线的走向差异，确认预测描述符只在实时路径使用

论文图 1。原论文 Figure 1：“Diagram illustrating the data flow between the user and the artificial agent.”。

从像素可见，左侧上方是乐手与吉他发出目标声，下方是机器人智能体驱动合成器模块发出合成声，中部是两条蓝色波形按控制间隔切窗。粉色覆盖上一窗，黄色与绿色圆圈标出当前目标窗与合成窗。右上棕色实时框内是过去描述符经网络预测当前描述符的虚线路径，右下紫色框是根据两段当前窗计算奖励并回传增量的路径。底部蓝色线把拼接后的状态送回智能体，图例区分了声音实线、控制虚线、实时描述符点线与训练点划线。这一布局直接对应正文的状态四元组与奖励最大化目标，说明延迟处理与因果约束是设计的一等公民。

状态与动作：连续控制如何保证可演奏？

白话说，状态就是智能体此刻能看到的全部依据，动作就是它能拧动旋钮的方式。英文称为状态与连续动作。状态包含 4 个部分，当前目标描述符代表要去哪里，上一窗目标与合成描述符代表变化趋势与自身位置，当前参数代表旋钮现状。动作是与参数同维的增量向量，每个分量在负一到一之间，加上旧参数后再裁剪到零到一。合成器在该窗内用新参数发声。

内域匹配 × 跨域匹配： 内域匹配指目标声与智能体控制的是同一合成器，理论上存在一组参数可以精确复现目标，分工是验证控制器能否学会参数到声音的逆映射；跨域匹配指目标来自不同合成器或真实乐器录音，不存在真值参数，分工是考验在声音空间不重叠时找最近似。两者搭配的理由是先用内域确认学习机制有效，再用跨域暴露泛化与审美取舍，组合意义在于把跨域的失配有意保留为智能体的音色个性，而不是都当成误差消灭。

连续动作选用柔性演员评论家算法实现，演员与两个评论家都是两层各一百二十八单元的前馈网络。该算法是异策略的，适合在连续控制中平衡探索与利用。探索体现在训练时尝试不同方向的增量，利用体现在复用历史经验更新策略。需要提醒的是，论文只报告网络宽度与算法名称，未报告熵系数、折扣因子、回放池大小等细节，因此不能从算法名推定具体更新公式。

连续动作空间 × 参数增量： 连续动作空间指智能体输出不是离散档位而是实数向量，分工是允许细粒度调节任意多个归一化到 0 到 1 的合成参数；参数增量指动作被定义为当前参数的变化量并经裁剪保持在合法区间，分工是强制参数轨迹连续、避免跳变导致音色断裂。搭配理由是现场演出要求平滑过渡，组合后新增的作用是把大范围搜索分解为每步小步跟随，使训练与演出都表现为渐进式追踪而非 1 次性跳到目标。

增量形式的直接好处是天然平滑。即使策略输出较大值，裁剪与窗长也限制了单步可移动的听感距离。配合参数平滑奖励中 0.1 的权重，系统更偏好小步跟随。代价是追快速跳变目标时会滞后，这在鼓点与扫弦吉他实验中表现为节奏跟上了但细节音色跟不全。

奖励与描述符：五种信号各自惩罚什么？

白话说，奖励就是告诉智能体什么算像。英文为奖励函数。5 种奖励都是距离的负值。第一是多分辨率短时傅里叶变换距离，在 3 种分辨率下比较对数幅度谱的绝对误差，惩罚整体频谱差异。第二是谱收敛，用弗罗贝尼乌斯范数归一化，放大高能量分量的作用，训练早期帮助找到大致方向。

第三是绝对描述符距离，比较选定描述符向量的绝对误差，可聚焦音高或特定音色维度。第四是变化量距离，比较目标与合成在相邻窗的变化向量是否一致，只要求运动平行。第五是参数平均绝对误差乘以 0.1，惩罚单步参数变化过大。

音频描述符 × 多分辨率短时傅里叶变换： 音频描述符指对每段窗口计算的均方根能量、频谱质心、平坦度、滚降、色度或梅尔倒谱等紧凑表示，分工是把波形压缩为可比较、可做奖励的音乐相关维度；多分辨率短时傅里叶变换指在 3 种窗长下比较对数幅度谱，分工是保留更完整的频谱细节。搭配理由是描述符提供可解释的控制目标而频谱损失提供稠密的优化信号，组合意义是内域训练时两者互补，外域时频谱差异过大则退回以描述符为主，避免学不到方向。

描述符按合成器启发式选择。简单正弦用能量与质心，三操作员调频加平坦度与滚降，颗粒加色度，混沌的本约林加梅尔倒谱。跨域时取受控合成器对应的集合，或按审美目标取子集，例如颗粒跟吉他只用能量与色度以实现和声化，本约林跟鼓用能量、平坦度、质心与滚降以跟节奏与亮度。论文明确指出跨域去掉频谱项，因为两类声音的频谱图差异过大，频谱损失无法给出有效梯度方向。

绝对描述符距离 × 描述符变化量距离： 绝对描述符距离直接比较当前合成段与目标段的描述符向量，分工是把音高与音色拉到同一绝对位置；描述符变化量距离比较相邻两窗的变化向量是否平行，分工是只要求运动方向一致而不要求绝对值相等。搭配理由是跨域时绝对值可能根本够不着，硬逼绝对相等会导致抖动或饱和，组合后新增的作用是允许智能体用自身音色跟随目标的起伏，形成可感知的类比式跟随，这也是文中鼓与贝斯实验采用该奖励的原因。

单独使用变化量奖励可能行为不可预测，因为绝对位置不受约束。论文的经验是把它与其他奖励组合使用。归一化也很关键，描述符要减去受控合成器均匀采样下的均值并除以标准差，目标描述符复用同一均值方差，这保证不同量纲的描述符在同一向量中可比，但也意味着若目标分布远离合成器采样分布，归一化后仍可能偏置。

训练与实时推理如何组织，哪里用了预测？

训练环境用体育馆库搭建，声音合成用信号流库的非实时图，音频分析用利布罗萨库，智能体用稳定基线库三实现，模块化到可以接入任意信号流合成补丁。目标为合成器时，目标合成器也写进环境，每集随机抽静态参数，十分之一进程后允许在集中间淡入新参数。目标为语料时，每集从约 45 分钟的火萤乐队分轨中随机截取一段，分乐器组织以保证风格与音色同质。

强化学习智能体 × 长短期记忆预测器： 强化学习智能体负责根据状态输出参数增量，分工是学习长期奖励最大的控制策略；长短期记忆预测器只在实时演出使用，分工是根据过去 10 个窗口的描述符提前 10 毫秒预测当前目标窗口的描述符。搭配理由是训练时可以用预录文件同时看到目标与合成段，而现场必须在目标到来前就做动作，组合意义是以少量预测误差换取零累积延迟，使训练学到的条件分布在现场仍可执行。

预测器在强化学习训练完成后单独训练。它在同一语料与同一描述符上学习用过去 10 个快速傅里叶窗预测当前窗，结构为 4 层各五十单元的长短期记忆加一层线性输出，用均方误差与学习率万分之一的亚当优化，八成训练两成测试并留一成验证。训练时去掉上一窗最后 10 毫秒，人为制造与推理耗时相当的提前量，估计推理耗时约 10 毫秒。实时运行时，每窗结束前 10 毫秒触发预测，用预测值与当前观测拼接出状态并计算增量，在窗边界应用。

需要指出的缺项是，论文未报告预测误差的具体数值，也未消融有无预测对奖励的影响，因此只能说用小误差换低延迟，不能承诺延迟与精度同时最优。代码仓库链接当前不可用，第三方信号流框架链接当前可用，这影响复现时对环境代码的直接获取。

实验条件：合成器、语料、预算是否一致？

比较的问题是不同奖励与不同目标下跟随质量如何变化，公平条件是同一采样率、窗长与训练步数。4 个受控合成器复杂度递增。正弦发生器有两个参数即音高与增益。三操作员调频有中心频率、调制宽度、调制深度与增益。颗粒合成器以钟声采样为输入，有颗粒速率、时长、起始位置与增益。混沌本约林有两个振荡器、反馈与移位寄存器，有 8 个参数，分别控制振荡频率、调制量、滤波截止、谐振等，非线性最强。

下表整理可核对的运行条件，采样与窗参数全实验一致，训练预算按机器分别报告，评价时统一用 1000 步的 10 个评估集结算奖励与多尺度谱距离等指标。指标方向是奖励越接近零越好，多分辨率谱距离、谱收敛与多尺度谱距离越小越好。

条件	指标	基线机	本方法训练预算	比较对象
同上语料与描述符	预测均方误差	工作站 3 小时	长短期记忆 3000 轮	苹果 M2 约 4 小时

表后需要说明代价与边界。工作站配置为 24 核处理器加二十四显存显卡与大内存，笔记本耗时翻倍，说明合成加音频分析的开销不容忽视。语料仅来自同一艺人的创作型歌手风格分轨，同质性有助于收敛，但也限制了向其他风格泛化的结论。评价窗长固定为 0.093 秒，若换更短窗以追更快演奏，描述符稳定性与预测难度都会变化，原文未评测该边界。

跨合成器目标：谁跟上了谁，什么没跟上？

要回答的是当目标与受控合成器不同源时，奖励是否还能学到可听的跟随，条件是统一用绝对距离加变化量距离加平滑的组合，描述符取受控端集合。指标方向是两项奖励越接近零越好，频谱与多尺度距离越小越好。

Target	Synthesizer 𝑅𝐴𝐷𝐷	𝑅𝐷𝐷𝐷	mrSTFT	SC	MSS
Tone generator FM	-0.531 ± 0.5	-0.531 ± 0.5	6.921 ± 2.2	1.490 ± 0.5	11.571 ± 3.6
Granular Tone generator	-6.299 ± 2.3	-1.431 ± 1.3	6.174 ± 2.0	0.758 ± 0.2	10.209 ± 3.3
Benjolin FM	-0.117 ± 0.1	-0.055 ± 0.1	10.963 ± 3.5	0.506 ± 0.2	9.802 ± 3.2
FM Benjolin	-5.081 ± 4.5	-5.158 ± 4.4	13.646 ± 4.3	1.169 ± 0.4	11.635 ± 3.7
Benjolin Granular	-2.133 ± 2.9	-2.269 ± 3.0	8.754 ± 2.9	0.635 ± 0.2	9.180 ± 3.0
Granular Benjolin	-4.129 ± 2.7	-4.687 ± 3.6	12.387 ± 3.9	0.501 ± 0.2	11.112 ± 3.5

表后解释主要收益与代价。最接近零的是本约林目标由调频跟随，绝对与变化量奖励分别约为 -0.117 与 -0.055，多尺度距离约 9.8，说明两者都含频率调制成分时可互相逼近。调频目标由正弦跟随也相对可用，因为把调制宽度与深度压低就能发出近似正弦。反例是颗粒目标由正弦跟随，绝对距离差到负六点多，说明正弦的表达能力盖不住颗粒的复杂变化。调频与本约林互跟不对称，本约林控调频更难，标准差很大，提示混沌合成器的参数到听感映射更难逆。

未胜出项同样重要。频谱项在此场景被作者主动弃用，启发式实验显示它在跨域无效，这支持了描述符子集加变化量奖励的取舍。像素外的音频例子报告调频能压低调制参数去贴正弦，本约林靠改振荡频率与调制量去贴鼓的节奏，这些行为与表中奖励排序一致，但听感仍只是近似而非复制。

真实乐器语料：审美目标如何改写成奖励？

要回答的是目标换成贝斯、吉他、鼓录音时，不同审美意图能否用描述符子集表达，条件是每集随机截取语料段，奖励仍为绝对距离加变化量距离加平滑。指标方向同上。

Target	Synthesizer 𝑅𝐴𝐷𝐷	𝑅𝐷𝐷𝐷	mrSTFT	SC	MSS
Bass Tone generator	-0.260 ± 0.4	-0.283 ± 0.5	12.218 ± 4.1	0.495 ± 0.2	11.022 ± 3.9
Bass FM	-0.595 ± 0.7	-0.461 ± 0.6	8.974 ± 3.4	0.397 ± 0.1	8.994 ± 3.1
Guitar Granular	-0.364 ± 0.3	-0.265 ± 0.2	9.141 ± 3.3	0.681 ± 0.2	10.072 ± 3.2
Drums Benjolin	-3.583 ± 2.2	-2.759 ± 2.1	13.514 ± 4.3	0.619 ± 0.2	11.485 ± 3.7

表后解释收益、代价与反证。贝斯由正弦跟随的绝对距离约为 -0.26，看似最好，但这是因为任务被简化为音高与包络跟随，若量程不对齐就会系统性偏掉。贝斯由调频跟随的多尺度距离约 8.99，优于正弦版的十一点多，说明多两个调制参数确实带来更丰富的音色逼近。

吉他由颗粒跟随的变化量奖励约为 -0.265，目标是用能量与色度实现和声化，但吉他扫弦的色度受音色与演奏法影响，匹配结果常偏向音色而非和声，这是审美转写不完全的反例。鼓由本约林跟随的两项奖励最差，分别约为 -3.5 与 -2.75，但作者报告节奏跟随听感尚可，靠增益与调制量追鼓点，说明数值最差不等于音乐无用。

限制是语料同质且每类约 45 分钟，结论不宜推广到其他风格。描述符高度特异时收敛更依赖选择，论文据此提出未来可用学习型嵌入或多粒度特征替代手工描述符，但这属于待验证方向。

内域对照与奖励取舍：去掉频谱项会怎样？

要回答的是同一合成器自跟随时的上限，以及奖励组合差异带来的影响。由于原内域数值表表头证据不完整，此处不复述其逐格数字，而是用原文可核对的机制结论组织对照。条件是目标与受控为同一合成器，目标参数在集中间随机淡入，奖励为包含频谱、谱收敛、绝对距离与平滑的完整组合。

机制上，内域报告显示正弦最易跟随，因为两参数分别对应能量与质心，信息充分。调频次之，颗粒与本约林更难，本约林参数多达 8 个且频谱形态变化不能被所选描述符充分捕获，状态对智能体而言是部分可观。奖励取舍上，内域适合保留多分辨率谱与绝对距离，因为同一声音空间下频谱可比，能给出稠密信号。跨域则相反，频谱差异过大导致学习失效，改用绝对距离加变化量距离更有效，但单独用变化量会行为不可预测，必须组合。

失败条件包括描述符过少时表达不足、过多时小模型难容纳，以及现场静音段误触发高音等发散行为。论文把后者视为可创意使用的不完美，而非单纯误差，演出时可用音量踏板压住智能体音量以规避。这提示评价不应只看平均奖励，还要看最差窗与静音处理。

哪些结论有边界，什么还没有测？

直接报告的是 3 类场景下的奖励排序与定性听感，支持的是连续动作加窗级状态可以实现可听的实时跟随，且奖励与描述符需按场景定制。可能但待验证的是把跨域失配发展为半自主即兴伙伴，以及用用户偏好或多粒度奖励编码更复杂的音乐控制，这些在文中属于展望而非已验证结论。

未测量项要明确。原文承认数值未达离线最优水平，且没有与其他实时匹配模型的可比基准，因此不能宣称同条件胜负。误判率、端到端延迟分布、每窗计算开销与帧率未系统报告，只给出约 10 毫秒的推理估计与训练小时数。预测器精度、不同窗长与不同风格语料的泛化、更大网络容纳更多描述符的效果，都属于缺项。

相关性不等于因果。例如本约林难控既可能源于参数多，也可能源于描述符选择不当，两者纠缠，原文的解释是启发式而非因果分离。总体趋势不等于每步成立，平均奖励接近零的模型仍可能在静音或突变处出现离群行为，复现时应同时看均值、标准差与试听。

复现先做什么，需要哪些超参数与信息条件？

先固定信息条件。采样率 44 点 1 kHz，控制窗 0.093 秒，快速傅里叶窗四千零九十八点，跳二千零四十八点。描述符按合成器查表选择，归一化用受控合成器均匀采样的均值方差，目标端复用同一统计量。强化学习训练 1000000 步，长短期记忆训练 3000 轮，序列长十，学习率万分之一。平滑权重 0.1，演员与评论家各两层一百二十八单元。评估用 1000 步乘十集结算。

再搭流水线。用体育馆库写环境，用信号流库搭非实时训练图与实时演出图，用利布罗萨算描述符，用稳定基线库三接连续动作智能体。目标为合成器时把目标合成器写进环境并在十分之一进程后引入淡入，目标为语料时按集随机截取。先跑正弦自跟随确认闭环为正，再跑调频跟正弦验证跨域基线，最后才上颗粒与本约林。

可运行性提醒是论文仓库链接当前不可用，只能参考第三方信号流文档与论文文字重写环境。权重下载未提供，须自行训练。训练资源为工作站约五加 3 小时，笔记本约十加 4 小时，推理按约 10 毫秒预留，现场需在每窗结束前 10 毫秒触发预测，否则会累积延迟。