英文题目：InstructFX2FX: A Multi-Turn Text-to-Effect System for Sequential Audio Effect Refinement
会议身份：
conference:dafx:2026:conference-paper-id:DAFx26_demo_74
✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。
标签：#测试时自适应 #大语言模型 #音乐 #音频生成
评分：6.9/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 0.7/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 1.2/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：系统技术报告
👥 作者与机构
- Song-Ze Yu：机构信息未能从会议 PDF 纯文本可靠映射
- Milan Liessens Dujardin：机构信息未能从会议 PDF 纯文本可靠映射
- Yuxuan Cai：机构信息未能从会议 PDF 纯文本可靠映射
- Wantong Zhang：机构信息未能从会议 PDF 纯文本可靠映射
- Brian Cruz：机构信息未能从会议 PDF 纯文本可靠映射
- Jeremy Wagner：机构信息未能从会议 PDF 纯文本可靠映射
- Carmine-Emanuele Cella：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
顺序音效精修以干声、当前效果链与参数状态及历史指令加新自然语言指令为输入，输出更新后的链路与参数，难点在于新指令须相对当前声音解释并累积保留既有音色意图而非从零重做。大语言模型规划器先据会话历史选择效果器并给出合理初始参数，其输出进入路由模块判定复用、新增或联合精修以维持会话状态。随后CLAP引导优化沿语义方向微调可微参数并以定向目标拉近新指令、远离负锚点，系统保存优化轨迹快照并以滑杆交由用户试听定强度。与单轮独立映射文本到效果的方法不同，该混合机制让规划提供起点、听觉校准负责渐进修正，避免重提示扰动无关参数并保留前序指令效果。在SocialFX均衡器词对顺序评测下，InstructFX2FX的DSP-feature MMD指标为0.558，低于LLM+LLM initialize-then-reprompt基线的DSP-feature MMD指标0.781。轨迹分析显示面向新目标的MMD下降时面向前序词的MMD并未上升，体现向新目标靠近且不丢弃历史的效果。结论适用边界受限于均衡器词对与钢琴小提琴干声验证，对复杂非可微效果与主观偏好的外推尚未验证，且每轮交互优化需要数秒延迟带来推理开销。
🔗 开源与复现资源
- 代码相关资源：https://github.com/vaclisinc/InstructFX2FX — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，修音时必须留住什么？
这篇论文研究的不是给一句话就从零生成一个声音，而是给一段干声录音，再给一轮又一轮的文字修改意见，系统要交出每一轮的效果器链与参数，以及渲染后的音频。举一个教学例子：第一轮说让钢琴变温暖，第二轮说再变厚重，系统不能在第二轮把温暖丢掉重做一个厚重，而是要在温暖的基础上继续加厚。输入因此有四样东西：干声、当前轮指令、当前效果链与参数、历史指令。输出是更新后的链与参数。
必须保留的信息是历史已经实现的声音特征和用户还能回听选择的中间过程。演示做法是每轮优化后保存沿途快照，用一个强度滑杆让用户试听后再定下一句指令，这说明强度是主观的，系统不替用户 1 次性拍板。论文把音频演示与源代码公开，资源状态显示代码链接当前可用，这为复述与复现提供了起点，但复现仍要以论文写明的均衡器范围与干声条件为准，不能默认换了乐器或效果器也一样。
同样做文字调参，已有路线各解决了哪一步？
在进入本系统之前，先把同类工作按输入、目标和运行方式摆清楚。第一条路线是用对比语言音频预训练模型的嵌入做目标，再对参数做优化。白话解释，对比语言音频预训练模型就是把文字和声音映射到同一个向量空间的听觉对照表，英文名是 CLAP。Text2FX 走的是可微路线，从随机初值出发用梯度下降穿过可微效果器；FxSearcher 走的是免梯度路线，用贝叶斯优化去调不可微插件。
两者都是单轮，一句话对一套参数。第二条路线是用大语言模型直接猜参数。英文名是 LLM。LLM2Fx 声称靠预训练知识与上下文示例可以超过基于 CLAP 的优化，后续工具调用版本再用思维链选链与排序，但仍然是单轮。论文指出，若 naive 地每轮都重问大模型，会出现 3 个具体麻烦：生成是非确定性的、可能改动用户没想改的旋钮、而且模型本身听不见声音。
这正是新系统要补的缺口：把大模型留作高层出主意的人，把能听的优化留作动手微调的人。理解这层分工，后面路由与 3 个目标的选择才有依据。
多轮精修与单轮生成在公式层面差在哪里？
论文把任务写成有状态的参数更新问题。记干声为输入，当前链与参数为状态，历史指令为记忆，新指令为增量，更新函数要输出新链与新参数。多轮指令之间用然后连接，含义是累积叠加。单轮生成则被写成另一副样子：只看干声与当前一句话，不看历史。差别不只是多记几句话，而是评价标准多了一条：在靠近新目标的同时保留旧指令的效果。
这个保留要求直接决定了后面 3 个设计：需要持久会话、需要路由判断复用还是新建、需要能小步走的优化而不是推倒重来。教学例子可以帮助记忆：单轮像是每次都点一份新外卖，多轮则像同一锅汤逐次加盐加糖，加多了要能尝出来并停手。
序列效果精修 × 单次文本到效果生成： 序列效果精修负责在已有链与参数上做增量更新，每条新指令既要靠近新目标又要保留历史指令已实现的部分；单次文本到效果生成只负责把一条独立描述映射为一套参数，不保存链与历史。两者搭配的原因是真实调音是先搭粗链再逐轮听改，论文因此把单次映射降为首轮初始化或对照基线，把序列更新作为主问题与评估对象。
论文的贡献也围绕这个区分展开：形式化多轮问题、搭建路由加双后端的系统、在 SocialFX 数据上做交互演示与初步评估。初学者容易误以为多轮就是把单轮跑多次，论文的反例是重提词基线恰恰这样做但效果更差，因为它没有保留机制。
系统全景：一次指令走过哪些站点？
沿着一个样本走完全程最容易记住结构。假设干声是一段小提琴，历史已经做完温暖，当前指令是变厚重。系统先读会话状态，知道温暖用了均衡器的哪些参数；大语言模型规划器根据新指令与历史决定新链应该包含什么；路由模块比较新老需求，决定是原地复用、另起新链还是混合插入。
然后 CLAP 引导的优化后端在拼好的链上小步调参；最后把新链、参数与音频写回状态，并保存中间快照供滑杆试听。会话状态因此有两部分：每轮的指令加链加参数的历史，以及当前参数。3 个组件在动作前都要查状态，这是迭代能力的来源。效果池是显式的工具集合，已经在链里的效果会从可选工具中拿掉，如需改动则原地精修，避免重复建链。
下面这张架构图把上述站点画成一条横向流水线，顶部是记忆，底部是听觉优化，读懂它就读懂了多轮与单轮的本质差别。
看图路径： 1. 先从左侧输入音频与文本箭头向右跟到输出参数与音频，确认主链经过四个方框；2. 再看顶部虚线会话状态框向下引出的两条读箭头分别指向哪两个模块；3. 确认底部 CLAP 引导优化横括号覆盖了哪两个后端方框；4. 观察输出端向上回指会话状态的更新箭头，理解迭代闭环
论文图 1。原论文 Figure 1：“InstructFX2FX architecture. (a) The harness: an LLM planner and routing module drive a CLAP-guided optimization backend over a persistent session state, which makes the system…”。
从像素看，图分上下两部分。上半是主 harness：左侧输入音频与文本进入粉色的大模型规划器方框，再进入粉色的路由方框，然后进入灰绿色的梯度下降与贝叶斯优化方框，最后输出参数与音频。顶部有一条虚线会话状态框，写明历史与当前参数，并向下引出读历史与读参数两条箭头，输出端还有一条向上回写的更新状态箭头。底部有一条横括号标明后两个方框同属 CLAP 引导优化，并分别标注可微与不可微。下半是 3 轮示例的 3 种路由模式。看图时不要把两种优化看成二选一的分支，它们是按效果是否可微分别承担的后端，共同完成 1 次精修。
规划、路由与优化各自动手做什么？
大语言模型规划器是决策层。白话说，它是懂录音棚行话的参谋，英文名是 LLM planner。它把自然语言翻成链里应该有什么效果，依据是预训练的音频制作知识，并以会话状态与历史为条件。实现上每个效果被暴露为可调用工具，规划器做选择而不是直接写全部数值，初值由它给得合理即可，精修交给后面。
大语言模型规划器 × CLAP 引导优化： 大语言模型规划器负责选效果、搭链并给出合理初值，分工是高层决策；CLAP 引导优化负责听渲染结果、沿嵌入方向小步调参，分工是感知微调。搭配理由是直接每轮重问大模型会非确定性地扰动无关参数且听不见声音，而纯优化又缺起点，组合后起点合理且修改更克制。
路由模块是开关。白话说，它是比对新老菜谱的人。它把规划器要的效果与当前链对比，分三档派单：链空则只初始化；所需效果都已存在则只复用并原地调参；一部分已有、一部分新增则混合复用加插入。论文用一个 3 轮会话举例说明三档，初学者可以这样记：第一轮建锅，第二轮同一锅调味，第 3 轮旧锅留着再加新料。
路由模块 × 会话状态： 会话状态负责记住历史每轮的指令、效果链与参数以及当前参数，分工是提供可复用的上下文；路由模块负责比较新指令所需效果与当前链，分工是决定复用、初始化还是混合插入。搭配原因是没有状态就无法判断哪些旋钮该留，路由因此成为连接记忆与动作的开关。
优化后端是耳朵。白话说，它是能听渲染结果并动手拧旋钮的人。系统支持两类效果：可微的均衡与混响用梯度下降，不可微的压缩、失真、延迟、比特破碎与变调走 Pedalboard 加贝叶斯优化。目标有 3 个可切换：语义相似是让音频嵌入靠近目标指令；方向目标是对齐音频变化与从源描述到目标描述的文本变化。
引导目标是靠近正目标并远离负锚点。记号上用音频嵌入函数与文本嵌入函数表示 CLAP 的两端，用渲染音频表示干声穿过当前链的结果，用优化步数表示迭代位置。系统把轨迹快照存下来做成滑杆，正是因为理想强度主观且优化可能走过头。
语义相似目标 × 方向目标： 语义相似目标负责把渲染音频嵌入直接拉向目标指令嵌入，分工是单点对齐；方向目标负责把音频变化向量对齐从源描述到目标描述的文本变化向量，分工是沿语义位移走。搭配原因是多轮任务更需要保留上一轮，方向目标通过强调变化方向来减少对旧效果的覆盖，实验 2 因此选用它来验证保留能力。
可微效果梯度下降 × 不可微效果贝叶斯优化： 可微效果梯度下降负责均衡与混响这类可求导链路的参数更新，分工是稳定渐进；不可微效果贝叶斯优化负责压缩、失真、延迟、比特破碎与变调这类 Pedalboard 插件，分工是无梯度搜索。搭配原因是效果池同时包含两类实现，系统必须用两种后端才能覆盖完整工具集，但论文报告后者轨迹更 noisy 且语义一致性较差。
初学者常问为何不只用大模型一步到位，答案在论文的动机里：大模型给起点更快更合理，但守住历史与渐进靠近要靠能听的优化。
三个优化目标在何时选用，计算上盯住什么？
3 个目标不是同时使用，而是每轮可选其一。语义相似盯住单点对齐，适合首轮或目标明确的一步到位。方向目标盯住变化向量的一致性，需要指定源描述与目标描述，论文在实验 2 中把源描述选为目标的语义反义词，以强调方向对齐而非直接相似，这正是为了在靠近新词时不丢旧词。引导目标盯住一推一拉，适合有明确反例的场景，例如要厚重但不要浑浊时把浑浊作为负锚点。
计算上它们都基于余弦相似，只是比较对象不同：前者比较音频与文本，后者比较差向量与差向量，第三者多一项远离负锚点的惩罚。优化执行时，可微链路沿梯度走，不可微链路按贝叶斯提议走。论文没有给出学习率、迭代上限之外的完整超参数表，也没有说明每次提议的批量与停止准则，因此复述时只能说按 CLAP 目标迭代调参，不能脑补具体步长与收敛阈值。
演示中的滑杆实际上承担了人工早停的作用，用户听着选，这也解释了为何论文把渐进可试听看得与最终数值同等重要。
本研究训练了什么，没有训练什么？
本研究没有训练新的神经网络，也没有微调大语言模型与 CLAP 编码器，论文把它们当作既有模型调用。真实计算发生在推理时：大模型做工具选择与参数初始化，CLAP 编码器把渲染音频与指令分别编码，优化器按所选目标更新效果参数。梯度路径只存在于均衡与混响这类可微效果，压缩等 Pedalboard 效果没有梯度，只能靠贝叶斯优化的试探来更新。参数冻结与更新的边界因此是按效果是否可微划分的，而不是按网络层划分的。
监督来源不是人工标注的新标签，而是 CLAP 空间中的相似度或方向一致性，以及 SocialFX 众包词与均衡器设置的对应关系在评估时提供的参照。重置时机是按轮次的：每轮从路由拼好的链与参数出发，而不是从随机值重来；首轮无链时才新建。
由于论文未报告优化器超参数、CLAP 具体版本配置与大模型温度之外的采样细节，复述必须明确标出这些缺项，不能从模型名字推定实现，也不能把无训练理解为输出确定，相反大模型初始化本身带有随机性，实验 3 正是利用这一点做多次采样。
数据、参照与指标如何搭建才可比？
评估只聚焦均衡器描述词，因为 SocialFX 对均衡的词到参数关联更干净，复杂效果的关联不够可靠。数据来自 SocialFX 众包 folksonomy，筛选条件是频次与一致性双门槛，留下 7 个常用词，再组成 10 组序列指令，干声用自录小提琴与开源钢琴录音。参照的搭法值得细讲：实验 1 的序列真值是先把词 A 的均衡参数作用于干声，再把词 B 的参数叠加上去；实验 2 另搭两个独立单词语真值，分别只用 A 或只用 B 作用于干声，以便在优化过程中同时看与旧词的距离是否上升、与新词的距离是否下降。
指标是最大均值差异，白话就是比较两堆声音在特征分布上的距离，英文名是 MMD。实现是用高斯核加中位数带宽启发式，在 35 维谱、倒谱与时域特征上计算，越小越好。它算在 DSP 特征上，与 CLAP 优化目标所在空间无关，因此能检验信号层面的真实搬运，而不是在优化目标上自说自话。实验 3 还加报 Fx-Encoder++ 嵌入空间的差异，该编码器是面向效果表征的预训练模型，曾用于单轮参数设置研究。
下表把数据筛选、效果池与指标口径放在一起核对，读表时先确认每行的数据集、阶段与单位是否一致，再看数值，数值相同不代表同一指标。
| 条件 | 指标或对象 | 基线范围 | 本方法范围 | 比较对象 |
|---|---|---|---|---|
| 序列构造 | 10 组序列指令 | 干声小提琴 | 干声钢琴 | warm 到 bright 等 |
| 效果池 | 2 种可微效果 | 5 种不可微效果 | Pedalboard 插件 | 均衡混响等 |
| 评估特征 | 35 维 DSP 特征向量 | 高斯核中位数带宽 | 越小越好 | 谱倒谱时域 |
| 附加嵌入 | Fx-Encoder 加加空间 | 预训练效果编码器 | 越小越好 | 单轮研究沿用 |
表后需要强调三点代价与边界。
第一，筛选后只有 7 个词与 10 组对子，覆盖的是均衡器内最可靠的 timbre 词，失真、延迟等复杂效果没有进入定量主评估。第二，干声只有两种乐器，换人声或鼓组是否成立未验证。第三，DSP 差异与听感并不完全等价，论文自己也指出 CLAP 空间不能捕捉全部制作感知，数值下降不等于每耳朵都觉得更好。这些边界决定了后面结果的适用条件。
多轮精修是否既靠近新词又留住旧词？
实验 1 测序列终点：两种方法都从词 A 的大模型初始化出发，本方法按路由做 CLAP 精修，对照是再问 1 次大模型做词 B 的重提词。真值是 A 加 B 叠加。报告显示 10 组中有 9 组本方法差异更小，最大的 timbre 跳变提升约 0 点 22。这支持 CLAP 原地精修比推倒重问更能守住历史，但要注意这是在均衡器与两种乐器上的初步结果。
实验 2 测轨迹：在温暖初始化、厚重为目标的个例中，随梯度迭代，与厚重单词语真值的差异下降并跌破重提词基线，而与温暖真值的差异没有上升，说明向新目标移动时没有丢掉旧指令。论文称 10 组中有 9 组在两种乐器上都观察到类似行为，完整 10 组曲线放在演示网站。
实验 3 做初始化消融：在单词语上从随机温度采样的大模型初值出发，向同一目标做 CLAP 精修，迭代零点就是大模型基线本身，平均后 DSP 差异与效果编码器差异分别下降约一成与约一成四，8 个词中有 7 个有效，例外是温暖。 下面这张结果图把 3 组证据并置，阅读时先看左中右各自的纵轴是原始差异还是随迭代的变化，再结合越小越好判断升降含义，不要把曲线向下直接当成绝对好坏，也不要把末步推广为全程。
看图路径： 1. 先看左侧条形图深色条与浅色条的配对关系，确认横轴是越小越好的目标差异；2. 再看右上两条随梯度迭代下降的曲线与两条虚线基线的高低关系；3. 对比右下两幅随迭代变化的平均曲线，观察钢琴与小提琴起点与终点的差异
论文图 3。原论文 Figure 3：“Evaluation results. (a) Exp 1: InstructFX2FX lowers MMD versus an LLM+LLM initialize-then-reprompt baseline on 9 of 10 pairs.”。
从像素看，左幅是 10 行配对条形图，深色为本方法，浅色为重提词基线，横轴是朝目标描述词的差异且越小越好，多数行深色更短，只有一行深色略长。右上是温暖与厚重的双面板曲线，横轴是梯度迭代，纵轴是差异，蓝色钢琴与红色小提琴实线总体下行，虚线基线在上方，左面板旧词曲线不上升、右面板新词曲线下降。右下是 DSP 与效果编码器两面板，横轴是迭代，纵轴是差异分数，黑色均值线与红蓝乐器线先降后平。
像素不能精确读出的步数与小数不要硬写，关键判断以正文报告的 9 组、7 词与平均下降为准。 下表把可运行策略的对照与数字收拢，搜索最优与事后最优不计入可部署收益，比较必须保留实际可运行的重提词与初值基线。
| 条件 | 指标 | 基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 10 组序列终点 | DSP 差异越小越好 | 9 组中基线较高 | 本方法更低 | 重提词基线 |
| 单词消融词数 | 8 个词中有效数 | 例外为 warm | 7 个词有效 | 初值基线 |
表后要同时讲收益与反例。主要收益是原地精修在多数均衡器序列上终点更近、新词距离下降且旧词距离不升，支持渐进精修与滑杆试听的设计。
具体代价是有一组序列与一个单词未胜出，说明并非每组都成立；方向目标与语义目标的选择会影响轨迹，论文未给出自动选目标的规则；非可微链路的稳定性未进入主数字，演示中可能需要人工挑快照来止损。
拿掉 CLAP 精修，只留大模型会怎样？
实验 3 就是这个问题的对照。它不测序列叠加真值，而测单词语真值，做法是每个词与每种乐器上用温度为 1 采样多组大模型初值，再向同一目标做 CLAP 导航，迭代零点即大模型自身。由于起点与目标同词，这隔离了精修的增量：若曲线下降，说明 CLAP 在已有合理初值上还能继续搬运。平均后两个嵌入空间都下降，且 8 词中 7 词有效，支持精修有独立价值。未胜出的 warm 提醒我们，大模型对某些温暖类均衡初值已较好，继续优化可能原地打转甚至漂移。
另一组反证来自实验 2 的基线线：重提词基线的差异在图中是水平虚线，不随迭代变化，而本方法曲线从高处逐渐走低，说明大模型 1 次给答案与逐步听改是两种行为，前者没有轨迹可调，后者有中间态可听。这强烈支撑了滑杆的必要性：用户可以在漂移前停下来，而不是被迫接受终点。需要补的验证是不同温度与不同 CLAP 版本下的重复性，以及把方向目标换成语义相似后保留能力是否还在，论文没有展开这些分支。
哪些地方还不可靠，不能直接搬进工作站？
论文用一节集中讲了 4 类限制，复述时要逐条对应到使用条件。第一，定量评估主要在均衡器描述词上，因为 SocialFX 对均衡的关联更干净，复杂效果链的结论待验证。第二，CLAP 嵌入不能覆盖全部制作感知，优化轨迹可能后期漂移或过冲，CLAP 空间的变好不一定等于 DSP 指标或听感变好。第三，不可微效果靠贝叶斯优化，轨迹常 noisy 且跨迭代语义不一致，可靠性低于可微链路。第四，每轮需要秒级计算，难以直接塞进制作软件的实时工作流。
未来方向包括更丰富的多效果链、听音主观评测、面向效果的领域嵌入、提升不可微稳定性、实时插件集成，其中作者认为最有前景的是从推理时优化走向生成式参数模型，例如在迭代编辑轨迹上训练流匹配模型以端到端学习序列精修。这些都还是待验证的想法，不能当成已报告的收益。初学者容易把总体趋势当成每组每步都成立，论文的正确读法是多数对子成立、个别反例存在、长轨迹需人工早停。
要复现这套多轮流程，先准备什么、按什么顺序跑？
复现先做三件准备。第一，拿到代码与演示页，资源状态显示代码当前可用，先确认能跑通均衡与混响的可微链路，再试 Pedalboard 的 5 个插件。第二，准备干声与词表：用论文同类的钢琴与小提琴干声起步，词表先用筛选后的 7 个词与 10 组对子，不要一开始就换人声或自造新词。第三，定好参照搭建脚本：序列真值按先 A 后 B 叠加，单词语真值分别单做，这是对齐评估的前提。
运行顺序按方法全景走：读状态、大模型选工具、路由拼链、选一个目标做 CLAP 优化、保存轨迹快照、用滑杆听选强度后再进下一轮。记录时要同时存每轮指令、链、参数与所选目标，否则无法回放轨迹。关键超参数与信息条件在论文中缺失较多，包括优化步长、迭代上限之外的停止规则、CLAP 版本细节与大模型除温度外的配置，复现报告应如实写未验证。
成本方面，论文只给了秒级每轮的定性描述，没有硬件型号、批量与帧率，推理开销与实际延迟要分开测，不能把秒级当成精确延迟承诺。
何时值得尝试这套思路，还差哪项验证？
当任务是同一首素材的连续文字修音、且希望保留上一轮味道时，这套先规划后听改的思路值得尝试；当需求是 1 次到位的单预设或实时插件自动化时，它的秒级迭代与不稳定后端并不对口。复现时优先跑通可微均衡链与方向目标，因为这是保留旧词证据最完整的分支；不可微链路先当扩展功能，接受需要人工挑快照的现实。还需补的验证有三项：换乐器与换词表后的保持率、听音主观评测与 DSP 差异的一致性、长轨迹的漂移率与早停规则。
若把这套系统看成一个虚拟调音师，记住它的脑负责选料摆盘，耳负责尝味微调，而最终咸淡仍由用户用滑杆定夺。常见误解是把 CLAP 下降等同于更好听，或把大模型初值当成确定最优，论文的数字恰恰说明初值可再优化、CLAP 之外还需 DSP 与听感双检。这也是初学者复述时最应守住的一句话：多轮的胜利是渐进与可回退，而不是一步登顶。
📐 原文公式与排版
以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。
区域 1 · 查看论文原页
区域 2 · 查看论文原页
另有 4 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses