Neural Morphing: Sequence-Optimized Token-Level Morphing in Neural Audio Codecs

英文题目：Neural Morphing: Sequence-Optimized Token-Level Morphing in Neural Audio Codecs

会议身份：conference:dafx:2026:conference-paper-id:DAFx26_demo_63

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#软件工具 #检索增强 #实时处理 #音乐 #音频生成

评分：6.0/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

Emmanouil Karystinaios：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为提供节奏手势的源音频与提供音色的调色板音频集合，输出为节奏归源、音色归调色板的混合音频，难点在于离散令牌替换极易产生跨文件跳变与包络破坏。方法链分四步：冻结编解码器将波形转为残差向量量化令牌流并切分为重叠颗粒，编解码器诱导描述子在粗中细分组上检索候选，连续性约束序列优化器选出跨颗粒稳定的调色板路径，分组令牌转移与神经解码器完成渲染。与波形拼接和全层替换相比，该链条只在令牌域编辑并用转移代价抑制抖动，用门控实现结构与细节分离控制。在247个调色板片段与打击乐源组成的确定性评测上，束搜索相对贪婪将原始调色板索引抖动由24660降至11520，包络相关保持在0.986附近。结论仅适用于打击乐与中等规模调色板，和声人声与长时结构尚未验证。原文未披露训练、推理或部署成本之外的学习开销，系统本身无需训练。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，哪些信息必须保留？

这篇解读的输入是两类音频。第一类是源音频，论文用鼓循环或打击乐说明，作用是提供节奏组织、手势与大尺度结构。第二类是调色板音频，是用户挑选的若干段素材，例如金属敲击、黑胶噪声、人声辅音或野外录音，作用是提供局部音色与残差细节。输出是一段混合后的音频，目标是听起来仍然跟着源的节奏走，但音色被调色板染色。

必须保留的信息是源的包络与事件位置。如果鼓点位置被抹掉，演奏者就无法再把结果当作可演奏的乐器使用。论文因此把评估重点放在源包络相关性、频谱接近程度与调色板路径是否频繁跳变上，而不是要求输出波形精确等于某段目标波形。源与参考片段只是用来计算语料接近程度的对照材料，不是需要重建的真值目标。

输出的产生方式是先编码再编辑令牌最后解码。源与调色板都经过同一个神经编解码器编码器变成离散令牌，系统在令牌域做颗粒检索、路径优化与分层替换，最后只用解码器渲染 1 次波形。整个过程不拟合新的生成模型，也不直接拼接波形颗粒。理解这一点很关键，后面所有关于粗细码本、波束宽度与干湿比的讨论，都是在这个令牌编辑加神经解码的框架下展开的。

它与交叉合成、拼接合成和隐变量颗粒有何不同？

论文把自身放在 3 条已有路线之间。第一条是交叉合成与频谱变形，做法是把一个声音的某些方面转移到另一个声音上，输入相同，都是源加目标，目标相同，都是混合听感，区别是运行域不同，经典方法在频谱或参量特征上插值，本方法在编解码器令牌上替换。

第二条是音频拼接合成，做法是从语料库选短单元再重组，输入与本方法最接近，都是源加语料库，监督都来自检索而非训练新模型，区别是本方法不做波形叠加，而是在令牌空间按颗粒起始顺序确定性覆盖后再统一解码。第 3 条是隐变量颗粒重合成，做法是用学习到的隐表示做颗粒化，区别是本方法强调可部署的效果器形态与显式的粗中细分组控制。

这种对照不是同条件胜负比较。论文没有在同一数据集上重跑经典拼接系统，也没有报告与可训练生成变换模型的听感对比。它的陈述是工程定位陈述：借拼接的选择加连续性问题，但单元是学习到的编解码器令牌颗粒；借变形的目标，但实现是调色板检索加解码器渲染。对于刚入门的读者，可以把本方法记成令牌域的、带连续性约束的调色板变形，而不是波形马赛克或新训练的风格迁移模型。

一个容易误解的例子是把它当作目标重建算法。例如给定一段鼓和一段目标纹理，误以为系统要输出与目标波形逐采样一致的音频。论文明确否定这个理解：调色板只是可能的局部色彩集合，源提供 timing，输出不需要也不应该逐采样复现调色板中的某一段。这种任务定义直接决定了后面的指标选择，即只用包络、频谱距离与路径连续性做合理性检查，不把重建误差当作金标准。

要解决的演奏问题是什么，难在哪里？

要解决的是录音室与舞台上的实际问题。声音设计师希望鼓循环保持律动，同时获得金属、噪声或合成瞬态的色彩；演奏者希望把调色板当作音色画笔即时试听，而不必为每次会话收集数据并训练模型；制作人希望变形行为可重复、可自动化、可进数字音频工作站。也就是说，输入是源加调色板，输出是可控混合，约束是免训练、可重复、低操作负担。

难处首先在异构调色板上的抖动。独立最近邻匹配只看当前颗粒最像谁，当调色板里有很多短促打击声时，相邻源颗粒可能跳到不同文件的相似起音上，听感是喀哒作响的不稳定切换。论文指出，仅发射代价很低仍可能在连续颗粒间交替文件，因此必须引入转移代价，鼓励来自同一文件的相邻颗粒与小跳变。

难处其次在变换强度不可控。如果把全部码本层都换成调色板令牌，音色变化大，但源包络保持可能变差；如果一点不换，则没有变形效果。残差量化栈恰好提供了分层抓手，但需要决定粗层何时复制、中层是否全复制、细层如何投票。难处最后在实时部署。调色板编码与描述子构建昂贵，宿主回调的块大小任意，波束格子不能无限制跨块保留，因此需要把调色板加载、搜索与传输控制分开，并允许在后端失败时跳过本次变形而不静音。

沿一段鼓走完全流程：从波形到输出波形

先取一个具体的例子。输入是一段 8 秒的鼓循环与一个包含 247 段环境与乐器声音的调色板。两者先经过共享的神经编解码器编码器，变成每秒约 87 帧、每帧含 9 个残差量化令牌的令牌流。接着按固定颗粒切分，调谐后的设置是每颗粒 7 帧、跳 2 帧。每个颗粒用编解码器诱导的描述子表示：若码本嵌入可用，则把颗粒内嵌入平均后再按码本拼接，否则回退到按码本的令牌统计，归一化后用于最近邻检索。

下面这段导读帮你带着问题看总览图。重点不是记住每个方框的名字，而是看清主路径如何从波形到令牌再回到波形，以及检索与优化在哪个环节介入。

看图路径： 1. 从左侧源与调色板波形开始，沿编号方框向右追踪到输出音频；2. 对比第 3 框源颗粒与调色板颗粒的数量与堆叠方式差异；3. 观察第 6 框蓝色路径如何在多列候选节点中保持连续；4. 查看第 7 框粗中细三组在替换前后是如何对齐的

论文图 2。原论文 Figure 2：“Neural Morphing pipeline. Source and palette audio are encoded into neural-codec tokens, segmented into grains, matched in a codec-induced descriptor space, optimized as a…”。

这张总览图把 7 步连成一条链。第一框是源加多风格调色板波形，第二框是共享编码器，第三框把令牌切成源颗粒与调色板颗粒，第四框为每颗粒计算描述子并比较，第五框为每个时刻保留前 K 个候选，第六框用波束搜索选出跨时间的连续路径，第七框按粗中细分组做令牌交换再经神经解码器输出。像素上可以看到第三框用蓝绿橙三色表示分层令牌，第六框蓝色粗线是一条被选中的连续轨迹，第七框源令牌与选中调色板令牌按组对齐后只解码 1 次。理解这条链后，就能明白干湿比、颗粒大小与搜索宽度分别作用在哪一段。

检索之后是替换与解码。系统为每个源颗粒保留前 K 个调色板候选，用发射代价加转移代价做序列优化，选出一条调色板路径，再按全层或分组策略替换令牌。重叠的输出颗粒在令牌空间按起始顺序确定性覆盖，不在波形域叠加。最后解码器渲染 1 次得到输出波形，用户再用干湿比把原始波形混回一部分。整个链条中，源决定何时发生事件，调色板决定每个事件的局部质感。

分组替换如何把结构与细节分开控制？

残差量化栈被分成粗、中、细 3 组。对于有 Q 个码本的编解码器，分界由三分之一与三分之 2 位置决定，在 9 码本的设置下就是 1 至 3、4 至 6、7 至 9。控制量是结构细节权重，记为 ρ，取值在 0 到 1 之间，粗权重随 ρ 增大而减小，细权重随 ρ 增大而增大，中权重取两者平均后再归一化。每颗粒的发射代价是 3 组余弦距离的加权和。低 ρ 偏向检索粗中描述子与源相似的颗粒，听感保守；高 ρ 增大残差细节的影响，纹理转移更明显。

神经音频编解码器 × 残差向量量化： 神经音频编解码器负责把波形压成离散令牌帧并能再解码回波形，是本方法的表示与渲染底座；残差向量量化是该底座内部的多层量化结构，第一层逼近信号，后续层逐层编码残差。两者搭配的理由是多层结构天然给出由粗到细的信息分层，使后续可以按组决定复制哪几层令牌，从而在保留源端包络与引入调色板细节之间做可控折中。

替换有两种策略。全层策略把选中调色板颗粒的全部码本复制过来，除非阈值拒绝该候选。分组策略不对称处理：粗组只在候选通过保守门限时复制，中组从选中候选复制，细组在附近候选上按细组距离的柔性权重做前 7 个投票选择。在测试的鼓素材上，默认粗门限处于不激活状态，因此可听的默认效果最好描述为带粗安全阀的门控中细传输。强制频带的诊断显示粗替换在声学上确有影响，但会损害源包络保持，所以默认避免无条件粗替换。

调色板 × 令牌颗粒： 调色板是用户提供的若干段目标音色音频的集合，只提供局部色彩而不规定全局时间结构；令牌颗粒是把源与调色板的令牌流按固定帧长切成的短单元，是检索与替换的基本单位。搭配理由是连续波形难以直接拼贴，而离散颗粒可以在编解码器诱导的描述子空间中做最近邻检索，组合意义是把音色选择问题转化为在调色板颗粒集合上的路径选择问题。

交互上，分组策略给出结构细节轴，门限与干湿比是两道独立保险。门限保护的是没有可信粗匹配的令牌区域，干湿比在解码后把原始波形混回。举例来说，当调色板全是强噪声而源是干净鼓时，即使检索到的细颗粒很像噪声，门限仍可阻止粗层被改写，干湿比再让用户找回鼓的冲击感。这种分工使变换可控，而不是越换越碎。

序列选择如何压住调色板路径的抖动？

对每个源颗粒，先算它与每个调色板候选的发射代价，再加上从上一个选中候选转移过来的转移代价。转移代价奖励来自同一文件的相邻颗粒，惩罚文件切换与大跳变。实现支持贪心匹配、贪心平滑、有界波束搜索与在保留候选上的精确维特比。默认运行时用波束搜索，因为它比贪心平滑更平滑，又比维特比便宜得多。

发射代价 × 转移代价： 发射代价衡量当前源颗粒与某个调色板候选颗粒在描述子空间中的距离，分工是保证局部音色相似；转移代价衡量前后 2 次选择的调色板候选是否来自同一文件、跳变是否过大，分工是保证时间上的连续性。搭配理由是只看发射代价会在异构调色板上频繁切换文件而产生喀哒感，组合意义是用序列优化在相似性与稳定性之间做显式权衡。

波束搜索 × 维特比算法： 波束搜索是在每一步只保留有限条高分路径的前向近似搜索，分工是在实时约束下给出较平滑的调色板路径；维特比算法是在保留候选集合上的精确动态规划，分工是给出该候选集合下的最优路径作为参照。搭配理由是两者共享同一发射加转移目标，只是计算量与最优性不同，组合意义是可以用维特比理解上限，用波束搜索承担默认运行时折中。

粗码本组 × 细码本组： 粗码本组指残差量化栈中靠前的码本，分工是承载较强的源端包络与事件身份信息；细码本组指靠后的残差码本，分工是贡献局部细节与解码器侧的色彩。搭配理由是无条件替换粗层会明显改变包络，组合意义是默认策略对粗层加保守门限、主要替换中细层，从而形成结构与细节可调的变换轴。

为什么需要序列优化，可以用一个教学例子说明。假设调色板里有几十个短促金属敲击，它们的起音描述子彼此接近。若只看当前颗粒最像谁，第一拍可能选中文件 A 的敲击，第二拍选中文件 B 的敲击，第三拍又跳回文件 A，听感就是碎裂的切换。加入转移代价后，系统更倾向于沿同一文件向前走一小步，即使第二拍的发射代价略大一点，也愿意为连续性付出代价。

论文报告，波束搜索在两种替换模式下都把原始调色板索引跳变量减半，而分组替换相对全层替换改变了频谱与包络诊断，这支持了所暴露控件确实改变了预期的可测属性。重叠颗粒在令牌空间按起始顺序覆盖，保证了路径选择的结果能唯一落到输出令牌流上。

没有训练时，系统到底在计算什么？

本研究没有训练阶段，没有拟合新的变换模型，没有更新编解码器参数，也没有报告梯度路径、监督损失或参数重置时机。真实计算是调用、检索与搜索。调用指用预训练编解码器对源与调色板做编码与解码；检索指在归一化描述子空间做最近邻，运行时只保留前 K 个候选；搜索指在候选图上做贪心、波束或维特比路径优化。

替换指按全层或分组策略改写令牌。调色板准备是离线的，包括编码、切分、描述与缓存，运行时只做源编码、描述提取、候选检索、序列搜索、分组交换与解码。

下面这段导读帮你把插件界面与上述计算对应起来。界面隐藏了令牌操作，但每个旋钮都对应链条中的一个具体环节。

看图路径： 1. 先看上部调色板与源音频的加载与重建按钮分区；2. 再看中部编解码器后端状态行的采样率与码本数显示；3. 逐行读出温度、门限、连续性与结构细节等旋钮的当前值

论文图 3。原论文 Figure 3：“Standalone Neural Morphing interface. The plugin exposes palette selection, dry/wet balance, grain/search parameters, and RVQ transfer controls while hiding codec-token operations.”。

这张界面截图显示了可部署效果器的控制分组。上部是目标文件添加、调色板清空与重建，以及源音频加载与清空，说明调色板更换是需要重建的状态变化。中部显示后端就绪、采样率与码本数，以及编解码器选择，说明编码后端是独立的健康检查对象。下部三排旋钮分别对应温度、门限、连续性、结构细节权重、颗粒长度、步长、相似性、包络、干湿比与输出，像素上可以看到连续性与结构细节等控件的当前数值。读图时不要把旋钮值当作论文主实验的固定参数，主实验的固定取值以正文连续句子为准。

把无训练等同于确定性求解是误解。论文明确做了工程防护：音频线程不阻塞等待失败的变形更新，若调色板重建中、后端不可用、编解码某阶段返回空、解码先进先出队列溢出或湿缓冲欠载，则跳过本次更新或丢弃最旧的湿材料。监控与渲染分离，后端健康标志记录编码、检索、解码、通道布局与确定性检查是否成功，这些标志是防止静默失败被误读为算法行为的工程守卫，不是音乐性指标。在生产插件中，同样信息可作为状态灯，而音频路径继续走干声、缓存湿声或跳过变形更新。

数据、协议与指标如何组织，比较条件是否一致？

数据分两部分。调色板是严格清单，包含 247 段 5 至 15 秒的 Freesound 片段，具有宽松的知识共享许可。源与参考材料是来自 WaivOps Lo-Fi 鼓语料的不相交 8 秒裁剪。两者用途不同：调色板是局部色彩的供给方，源与参考是用来算语料接近程度的对照材料。评估用确定性清单组织，保证每次渲染的输入集合一致。论文把可移植性在其他编解码器适配上做了非正式测试，但中心证据使用 44.1 千赫兹的 9 码本编解码器，因为它暴露了适合分频带编辑的原生多码本残差栈。

指标按问题分组。源包络相关性看节奏是否保留，越高越好；频谱收敛与对数频谱距离看频谱接近程度，越低越好；原始调色板索引抖动与文件切换率、相邻同文件转移率看路径连续性，抖动与切换越低越好，相邻转移越高越好；实时系数看参考路径是否低于实时，越低越好。

集合级弗雷歇音频距离只作描述性统计，不作逐例偏好指标。所有客观度量都相对编解码器重建与留出语料接近程度解读，而不是相对精确目标恢复。

比较条件在同一调色板与同一源切片内保持一致。主消融比较波束与贪心、分组与全层；路径连续性比较贪心、平滑、波束与维特比；分块一致性比较不同块大小与完整上下文渲染的接近程度；调色板扩展比较 32、64、128 与 247 规模下的中位实时系数。实时代理按顺序处理分块并把上一个选中的调色板索引带入下一块，不保留完整波束格子，因此不声称与完整上下文渲染等价，只作为部署检查，衡量插件式调度引入的失配。

主结果支持了什么，又没支持什么？

主结果要回答 3 个合理性问题。序列优化是否减少不稳定切换，分组是否给出结构细节折中，分块运行是否足够接近完整上下文渲染以便音乐上可用。论文的文字结论是波束搜索在两种交换模式下都把抖动减半，分组替换相对全层替换改变了频谱与包络诊断，4 种条件的参考路径运行时都低于实时。这些数字不应读作品质偏好分，全层行是保守对照，因为在默认阈值下它保留了很高的包络相关性，分组行是更相关的创作模式，因为它在保留源 timing 的同时引入中细调色板细节。

下表提出一个可核对的部署问题：在调色板从小到大扩展时，波束加分组这一实际可运行策略的中位实时系数是否仍低于实时。公平条件是同一诊断切分与同一参考路径，指标方向是实时系数越低越好。表中调色板规模与实时系数区间直接来自原文连续句子，源与调色板材料的时长与来源一并列出以便核对聚合对象。

评估内容	调色板规模	运行策略	中位实时系数区间	材料与聚合说明
调色板扩展扫描	32, 64, 128, and 247 clips	beam+RVQ-group	0.229 and 0.237	247 Freesound clips of 5–15 s duration；8 s crops；诊断切分上的中位值
全文限定	247 clips	beam+RVQ-group	heavy tail when palette encoding and cache effects dominate	总运行时受调色板编码与缓存影响存在重尾

表后需要同时读出收益与代价。收益是中位实时系数在 32 到 247 规模下保持在 0.229 至 0.237 之间，支持在有界调色板与后端假设下部署，而不是普遍实时保证。代价与反例是总运行时存在重尾，当调色板编码与缓存效应主导时，中位值会掩盖个别慢例；原文也明确弗雷歇音频距离只作集合级描述，不支持逐例偏好判断。未胜出的边界是该表没有给出贪心或维特比在同样扩展下的对照，因此不能从该表推出波束在所有规模下都最优，只能说波束加分组在测试规模下满足了低于实时的部署检查。

另一个需要保留的限定是听感缺席。客观诊断能显示连续性、运行时、编解码器健康与源调色板接近程度，但不能确立听众偏好或音乐有用性。论文把直接试听放在中心位置，建议听众对比贪心与序列感知选择、全层与分组传输、响应性与块大小折中。未来听测应分开偏好、感知连续性、源节奏保持、调色板可辨识度与对神经编解码器伪影的容忍度。

消融与诊断：哪些参数是安全可演奏的？

论文做了 3 组诊断。第一组是选择器对比，路径连续性行显示波束减少文件切换并增加相邻同文件转移，同时远低于维特比运行时，这是演示用波束的原因。第二组是分块一致性，较大块在频谱指标上更接近完整上下文渲染，而包络相关性保持高位。第 3 组是颗粒跳步诊断，不同颗粒跳步设置的包络相关性相近，序列运行时随跳步增大而下降，符合预期：短跳提供更多局部修正机会但增加匹配决策数，长跳减少搜索负载但时间控制更粗。插件的 7 帧长 2 帧跳是响应编辑、稳定包络保持与序列运行时的折中。

下表把方法复现必须固定的关键超参数收拢在一处。比较问题是若要重跑调谐后的编解码器设置，需要冻结哪些数值。公平条件是同一 44.1 千赫兹 9 码本编解码器，指标方向不适用，这里是配置冻结表，不能当作结果优劣表。每个数字与单位都来自原文连续句子，裸值不擅自添加百分号或新单位。

参数组	符号与取值	作用阶段	可调性	运行含义
编解码器帧率	44.1 kHz with nine RVQ codebooks and approximately 87 token frames per second	编码与解码	更换编解码器时重调	决定令牌帧密度与分层编辑基础
颗粒切分	G = 7 and H = 2	切分与描述	搜索控件	折中响应编辑与序列运行时
检索与加权	K = 96 and ρ = 0.30	候选检索	搜索与传输控件	前 K 保留与粗细权重
分组门限与投票	θ = 0.55, top-k = 7, and temperature τ = 0.47	令牌替换	传输控件	粗门限、中复制、细投票

表后解释安全可演奏的边界。干湿比、ρ、传输策略与阈值是富有表现力的控件，因为它们作用于候选检索之后或复用已算描述子，调度影响小。调色板替换与编解码器切换重，需要重建，因此视为状态变化而非连续演奏手势。波束宽度与候选数居中：它们改变路径稳定性但直接影响搜索代价。界面因此偏好少数可解释预设，而不是暴露每个内部常数。未评测的边界是谐波、人声与长时素材，论文指出它们可能需要不同的门限、描述子或转移模型。

下表进一步固定序列与分块行为的文字证据，避免把趋势误读为每步成立。总体趋势是波束更稳、分块越大越接近完整渲染，但每组每步并非单调，解读时需回到包络与频谱分别讨论。

对照维度	可运行策略	文字报告的趋势	代价或反例	适用条件
路径连续性	beam search vs greedy matching	halves raw palette-index jitter；reduces file switching and increases adjacent within-file transitions	staying far below Viterbi runtime；精确最优仍需更高代价	异构短打击调色板上最易听出差异
分块一致性	chunked renders vs full-context render	larger chunks move closer to the full-context render on spectral metrics	不保留完整波束格子，不声称等价	插件式调度下的部署检查
替换模式	RVQ-group transfer vs full-layer replacement	changes spectral and envelope diagnostics；引入中细细节同时保留 timing	全层在默认阈值下包络更高，偏保守	创作模式选分组，对照选全层

这张对照表的阅读边界是趋势只在组内平均意义上成立，不能把波束更稳或分块越大直接推广为每一步单调改进，实际部署仍需结合包络与频谱分别验证，并在异构短打击调色板与插件式分块调度条件下复核运行时代价与稳定性折中。

哪些结论不能下，哪些验证还缺？

不能下的是偏好结论。论文明确客观数字不是感知偏好分，集合级距离不作逐例偏好指标，最大局限是感知验证缺席。相关性也不是因果：包络相关性高不证明听感上节奏完全保留，抖动减半不证明喀哒感消失一半，这些都需要受控听测分离验证。未测量误判率、端到端延迟分布或完整演出成本时，不应承诺这些量得到改善。

不能下的是普遍实时保证。调色板扩展的中位实时系数低于实时，但总运行时有重尾，调色板编码与缓存效应主导时个别运行会变慢。实时代理只携带上一个调色板索引，不保留完整波束格子，分块渲染与完整上下文不等价。实时操作是有界而非逐采样同步，插件把调色板描述子放内存、可选近似最近邻、批量编解码调用，并把波束宽度、候选数、颗粒大小与替换参数留给用户调节，这些都是在有界假设下的工程选择。

缺的验证具体有三项。一是听测，需分开偏好、连续性、节奏保持、可辨识度与伪影容忍度。二是非打击乐材料的门限与描述子，当前最强证据在打击乐上，因为起音保持与抖动易于检查，谐波与长时素材待补。三是后端健康与失败路径的量化，例如编码检索解码各阶段失败率、湿先进先出队列溢出频率与跳过更新对听感的影响，论文只给出守卫机制而未报告发生率。

复现先做什么，需要哪些信息条件？

先冻结表示与切分。选用 44.1 千赫兹、9 码本、约每秒 87 帧的编解码器设置，按每颗粒 7 帧、跳 2 帧切分源与调色板令牌流。若码本嵌入可用，按颗粒平均再按码本拼接，否则用按码本令牌统计，归一化后做最近邻。这是所有后续对照的地基，改动它会同时改变检索与替换语义。

再冻结检索与替换。检索保留前 96 个候选，结构细节权重取 0.30；分组替换取门限 0.55、前 7 投票、温度 0.47。先跑贪心全层作为保守对照，再跑波束分组作为创作模式，对比包络相关性、频谱距离与路径抖动是否按预期变化。序列侧保留贪心、平滑、波束与维特比四档，但默认用波束，维特比只作参照。分块侧先做完整摘录渲染，再做顺序分块代理，检查大块是否在频谱上更接近完整渲染而包络保持高位。

信息条件上，当前证据未声明代码、模型或数据已公开，不得声称可下载。复现需要自备严格调色板的 247 段许可音频与不相交 8 秒鼓裁剪，并用确定性清单固定输入。插件侧把调色板加载与音频处理分离，解码音频经湿先进先出队列 staging，干湿路径保证漏掉湿更新时优雅退化。复现时先验证后端健康标志，再谈音质判断，避免把静默失败误读为算法行为。

何时值得尝试，一句话如何复述方法？

当任务是鼓或打击乐源保持律动、同时需要快速试听多种纹理色彩，且不允许为每次会话训练模型时，这个方法值得尝试。做法是把调色板当材料而非固定目标：用 found sounds 给干净鼓加噪声残差，或用合成瞬态赋予更锋利的电子特征，通过换调色板而非重训来改变结果。若调色板高度异构，应先开大连续性约束或波束宽度，再调结构细节权重；若源包络开始模糊，应收紧粗门限或回调干湿比。

一句话复述是：共享编码器把源与调色板压成多层令牌颗粒，在描述子空间为每步保留候选，用发射加转移目标做波束路径优化，再按粗中细分层改写令牌并统一解码。对于初学者，记住 3 个动作就够了：切颗粒是为了可检索，选路径是为了不碎裂，分组替换是为了保结构。任何改动都应回到这 3 个动作检查：它改变了相似性、连续性还是结构细节保留，以及它是在检索前、搜索中还是解码后起作用。

收束时回到证据边界。已显示的是波束减少切换、分组暴露折中、有界调色板下中位低于实时；待验证的是听众偏好、非打击乐泛化与低延迟流式改进。复述方法时不要加入无源数值或效果承诺，遇到原文表头与算术冲突应明确标注冲突而不自行拼凑一致。