📄 新皮肤要换声又不能换错事件：用保留掩码补齐整套游戏音效
英文题目：Game Sound-Effect Completion with Event-Level Transformation Hints
标签：#音频生成 | #流匹配 | #游戏音频 | #数据集
评分：7.0/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0.5/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Xinrui Jiang：机构信息未在 arXiv HTML 中可靠披露
- Heng Yu：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
本文处理游戏角色新皮肤音效补全，输入为基础皮肤全套事件音频、已完成的目标皮肤前缀、文本设计描述与逐事件变换提示，输出缺失目标事件音频，难点是各事件所需重设计程度不同且须保持玩法角色一致。方法链分三步，先解析游戏客户端音频库并按技能阶段对齐基础与目标事件，再用 Gemini 3.1 Pro Preview 结合原画与静音特效视频生成设计描述，最后在 Stable Audio 3 先验上微调潜空间修复模型完成缺失窗。与通用音频编辑器相比，关键差异是用有符号软保留掩码同时编码音频可用性与重设计强度，并以双轴无分类器引导控制文本与参考条件。在256条测试序列与687个未知窗的k等于2设置下，连续预言提示取得Mel误差8.93 dB，相对最强通用基线SAO-Instruct降低约26.6%。结论限于英雄联盟单游戏与语料级时长布局，设计师指定提示与独立布局泛化尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，什么必须保留？
这篇论文研究的是游戏角色新皮肤的音效补齐。输入包括 4 类信息。第一是基础皮肤的完整事件音频，它说明每个技能在玩法上的角色，例如瞄准、发射、命中、余辉各自应当出现在什么位置。第二是目标皮肤已经做好的前几个事件音频，论文称之为已知目标前缀，它给出新设计的可听样例。第三是一句声音设计文字描述，最长 40 个词，说明新皮肤的材质与音色方向。
第四是每个未知事件的变换提示，是一个标量，用来表达这个事件希望保留还是重做。输出是缺失的目标事件音频，生成后与已给的目标前缀拼成完整序列。必须保留的有两层。一是事件角色不能错，发射不能听起来像命中。二是设计师已经确定的前缀音频在最终输出中原样插回，不被模型改写。
论文把每个研究单位定义为事件资产，画布把资产按顺序串起来，而不是复现游戏运行时的真实时间间隔。这个界定对初学者很重要，后面所有重建误差都是在事件窗口内计算，不包含运行时混音。
给新生的最小复述路径
用三句话复述方法。第一句，输入是完整基础音频、已知目标前缀、一句话设计描述与每个未知事件的变换提示，输出是缺失目标事件。第二句，参考画布与保留掩码把供给与待改分开，基础与已知取正一，未知取负的变换提示，文本走交叉注意力，参考走逐块注入。第三句，训练用配对距离的百分位做提示监督，推理接受设计师指定值，评估默认两个已知事件，先序列内平均再跨序列平均。记住 3 个易错点。
预言提示用了未知目标音频，不能当部署收益。三档提示已接近连续上限，粗控制够用。时长布局用了全语料先验，独立布局需重测。掌握这条路径后，再回看公式与表格数字，就能把每个数字放回对应的数据集、阶段与指标，避免把不同指标的差值混为一谈。
通用音频编辑路线为什么不够用？
论文把相关工作分成两类。第一类是音频生成与编辑。训练式方法学习编辑关系，例如在自由指令上训练的编辑器，把操作分解后再执行的编辑器。免训练方法复用预训练模型，例如基于反演的编辑、适配流匹配音乐模型的反演方法，以及无反演的扩散预测对比方法。多模态模型则加入文本、视觉与音频共同生成，或用冻结语言模型加可训练扩散变换器统一生成与编辑。
这类方法的表达力在增强，但缺少对哪些源特征应当保留的结构化控制。第二类是结构化控制。已有工作用修复区域标识可生成位置，用时频编辑区域加声学参考指定改法，或用响度、音高与事件活跃度等属性控制，还有用任务掩码与通道拼接源潜变量统一生成与编辑。本文任务的特殊点是跨皮肤补齐，未知事件各自需要的偏离程度不同。论文因此把完整基础音频与已观测目标资产放在同一画布，并用有符号软掩码同时编码可用性与逐事件改造量。
这与只标哪里可改的修复不同，多了一个改造程度维度。
任务形式：已知什么，求解什么，如何计分？
设基础画布与目标画布已经按事件对齐。已知集合是已完成的目标事件，未知集合是待补的目标事件。模型要生成未知目标事件，条件是基础画布、已知目标事件、文字与提示向量。训练时已知集合取每个序列的前若干个可听目标事件，从零个到总数减一全部枚举。评估时默认要求两个已观测事件，不足时截断到可听事件数减一。
计分在目标真实时长内进行，不计多余生成尾巴。重建类指标包括四十八频带对数梅尔平均绝对误差、梅尔倒谱系数均值向量欧氏距离、响度误差，单位分别为分贝、分贝与向量距离，数值越小越好。相似类指标包括音频到音频的 CLAP 余弦相似度与起音 F1，数值越大越好。论文还报告音频到文本 CLAP 与目标到生成的 PANNs 散度作为语义一致性参考。初学者要注意，数值相同不代表同一指标，梅尔误差与响度误差虽然都用分贝，但计算对象不同，不能直接比较大小。
聚合方式是先在序列内对未知窗口平均，再跨序列平均，静音目标与上下文不计入。
方法全景：先沿一个样本走完输入到输出
以一个技能序列为例。左侧是 3 段波形拼成的参考画布。第一段是完整基础音频，第二段是已知目标前缀，第 3 段是未知目标后缀，先置零。中间经过冻结的音频编码器得到潜变量，潜变量通道数为 256，步长为 4096 个采样点。与此同时构造 1 维保留掩码，与潜变量帧对齐。
右侧文本描述经文本编码器进入交叉注意力。采样从高斯噪声出发，经过扩散变换器多步积分，再经解码器回到波形，裁掉基础部分，只保留目标区域，最后把原来供给的目标前缀原样插回。下面这张总览图把文本构造分支与保留控制的潜在修复分支放在一起，建议按输入到输出的主路径阅读。
上图导读覆盖文本分支与音频分支如何汇合，左侧输入较多，右侧输出较集中，阅读时先分清哪条箭头是语义条件，哪条是声学参考。
看图路径： 1. 先看上半部分从左到右的输入到一句话文本条件的路径，注意目标音频从未进入该分支；2. 再看下半部分音频画布三段的排列顺序与颜色区分；3. 对照潜变量与保留掩码两行的对齐方式，确认未知段标记位置；4. 跟踪文本编码器与逐块多层感知机分别进入主模型的箭头方向
论文图 1。原论文 Figure 1:：“Overview. (a) Structured text-condition construction.”。
该图上半部分说明结构化文本条件只用最终一句话训练与推理，皮肤级线索与固定词表事件分析只是辅助推理，目标音频从不进入文本构造。下半部分说明参考潜变量与保留掩码经通道拼接后由原有逐块多层感知机注入残差流，文本走交叉注意力，解码裁剪后供给音频原样插回。图中还用具体数值示例标出供给位置取正一，未知事件取负的变换提示，直观表达从保留到完全重做的连续控制。
参考画布与有符号软掩码如何表示供给与待改？
参考画布的构造是把基础、间隔与置零未知目标拼接起来。编码目标是完整拼接。训练时监督只落在未知目标音频及其窗内零填充上，其他位置权重为零。保留掩码的取值为正一表示基础音频或已观测目标事件，负的变换提示表示未知目标事件，零表示间隔与批填充。通道拼接后的参考潜变量与掩码被已有逐块多层感知机投影并加到每个变换器块的残差流，不新增参数。
掩码只传达可用性与请求变化，不强制波形复制。论文明确指出，当变换提示为零时，掩码值与填充相同，靠画布上下文区分事件，不保证精确复制。
基础皮肤音频 × 目标皮肤前缀： 基础皮肤音频负责提供每个事件的玩法角色与时间骨架，目标皮肤前缀负责提供新设计的 audible 样例，二者搭配是因为只靠文字无法确定质感层次，组合后模型既能对齐事件角色又能模仿已确定的新音色方向。
保持掩码 × 变换提示： 保持掩码负责区分画布上哪一段是可直接用的供给音频，哪一段是待生成的未知事件，变换提示负责说明每个未知事件希望保留多少还是重做多少，二者组合成有符号软掩码后，模型能把生成位置与改造程度分开控制。
\[a=[B\mid 0_{g}\mid Y_{K}^{0}],\qquad x_{0}=E([B\mid 0_{g}\mid Y]),\]上式第一项是波形参考画布，第二项是编码后的训练目标，符号含义是基础、间隔与置零目标的拼接，以及完整基础与完整目标的拼接。编码器在整个训练与推理中冻结。
\[M_{f}=\begin{cases}+1,&\text{base audio or observed target events},\\ -h_{j},&\text{unknown target event }j,\\ 0,&\text{gaps and batch padding}.\end{cases}\]上式是保留掩码的分段定义，帧级取值，正 1 对应供给音频，负值对应未知事件的变换提示取负，零对应间隔与填充。未知事件的标记落在负一到零之间，零表示希望保留，负一表示希望完全重做。
变换提示如何从配对距离校准而来？
变换提示在训练时来自基础与目标配对资产的距离。具体做法是对单音、峰值归一化并补齐或裁剪到 5 秒的资产，取时间平均的 BEATs 嵌入，计算一减余弦相似度得到原始距离，再经训练集经验累积分布映射到 0 到 1 区间。校准使用 18641 个可听训练配对，并在验证与测试中复用同一分布，不重新估计。精确复制与联合为空的配对设为零，未匹配可听或被移除的目标事件设为一。部署时变换提示作为输入控制接受设计师指定值。
评估中连续提示与三档量化提示使用了未知目标音频，因此标注为预言提示，不能当作可部署收益。打乱实验保持提示数值分布不变，只在序列内打乱分配，用来检验提示与事件是否必须对应。
百分位校准 × BEATs 距离： BEATs 距离负责度量同一事件基础与目标资产在语义嵌入空间的余弦距离，百分位校准负责把集中分布的原始距离映射到训练集累积分布的 0 到 1 区间，二者组合后变换提示在不同事件间可比且适合做连续与三档量化控制。
\[d_{j}=1-\cos(e(y_{j}),e(b_{j})),\qquad h_{j}=F_{\rm train}(d_{j}),\]上式左侧是原始距离，右侧是经训练集累积分布校准后的提示。百分位校准的作用是把集中的原始距离铺展到整个区间，使不同事件的提示可比。
训练目标、权重与双轴引导如何设置？
模型微调 Stable Audio 3 中等基础扩散变换器，参数量为十四亿。训练采用流匹配。给定目标潜变量与高斯噪声，构造线性插值输入与目标速度。损失是加权均方误差，在通道与帧上平均，通道数为 256。权重在未知目标音频上为一，在其窗内零填充上为 0.25，其余位置为零。
全部变换器参数微调 40000 步，使用 AdamW，学习率为 3 乘 10 的负 5 次方，有效批量为十二。文本以 0.2 概率替换为空字符串，以支持无分类器引导。引导分两个轴，文本轴与参考轴。参考条件包括参考音频与掩码通道。验证选择文本引导强度为二，参考引导强度为一，此时不需要零参考预测参与。
采样后经解码器解码，再把已观测目标资产拼回输出。论文未报告训练硬件时长与推理延迟，本节只能交代优化步数与批量，不能推定实际耗时。
潜在修复 × 流匹配： 潜在修复负责定义任务形式即在冻结编码器潜空间中补齐缺失帧，流匹配负责定义学习目标即从噪声到目标潜变量的速度场回归，二者搭配是因为直接在波形上补齐代价高，在压缩潜空间中学生成先验更稳定。
文本条件 × 参考条件： 文本条件负责输入一句声音设计描述并经交叉注意力注入，参考条件负责输入参考潜变量与保留掩码并经每块多层感知机注入残差流，二者搭配使用双轴无分类器引导分别调节语义符合度与对音频上下文的依赖强度。
\[x_{t}=(1-t)x_{0}+t\epsilon,\qquad v^{*}=\epsilon-x_{0}.\]上式说明插值输入与目标速度的构造，时间变量从 0 到 1，噪声与目标潜变量线性混合，目标速度为噪声减目标。
\[\mathcal{L}=\frac{\sum_{f}w_{f}\,\|\hat{v}_{f}-v^{*}_{f}\|_{2}^{2}}{C\sum_{f}w_{f}},\qquad C=256.\]上式是加权损失，分子是权重乘预测速度与目标速度差的平方，分母是通道数乘权重和，实现在通道与帧上的平均。
数据如何采集对齐，评估条件是否一致？
数据来自游戏客户端音频库，用解析与渲染工具提取，再用社区元数据关联技能、皮肤、视觉特效与动画。命名规则、视觉特效引用与动画线索把声音关联到技能与阶段，皮肤标签替换与库查找建立基础与目标对应，包括替换、继承、静音与新增事件。事件按阶段与按键排序，基础事件定义骨架，目标独有事件按阶段插入。音频存为 44100 赫兹，不做响度归一化，连续声 capped 在 2 秒并加 50 毫秒淡出。每个声音在窗口内左对齐，零填充，窗间间隔 0.2 秒。
窗口容量用跨皮肤最大截断后时长，最大超过中位约 2 倍时改用九十五分位数，并向上取整到 1 毫秒。因此布局依赖全语料时长元数据，包括留出皮肤，目标时长预测不在任务内。过滤去掉继承窗口过半、与基础完全相同、基础静音与重复皮肤，按目标皮肤划分，共享基础资产，测试的是未见皮肤，不一定是未见英雄。文本描述由多模态模型从基础音频与事件表、基础与目标立绘、官方描述与静音技能视频生成，从不接收目标音频，只有最终一句话进入模型。
通用编辑器在评估时接收每个基础事件与同一描述，序列级基线把已完成目标资产插入基础画布再做音频到音频生成。无提示训练把未知事件标记置零，作为任务适应的对照。
下表整理数据规模与划分，比较问题是训练与评估各有多少序列可用，前缀枚举带来多少训练样本，公平条件是同一对齐管线与同一时长布局，指标方向是序列数越多覆盖越广，但测试必须保持皮肤级隔离。
| 数据阶段 | 序列数量 | 序列长度限制 | 未知事件要求 | 样本构造 |
|---|---|---|---|---|
| 全量目标技能序列 | 5633 | 至多 24 s | 含事件资产 | 按阶段排序与窗口串接 |
| 训练划分 | 4428 | 至多 24 s | 含与基础配对的未知事件 | 前缀枚举得到 18944 训练样本 |
| 验证划分 | 259 | 至多 24 s | 含与基础配对的未知事件 | 每个序列枚举全部前缀 |
| 测试划分 | 256 | 至多 24 s | 含与基础配对的未知事件 | 默认请求 2 个已知事件 |
表后解释，全量五千多条保证配对事件学习有足够样本，训练经前缀枚举扩展到一万八千多样本而不跨皮肤划分，验证与测试各约二百五十多条且测试在零已知时仍有 256 条可评。代价是布局用了全语料时长元数据，部署时若独立指定布局需要另行验证。未胜出项是继承比例过高的皮肤被过滤，说明方法不处理几乎无需重做的序列。
主结果：重建与相似度相对谁提升了多少？
评估默认请求两个已知事件，验证与测试分别贡献六百八十八与 687 个非空未知窗口。分数先在序列内平均再跨序列平均。论文报告本模型在梅尔误差、倒谱距离与响度误差上最低，在 CLAP 相似度上高于受试通用编辑器。带事件级提示时也超过直接复制基础，在 CLAP 上为 0.673 对 0.661。梅尔误差比最强的通用编辑器低 26.6%。
在无已知目标音频时，模型在全部测试序列上仍保持优势，梅尔为 9.35，对比复制基础的 11.94 与音频到音频的 14.48。序列级音频到音频即使给了已完成目标资产，表现仍弱于本模型。起音 F1 上复制基础最高，这与配对事件的时间对应一致，因为复制完全保留源起音。
下表聚焦可实际运行的策略与基线，比较问题是在相同描述与相同基础事件下，本方法相对复制基础与通用音频到音频是否同时改善重建与相似度，公平条件是都不使用未知目标音频，指标方向是梅尔越低越好，CLAP 越高越好。
| 评估条件 | 指标 | 本方法 | 复制基础基线 | 通用音频到音频 |
|---|---|---|---|---|
| 事件级提示下目标一致性 | CLAP 相似度 | 0.673 | 0.661 | 未超过本方法 |
| 相对最强通用编辑器 | 梅尔误差相对下降 | 26.6% | 基线为参照 | 最强通用编辑器为被比较对象 |
| 零已知目标音频全测试集 | 梅尔误差 | 9.35 | 11.94 | 14.48 |
| 连续提示二十五与 50 步 | 梅尔误差 | 8.93 | 不适用 | 不适用 |
| 连续提示二十五与 50 步 | CLAP 相似度 | 0.674 与 0.673 | 不适用 | 不适用 |
表后解释，可运行收益主要来自任务适应与联合补齐，零已知时仍能从基础与设计控制中获益。代价是起音 F1 未超过复制基础，说明重建相似度提升不等于时值完全保留。连续提示与三档提示的数字属于预言提示，不能直接当作部署收益，本表只把它们放在步数选择行，不与可运行行混放。
提示是否必须给对事件，粗粒度是否够用？
消融使用同一检查点，只换提示设置。连续提示同时改善梅尔与 CLAP，优于常数控制。打乱提示分配后增益消失，但数值分布不变，支持提示必须与事件对应的判断。三档量化提示保留连续提示的大部分收益，说明粗控制已够用，不需要精确数值。有符号百分位编码在两项指标上优于正相似度标记。
文本引导从一提高到二时，验证 CLAP 在参考引导扫描范围内从 0.664 到 0.669 提升到 0.680 到 0.681，支持文本与参考互补。前缀扫描在至少 5 个可听事件的 111 条测试序列上进行，随已知事件增多，本模型梅尔先降后略升，复制基础梅尔随后缀变难而上升。论文把连续与量化提示明确标为预言，设计师指定提示仍待验证。
下表整理训练与推理开销及引导选择，比较问题是复现需要多少优化步数与什么引导强度，公平条件是同一冻结编码器与同一损失权重，指标方向是步数与批量决定预算，引导强度决定语义与参考依赖。
| 环节 | 关键设置 | 数值 | 作用 | 备注 |
|---|---|---|---|---|
| 参数更新 | 微调步数 | 40000 | 学习速度场 | 全部变换器参数更新 |
| 优化器 | 学习率与批量 | 3×10−5 与 12 | 控制收敛 | AdamW 有效批量 |
| 采样步数 | 连续提示测试 | 25 与 50 步对应梅尔 8.93 | 效率与质量权衡 | CLAP 为 0.674 与 0.673 |
| 引导强度 | 文本与参考 | 2 与 1 | 语义与参考依赖 | 该设置下无需零参考预测 |
| 文本丢弃 | 训练正则 | 0.2 概率空字符串 | 支持无分类器引导 | 推理时调节强度 |
表后解释，40000 步与小批量说明复现门槛主要在显存与时间，而非数据量本身。25 步与 50 步梅尔相同但 CLAP 略有差异，说明增加步数不必然全指标提升。未胜出项是打乱提示与常数提示，负结果恰好证明事件对应是关键，粗三档已接近连续上限。
哪些结论还不能推广，缺了哪项验证？
论文在评估范围段明确了三项限制。第一，连续与量化提示使用未知目标音频，属于预言信息，设计师实际指定的提示尚未验证，不能把预言增益当作部署增益。第二，客观指标度量声学一致性，生产可用性需要设计师听音研究，自动指标不能当成人评。第三，评估使用全语料时长元数据定义布局，目标时长预测不在任务内，用独立指定布局时需要重新测试。
数据层面，划分按目标皮肤隔离但共享基础资产，测试的是未见皮肤，不一定是未见英雄，跨游戏迁移需要适配不同音频系统的提取与对齐。方法层面，掩码只传达请求变化，不强制复制，变换提示为零时也不保证精确复制。资源状态方面，未发现来源绑定且完成验证的资源，不得声称代码、模型或数据已公开，论文正文仅写代码将发布，当前应视为链接不可用。缺失证据不是技术错误，但复现时应先补听音验证与独立布局测试，再谈上线。
复现先做什么，需要哪些信息条件？
复现应按学习依赖先做数据，再做模型，最后做评估。数据侧先按管线解析客户端音频库并关联技能与阶段，按阶段与按键排序，基础定义骨架，目标独有事件按阶段插入。音频保持 44100 赫兹，不做响度归一化，连续声截断到 2 秒并加淡出，窗口左对齐加 0.2 秒间隔，容量按最大或九十五分位数取整。过滤继承过半、与基础相同、基础静音与重复项，按目标皮肤划分。
文本侧用多模态模型从基础音频、立绘、官方描述与静音视频生成至多四十字描述，严禁输入目标音频，只保留最终一句话。模型侧冻结音频编码器，用通道拼接加逐块多层感知机注入参考与掩码，文本走交叉注意力，按加权损失微调，文本丢弃概率 0.2，验证选择引导强度。评估侧默认请求两个已知事件，先序列内平均再跨序列平均，只在真实时长内计分。硬件预算原文未报告步时与显存，复现时应先小规模验证前缀枚举与掩码对齐，再扩展到全量 40000 步。
何时值得尝试，何时不值得？
当任务是同一玩法角色下换声学身份，且已有部分目标资产可作样例时，这种补齐 workflow 值得尝试。基础音频提供角色骨架，已知前缀提供新方向，逐事件提示处理改造程度不一，这是通用编辑器缺少的结构。当所有事件几乎无需重做，或完全没有基础配对时，不值得直接套用，因为过滤条件已排除这两类情况，模型也没有在该分布上验证。当只有文字描述而无任何音频参考时，预期会退化，因为论文的零已知优势仍依赖基础音频与设计控制。
实践中应先用常数提示跑通可运行基线，再引入三档粗提示，因为三档保留大部分连续增益且更易由设计师指定。最后必须补设计师听音与独立布局测试，才能把声学一致性结论推广到生产可用性。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses