英文题目：Local Chord Corruption Is Not Recognizer Replay: Chord-Condition Propagation in MIDI-SAG
标签：#音乐生成 | #生成模型 | #鲁棒性 | #模型评估
评分：6.5/10 | 创新 1.2/2 | 技术严谨 1.1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0/1.5 | 可复现 0.4/0.5 | 工程/实践 1.1/1.5
👥 作者与机构
- Weiwen Huang：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
在固定音轨、种子、上下文与评分窗下，中央 4 秒三全音破坏比完整 CNN-CRF 回放引发更大的伴奏特征偏移，而同时匹配改变支撑与关系构成的合成画像最接近回放响应，但它只缩小条件响应距离，不代表音质提升。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入人声、想改变伴奏、必须保留配对公平，输出什么结论？
这篇论文研究歌声伴奏生成，也就是给一段人声配器乐伴奏，英文为 singing accompaniment generation，之后简称 SAG。使用的生成器是显式接收旋律、和弦与 MIDI 控制的版本，英文为 MIDI-Informed Singing Accompaniment Generation，之后简称 MIDI-SAG。输入是人声与和弦序列，想改变的是和弦条件，输出是生成的伴奏波形及其特征。
基线条件是 MIDI-SAG 自带的冻结时间对齐和声条件，论文明确它不是专家标注的参考答案。对比条件有两类，一类是中央 4 秒人工破坏，另一类是把自动和弦识别输出完整回放。自动和弦识别是从音频估计每段时间是什么和弦，英文为 automatic chord recognition，之后简称 ACR。
必须保留的是配对公平。同一条人声、同一个 47.554 s 生成器上下文、同一个提示、同一个 12 秒评分窗、同一个随机种子，只有和弦序列可以不同。这样输出差异才能归因于和弦条件，而不是音轨、种子或窗位置的变化。论文输出的判断是：集中破坏测试的是机制，完整回放评估的是部署时的和弦条件传播，二者不能互换。
这里的效应数字都是条件响应强度，不是伴奏好听程度。本文没有听众音质实验，大效应只表示输出特征移动得多，小回放距离只表示合成条件更接近识别器条件的响应，不能读成波形音质提升。
已有路线在哪个位置，本文为什么还要做一次配对？
SAG 已有从纯音频到显式条件的多条路线。SingSong 和 FastSAG 属于音频条件系统，AnyAccomp 使用量化的旋律瓶颈而不是时间对齐的和弦接口。MIDI-SAG 的不同在于它暴露了时间对齐的和弦接口，正因为有这个接口，才可能把 ACR 输出逐段替换进去做干预。
可控音乐生成一侧还有旋律、文本与时变控制，以及 MusicGen-Chord 这类加入和弦进行的模型。高翔等人的工作研究和弦条件歌曲生成对不准确和弦提取的鲁棒性，那是一个以生成器为中心的问题，问的是模型能否容忍不完美控制。本文是一个以评估为中心的问题，问的是集中合成条件能否代表识别器实际交付的完整序列。
ACR 本身要表示根音、低音、性质与持续时间，时序与标签歧义是评估的核心难点。CNN-CRF 与 DeepChroma 加条件随机场是两条不同的 ACR 路径。本文把它们的完整输出当作部署条件，而不是只统计和弦错误率。打个教学示例：比较两种配送路线不能只数丢件率，还要看丢的是哪一段、丢多久、用什么替代品补上，本文的配对协议就是为了固定收件地址后再比较送货方式。类比不覆盖声学建模细节，只帮助理解为何要固定其他变量。
为什么一个四秒三全音不能代表整条识别序列？
中央破坏只做一个集中编辑：在评分窗中央改 4 秒，替换为三全音关系。完整回放则混合了多种事件。论文报告完整 CNN-CRF 回放中根音变化事件占事件质量的 76.12%，而三全音替换只占 1.79%。其他根音占 33.82%，五度根音占 24.60%，关系根音占 11.40%，性质变化只占 3.41%，无和弦占 4.45%。这里的百分比是事件占比，分母是评分事件质量，不是音质好坏评分。
时间支撑也不同。中央编辑固定改变 4.03 s，而 CNN-CRF 分歧平均占据 10.73 s。在 0.5 秒审计网格上，其他根音与五度根音的改变块份额分别为 39.87% 和 30.23%。这组块份额的分母是 0.5 秒块，与上一段事件质量的分母不同，两者不能直接相减。这意味着回放是分散、异质、长时间的挑战，而中央探针是集中、同质、短时间的挑战。
中央腐蚀 × 完整回放： 中央腐蚀是在 12 秒评分窗中央固定施加 4 秒三全音替换的人工条件，只改变一个集中关系；完整回放是把 CNN-CRF 或 DeepChroma+CRF 对整首混音的预测序列完整送入生成器，包含多种根音、性质与无和弦事件。前者负责提供可控可复现的集中探针，后者负责呈现部署时分析前端实际交付的异质条件，二者搭配后才能区分机制敏感性与运行行为，组合多解决只用一种测试会把集中探针误当部署条件的问题。
因此论文提出配对和弦条件传播协议。固定音轨、种子、上下文、提示、评分窗与生成器，对比局部编辑与完整识别序列的输出后果。3 个贡献分别是引入该协议、证明中央三全音的转移效应更大而支撑与画像匹配能缩小失配、并在两条 ACR 路径上复现校准方向。
从人声到伴奏：一次配对渲染走完哪些步骤？
跟着一条样本走 1 次真实执行顺序。先冻结一条 12 秒窗口的人声与其 47.554 s MIDI-SAG 上下文。对同一混音运行完整 CNN-CRF，得到全曲预测后再裁剪到上下文内，并映射到 MIDI-SAG 的根音加性质和弦词汇表，识别片段保留原始边界。
然后在相同种子下渲染 2 次。第 1 次用冻结基线和弦生成伴奏，记为基线输出。第二次只替换和弦条件，人声、上下文、提示与种子都不动，生成改变条件输出。合成条件使用冻结的中央 4 秒破坏，回放条件使用完整预测序列。全部 180 次中央探针与回放渲染都通过完整性检查。
评分阶段把伴奏转成短时傅里叶变换色度、常数 Q 变换与色度能量归一化统计 3 种特征，英文依次为 short-time Fourier transform chroma、CQT 与 CENS，之后简称 STFT、CQT 与 CENS。所有特征使用 0.5 秒块并在余弦比较前做二范数归一化。先在块内平均种子，再以音轨为推理单位做自举区间与配对检验。
需要区分诊断与确证阶段。18 轨的关系对照与 12 轨子集的占据对照是独立诊断，不参与 30 轨主要转移比较。3 类画像的每轨独立键控构造保留基线上下文，使用 CNN-CRF 的精确改变块掩码并匹配评分窗关系类别计数，但不复制其标签。全部 270 次画像渲染通过音频质量检查，后续 4 种构造的新增 360 次渲染同样保留上下文、提示、窗与种子。
两个端点各量什么，画像距离又如何判定谁更接近回放？
第一个端点是改变目标效应，也就是输出是否向新和弦目标靠拢。对每个改变块，计算改变输出与新模板的相似度减去与旧模板的相似度，再减去基线输出上同样的差值，最后在改变块集合上取平均。正值表示改变输出相对基线更偏向新模板。每个条件有自己的新模板，因此端点是条件特定的，可能超过一。
\[\begin{split}E_{\mathrm{target}}={}&\operatorname*{mean}_{t\in\mathcal{I}}\bigl\{\cos(y_{t},h_{1}(t))-\cos(y_{t},h_{0}(t))\\ &\quad-\cos(x_{t},h_{1}(t))+\cos(x_{t},h_{0}(t))\bigr\}.\end{split}\]第二个端点是内部输出变化与全窗输出变化，也就是输出本身动了多少。前者在改变块上平均基线与改变输出的距离，不引入目标模板；后者在整个 12 秒窗上平均同样的距离。论文在 STFT、CQT 与 CENS 3 个视图下同时报告这两个端点。
改变目标效应 × 内部输出变化： 改变目标效应负责回答生成伴奏是否向改变后的和弦模板靠近，它比较输出与新旧模板的余弦相似度差；内部输出变化负责回答输出本身移动了多少，它只比较基线伴奏特征与改变条件伴奏特征在改变块上的距离，不引入任何模板。前者是目标跟随端点，后者是目标无关端点，二者搭配才能证明校准是输出响应的性质，而不是某一种评分模板带来的假象。
校准比较使用画像距离差。记中央与回放的效应差的绝对值减去画像与回放的效应差的绝对值，正值表示支撑与画像匹配的替代条件更接近回放。CENS 是主要校准视图，CQT 是配对次要视图。
\[\Delta_{\mathrm{profile}}=|E_{\mathrm{central}}-E_{\mathrm{replay}}|-|E_{\mathrm{profile}}-E_{\mathrm{replay}}|,\]改变支撑 × 关系构成： 改变支撑负责记录控制在何处发生变化，即在 0.5 秒审计网格上哪些块被改变以及持续多久；关系构成负责记录变化的音乐性质，即其他根音、五度根音、关系根音、半音根音、三全音根音、性质翻转与无和弦各占多少。只匹配时长不能还原谐波性质，只匹配计数不能还原时间位置，组合后的完整画像才能同时约束回放距离，单独使用都只能消除部分合成与回放之间的失配。
没有训练阶段时，什么被冻结、什么被重算？
本研究明确没有训练阶段，没有更新任何可学习模型参数。生成器检查点在全部比较中保持固定，冻结的还包括人声片段、生成器上下文、提示、评分窗与随机种子组合。更新或重算的只是和弦条件与由此生成的伴奏波形及其特征。
确定性求解的含义在这里是渲染与评分流程固定。种子取 42、123 与 2027，同一音轨的 3 个种子先在音轨内平均，再做 10,000 次音轨级重采样的 95% 自举区间，并用配对双侧 Wilcoxon 检验。论文对主结果 6 组对比使用 BH 校正报告 q 值，对后续构造对比使用 Holm 调整报告 p 值，两处校正方法不同，不能统一改写。
版本化清单、度量表、评估器与绘图脚本使配对结果可复现。画像构造复制回放的改变块掩码与关系计数但不复制标签，标签是独立键控生成的。占据对照只匹配时间支撑，不匹配和弦身份与输入距离，这是理解剩余差距的关键。
三十轨、十八轨与画像构造分别控制了什么变量？
30 轨确证集是从 34 轨评估池的 4,102 个候选中冻结的 12 秒配对窗。候选按人声活跃度、起音密度、浊音均方根与静音排序，再在音区与和声变化单元间平衡。选择发生在生成之前，避免按结果挑选窗口。30 轨用于中央三全音与完整 CNN-CRF 回放的主要对比。
18 轨是独立诊断集，比较 4 秒关系根音替换与同根性质翻转。输入分歧质量接近相等，分别为 0.1059 与 0.1070，3 种子共 108 次渲染。这些音轨与 30 轨确证集不重叠，也不用在主要转移比较中。12 轨嵌套子集做块占据对照，用固定五度根音偏移替换恰好与 CNN-CRF 改变块相同的 0.5 秒块，只匹配时间支撑。
CNN-CRF × DeepChroma+CRF： CNN-CRF 是一条自动和弦识别路径，DeepChroma+CRF 是另一条使用不同声学前端的识别路径，二者都把完整混音解码为根音加性质词汇表的序列并回放进固定 MIDI-SAG 生成器。如果校准方向只在一条路径成立，可能是前端特性的偶然结果，同时在两条路径上复现才能说明支撑与构成是条件传播的稳定坐标，搭配多解决单识别器结论不可靠的问题。
画像校准对每条确证音轨构造 3 个独立键控画像，复制回放的改变块掩码与关系计数而不复制标签。DeepChroma 加条件随机场在 29 条合格音轨上重复校准，共 87 次回放与 261 次画像。4 种构造对比包括精确掩码、仅构成与完整画像，以分离支撑与构成各自的贡献。条件审计显示中央与仅构成探针改变 4.03 s，精确掩码、完整画像与回放条件改变 10.03 s，三处秒数对应不同构造，不能与主对比的 10.73 s 混写。
中央破坏大多少，画像又把距离缩小到多少？
这里回答的比较问题是：在同一音轨、上下文、种子与评分窗下，集中人工条件与完整识别条件的输出后果谁更大。统一条件是 30 条配对音轨、3 个种子轨内平均、STFT、CQT 与 CENS 3 个视图。基线是冻结和声条件，指标方向是改变目标效应与内部输出变化越大表示条件传播越强，画像距离越小表示越接近回放。
结果是中央 4 秒破坏在两个端点与 3 个视图上都大于完整回放。CENS 目标差距在 30 轨中有 29 轨为正，均值 0.462，区间[0.377,0.539]。内部输出在 30 轨中有 28 轨为正，均值 0.146，区间[0.110,0.180]。6 组冻结检验经 BH 校正后仍显著，q≤3.05×10−5。种子特异的 CENS 均值分别为 0.468、0.469 与 0.450，每种子都是 29/30 轨为正，种子间轨排序相关为 0.76-0.77，说明差距不是某 1 次扩散实现驱动。
下表把 3 个视图的 30 轨均值放在同一行内比较，中央三全音列与 ACR 回放列直接相邻，目标效应与内部输出分开成两组，便于核对放大效应的全面性。表中数字是实测响应差，不是音质得分。
| 视图 | 改变目标效应-中央 4 秒三全音 | 改变目标效应-ACR 回放 | 内部输出变化-中央 4 秒三全音 | 内部输出变化-ACR 回放 |
|---|---|---|---|---|
| STFT | 0.268 | 0.167 | 0.105 | 0.081 |
| CQT | 0.902 | 0.505 | 0.526 | 0.421 |
| CENS | 1.045 | 0.583 | 0.598 | 0.451 |
读完这张表可以看到，中央探针即使只改变 4.03 s，也超过平均占据 10.73 s 的回放，CENS 目标效应从 0.583 抬到 1.045，内部输出从 0.451 抬到 0.598。同时要看到的反例是回放并非无响应，它在 CENS 仍有 0.583 的目标效应，只是不如集中三全音强烈。这张表没有分离是时长、位置还是关系类型在起作用，需要支撑对照与构成分析继续分解。
支撑与画像匹配则大幅缩小回放距离。CENS 画像增益均值 0.384，30 轨全为正；CQT 增益均值 0.328，29/30 轨为正。在 29 条 DeepChroma 路径上方向相同，CENS 与 CQT 增益分别为 0.408 与 0.353。目标无关的改变块输出距离同样缩小，CENS 与 CQT 增益分别为 0.122 与 0.080，说明校准是输出响应的性质。完整 30 轨构造分析中，CENS 回放距离均值分别为中央 0.482、精确掩码 0.115、仅构成 0.117、完整画像 0.098，CQT 为 0.412、0.094、0.108 与 0.085，联合画像最低。
文字数字说明了均值与显著性，但不能显示 18 轨是否全胜以及 4 种构造的距离分布是否分离，这张图正好补上这两个机制与校准诊断。
看图路径： 1. 先看上面板同一音轨的灰线：左侧性质翻转点与右侧关系根音点的纵轴高度差；2. 再看上面板右下角 18/18 higher 与 2.88×标注对应的均值大点位置；3. 接着看下面板横轴到回放距离：中央行与支撑、构成、画像三行的圆点与方块位置；4. 最后比较下面板支撑行与画像行的区间条是否都远离中央行并靠近零
论文图 2。原论文 Figure 2:：“Mechanism and calibration diagnostics.”。
论文图 2 上面板纵轴是 CENS 全窗输出变化，横轴左侧为性质翻转、右侧为关系根音变化，每条灰线连接同一音轨，右侧大红点高于左侧大蓝点，右下角标注 18/18 higher 与 2.88×。下面板横轴是到 CNN-CRF 回放的距离，纵轴从上到下为中央、支撑、构成与画像，圆点为 CENS、方块为 CQT 并带 95% 轨自举区间，中央行远在右侧约 0.4 到 0.5，其余三行都压缩到 0.1 附近且画像行最低。这支持关系类型决定响应强度，而支撑与构成任匹配其一都能大幅缩小距离，二者联合最接近回放。
换根音与换性质剂量相近时，输出差多少？
这里回答的第二个比较问题是：响应强度跟随的是扰动剂量还是和弦关系。统一条件是 18 轨诊断集、4 秒替换、符号分歧质量接近相等。基线仍是冻结和声条件，指标是 CENS 全窗输出变化与配对改变目标优势。
关系根音替换在全部 18 轨上都超过同根性质翻转，CENS 全窗输出变化平均为 2.88-fold，配对改变目标优势为 0.251，区间[0.208,0.292]。STFT 与 CQT 比率分别为 1.89 与 3.41。冻结和弦编码器也分离这 2 个条件，距离分别为 0.004085 与 0.002932。关系对照匹配了符号分歧质量 0.1059 对 0.1070，说明效应跟随和弦关系而非扰动剂量。
下表把关系对照与回放构成放在同一框架下，便于核对剂量相等但响应不等，以及回放中三全音占比极低。表中回放背景列的百分比仍是事件占比。
| 比较维度 | 关系根音条件 | 性质翻转条件 | 比值或差距 | 回放背景 |
|---|---|---|---|---|
| CENS 全窗输出变化 | 较高 | 较低 | 2.88-fold | 根音变化占 76.12% |
| 配对改变目标优势 | 0.251 | 基线 | CI [0.208,0.292] | 三全音仅占 1.79% |
| STFT/CQT 比率 | 较高 | 较低 | 1.89/3.41 | 其他根音 33.82% |
| 符号分歧质量 | 0.1059 | 0.1070 | 近相等 | 五度根音 24.60% |
| 编码器距离 | 0.004085 | 0.002932 | 可分离 | 性质仅 3.41% |
读完这张表可以看到，剂量几乎相等时关系变化仍带来近 3 倍输出变化，说明谐波功能比扰动量更重要。同时要看到的反例是性质翻转并非零效应，它仍有可测输出变化，只是显著弱于换根音。这张表不能推出中央三全音与回放的差距完全来自关系类型，因为支撑时长也不同，需要占据对照补上另一半解释。
占据对照精确匹配改变时长，均值 10.75 s，输入距离与回放相近，0.639 对 0.599。此时 STFT 目标效应与回放持平，0.166 对 0.178，但 CQT 与 CENS 目标差异为 -0.076 与 -0.069，CENS 内部输出仍低 -0.047。匹配时间占据恢复了大部分转移，但剩余差距与关系构成有关：精确窗内其他根音份额在控制输入质量后与 CQT 与 CENS 改变目标效应相关，系数 0.600 与 0.589。这支持支撑与构成是两个有用的描述维度，但相关性本身不证明统计独立，也不证明所有剩余差距已被关系构成因果解释。
哪些边界没有被评测，什么结论不能下？
首先是生成器单一。全部回放都经过同一个固定 MIDI-SAG 生成器，论文明确把生成器检查点保持固定。支持的是在该条件器下评估规则跨两条识别路径稳定，尚不能判断换一个生成器或换一种和弦词汇表后，同样的支撑与构成坐标是否仍以相同幅度缩小距离。
其次是数据与窗的范围。确证为 30 条 12 秒配对窗，诊断为 18 轨，DeepChroma 重复为 29 条合格轨。统计以音轨为单位并做自举与配对检验，但仍是有限池内的结果。论文报告了未胜出项，例如占据对照在 CENS 内部输出仍低于回放，说明只匹配时长不够，这本身就是边界，而不是可以忽略的细节。
最后是单一度量不能代替结构。论文强调两个控制流可以有相近的分歧量却驱动不同伴奏响应，因此单一和弦错误率不足以评估 SAG。缺少的对照是如果只报告错误率而不报告支撑与构成，会把集中探针误当部署条件。本文没有提供跨语言、跨风格或实时延迟的测量，这些都属于未评测边界。
要复现配对比较，先冻结什么、再渲染什么？
第一步冻结评估单元。按人声活跃度、起音密度、浊音均方根与静音排序候选并平衡音区与和声变化，选择后不再按结果调整。对每条选定窗固定 47.554 s 上下文、提示、12 秒评分窗与种子 42、123、2027。
第二步生成两种条件。对完整混音运行 ACR 并裁剪到上下文，保留原始边界并映射到根音加性质词汇表，得到回放序列；另做中央 4 秒三全音合成条件。同一音轨、种子下分别渲染基线与改变条件，只改变和弦序列。检查音频完整性，轨内先平均种子再做音轨级推断。
第三步评分与校准。计算 STFT、CQT 与 CENS 下的改变目标效应、内部输出与全窗输出变化。需要测试机制时再加局部编辑，例如关系根音对性质翻转；需要接近回放时构造支撑与画像匹配的替代条件，复制改变块掩码与关系计数但不复制标签。观察偏离预期时先核对掩码对齐、词汇表映射与种子平均顺序，再检查是否把不同视图的端点混用。
常见误解有 3 个。其一，基线不是专家参考，只是冻结和声条件，不能当作正确伴奏。其二，画像匹配不是复制回放标签，它只复制支撑与计数，标签是独立键控生成的。其三，代码与派生度量表是公开仓库，但这不等于可下载权重或可运行产品，3 种状态要分别按证据说明，本文证据只支持代码与度量表可得。
什么时候用局部探针，什么时候必须做完整回放？
如果目标是识别哪种谐波关系更能驱动生成器，就用局部探针。关系根音变化在剂量相等时显著强于性质翻转，这类命名干预适合做机制测试。此时应报告全窗与改变块两个端点，并说明扰动时长与符号质量，避免把 1 次集中效应当成整体鲁棒性。
如果目标是声称部署系统的行为，就必须做完整回放。冻结人声、上下文、提示、种子与评分窗，渲染基线与完整识别序列并评分其配对输出变化。中央破坏与完整条件不是同一测试的可互换版本，论文在 29 轨与 28 轨上的正差距以及画像在两条路径上的一致增益都支持这一分离。
支撑与画像匹配是中间的受控条件。它保留干预控制，同时匹配驱动回放的时间与关系结构。报告时把局部响应放在回放距离旁边：大局部效应建立对命名音乐干预的敏感性，小回放距离建立对识别器条件运行情况的保真度。控制序列是评估的基本组成部分，不是错误率的中性载体；支撑决定在何处挑战生成器，关系构成决定挑战的谐波性质。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses