📄 生成评价里核距离在有限样本下能看见什么：KID 与 KAD 的灵敏度审计
英文题目：Finite-Sample Sensitivity of Kernel Metrics for Generative Evaluation
评分：6.5/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Tomasz Radzikowski：机构信息未能在本次解析中与作者逐人可靠绑定
- Mateusz Modrzejewski：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
读者需要理解的对象是生成评估报告的核距离数值，它比较生成样本集合与参考样本集合在嵌入空间中的分布差异，困难在于数值大小同时受核形状、嵌入几何和样本量影响，默认配置在某个样本量下能看见哪类差异并不透明。方法先从符号音乐、音频与图像的真实嵌入中抽样构成两侧样本，对其中一侧分别施加均值平移、各向同性收缩和保持均值与协方差迹且匹配传输距离的旋转，输出待检样本对。接着将该样本对送入两个固定的出厂核配置：核内inception距离用三次多项式核，核音频距离用中位数启发带宽的高斯核，计算无偏MMD统计量。再以500次标签置换在显著性水平0.05下判定拒绝与否，以拒绝次数为指标，从而分离位置、总尺度与方向灵敏度。在每侧780个样本、每格20次抽样的五个空间置换检验中，以拒绝次数为指标，收缩探针下中位数带宽高斯核均为20/20，高于三次核至多6/20。在同样设置的匹配传输距离探针置换检验中，以拒绝次数为指标，均值平移下两个默认配置均为20/20，高于弱旋转至多4/20。在CLaMP 2嵌入同样本抽样旋转探针检验中，以拒绝次数为指标，0.05倍中位数平方距离带宽为20/20，高于中位数启发带宽2/20。上述结论只适用于所选编码器与构造探针，不证明模型排序或感知优劣，三次核大样本旋转灵敏度尚未验证；原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 第三方资源：https://github.com/IraKorshunova/folk-rnn — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
生成评价要比较的是什么，核距离在其中做什么
生成评价的输入是两组嵌入向量，一组来自参考库，一组来自模型输出，目标是判断两个样本集所代表的分布是否不同。嵌入来自符号音乐的 CLaMP 2、音频的 VGGish 与 PANNs、图像的 Inception 等编码器，维度从 128 到 2048 不等。评价者把两组点云各取 n 个样本，算一个标量距离，距离小就认为模型更接近参考。
Fréchet 族做法是对嵌入做高斯拟合再比较均值与协方差，核距离做法是不做高斯假设，直接用核函数比较分布。KID 用三次多项式核，KAD 用带宽由中位数启发式决定的高斯核。本文不比较听感好坏，只审计在给定样本量下，默认配置能检出哪类分布变化。也就是说，报告的数值大小本身不说明看到了什么，必须同时说明样本预算和该预算下可检出的变化类型。
已有路线在比什么，本文的审计位置在哪里
已有评价研究比较了 3 条路线。第一条是 Fréchet 距离与 FAD、FMD，它们的小样本偏差促使人们提出无偏核估计。第二条是核双样本检验理论，说明核的选择决定功效，高斯核功效随维度下降，高维下检验主要响应均值与方差差异。第 3 条是多样性与覆盖度诊断，如 Vendi 分数与精度召回类统计。
本文与它们输入和目标都不同。它不提出新生成模型，也不做听感对齐，而是把已发布的 KID 与 KAD 默认配置当作被测对象，在真实嵌入分布上施加已知变换，再跑置换检验看拒绝比例。与同时期在 CIFAR-10 上跑 KID 的研究相比，本文覆盖符号音乐、音频与图像 5 个评价空间，样本量从 195 到 20000 每侧，并把中位数启发式单独作为审计对象。
默认核距离报告一个数，为什么可能看不见形状变化
问题在于每个默认配置只带一个固定核，而一个数值无法说明它对哪类变化敏感。宽高斯核主要加权均值差异，窄核才能看到更细的形状差异，但默认的中位数带宽落在较宽一端。三次核虽然数学上包含协方差项，有限样本下整项统计量的信噪比仍可能很低。
更难的是敏感度同时依赖嵌入几何与样本量。同一带宽在音乐音频上有效，在图像 Inception 特征上可能无效；780 每侧样本下看不见的旋转，在 10000 样本下可能可见。若只报告距离值而不报告样本量和可检变化，读者会把看不见当成不存在。本文因此把功效测量做在真实嵌入上，而不是合成高斯玩具数据上。
审计的整体流程是怎样的
流程沿一个样本讲最清楚。从固定语料库中抽两个不相交子集 A 与 B，各 n 个点。对 B 施加恰好一个已知映射 T，得到变换后样本。映射有 3 类主干：均值平移、向均值收缩的各向同性收缩、保持均值与协方差迹的旋转。另有低秩旋转、首主成分膨胀收缩与覆盖丢失等扩展构造。
然后用待测核配置算无偏平方最大均值差异估计，做 500 次标签置换的显著性水平 0.05 检验，记录是否拒绝。每个格子重复 20 次独立抽样与变换，中间计数落到 3 到 17 之间时扩到 50 次。强度用 2-Wasserstein 距离匹配，使旋转在输运距离下不小于被比较的平移，这样功效差异不能用强度更小来解释。
被测的核配置与对照各负责什么
被测对象有两个默认配置。KAD 默认是高斯核，带宽取样本间中位数距离；KID 默认是三次核(1+x 转置 y/d) 的三次方。对照包括高斯带宽取中位数平方距离固定倍数的系列、ℓ1 距离上的指数核即 Laplace 型核、MMDAgg 聚合检验，以及 Fréchet 距离置换检验。窄窗口指 0.05 倍中位数平方距离的高斯核，是音乐音频上恢复旋转灵敏度的关键对照。
最大均值差异 × 高斯核： 最大均值差异是在再生核希尔伯特空间中比较两个分布均值嵌入距离的框架，高斯核提供按欧氏距离衰减的相似度；二者搭配后，带宽决定了多大尺度的差异会被放大，带宽过宽时检验主要只对均值差异敏感。
三次核 × 中位数启发式： 三次核指 KID 默认的(1+x 转置 y/d) 三次多项式核，它显式包含一至三阶矩信息；中位数启发式指 KAD 把高斯带宽取为样本间中位数距离的做法，它随嵌入空间尺度自适应，但也把检验的工作点固定在较宽的一端。
三次核的总体差异可精确拆成均值、2 阶矩与 3 阶矩三项之和，权重分别为 3/d、3/d 平方与 1/d 三次方。
\[\mathrm{MMD}^{2}_{k}(P,Q)=\frac{3}{d}\|\Delta\mu\|^{2}+\frac{3}{d^{2}}\|\Delta M_{2}\|_{F}^{2}+\frac{1}{d^{3}}\|\Delta M_{3}\|_{F}^{2},\]高斯核在宽带宽下首项是均值平方差除以带宽平方，协方差差异只进高阶项。
\[\mathrm{MMD}^{2}_{k_{\sigma}}(P,Q)\;=\;\frac{\|\mu_{P}-\mu_{Q}\|^{2}}{\sigma^{2}}\;+\;O(\sigma^{-4}),\]等均值高斯情形下首项退化为迹差与 Frobenius 范数差的组合除以带宽四次方。
\[\mathrm{MMD}^{2}_{k_{\sigma}}(P,Q)\;=\;\frac{(\operatorname{tr}\Sigma_{P}-\operatorname{tr}\Sigma_{Q})^{2}\,+\,2\,\|\Sigma_{P}-\Sigma_{Q}\|_{F}^{2}}{4\sigma^{4}}\;+\;O(\sigma^{-6}).\]这些展开说明核保留了什么信息，但不直接给出有限样本功效，功效仍需实测。
没有训练时实际执行的是什么计算
本文没有训练任何生成模型或核参数，被测核都是发布时的默认规则。实际执行的计算是嵌入提取之外的检验计算：算核矩阵、算无偏平方最大均值差异估计、做 500 次置换得到 p 值。MMDAgg 用 mmdagg 1.0.0 包默认的核集合与校准流程，不做逐比较调参。
置换检验 × 功效： 置换检验是把两组样本标签随机重排 500 次构造零分布、再看观测统计量是否极端的校准方法；功效是在固定显著性水平下对真实差异的拒绝比例，本文用 20 次或 50 次独立重复估计它，重复次数少时只能作描述性区间。
真实模型对比较不经过中心化，直接跑全流程。另有一组描述性分析把两侧各自减去自身均值后再置换，这种预处理使观测分裂与置换分裂受到不同处理，线性核下观测分裂恰是统计量最小的分裂，因此作者明确说明它不估计校准功效。Fréchet 检验在 2048 维时因协方差估计困难降到每侧 390 样本并用 100 次置换，与核检验不是同预算对比。
五个评价空间与三种匹配强度的构造条件
5 个评价空间是 folk-rnn 语料的 CLaMP 2 嵌入 768 维、FMA 派生音频的 VGGish 128 维与 PANNs 2048 维、CIFAR-10 与 STL-10 共享 Inception 编码器的 2048 维特征。主网格每侧 780 样本，是符号音乐最小流派子集的规模。弱强度 s 为 0.1，强强度 s 为 0.5。旋转的偏斜部分按 s 除以 2 倍根号 d 缩放，保持均值与协方差迹不变。
均值平移 × 协方差迹不变的旋转： 均值平移是把一侧样本整体沿随机方向移动，均值变而形状基本不变；协方差迹不变的旋转是用正交 Cayley 变换转动去均值后的点云，保持均值、协方差迹和特征值不变，只改变方向结构，二者用 2-Wasserstein 距离匹配强度后可比。
匹配用高斯近似下的 Bures 公式算 2-Wasserstein 距离。对平移与收缩该公式是精确距离，对非高斯点云的旋转只是 Gelbrich 下界。把旋转下界与平移精确距离对齐到相等甚至 1.07 到 1.37 倍，再用二分校到 s 约 0.073 到 0.093，结果不变。等输运距离不等于等感知重要性，作者只用它固定比较基准。未变换对照的经验水平在主网格每格至多 3/20，说明检验校准基本正常。
每侧 780 样本下默认配置能看见平移但看不见旋转
先看高斯带宽扫描的教学图，左为保持均值与协方差迹的旋转，右为输运距离不更大的均值平移，横轴是带宽相对中位数平方距离的倍数，空心点为中位数启发式，纵轴是显著性水平 0.05 下的拒绝比例。检验流程是每格独立抽取每侧 780 样本并施加一种扰动，再用无偏 MMD 估计加 500 次置换判定，控制组用于估计经验水平。
看图路径： 1. 先看左图旋转面板在中位数启发式处的拒绝率是否贴近名义水平；2. 再看右图平移面板在同一带宽处是否已达到满功效；3. 比较 0.05 倍中位数处的旋转曲线在音乐音频三条线上是否同时抬升；4. 注意 0.01 倍最窄端两类变化是否同时回落，理解窗口是双侧的
论文图 1。原论文 Figure 1:：“Gaussian-kernel MMD rejection rates for a rotation that keeps the mean and the covariance trace (left) and for a mean shift (right), at n=780 per side and level 0.05, against the…”。
左图在中位数启发式处 4 条线都贴近底部，右图在同一位置 4 条线都达到顶部，这种反差就是本节核心：中位数高斯在音乐音频上对弱旋转至多 4/20，对匹配平移则是 20/20；三次核同样对旋转至多 2/20，对平移 20/20。Inception 上中位数与三次核对旋转都是 3/20。按发布实现换算成噪声标准差单位，等输运旋转只移动 KID 与 KAD 不到 1 个标准差，而平移移动 9 到 29 个标准差。
下表是每侧 780 样本的主结果汇总，音乐音频格为 3 个空间上的范围，窗口指 0.05 倍中位数平方距离的高斯核，破折号表示该格未运行，2048 维空间的 Fréchet 用每侧 390 样本因而不可直接比预算。
| 变化 s=0.1 | 空间 | 中位数高斯 | 三次核 | 窄窗口 | MMDAgg |
|---|---|---|---|---|---|
| 均值平移 | 音乐音频 | 20/20 | 20/20 | 20/20 | 未运行 |
| 均值平移 | Inception | 20/20 | 20/20 | 20/20 | 20/20 |
| 各向同性收缩 | 音乐音频 | 20/20 | 0-3/20 | 未运行 | 未运行 |
| 各向同性收缩 | Inception | 20/20 | 4/20 | 20/20 | 未运行 |
| 旋转 | 音乐音频 | 1-4/20 | 0-2/20 | 20/20 | 18/20-50/50 |
| 旋转 | Inception | 3/20 | 3/20 | 26/50 | 20/20 |
从比较问题看，该表同时检验位置、尺度与方向 3 类差异，收缩行的跨空间合并需要谨慎。第一，收缩行音乐音频三次核 0-3/20 是 3 个空间的范围，Inception 收缩三次核 4/20 是另一表示空间的结果，不能合并成 0-4/20 的跨空间范围。第二，窄窗口与 MMDAgg 在收缩音乐音频格是未运行，不是零功效。第三，Inception 窗口 26/50 来自主网格的 50 次扩展，与后文样本量扫描的同带宽 5/20 不在同一重复口径下，不能混为一行。
收缩如何把两个默认配置分开
收缩与平移在 s=0.1 时输运距离相等，这是关键公平条件。中位数高斯在 5 个空间对收缩都是 20/20，而三次核在音乐音频至多 3/20，在 Inception 为 4/20。也就是说，高斯默认同时响应位置与总体尺度，三次核在此样本量下主要响应位置。附录用二分把收缩强度精确匹配到平移距离，s 仍为 0.100，结论不变，两次独立运行的同格差异至多 3 次。
覆盖丢失的结论依赖构造。去掉 k 均值最大簇一半会移动均值，默认配置通过位移检出它；减去诱导的均值位移后，默认配置大多错过剩余差异。把删除点用不相交储备回填的干净构造下，窄窗口与 MMDAgg 的检出率随空间而变；删除位移最小簇的构造下，所有 4 个配置包括 MMDAgg 与 Fréchet 都只有 0-7/50。
因此窄带宽能检出覆盖丢失只在减法构造下成立，不能推广到一切小位移覆盖变化。唯一跨构造稳定的是三次核的弱点：向簇中心收缩的塌缩被中位数、窗口与 MMDAgg 几乎全检出，而三次核在强度 0.1 时只有 0-2/20。
图像上多一个数量级样本能让中位数高斯恢复功效
再看 CIFAR-10 Inception 特征上的样本量扫描，左为匹配平移的旋转，右为 DDPM 对 CIFAR-10 在两侧各自中心化后的描述性结果，虚线为名义水平 0.05，20 次重复到 5000，10000 用 10 次，20000 用 5 次。实验按附录 A.18 的旋转臂组织，每格独立抽样并固定 500 次置换，旋转与平移按 2-Wasserstein 距离匹配，样本量从 780 逐档增至 20000 以观察中位数带宽何时恢复功效。
看图路径： 1. 先看左图横轴样本量从 780 到 20000 时中位数启发式蓝线的爬升位置；2. 比较同图三次核红线是否始终贴近底部虚线；3. 再看窄带宽绿线与 MMDAgg 黑线在 2500 处是否已先达到满功效；4. 右图为两侧各自中心化后的描述性结果，不按校准功效解读
论文图 2。原论文 Figure 2:：“Rejection rates against samples per side on Inception features of CIFAR-10, with descriptive Wilson 95% intervals.”。
左图可见中位数蓝线在 780 与 2500 处停留低位，从 5000 爬升，到 10000 起每轮全拒绝；三次核红线始终贴底；窄窗口绿线与 MMDAgg 黑线在 2500 起已全拒绝。右图因两侧各自中心化改变了观测与置换标签的对称性，只能作描述，不能当作校准功效比较去均值后的差异。
下表严格采用附录样本量扫描的旋转臂口径，与主网格的同名格子口径不同，20000 端重复只有 5 次，MMDAgg 在旋转臂 20000 未运行。
| CIFAR-10 旋转 每侧样本 | 中位数高斯 | 三次核 | 0.05 窗口 | MMDAgg |
|---|---|---|---|---|
| 780 | 3/20 | 2/20 | 5/20 | 20/20 |
| 2500 | 3/20 | 0/20 | 20/20 | 20/20 |
| 5000 | 17/20 | 1/20 | 20/20 | 20/20 |
该表比较的是同一旋转构造在不同样本预算下的检出率，条件是 Inception 特征、CIFAR-10 语料与附录 A.18 的抽样口径。主网格 Inception 旋转中位数 3/20 与三次核 3/20、窗口 26/50 是另一组记录，不应混入上表 780 行；上表 780 行窗口 5/20 来自扫描的 20 次口径。20000 端 5 次全拒绝不能确立趋势，作者明确说未确立三次核的高功效区间。合成 768 维高斯实验同样显示中位数代理需要比窄带宽多约一个数量级样本才能满功效，这与本表爬升形态一致。
恢复灵敏度的核取决于嵌入，哪种替换在何处有效
音乐音频上固定窄高斯带宽就足够，0.05 到 0.1 倍中位数平方距离时旋转检出 18-20/20，高斯聚合在三空间至少 84% 功效。但带宽窗口是双侧的，0.01 倍最窄端平移检出跌到至多 4/20。图像上最好单高斯带宽只有 26/50，高斯聚合只有 5/20，说明只调高斯带宽不够。恢复手段的执行顺序是先固定每侧 780 样本与 500 次置换的基线，再分别切换带宽倍数、核族与聚合策略，同一旋转强度下比较检出率，从而分离带宽效应与核族效应。
MMDAgg × 窄带宽高斯核： 窄带宽高斯核是把方差取为中位数平方距离 0.05 倍左右的单一核，对局部结构更敏感但需预先选对带宽；MMDAgg 是在多个高斯与 Laplace 核上做聚合校准的检验，不用预先猜中成功的核族，但要付出约 16 倍单核的计算时间。
此时在中位数尺度把欧氏距离换成ℓ1 距离的指数核达到 20/20，而同尺度ℓ2 指数核只有 5/20，高斯只有 3/20。改变平滑度与尾重的 Matérn 与有理二次核都不能复现差距，作者因此把解释归于范数而非平滑或尾重。该ℓ1 优势在主成分截断后消失，说明它是全空间表示的特性。聚合检验在五空间弱旋转达到 18/20 到 50/50，合并经验水平 13/260，但对最小位移模式丢失仍无力。
| 恢复手段 | 音乐音频旋转 | Inception 旋转 | 代价与限制 |
|---|---|---|---|
| 窄高斯 0.05 倍 | 20/20 | 26/50 | 需预选带宽，过窄丢平移 |
| ℓ1 指数核中位数尺度 | 未主测 | 20/20 | 仅全空间有效，截断失效 |
| MMDAgg 默认 | 18/20-50/50 | 20/20 | 约 16 倍单核耗时 |
| 增大到 10000 每侧 | 未重点测 | 中位数 10/10 | 小流派子集拿不到该预算 |
表后补充低秩证据有助于理解何时旋转更易被看见。协方差差异前 5 个特征方向占平方 Frobenius 范数 40-87%，秩 1 膨胀收缩比旋转易检，中位数对秩 1 缩放达 40-50/50 而三次核只有 0-8/50，沿随机方向的同等缩放则所有配置至多 2/20，说明沿主方差方向的变化更易被看见。
这些结论在什么条件下才成立
第一，探测变化是人工构造，不是具体生成器故障模型。输运距离更大不代表感知更重要，高拒绝率也不直接等于更好的模型排序，只能当作配置与预算的审计。第二，重复抽样是在固定语料库内重抽，所有区间只描述以该库为条件的变异，两个图像空间还共享同一编码器。第三，20000 端只有 5 次重复，10000 端只有 10 次，不能据此断言趋势；中间计数扩展到 50 次的格子因依赖第一批结果，区间只是描述性。
第四，两侧各自中心化的真实模型对分析只是描述性，因预处理区别对待观测与置换标签，不能当作去除位置差异后的校准功效。第五，Fréchet 在 2048 维降到 390 样本，与核检验预算不同，不能直接比优劣。第六，未运行 MDD-FUSE、学习核、分类器检验与 CLIP 空间的 CMMD，学习核还需数据划分，在 780 样本下代价高。第七，未做感知验证，误判率延迟成本也未承诺改善。
复现第一步做什么，需要哪些信息条件
复现从固定语料与嵌入开始。符号音乐用 folk-rnn v2 训练集 23636 首转单 ABC 文件，音频用 FMA 派生 8 流派 1999 clips，图像用 CIFAR-10 与 STL-10 的 Inception 特征。扰动种子由失真索引、强度索引、重复索引与全局种子确定性派生，Cayley 旋转偏斜缩放为 s 除以 2 倍根号 d，与某些工具包默认的 2 倍强度约定不可直接比数值。检验先计算无偏平方最大均值差异估计，再做 500 次标签置换并在 0.05 水平下判定，MMDAgg 用 mmdagg 1.0.0 默认聚合与校准流程，Fréchet 与覆盖类统计按附录预算执行。
检验参数是无偏平方最大均值差异估计加 500 次置换、显著性水平 0.05，MMDAgg 用 mmdagg 1.0.0 默认。每个格记录种子，结果文件按格存放，脚本可向作者索取。符号语料公开在第三方 folk-rnn 仓库链接，论文只证明该链接被提到，不证明作者已开源全部代码。嵌入提取外，单次检验耗时如下，MMDAgg 代价随样本量快速上升。
| 每侧样本 Inception 2048 维 500 次置换 | 中位数高斯秒 | 三次核秒 | 窄窗口秒 | MMDAgg 秒 |
|---|---|---|---|---|
| 780 | 0.8 | 0.6 | 0.6 | 10 |
| 5000 | 23 | 20 | 23 | 359 |
表前已说明这是单 CPU 固定线程、扣除嵌入提取的时间，表后要补一句执行含义：若预算只够 780 每侧，就不要指望默认配置看到旋转类形状差异，应先跑窄带宽或聚合检验的预审计。温度扫描与复制注入等扩展因重复结构与依赖问题需另看附录，不能与独立样本检验混用同一校准。
什么时候值得尝试，还缺哪项验证
当评价预算是每侧数百而非上万，且关心多样性、方向结构或覆盖而不仅是均值偏移时，值得先做本文式审计：用匹配输运距离的平移作参照，看默认 KID 与 KAD 在当前嵌入与样本量下对旋转与收缩的功效，再决定是否加窄带宽、ℓ1 核或 MMDAgg。报告核距离时应同时写样本量与该配置在此预算下能检出什么，这是作者建议的报告规范。
容易误解的是把三次核包含协方差项当成它能检出协方差变化。公式上总体差异确实含协方差，但有限样本下全统计量信噪比决定功效，780 样本下它对收缩与旋转都弱。另一个误解是把中心化后真实模型对的拒绝率当成去位置后的优劣排名，原文已声明那只是描述性。
还缺的验证是感知对齐与具体故障建模：更大输运距离是否对应人耳或人眼可感的退化，以及模型对模型的细粒度比较中哪种配置排序更可靠，都未测量。下一步应补独立数据的平移估计后检验、跨库重复，以及在新编码器上的带宽重审计，而不是直接把某一窗口当成通用最优。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses