📄 只知道脏在哪里,能否把干净信号找回来:SORD 的支持引导去污染
评分:7.8/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Alireza Kheirandish:机构信息未能在本次解析中与作者逐人可靠绑定
- Sara Fridovich-Keil:机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
待恢复对象是被局部结构化污染破坏的干净信号,输入为观测值y与二值损坏支撑集合Ω,输出为对干净信号x的估计,难点是支撑内污染结构复杂且分布未知,无法用高斯似然直接描述。方法先用扩散修复得到初始猜测,只信任支撑外观测,直接保留支撑外像素而把支撑内视为待生成内容,得到与干净先验一致的起点。接着用当前估计与支撑内观测作差得到估计残差,将其加噪到自适应噪声水平后,用仅在干净信号上预训练的扩散模型去噪,以滤除不符合干净先验的污染成分,输出精修后的残差估计。随后按测量一致性把精修残差回代得到中间信号,再用干净信号扩散模型精修信号本身,如此交替更新,并用多样本分歧估计不确定性决定停止,下一轮以前一轮估计作为输入。在64×64的100张CelebA人脸叠加MNIST数字的局部污染评测中,支撑内区域峰值信噪比PSNR为27.16 dB,高于去掉扩散残差去噪步骤的变体的24.28 dB。在以钢琴为目标的Slakh2100局部干扰评测中,该方法对未建模乐器与语音干扰更稳健,但在部分已建模干扰上弱于需为每个声源配备单独扩散模型的多源扩散模型。该结论仅在已知准确支撑且污染近似满足加性假设时成立,水印按不透明度加权合成、阴影为相乘衰减均偏离该假设故只能持平或弱于专用监督模型,支撑被低估、腐蚀或错位会把残留污染视为可信观测而留下可见残留,支撑未知或需同时估计支撑的情形尚未验证,且原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 代码相关资源:https://github.com/voilalab/SORD — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇论文要解决什么样的日常损坏?
可以把任务想成一张脸被手写数字盖住一块、一张照片被水印盖住一条、一块阴影压住地面纹理,或者一段钢琴录音中间混进几秒钟别的乐器和人声。输入是被污染后的观测 y,目标是恢复原来的干净信号 x。论文只研究污染集中在一块已知区域的情形,图像上是空间块,音频上是时间窗,记作支持 Ω。区域外的观测被当作可信并全程保留,区域内的观测既含干净成分又含未知结构污染。
难点在于污染不是简单高斯噪声,而是有语义的结构,比如数字笔画、自然图像块、水印字母、阴影明暗变化、另一件乐器。论文明确不要求成对的干净污染样本,也不假设污染服从已知参数分布,不为每种污染训练生成模型。唯一可用的学习部件是一个在干净信号上训练好的扩散模型,它知道干净人脸、干净自然图像或目标乐器大概应该是什么分布。问题于是变成:只知道哪里脏了,加上知道干净应该长什么样,能否把脏块里残留的干净信息抢救回来。
已有三条路线各缺了什么?
第一条是监督修复,为某种水印或阴影专门训练从脏到干净的映射。输入输出都是成对数据,训练阶段见过哪种污染,部署时就只能处理相近污染,换一种水印或阴影就容易失效。第二条是带先验的后验采样修复,把污染区直接当作缺失,用干净先验做修复。它的观测模型往往假设高斯或泊松等简单似然,遇到手写数字、图像块这类强结构污染时,简单的噪声假设解释不了残差。第三条是源分离,为干净源和污染源各学一个扩散先验,再联合推断两个成分。它能表示更复杂的污染,但需要污染类的训练数据和先验,遇到训练时没见过的乐器或语音就不占优。
本文的切入点是把对污染分布的假设换成对污染位置的假设。位置信息在很多场景更容易得到,也有异常检测和分割方法可以估计。论文不把污染区丢掉,而是把它当作相对干净分布的局外污染,通过交替分解逐步重用其中的信息。
输入、掩膜和评价口径是什么?
图像实验把干净人脸记作 x,污染记作 n,掩膜把污染限制在已知支持 Ω 内。音频实验把目标乐器记作 x,干扰记作 s,增益 g 控制干扰窗内的信干比,掩膜同样只在时间窗内起作用。水印实验遵循透明度混合,阴影实验遵循乘性衰减,但 SORD 推理时并不被告知真实透明度图或衰减场的具体数值,只知道支持位置。
评价时图像只在 Ω 内计算峰值信噪比,避免未被污染的大面积背景把分数拉平。音频只在干扰窗内计算尺度不变信干比提升量,即分离后相对混合输入的改善。比较是否公平取决于是否用同一干净先验、同一支持、同一数据划分和同一指标窗口,论文在主要对照中保持了这些条件。指标都是越大越好,但只反映区域内平均误差或能量比,不直接等于主观听感或语义正确性。
SORD 的整体流程是怎样的?
可以沿着一个被数字盖住的人脸样本走一遍。先用扩散修复把污染区当作缺失,根据污染区外的脸部上下文生成多个候选补全,这是起点。然后进入循环:用当前人脸猜测减去观测得到污染残差,精炼残差,用精炼后的残差从观测中减出新的信号猜测,再用干净先验精炼信号猜测并把可信区强制贴回观测。每一轮结束时计算多个候选在污染区内的分歧,作为不确定性;分歧大则下一步加噪多一些,分歧下降变慢则停止并输出多个候选的平均。
整个过程只用一个干净信号的去噪器和一个修复算子。论文图像用 RePaint 做初始化,用 DDIM 做去噪步骤,音频用相应的目标乐器先验。并行样本数 K 和最大轮数 M 控制计算量,图像主实验用 32 个样本和最多 6 轮,音频主实验用 64 个样本。最终输出不是单次采样,而是多个样本的均值。
为什么先做修复初始化,再交替分解?
直接把污染区观测拿来减污染是不可行的,因为一开始既不知道干净脸也不知道数字长什么样。先修复相当于给迭代一个合理的起点:它只看污染区外的脸,保证起点符合干净分布且与可信区衔接。代价是起点丢掉了污染区观测中可能残留的眼睛、皮肤纹理等信息。
交替分解就是为了把这部分信息捡回来。论文把观测建模为干净信号加只在支持内的污染。
\[y=x+M_{\Omega}\odot n,\]该式说明污染只出现在掩膜为 1 的位置,其他位置观测等于干净信号。基于这个结构,算法在污染区内用观测减信号估计得到污染估计,在可信区直接信任观测。两类信息来源在此汇合:测量告诉当前估计还有哪里没解释,先验保证估计始终像干净信号。
污染支持 × 干净信号扩散先验: 污染支持说明哪里被污染、哪里可信,干净信号扩散先验说明干净图像或音频应该长什么样;前者划定可改与不可改的范围,后者提供填充与修正的依据,两者组合后才能在不建模污染分布的情况下只改污染区并保留可信区。
残差、不确定性和两次精炼各起什么作用?
设第 m 轮第 k 个候选的信号估计已知,用观测减去它并只保留支持内,就得到原始污染残差。
\[n_{m}^{(k)}=M_{\Omega}\odot\left(y-\widehat{x}_{m-1}^{(k)}\right).\]如果信号估计完全正确,该残差就等于真污染;但早期人脸猜测不准,残差里会混入脸部误差。于是算法不直接使用它,而是先加一点噪声再用干净信号的扩散去噪器精炼,目的是去掉细碎误差。加噪强度不是固定超参数,而是由多个候选在支持内的方差平均开方得到。
\[\sigma_{m-1}^{\star}=\sqrt{\frac{1}{|\Omega|}\sum_{i\in\Omega}\operatorname{Var}\left(\{\widehat{x}_{m-1,i}^{(k)}\}_{k=1}^{K}\right)},\]该量同时刻画信号估计和残差估计的不确定性:候选越分歧,加噪精炼强度越大。得到精炼后的污染估计后,在支持内用观测减去它得到新的信号中间量,在支持外直接复制观测。
\[\widetilde{x}_{m}^{(k)}=\begin{cases}y_{i}-\widetilde{n}_{m,i}^{(k)},&i\in\Omega,\\ y_{i},&i\notin\Omega.\end{cases}\]这一步强制满足测量,但不保证像干净图像或音频,因此再加噪并用同一干净去噪器精炼一次,同时把可信区贴回观测。
\[\widehat{x}_{m}^{(k)}=M_{\Omega}\odot D_{\theta}\left(\widetilde{x}_{m}^{(k)}+\sigma_{m}\eta_{m}^{(k)},\sigma_{m}\right)+(1-M_{\Omega})\odot y,~~\eta_{m}^{(k)}\sim\mathcal{N}(0,I)\]其中固定计划噪声是 σ,掩膜外直接用观测 y。该轮结束后再算一次多样本方差,用于下一轮残差精炼强度和停止判断。
扩散修复 × 测量一致性: 扩散修复指用先验在污染区内生成合理内容,测量一致性指让估计结果与观测相减后能解释污染区观测;前者保证合理,后者把污染区观测中残留的干净信息拉回来,两者交替才既不丢弃观测也不被污染带偏。
信号估计 × 污染残差: 信号估计是对干净内容的当前猜测,污染残差是观测减去信号估计后留在污染区内的剩余;残差里混有真污染和信号误差,精炼残差后再回代更新信号,循环往复使两者的误差互相暴露和修正。
多样本方差 × 自适应停止: 多样本方差指并行生成多个重建并计算它们在污染区内的分歧,自适应停止指当分歧下降变慢时结束迭代;前者把不确定性量化成下一步加噪强度,后者用同一不确定性判断是否值得继续算。
本文训练了什么,没有训练什么?
这是 1 篇没有为去污染任务训练新映射的方法论文,实际执行的是调用已有扩散模型的推理计算。干净先验来自现成或领域内微调的模型:人脸和自然图像用相应的干净图像扩散模型,水印的 CLWD 用只在干净背景上微调的模型,音频用目标乐器的单源扩散模型。论文没有训练污染模型,也没有用成对脏干净数据训练 SORD 本身。
需要说明的缺口是原文没有披露去噪器内部梯度路径和参数更新细节,因为推理阶段参数是冻结的。SORD 的可调部分是推理超参数:并行样本数、最大轮数、信号精炼的噪声计划、停止阈值。消融显示样本数从小增大时区域峰值信噪比先明显上升后趋平,噪声计划在较宽范围内稳定,但原文没有给出统一的最优阈值选择公式。复现时应把先验、采样器步数和掩膜处理完全固定,否则无法区分提升来自方法还是来自先验差异。
实验在什么数据和基线上比较?
图像加性污染用人脸数据集 CelebA,污染为手写数字、自然图像块和 CIFAR 小图,分辨率 64×64,污染块尺寸受控。音频用 Slakh 音乐数据构造 10 秒片段,目标多为钢琴,干扰只出现在占一半时长的连续窗内,通过增益控制窗内信干比为 0 dB、5 dB 或不归一化。水印用 CLWD 及合成到 FFHQ 和 Imagenette 子集上的水印,阴影用 ISTD 真实阴影及把真实阴影场合成到 FFHQ 和 Imagenette 上的版本。
基线包括同先验同掩膜的修复法、假设高斯似然的后验采样法、为污染类另学先验的双先验分离法,以及为特定水印或阴影训练的监督网络。监督基线在训练分布内通常很强,但需要成对数据;双先验基线需要污染先验;高斯假设基线用来检验简单似然是否足够。论文同时报告了用真实污染均值的上限式对照,它在部署时不可得,只能用来说明建模失配,不能当作可运行方法。
加性图像块和局部音频干扰上发生了什么?
先看受控最干净的对照:干净先验相同、掩膜相同,污染加性且位置已知。这时能否重用污染区观测是关键差别。只丢弃污染区的修复法能给出合理人脸,但与真脸细节有差距;假设高斯噪声的后验采样法在强结构污染下改善有限;双先验分离法需要污染先验,遇到未见过的块类型时优势下降。SORD 在 3 类 CelebA 加性污染上区域峰值信噪比最高,音频在未知乐器和部分语音干扰上更稳,而在干扰类型恰好被基线建模时基线可能反超。
下表是论文的跨域主结果,图像为污染区内峰值信噪比 PSNR(dB),音频为污染支持上的尺度不变信号失真比提升量 SI-SDRi,目标为钢琴;各格保留均值与标准差。IV 与 OOV 分别表示干扰源是否在 MSDM 词汇内,语音的词汇内基线额外使用语音先验,而词汇外基线仍是原四源 MSDM。g=1 表示未经归一化的混合,N 为评估混合数量。阅读时注意音频标准差很大,说明不同片段差异大,平均值领先不代表每段都领先。
| Image Corruption | Input | DPS Inpaint | DPS μ=μn | DPS μ=0 | SGM 2 priors | SGM 2 priors + mask | SORD |
|---|---|---|---|---|---|---|---|
| MNIST | 12.09 ± 2.47 | 19.85 ± 2.77 | 11.06 ± 1.18 | 11.91 ± 2.17 | 25.78 ± 3.42 | 22.51 ± 3.89 | 27.16 ± 2.04 |
| Natural patch | 9.37 ± 1.62 | 16.84 ± 2.94 | 15.74 ± 2.75 | 9.32 ± 1.58 | 18.92 ± 7.15 | 19.38 ± 6.38 | 21.96 ± 2.32 |
| CIFAR-10 patch | 7.92 ± 1.90 | 17.28 ± 3.92 | 14.87 ± 2.18 | 7.83 ± 1.89 | 14.36 ± 3.93 | 15.34 ± 4.16 | 22.05 ± 3.44 |
| Audio Interferer | Mix | N | DPS Inpaint | DPS μ=μn | DPS μ=0 | MSDM | SORD |
| IV instrument | SIR 0 | 60 | −0.34 ± 6.17 | −0.01 ± 0.05 | −0.06 ± 0.43 | 5.32 ± 7.64 | 1.12 ± 5.11 |
| IV instrument | SIR 5 | 60 | −0.12 ± 5.67 | 0.00 ± 0.07 | 0.01 ± 0.09 | 1.40 ± 6.85 | 2.74 ± 6.23 |
| IV instrument | g = 1 | 60 | 0.34 ± 0.92 | −0.02 ± 0.13 | −0.02 ± 0.12 | 6.48 ± 9.06 | 1.29 ± 2.58 |
| Speech (IV) | SIR 0 | 160 | 1.02 ± 1.18 | −0.01 ± 0.10 | 0.00 ± 0.05 | 8.25 ± 8.64 | 5.51 ± 3.37 |
| Speech (IV) | SIR 5 | 160 | 1.85 ± 2.02 | −0.03 ± 0.28 | 0.00 ± 0.05 | 2.00 ± 10.03 | 6.40 ± 3.39 |
| Speech (IV) | g = 1 | 160 | 0.94 ± 1.42 | 0.00 ± 0.02 | 0.00 ± 0.02 | 9.74 ± 9.73 | 3.74 ± 3.33 |
| OOV instrument | SIR 0 | 160 | −0.43 ± 17.01 | −1.14 ± 14.35 | −1.22 ± 15.50 | −0.24 ± 16.94 | 1.15 ± 17.54 |
| OOV instrument | SIR 5 | 160 | 0.03 ± 17.15 | −1.21 ± 15.50 | −1.13 ± 14.35 | −2.67 ± 18.39 | 1.97 ± 17.54 |
| OOV instrument | g = 1 | 160 | −0.34 ± 17.08 | −1.23 ± 15.50 | −1.23 ± 15.50 | −1.54 ± 17.40 | 0.79 ± 17.41 |
| Speech (OOV) | SIR 0 | 105 | 1.14 ± 1.35 | −0.01 ± 0.12 | 0.00 ± 0.06 | 3.57 ± 6.01 | 5.71 ± 3.60 |
| Speech (OOV) | SIR 5 | 105 | 2.06 ± 2.29 | −0.04 ± 0.33 | 0.01 ± 0.04 | −0.05 ± 6.80 | 6.44 ± 3.40 |
| Speech (OOV) | g = 1 | 160 | 0.94 ± 1.42 | 0.00 ± 0.02 | 0.00 ± 0.02 | 4.15 ± 6.59 | 3.74 ± 3.33 |
表前比较问题是:在同一干净先验和同一已知支持下,重用污染区观测是否优于直接丢弃或简单高斯假设,以及未知污染先验缺失时谁更稳。这一比较表明:SORD 在三行图像污染上均取得该表最高均值,在音频词汇外干扰上多行取得最高均值,但在部分词汇内条件下双先验基线更高;高斯假设的两列在音频上几乎无改善,说明简单似然不够。限制是该表只覆盖钢琴目标,其他乐器目标见附表,且音频方差大,需要结合分布看结论。本表数值与单位依据论文 PDF。
词汇内干扰 × 词汇外干扰: 词汇内干扰指分离基线自带对应乐器或语音先验的干扰类型,词汇外干扰指基线没有对应先验的未知乐器或语音类型;区分两者才能看出显式污染建模何时占优、何时因未见过污染类型而失效,而只用目标先验的 SORD 受此影响更小。
水印和阴影这类非加性污染还能用吗?
水印是透明度混合,阴影是乘性衰减,都不等于论文主建模中的等权加性。SORD 在推理时没有拿到真实透明度图,对水印故意引入模型失配;对阴影则在对数域做加性更新,但扩散先验仍在图像域作用于信号和衰减估计。这种跨域处理是启发式的,原文没有给出严格等价证明。
下图展示了从手写数字、自然块、水印到阴影的可视对比。每行第一列是带红色支持标记的输入,中间是不同基线,倒数第二列是 SORD,最后一列是真值,数值是只在支持内计算的峰值信噪比。
读图任务是:先确认红色区域是否为待修复范围,再看 SORD 是否比直接修复更接近真值的局部结构,而不是只看整体是否干净。
看图路径: 1. 先看第一列红色轮廓标出的污染支持,再横向比较各列重建;2. 注意只丢弃污染区的修复列与重复利用污染区观测的 SORD 列的差别;3. 看每列下方只在污染区内计算的 PSNR 数值变化方向
论文图 2。原论文 Figure 2::“Visual results on localized image corruption removal.”。
从像素可见,第一二行的绿色数字污染在简单高斯假设下基本残留,而 SORD 列的人脸结构更完整;第三至六行的图像块污染在双先验基线中有时留下明显块边界,SORD 列的边界更不明显;第七八行水印和第九十行阴影中 SORD 去除了大部分可见痕迹,但地面纹理等细节仍与真值有差距。图后解释是:该图支持重用污染区信息有助于恢复被遮挡的脸部和纹理,但它只是所选样本的可视证据,具体平均效果要看下表数字,且阴影在不同光照采集下支持外也可能存在曝光差异。
下表是水印与阴影基准的区域峰值信噪比。SORD 在 FFHQ 和 Imagenette 合成水印上最高,在 CLWD 上低于两个监督基线;在阴影上接近监督的扩散基线但低于基于全局上下文的变换器基线。这说明污染类型越接近监督训练分布,专用监督越占优;偏离训练分布或污染未知时,通用支持引导策略的价值更大。
水印与阴影数字表如何读出适用边界?
该表比较问题是:当污染不再是等权加性且 SORD 存在模型失配时,只用干净先验加支持能否接近为该污染专门训练的网络。公平条件是 SORD 与后验采样基线用同一干净先验和同一支持,监督基线则用了成对脏干净训练。指标方向仍是污染区内峰值信噪比越大越好。
| Benchmark | Input | DPS Inpaint | DPS μ=μn | DPS μ=0 | SLBR | PatchWiper | SORD |
|---|---|---|---|---|---|---|---|
| FFHQ | 13.49 ± 3.20 | 27.13 ± 3.81 | 18.80 ± 5.11 | 14.35 ± 3.89 | 18.90 ± 5.10 | 23.44 ± 5.59 | 27.80 ± 3.50 |
| CLWD | 22.55 ± 5.33 | 17.14 ± 4.74 | 24.26 ± 5.15 | 22.73 ± 5.30 | 31.55 ± 4.47 | 31.37 ± 6.84 | 25.09 ± 4.87 |
| Imagenette | 13.64 ± 4.30 | 24.81 ± 7.56 | 19.63 ± 7.18 | 14.56 ± 4.61 | 21.66 ± 5.08 | 21.79 ± 6.89 | 26.43 ± 6.56 |
| Benchmark | Input | DPS Inpaint | DPS μ=μn | DPS μ=0 | Shadow Diffusion | Shadow Former | SORD |
| ISTD | 14.48 ± 3.70 | 27.44 ± 7.08 | 27.60 ± 4.21 | 14.57 ± 3.77 | 30.60 ± 4.93 | 30.49 ± 5.18 | 29.10 ± 5.55 |
| FFHQ | 14.89 ± 4.13 | 17.39 ± 3.85 | 19.85 ± 3.80 | 14.83 ± 4.09 | 19.15 ± 3.23 | 23.29 ± 2.89 | 20.34 ± 4.19 |
| Imagenette | 14.30 ± 4.71 | 15.97 ± 6.55 | 19.51 ± 4.96 | 14.12 ± 4.59 | 18.57 ± 2.83 | 21.79 ± 4.32 | 19.05 ± 6.50 |
这一比较表明:FFHQ 合成水印和 Imagenette 合成水印两行中 SORD 均值最高,说明在该合成条件下通用方法可以超过专用监督;但 CLWD 行中两个专用水印基线明显更高,说明在该数据集的水印分布下专用训练仍占优。阴影三行中 SORD 与监督扩散基线接近,但在 FFHQ 和 Imagenette 合成阴影上低于变换器基线约 3 dB 左右,说明阴影的全局光照上下文仍是专用结构擅长的部分。限制是合成水印只用了 12 个标志、占比约 3%,CLWD 占比约 14%,占比和分辨率不同会直接影响分数,不宜跨行比较绝对值。未胜出项本身就是结论的一部分:SORD 不是在所有水印和阴影上都最好。本表数值与单位依据论文 PDF。
掩膜不准和关键组件缺失会怎样?
掩膜误差实验把真实支持做膨胀、腐蚀和平移,再按真实污染区算分。膨胀是把干净像素也划入待修范围,腐蚀和平移是把部分真污染留在支持外。由于支持外观测被无条件信任,留在外面的污染会被锁定进结果,所以欠覆盖的伤害更大。论文报告膨胀带来逐渐下降,而腐蚀 1 个像素就可能大幅下降;水印边界因透明度接近零而对轻微腐蚀不敏感,这是例外而非一般规律。
下图直观展示了掩膜误差的影响,左侧是不同误差下的输入掩膜,中间是对应重建,右侧是真值。
读图任务是:区分把干净区多修了一点与把脏东西漏在外面两种失败外观。
看图路径: 1. 先看前四列给定的掩膜是扩大还是缩小或平移;2. 再看中间四列对应重建中是否留下可见污染残留;3. 对比扩大掩膜与缩小掩膜两类失败外观的不同
论文图 4。原论文 Figure 4::“Qualitative effect of corruption-mask errors.”。
从像素可见,上面几行扩大掩膜后重建的人脸和背景出现不必要的再生痕迹,但原污染基本消失;下面几行缩小或平移掩膜后绿色数字和块状污染在支持外清晰残留,因为算法不允许修改支持外像素。图后解释是:该图支持宁可略微扩大支持也不要漏掉污染的实践建议,但扩大过多会增加先验幻觉和计算负担,实际应用需要配合较可靠的分割或检测。
下表进一步量化了掩膜扰动,括号内是扰动掩膜与真掩膜的交并比,数值为真实污染区内的峰值信噪比。
| Benchmark | Exact | Dilate 3 px | Dilate 5 px | Erode 1 px | Shift 2 px |
|---|---|---|---|---|---|
| Natural patch | 21.96 ± 2.33 | 19.94 ± 2.53 (0.73) | 18.85 ± 2.54 (0.62) | 13.84 ± 2.18 (0.88) | 14.38 ± 2.08 (0.78) |
| MNIST digit | 27.16 ± 2.05 | 24.40 ± 2.72 (0.59) | 23.32 ± 2.90 (0.47) | 17.83 ± 1.48 (0.76) | 15.20 ± 2.17 (0.60) |
| CLWD watermark | 25.09 ± 4.33 | 23.60 ± 3.96 (0.59) | 22.39 ± 3.72 (0.47) | 25.47 ± 4.91 (0.75) | 21.14 ± 4.26 (0.61) |
| CIFAR-10 patch | 22.05 ± 3.45 | 19.53 ± 3.44 (0.69) | 18.96 ± 3.47 (0.57) | 12.11 ± 2.62 (0.85) | 12.36 ± 2.70 (0.74) |
表前比较问题是:在同一方法和同一评价窗口下,掩膜交并比下降多少对应多少分值下降,以及方向是否对称。这一比较表明:3 类加性块污染在膨胀时下降平缓,在腐蚀和平移时下降陡峭;水印行腐蚀 1 像素反而略高,原因是边界透明度低。限制是该表只扰动了规则形态,真实分割误差更不规则,且评价仍用真支持,部署时若连真支持都不知道则无法这样算分。本表数值与单位依据论文 PDF。
另一组消融去掉用干净先验精炼残差的步骤,多数组合下分数下降,说明该步骤多数时候有用;但个别水印行去掉后反而更高,说明残差精炼并非在所有分布下都增益。噪声计划消融显示从 0.4 线性降到 0.1 的计划最好,常数大噪声或过少轮数会变差,但差异在几 dB 内,方法对计划不极端敏感。
样本数和计算代价之间如何权衡?
并行样本数同时影响初始修复多样性和不确定性估计的稳定性。论文在 5 个图像基准上测试 2 到 64 个样本,平均区域分数从 2 个样本时约 21 dB 上升到 32 个样本时约 24 dB,之后趋平,因此默认用 32 个样本。音频因计算更重,主实验用较多样本而消融用较少样本,结论方向一致但绝对值不可直接对比。
下表比较再噪声计划,固定其余组件,指标为污染支持内的 PSNR(dB),报告均值±标准差。默认在 100 张图像上评估,但常数大噪声行的 MNIST 与 CIFAR-10 分别只评估 50 张和 25 张,必须保留这两个样本数例外。
| σm schedule | Natural | MNIST | CIFAR-10 |
|---|---|---|---|
| 0.4 → 0.1, M = 6 | 21.96 ± 2.33 | 27.16 ± 2.05 | 22.05 ± 3.45 |
| Constant 0.8 | 20.50 ± 2.16 | 24.41 ± 1.92 (n = 50) | 20.24 ± 3.56 (n = 25) |
| {0.8, 0.4, 0.2} | 20.92 ± 2.37 | 26.21 ± 2.16 | 21.12 ± 3.49 |
| {0.9, 0.6, 0.3, 0.1} | 21.27 ± 2.38 | 26.78 ± 2.15 | 21.43 ± 3.48 |
| {0.8, 0.4, 0.2, 0.1} | 21.34 ± 2.39 | 26.89 ± 2.15 | 21.52 ± 3.51 |
这一比较表明,在所列 3 类污染下,原来的 6 轮递减计划取得各列最高均值;常数大噪声方案明显较低,所测离散递减计划介于其间。不同计划共用其余组件,不能把这些差异归因于换了干净先验或掩膜。常数方案的样本数还小于默认设置,比较时应同时注意这一条件,不能只看均值。这里没有把噪声计划的表解释成 DDIM 步数或运行时间的表。本表数值与单位依据论文 PDF。
另一个独立消融只替换信号精炼步的采样器,固定初始化和残差精炼;原文报告减少该步的采样阶梯仍能保持相近结果。这个结论来自另一张计算消融表,与上面的再噪声计划比较是两个问题。原文没有在这张计划表中报告墙钟时间或显存,因此不能把均值直接换算为部署延迟。
总体计算开销会随初始化样本数、交替轮数及每步采样设置增加。原文计算消融表列出的网络函数评估次数只统计交替循环,排除了初始化成本,因此它说明循环中模型调用的变化,不直接给出实际运行时间、显存或相对单次修复的成本倍数。所测较少 DDIM 步数仍能保持相近的重建质量;真实部署的速度收益还需要在相同硬件和实现下计时。部署时可结合样本数的收益拐点与较少精炼步数两项独立消融选择计算预算。
哪些情况下不应直接套用结论?
第一,支持必须足够准。漏掉的污染会被当作可信观测保留,支持过大则会让先验重写本可保留的干净细节。第二,污染类型若恰好是基线或监督模型训练过的分布,专用模型可能更好;论文在部分词汇内音频和 CLWD 水印、变换器阴影上都观察到这一点。第三,简单高斯似然基线表现差,不代表所有参数似然都不行,它只说明论文测试的两种均值设定不够。
第四,音频结果方差很大,平均提升为正不保证每段都提升,低信干比和未知乐器组合下仍可能失败。第五,水印和阴影实验存在合成成分和分辨率差异,跨数据集比较绝对分数没有意义。
还有一个常见误解是把修复当作等同于去污染。修复丢弃污染区观测,只靠上下文猜测;SORD 的增益恰恰来自污染区观测中残留的干净信息。当污染完全遮挡且不透任何信息时,SORD 会退化为接近修复,增益自然变小。
复现第一步要准备什么?
先准备三样东西:干净信号的扩散先验、带支持的污染数据、只在支持内算分的评测脚本。图像可用论文提到的 CelebA 人脸先验和 64×64 测试划分,音频可用目标乐器的单源先验和固定干扰窗。掩膜要存成与信号同形状的二值图,音频窗要存成起止时间而非整段标签。
运行顺序是:用同一先验和同一掩膜先跑修复基线,再跑 SORD,最后再跑高斯假设和双先验对照。不要把监督基线的分数直接拿来比,除非复现了相同的成对训练分布和分辨率。超参数先用论文默认值:图像 32 样本、最多 6 轮、噪声计划从 0.4 线性降到 0.1;音频按论文的窗长和采样率构造混合。记录每次的网络评估次数和随机种子,因为多样本均值对方差敏感。
作者资源当前可用,已公开代码仓库,可用于核对流程;但先验权重和数据集需另行获取,代码可运行不等于权重可下载,权重可下载也不等于一键复现全部表。来源未确认的链接不应视为技术缺陷,复现时以论文披露的划分和指标窗口为准。
什么时候值得尝试 SORD,还缺什么验证?
当污染位置大致可知但污染类型未知、难以建模或频繁变化时,值得尝试这种只用干净先验加支持的策略,例如偶发乐器串音、人声闯入、未知水印和阴影。它把建模负担从污染分布转移到位置估计,适合已有较好分割或检测但缺少污染训练数据的团队。当污染类型固定且有大量成对数据时,专用监督或双先验分离可能更准,不必强求通用方法处处最高。
还缺的验证包括:支持由检测模型自动给出而非真值时的端到端效果、长音频和更高分辨率下的延迟与显存、主观听感和语义保真度、以及对完全非加性混合的更系统测试。未来的工作可以把支持估计与去除联合起来,并设计更可靠的不确定性精炼与停止准则。理解到这一步,就可以向同学复述:先修复初始化,再用多样本分歧指导残差与信号交替精炼,最后在分歧收敛时取平均,而所有结论都只在已知支持和所测分布内成立。
📎 论文与评分元数据
排名:前25% | 文档类型:方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses

