不训练分类器也能认出是谁合成的：残差统计指纹的轻量归因

英文题目：Lightweight Detection and Model Attribution of Synthetic Speech via Residual Statistical Fingerprints

会议身份：conference:interspeech:2026:conference-paper-id:pizarro26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#统计分析 #语音 #音频指纹 #语音伪造检测

评分：8.2/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：方法研究

👥 作者与机构

• Matías Pizarro：机构信息未能从会议 PDF 纯文本可靠映射
• Mike Laszkiewicz：机构信息未能从会议 PDF 纯文本可靠映射
• Dorothea Kolossa：机构信息未能从会议 PDF 纯文本可靠映射
• Asja Fischer：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为任意时长待测语音波形，输出为真伪判定与来源模型归属，难点在于语义内容掩盖微弱生成伪影且新合成模型不断涌现。方法先将对数幅度短时傅里叶变换按时间平均为固定维谱向量以抑制音素起伏并保留谱包络偏置，其输出进入内容保持滤波得到残差嵌入。再按目标模型平均估计残差统计指纹的经验均值与协方差，并用目标残差分布的马氏距离完成单模型阈值判决或多模型最近指纹归属。与闭集分类器不同，该框架新增模型只追加一个均值与协方差而无需重训，因而更易扩展并降低维护负担。在ASVspoof LA基准下，RSF CNN的准确率为0.95，高于X-vector的准确率0.87。该结论适用边界受限于非自适应对手与中轻度失真，强压缩、强回声、混响与低信噪比加噪属于失败条件，声学相似的同族声码器易混淆，重估计可部分恢复，跨语种与未知失真组合尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/matiuste/RSF — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，本文要解决哪段链路？

本文输入只有一段待查音频波形，不给合成模型的网络结构、参数、文本或说话人标签。输出按任务分为 4 种：判断是否由某个指定目标模型合成，判断在已知候选集合中是哪个模型合成，判断是真人还是合成，以及判断是否偏离已知合成集合。研究对象包括文本转语音、声音转换与神经编解码生成器，攻击者被设定为非自适应，可以用公开或私有工具生成并经过噪声压缩混响等常见信道失真，但不知道防御策略。

防御者只能从音频样本出发，有的场景只见过一个目标模型的样本，有的场景见过多个已知模型。必须保留的信息是方法全程免训练分类器，指纹只用目标模型样本估计，判别只用残差空间的马氏距离，实验覆盖英语日语汉语与多种声码器架构。读者学完应能复述从波形到平均谱、滤波残差、均值指纹、协方差打分的完整动作，而不是只记住准确率高。论文代码当前可用，资源状态显示代码链接可达，地址为官方仓库，可用于核对划分与实现。

检测与归因各走哪条路线，本文站在哪里？

合成语音检测的常见路线是先提声学特征再接分类器。论文回顾了线性频率倒谱系数、梅尔频率倒谱系数、常数 Q 倒谱系数与长时变 Q 变换等特征，以及高斯混合模型、X 向量、轻量卷积网络、残差网络、挤压激励残差网络、图注意力网络、可微结构搜索与 Transformer 等分类器。这条路线擅长回答真假二分类，但不回答是谁合成的。归因路线想回答具体是哪个合成系统。已有工作多用神经网络多分类器，有的加对比学习，有的做攻击者嵌入，有的用自监督表示加最近邻。

这些方法在固定标签集下有效，但新增模型往往要重训练，属于闭世界。开放世界验证与多属性开集识别已有探索，但仍依赖多合成系统标注数据做深度流水线，对鲁棒性与分布偏移分析有限。图像取证曾提出生成对抗网络指纹思想，把生成样本看作语义内容加模型指纹，用滤波抑制内容后对残差求平均，再用相关比较归因。后续多沿监督学习扩展到特定模型族或依赖成对真假数据，难以直接搬到单模型开世界音频场景。

本文选择继承残差平均思想但改写三处：用时间平均谱解决变长问题，用内容保留滤波构造音频残差，用协方差感知距离替代相关，从而做到只用目标模型样本即可建指纹。与之互补但不在本文范围的是事前扰动防御与数字水印，前者阻止未授权合成，后者嵌入归属信息，本文只做事后纯音频归因。

四个任务的操作定义与公平比较条件是什么？

论文沿两个轴定义任务。第一个轴是开世界还是闭世界，即攻击者用的模型是否包含在方法构建阶段见过的集合里。第二个轴是单模型还是多模型，即防御者构建方法时见过几个合成模型的数据。由此得到 4 个任务。开世界单模型归因是给定目标模型指纹，判断待查样本是否由它合成，待查可能来自未知系统或真人。

闭世界多模型归因是候选模型全已知，把合成样本判给距离最近的指纹。真假分类是区分真实语音与合成语音。域外检测是判断样本是否不符合已知合成集合。举例说明只是教学例子：若目标是某扩散声码器，开世界任务要能拒绝另一扩散模型与真人录音，闭世界任务则要在 10 个已知声码器中选一。

公平比较要求划分按类别均衡，测试集含未见过的真实与合成样本，归因用曲线下面积衡量二值分离，分类用准确率与 F1，域外用曲线下面积与精确率召回曲线下面积，越大表示分离越好。

开世界单模型归因 × 闭世界多模型归因： 开世界单模型归因只已知目标模型，分工是回答是不是它合成的，需要拒绝未知模型与真人；闭世界多模型归因已知全部候选，分工是回答是哪一个合成的，用最近指纹投票；二者搭配是因为前者考验拒绝能力，后者考验区分能力，组合后覆盖取证中从锁定嫌疑工具到多嫌疑辨认的两种调用。

开世界强调阈值拒绝，闭世界强调最近邻选择，理解这层差异才能看懂后文为什么同一指纹既能做阈值判断又能做多选投票。

跟着一个样本走完输入到输出的全景

拿一条待查波形为例，先算对数幅度短时傅里叶变换得到时频矩阵，再沿时间轴平均得到固定长度的平均谱向量，这样长短不一的语音都能比较。训练阶段对目标模型的每条样本都做同样操作，同时对其滤波版本也算平均谱，两者相减得到该样本的残差嵌入，再对同一模型全部残差求经验均值得到残差统计指纹，并估计残差的经验协方差。测试阶段对输入同样算残差，再算它到各指纹的马氏距离。

单模型场景用阈值判定是否归因到目标，多模型场景选距离最小的模型，真假与域外场景分别用二值阈值与最小距离做分数。这种安排的理由是语音伪影在时间上分布、频谱上相关且与语义纠缠，直接比较波形会被内容淹没，而平均谱加滤波残差能压制音素波动并保留模型相关的谱特性。以下官方系统图把两条调用路径并置，值得对照阅读。

本段先说明上支路为单模型二值判断，下支路为多模型选择，均从语音输入经指纹比对得到输出，箭头与文字标注构成完整主路径。

看图路径： 1. 先看上支路输入标注是合成或真实语音，箭头指向计分模块再输出是否归因到目标系统；2. 再看下支路输入仅为合成语音，中间并列多个模型指纹并标注逐指纹计算分数；3. 对比两支路输出措辞差异：上支路是二值判断，下支路是标签或身份预测；4. 确认指纹图标在上支路是外部输入，在下支路是候选集合，理解单模型与多模型的数据条件不同

论文图 1。原论文 Figure 1：“Residual statistical fingerprinting system for model attribution: (a) open-world single-model attribution, and (b) closed-world multi-model attribution.”。

上图上半为开世界单模型归因，从合成或真实语音输入指向计分模块，模块下方接入目标合成系统指纹，输出为是否归因到目标系统的二值回答；下半为闭世界多模型归因，从合成语音输入指向一组模型指纹并逐指纹计分，输出为预测的合成系统标签。两图共同说明指纹是事前估计的外部量，推理只是算距离，不训练分类器。

表示、滤波与打分三个组件各自算什么？

表示组件解决变长对齐。设第 i 条音频为波形，算短时傅里叶对数幅度谱，频率维数为固定值，时间帧数随长度变化，再对时间求平均得到平均谱向量。该向量压制了音素级波动，但保留了与模型有关的谱能量分布，是后文残差的公共底座。滤波组件解决内容抑制。论文并行考察两种内容保留滤波，一是预训练神经压缩重建，用 24 kHz 的 EnCodec 压缩再重建，量化去掉细粒度细节而保留可懂内容。

二是谱有限冲激响应滤波，用 Parks-McClellan 算法设计的等波纹滤波器做低通高通带通带阻，动机是生成伪影常出现在特定频段尤其是高频。给定滤波器，对每条样本算原信号平均谱减滤波信号平均谱，得到残差嵌入，再平均得到指纹。打分组件解决相关谱波动下的稳健比较。测试残差到指纹的马氏距离用目标模型训练残差估计的协方差逆矩阵做归一化，偏差大的方向若在训练中本就起伏大则被降权。开世界用阈值区分目标与非目标，闭世界在已知集合中取最小距离。

残差 × 统计指纹： 残差负责去掉可懂内容而留下合成痕迹，分工是逐样本计算原信号平均谱与滤波后平均谱之差；统计指纹负责把同一模型多个残差平均成固定向量，分工是沉淀模型共性；二者搭配是因为单样本残差仍混有音素波动，必须靠跨样本平均才能稳定，组合后得到可直接比距离的模型签名。

内容保留滤波 × 频谱有限冲激响应滤波： 内容保留滤波负责提出目标，即衰减语言内容但保留合成伪影；频谱有限冲激响应滤波负责给出可解释实现，用低通与带通选择性衰减频带；二者搭配是因为神经压缩虽能去细节但可解释性弱，而有限冲激响应滤波把保留哪段频率写成截止频率，组合后残差来源可复现。

马氏距离 × 相关系数： 相关系数只看方向是否一致，不考虑频带之间相关起伏；马氏距离用目标模型残差的经验协方差对偏差做归一化，分工是衡量该样本在目标分布下的似然式偏离；搭配理由是音频残差谱相关性强，忽略协方差会误判，组合意义是用分布感知打分替代模板匹配，支撑开世界单模型阈值判断。

3 组搭配的共同点是先把可变内容压掉，再把稳定共性沉淀为均值，最后用协方差把比较放回分布视角，任一步只看单样本相关都容易被内容带偏。

没有分类器训练时，哪些量被估计，哪些参数不动？

本研究的核心归因器没有神经网络训练阶段，不更新任何分类权重，也就没有梯度路径、优化器、学习率调度与早停。实际计算分为估计与推理。估计阶段只用目标模型的音频样本，依次做短时傅里叶变换与时间平均、滤波重建与残差相减、残差均值与协方差估计，得到每个模型的指纹向量与协方差矩阵。

论文验证阶段曾用部分系统做滤波器与距离选择，但最终评测固定用 8 毫秒窗与 0.125 毫秒跳的细粒度短时傅里叶设置，以及 1 kHz 低通与 5 到 6 kHz 带通两种谱滤波残差，不再按测试集调参。推理阶段对测试样本算残差并求马氏距离，按阈值或取最小完成 4 类任务。另有一个增强型变体残差卷积网络，它在残差特征上训练一个 3 段卷积加挤压激励的小网络，用于与基线比较，该变体才涉及 10 轮训练、Adam 与交叉熵，但主方法仍保持免训练。

论文未报告协方差正则化与求逆细节的具体缺项，复现时需自行记录奇异处理与数值稳定做法，不从模型名称推定实现。

数据、划分、基线与指标如何保证可比？

评测用 4 个基准。增强 LJSpeech 以单说话人英语 LJSpeech 的 13100 条真实语音为底，合成侧覆盖 WaveFake 系列的生成对抗声码器，再加扩散语音合成与混合神经源滤波波形模型，每条真实 utterance 配一条合成对应，共 10 个合成模型。JSUT 用日语单说话人 basic5000 的 5000 条真实语音，合成侧用 Parallel WaveGAN 与 Multiband MelGAN，用于跨语言泛化。ASVspoof2019 逻辑访问来自 VCTK 的 107 个英语说话人，含真实与 19 个文本转语音声音转换系统的 122k 条语音，训练开发只见子集，评测有 11 个未见系统，属多说话人基准。

CodecFake 含 1,060,000 条，其中 13.2 万真实英语与汉语录音，92.6 万合成来自 7 种神经编解码方法，留一种做跨方法泛化。除特别说明，基准按 80% 训练、10% 验证、10% 测试划分并做类别均衡，大规模 CodecFake 按 LJSpeech 规模每类随机采样，实验重复 5 次取平均，测试集均为未见样本。闭世界候选数按基准固定为 10、2、6、6。基线为 X 向量、轻量卷积网络、残差网络与挤压激励残差网络，均训 10 轮并用最高概率做预测；域外另加基于自监督与最近邻的框架。

单模型归因用曲线下面积，真假与多模型用准确率与 F1，域外加精确率召回曲线下面积。硬件预算按原文交代，指纹估计与单样本归因耗时见后表。

主结果在什么条件下成立，哪里出现可解释的下降？

设计验证显示马氏距离稳定优于相关，低通 1 kHz 与带通 5 到 6 kHz 残差最具判别力，细粒度短时傅里叶在多基准上持平或略优，谱滤波残差优于 EnCodec 残差，尤其在 CodecFake 上 EnCodec 因样本本身含编码器痕迹而区分下降。开世界单模型归因在增强 LJSpeech 与 JSUT 上接近 1.0，在 ASVspoof 上多数系统保持高分离，下降集中在声学相似系统之间，例如共享短时声学特征与波形发生器的系统对，以及同族残差矢量量化系统，论文将其解释为内在相似而非方法失效。

闭世界多模型上免训练残差分类器在增强 LJSpeech 与 JSUT 上完美，在 ASVspoof 与 CodecFake 上接近完美，增强型残差卷积网络在 4 基准上达到最好或持平，显示小网络吃残差特征即可匹敌更大基线。真假分类同样在前 2 基准完美，在后 2 基准因测试含未见类别而略降但仍匹敌复杂模型。域外检测上残差方法在曲线下面积与精确率召回曲线下面积均为 0.98，超过自监督最近邻与神经分类器，且新增系统只需加指纹无需重训。

重提这些数字时要加适用条件：高分依赖固定滤波与马氏协方差来自目标模型训练残差，跨架构相似与未见编解码仍是边界。 以下两张表承担宽表要求的数字核对，分别回答计算成本与噪声鲁棒性的可运行细节，表头含义与单位按原文保留。 表前比较问题如下：若只给有限目标样本且要在单卡上快速部署，指纹估计与单次归因的耗时是否可接受，指标方向为耗时越小越好，公平条件是同一基准与同一短时傅里叶设置。

表后解释如下：该表显示少样本即可建指纹且单次归因仅百分之秒级，支持轻量可部署的判断，代价是全量估计仍需 100 秒级，实际部署应按目标模型数累加该成本，未胜出项是未测量端到端延迟与内存峰值，不能把估计耗时直接当作在线延迟。

表前比较问题如下：在加性背景噪声下残差指纹是否仍可分，指标为曲线下面积越大越好，公平条件是同一低通残差与同一马氏打分，只改变信噪比。

表后解释如下：该表显示即使在约 10 分贝强噪声下仍保持 0.89，到 18 分贝已超 0.94 并随信噪比平滑上升，支持残差对加性噪声稳健的判断，反例是混响与压缩的下降更大，需靠增强重估计恢复，不能把加噪结论推广到全部失真。

拿掉协方差、换掉滤波与减少样本会发生什么？

论文用受控消融回答设计选择。距离消融比较相关与马氏距离，在多个谱滤波下马氏距离一致更高，支持协方差归一化对相关谱波动关键的判断。滤波消融比较 EnCodec 与谱滤波残差，谱滤波在 4 基准上更高，EnCodec 在 CodecFake 上降到 0.85 左右相关与 0.86 马氏，支持频率选择滤波更稳定可解释的判断。分辨率消融比较 8 毫秒窗 0.125 毫秒跳与 25 毫秒窗 10 毫秒跳，前者在 ASVspoof 与增强 LJSpeech 上持平或略优，支持细时间分辨率更好保留合成伪影但增益有限的判断。

样本量消融用 70 到全量做指纹，报告显示增强 LJSpeech 在 70 样本已近完美、80 样本起达 1.00，日语集从 70 样本 0.96 升到 100 样本 1.00，多说话人与编解码基准在 90 样本起稳定，支持少于 100 样本即可靠估计的判断，限制是该结论按基准平均给出，不等于每个模型都同样只需 70 样本。失真消融覆盖压缩回声混响噪声，压缩与混响下降最大但用增强数据重估计可恢复接近基线，轻回声影响小而强短延迟回声中等下降，噪声则如前表平滑鲁棒。

自适应攻击作为反证显示非优化的指纹交换成功有限，而 1000 步投影梯度下降在已知全部指纹时可大幅提高误归因，说明非自适应假设是成绩的前提。

哪些相似系统、失真与攻击仍是边界？

直接报告的边界有 3 类。第一类是声学相似系统，共享声学特征、波形发生器或量化策略的模型对之间单模型曲线下面积下降，例如某些文本转语音对与残差矢量量化对，论文解释为固有相似而非指纹失效，但这意味着在同族模型精细区分上阈值需更谨慎。第二类是现实失真，128 kbit 每秒压缩使多基准降到 0.57 到 0.79 区间，混响使多基准降到 0.64 到 0.84 区间，回声强条件降到 0.92 左右，虽可用失真增强重估计恢复，但恢复动作需要预知失真类型并重算指纹，不是开箱即得。

第 3 类是自适应攻击，在攻击者已知全部指纹与防御机制的闭世界设定下，简单交换指纹成功率有限，而双目标投影梯度下降可接近完全误导，论文明确这对多数现有方法都是难题，并提示多指纹集成可能增加优化难度，但未验证该防御。未测量项包括误判率随阈值的完整曲线、在线延迟、存储随模型数增长的细节与跨语言指纹的可迁移机制，这些缺失不是技术错误，但不能据此承诺误判或成本已改善。

相关性不等于因果，高分不证明指纹对应某具体模块缺陷，只支持残差分布可分的判断。

复现先做什么，需要哪些超参数与信息条件？

复现应先按论文固定表示与滤波，不做超参搜索。短时傅里叶用 8 毫秒窗、0.125 毫秒跳，对数幅度谱沿时间平均；谱滤波固定 1 kHz 低通与 5 到 6 kHz 带通，用等波纹有限冲激响应实现，EnCodec 分支仅作对照。指纹估计只用目标模型样本，按 80% 训练、10% 验证、10% 测试的类别均衡划分，大基准按 LJSpeech 规模每类采样，重复 5 次。马氏距离的协方差来自目标模型训练残差，需记录正则与求逆的数值处理，阈值在验证集上选，测试集只报 1 次。

基线若要对比，需用同样划分训 10 轮并报准确率与 F1，域外按已知 6 类训练、其余做未知评估。失真复现需用同样压缩码率、延迟增益、房间冲激与噪声库参数，并在增强数据上重估计指纹后再测。代码当前可用，官方仓库提供划分与脚本，可核对实现；权重下载与系统可运行是不同事项，论文只保证指纹估计与距离代码可运行，不保证所有合成模型权重仍可下载。先跑小样本实验验证 70 到 100 样本的稳定性，再扩展到全量与失真增强，避免一开始就全量训练基线。

何时值得尝试这种免训练指纹，还需补哪项验证？

当手头只有嫌疑工具的少量样本、候选工具频繁新增、或无法承担多分类器重训练时，这种只估计均值与协方差的指纹值得先试，因为新增模型只需加一个指纹，且在多语言多架构上已显示强分离。当需要细粒度区分同族声码器、面对未知压缩混响链路、或假设攻击者会做梯度级自适应时，则需更谨慎，应把阈值校准、失真增强与多指纹集成纳入流程。

还需补的验证包括阈值在跨采集设备上的稳定性、协方差估计在极小样本下的正则选择、以及与水印或主动防御的组合效果。回到中心矛盾：免训练带来敏捷与绿色计算，但也把鲁棒性押在残差分布的稳定性上，理解何时分布会漂移，比记住平均分更重要。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总