随输入换压缩宽度、只扰动高频梅尔带:音频伪造检测的泛化框架
论文用随输入选择压缩宽度的自适应特征融合与只扰动高频梅尔带的对抗正则来做音频真伪判别,在英中双语训练后在多个未见数据集上取得更低的等错误率,但结论只在原文的数据划分、冻结编码器和评测协议下成立,且对抗训练增加了训练开销。
论文用随输入选择压缩宽度的自适应特征融合与只扰动高频梅尔带的对抗正则来做音频真伪判别,在英中双语训练后在多个未见数据集上取得更低的等错误率,但结论只在原文的数据划分、冻结编码器和评测协议下成立,且对抗训练增加了训练开销。
论文研究在不知道下游任务和预训练数据时如何给语音基础模型植入后门,用固定无关表示拉偏触发样本、用自造聚类维持干净样本表示,在九个任务上保持干净性能并在触发时大幅降级,但彻底清洗需要大量标注和端到端微调。
针对公开基座上算出的扰动能直接拖垮私有微调语音识别的问题,论文把防御集中到基座来源的可迁移方向上,用基座扰动训练、隐层位移约束和混合梯度扰动,把平均对抗词错误率从 92.6 降到 27.8,干净词错误率则从 16.4 升到 18.9。
论文在冻结语音编码器上加 TopK 稀疏自编码器并把稀疏单元路由到语言与副语言两路,用路由监督加交叉对抗实现保留与抑制的分工,独立探针与路由交换实验显示了跨编码器和跨语料的一致分离,但重建误差上升且依赖有标注的任务监督。
该文把构音障碍语音增强做成紧凑发音瓶颈上的残差修正,在合成平行数据上预训练再用音素和对抗目标适配自然病理语音,合成数据上错误率明显下降而自然语音上仍未超过原始录音,且发音瓶颈保留了可解释的轨迹含义。
该文把刷分定义为扰动带来的加分并以编解码往返输出为基准,用五个攻击者取最坏情况做测量,发现四个常用预测器可攻击率差一个数量级以上,而闭环打补丁只在自家攻击空间内有效且随机扰动基线就能持平,还伴随域外一致性下降。
针对合成语音事后加水印易被绕过和易被神经编解码重合成抹除的问题,NeuMark-Native 把 16 比特信息嵌入冻结的 VALL-E 与 SpeechTokenizer 每一层 RVQ 隐表示后再解码,在两套语料 11 种信号处理与 9 种编解码攻击下取得更强的整体检出,尤其在编解码攻击下优势明显,代价是只训练水印模块并需离线预合成配对数据。
针对只匿名测试语音而参考语音仍可被对齐利用的问题,该文在参考端提前加入针对匿名系统量化瓶颈的对抗噪声,使等错误率从 14% 左右升到 45% 左右,而加噪后的参考语音本身在有界条件下仍保持可用。
该文针对冻结语音基础模型加层融合与线性头的适配方式,先在任务未知时稳定全部隐藏层表示再只用干净样本扩大分类边距,在三基座四任务十二组合上平均把鲁棒准确率提高 50.4 个百分点,代价是干净准确率下降 3.2 个百分点。
针对只需数秒语音即可克隆的 VC/TTS 滥用问题,STM 把扰动放在频域幅度谱上并用心理声学掩蔽阈做硬钳位,仅优化扰动去逼近目标说话人嵌入,在白盒实验中以 80 步迭代取得可比或更高的声纹拒绝率,同时把黑盒可迁移保护保留在 71.50% 而把生成耗时降到 2.19 对 3.48 秒每句的量级。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对基会话与增量会话存在域偏移的跨域小样本类增量音频分类问题,论文用对抗训练模拟伪目标域加监督对比学习塑形嵌入空间,在六组跨域配对上报告了更高的平均准确率,代价是基会话需两步交替训练且增量阶段冻结编码器。
针对跨语言说话人确认中语言与身份纠缠导致同人跨语言难接受、异人同语言难拒绝的问题,论文用冻结主干加说话人与语言两路 LoRA 并以语言分支锚定共享判别器做对抗解耦,在 TidyVoice 开发集上达到 0.91% 等错误率并在官方评测融合后达到 2.43% 与 2.84%,代价是需要语言标签、三阶段课程权重与推理时丢弃语言分支。
针对语音筛查轻度认知障碍易学到性别与语言捷径的问题,论文用跨模态融合对齐声文图线索并用梯度反转遗忘人口学信息,在 TAUKADIAL 和 PREPARE 上同时提升总体 F1 并缩小亚组差距,但探测显示残余人口学信息仍未清零。
针对改大或压住 creak 时音高与性别感知易被连带拖走的问题,论文用两段条件连续归一化流分别处理高层说话人属性与低层嗓音品质并在中间层做对抗去相关,在 LibriTTS-R 与 YourTTS 主干上以更小的音高偏移和更稳的性别与说话人验证指标完成 creak 编辑,代价是强操作仍会损失部分说话人相似度且抑制方向的主观 creak 变化不显著。
针对零样本声音克隆的未授权冒用问题,该工作先解耦内容与说话人表示再在说话人嵌入空间加对抗扰动并用心理声学掩蔽约束不可听性,在 VCTK 上报告 87.2% 防御成功率、MOS 4.18、WER 5.30%,代价是需要两阶段训练且黑盒迁移后防御率明显下降。
针对多语言说话人确认中语言失配导致身份与语言特征纠缠的问题,该研究选择在 w2v-BERT 2.0 上做层适配与多尺度聚合,并以梯度反转做语言对抗与多语言合成扩增,最强证据是在开发集上相对基线明显降低等错率,而代价是在未见语言与合成域失配条件下增益受限。
针对净化后仍能克隆的语音伪造问题,该工作把身份比特藏进 100-1000 Hz 音素稳定区并用 Mamba 编码与对抗净化训练实现迁移,在 11 人 165 条克隆语音上报告近 100% 溯源而 MH-Mamba 净化后保持率报告 92.34% 且代价是需强制对齐与两阶段训练。
针对说话人差异导致情感识别难泛化到未见说话人的问题,SISER 用 wav2vec 2.0 做编码器、ECAPA-TDNN 做说话人判别器并以熵最大化做对抗训练,在 IEMOCAP 上测试集达到 60.63% 非加权准确率,代价是两阶段交替训练与强判别器带来的训练复杂度。
针对非母语屈折变化导致端到端语音翻译显著掉点的问题,论文用对齐的语义空间把对抗文本嵌入直接注入语音流形做鲁棒微调,在四组翻译方向上平均提升约 3.4 个 BLEU 点而干净集仅下降约 0.6 个 BLEU 点,代价是仍需词级强制对齐和两阶段训练。