把真伪线索和攻击痕迹拆开:正交约束为何能让语音伪造检测跨库更稳
针对在 ASVspoof 2019 LA 上训练后跨库性能大幅下降的问题,该文在 SSL-AASIST 上增加通用分支与攻击特异分支并用余弦正交损失解耦,最强证据是加 RawBoost 后在 21DF 上等错误率从 6.64% 降到 3.67%,代价是在 19LA 上从 0.22% 微升到 0.32%。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对在 ASVspoof 2019 LA 上训练后跨库性能大幅下降的问题,该文在 SSL-AASIST 上增加通用分支与攻击特异分支并用余弦正交损失解耦,最强证据是加 RawBoost 后在 21DF 上等错误率从 6.64% 降到 3.67%,代价是在 19LA 上从 0.22% 微升到 0.32%。
针对含谐波和噪声时基频滤波不准会拖累瞬时基频的问题,该研究用 Wave-U-Net 直接增强基频波形再求解析信号瞬时频率,在干净与加噪条件下取得更高的粗正确率,但干净强调制跟踪仍不及 NINJAL 且存在下采样混叠的待验证解释。
MAC-VAD 针对噪声、混响和遮挡下纯音频 VAD 不可靠的问题,用 WavelNet 音频编码器与 EfficientViT 视觉编码器加动态视听交叉注意力融合,并以冻结 Wav2Vec 2.0 做蒸馏,在 MMVAD 上达到 93.52% 准确率与 86.39% F1,代价是 21.4M 参数与对人脸裁剪的依赖。
针对含噪说话人确认中干净参考仍带通道残留而误导增强的问题,该研究用双解码器加混合一致性约束做面向确认的分解,在 VoxCeleb1 加 MUSAN 上 Vox2 训练平均等误率做到 1.19%,代价是干净与高信噪比下不占优且依赖受控仿真条件。
针对自动语音识别错误导致意图分类语义失真的问题,论文用先在干净转写上训练教师再冻结指导学生去噪与判别蒸馏的三元对抗框架,在 SLURP 噪声条件下相对 GAN-BERT 取得 4.49% 和 6.46% 绝对提升,代价是分阶段训练与多系数联合调参。
针对支持样本与查询音频都被背景声污染的单路五样本声音事件检测问题,论文提出冻结音频编码器、仅把目标原型向背景向量正交子空间投影的 POP-SED,在 DCASE2024 任务 5 验证集上用 BEATs 取得 62.35% 的事件级 F 值,代价是背景混合数增大时子集搜索按 2 的 M 次方增长。
针对推理时缺少说话人坐标导致地理条件适配无法启用的问题,论文用冻结编码器上的轻量坐标回归头先预测经纬度再做两遍解码,在荷兰方言上用 10 秒语音达到约 25 公里、30 秒约 16 公里定位误差,使无坐标的 CRH+GLoRIA 比同秩 LoRA 平均好 3.05% 词错误率且距真坐标上限仅 0.58%,代价是多一次编码器前向、延迟增加不到 3% 且外推区域 …
针对跨语言和噪声下说话人确认易把语言当成身份的问题,该文先用弧面间隔损失在多语言数据上微调 ReDimNet-B6,再冻结主干训练轻量三元组投影网络,开发集等错误率从基线 3.07% 降到 1.58%,代价是最易条件出现 0.07 个百分点回退且盲测集仍明显高于开发集。
针对呼吸音分类中录音质量不一与重度类别不平衡问题,QLung 用无参考音频质量间隔与对数缩放类别间隔组成双因子角度间隔并配合角度分类器,在 ICBHI 上将 AST 基线分数从 59.55% 提升到 62.01%,在 SPRSound 分布外测试上达到 59.80% 的最好分数,代价是裂音单类准确率下降且对超参数与预处理依赖较强。
针对 GAN 声码器域内保真与未见场景泛化不足的问题,论文提出用语音自监督表示辅助的质量差距加相对配对反馈的训练目标 RAF,在 LibriTTS 训练并在多未见集验证,最强证据是 RAF 版 BigVGAN-base 在感知指标上超过参数量约 8 倍的 LSGAN 版 BigVGAN,代价是训练需更长片段、自监督模型与梯度惩罚带来更高训练开销。
针对冻结说话人嵌入的无标签增强问题,该文用冯·米塞斯-费舍尔分布对干净目标建模并轮廓化样本级集中度,得到对数残差损失,在保持标准集基线的同时改善 CN-Celeb、VOiCES 等失配集,代价是标准集提升微弱且重度失配仍有残留误差。
该研究固定音频只改文字,量化选择题评测中的语言偏置与措辞敏感性,最强证据是干扰项改写可带来高达 13.7% 的准确率标准差,而代价是需要多版本扰动与全对才算对的严格统计。
该研究用 10150 张 MENA 文化图像的三元组对比基准检验文本与语音、英文与阿拉伯语下视觉 grounding 是否一致,提出条件性对比不稳定性指标并报告语音尤其在阿拉伯语下显著放大碎片化失败,而增大规模与语音加文本联合输入只能缓解不能消除。
SEAM 针对朗读与自发语音易被语料身份和通道条件污染的问题,用统一预处理加接缝感知采样加非语音增强配合 DistilHuBERT 做 8 秒窗口实时检测,以全量训练下外部面试集 0.971 左右 ROC-AUC 为证据,代价是去掉防捷径组件反而会抬高内部指标。
该文针对一阶 Ambisonics 生成评估缺乏空间灵敏度理解的问题,沿可控方位角与俯仰角轨迹检验分布型与样本型指标,报告显示定位嵌入的 F-PSELD 与声学图 MVDR-AM 响应度最高且较稳健,而强度矢量在对称多源下退化,相位与幅度类指标响应不足。
针对多通道增强依赖固定阵列几何的问题,该工作提出由麦克风坐标动态生成卷积核的 Geo-DConv 适配器,在 RealMAN 真机录制数据上让 SpatialNet 与 TF-GridNet 适配可变阵列并在多拓扑与跨数据集上保持提升,代价是增加少量坐标建模参数与计算。
针对增强伪影损伤识别的问题,该文提出免训练的置信度加权观察相加方法,在多种增强与识别组合上降低词错误率,但当含噪与增强差距过大时仍可能不及最强单路。
针对微调后朗读变好、自发语音变差的演播室偏置问题,论文用印地语和马拉雅拉姆语的四档复杂度基准证明早做大幅更新是主因约 12 个百分点,再用难到易的三阶段配方让 244M 模型在自发语音上追平 769M 常规模型,代价是必须在高可塑阶段先吃最难数据并依赖解码器集中适配。
该文以 AVID 库 50 人在四个努力等级上的 F0、能量、频谱倾斜和语速斜率为表示,用 K 均值得到三类策略并以噪声、跨语料和 ASR 三重验证支撑,最强证据是簇内可分性与噪声可恢复性,代价是轮廓系数不高且性别关联不显著。
论文把已有的 66 小时真实家庭录音重新标注为哭、闹、不适之外的三类,用 YAMNet 嵌入加 RBF 支持向量机把二分类宏 F1 做到 0.803、三分类做到 0.624,代价是闹的精度仍低且对实验室数据的跨域优势混杂了数据量差异。