看得见频率依据的伪造语音检测:分频带看破绽,门控融合补盲区
针对全频带黑盒检测难定位伪造痕迹的问题,BandMIL 用 8 频带注意力做可解释谱分析、用 WavLM 做全局时序建模并以门控融合与多实例学习聚合,在 ASVspoof 2019 LA 上报告 1.28% EER 和 0.0331 min t-DCF,但融合在 A10 等三类攻击上弱于单分支且未验证跨数据集泛化。
针对全频带黑盒检测难定位伪造痕迹的问题,BandMIL 用 8 频带注意力做可解释谱分析、用 WavLM 做全局时序建模并以门控融合与多实例学习聚合,在 ASVspoof 2019 LA 上报告 1.28% EER 和 0.0331 min t-DCF,但融合在 A10 等三类攻击上弱于单分支且未验证跨数据集泛化。
针对复调录音中同音色音符互相泄漏的问题,论文用谐波与打击乐双流 NoteGrab 按音高与起止逐个抓取音符,再用自适应集合归属联合重分混合能量,在 SCNS-Eval 上中位 SI-SDR 达 7.39 dB,代价是逐音符推理与完整乐谱依赖。
针对文本注册的用户自定义关键词检测能耗过高问题,SPARK 用端到端脉冲网络与脉冲驱动注意力做音频文本匹配,在 LibriPhrase 上以 99.07% 的 AUC 和 3.97% 的 EER 维持可比性能,代价是音素级难负样本区分仍弱于重型预训练基线且全脉冲链路依赖特定仿真与能量估算条件。
针对多个移动说话人方向接近时纯空间线索难以稳定归属的问题,SpkGuideDOA 用压缩分辨率的说话人门控对直接路径相位差估计器做残差调制,在仿真与 LOCATA 上报告了更低的漏检与角度误差,代价是引导分支带来的参数增加与联合排列约束。
针对不足 3 秒的自定义短语验证不稳定问题,论文用文本相关与文本无关混合注册加并行交叉注意力帧级重打分,在 VoxPhrase 上用冻结骨干加轻量验证器持续降低等错率,代价是需要同时准备两种注册语音并额外训练验证器。
针对整段语音才能对齐而流式只能看到局部帧的矛盾,该文把流式语音做查询、注册文本做键值实现逐帧计算,在 LibriPhrase 上难负样本达到等错误率 28.21% 与曲线下面积 79.19%,代价是易负样本略弱于 CTC 对齐基线且依赖两阶段训练。
针对穿混凝土墙雷达语音带限与杂波干扰问题,论文提出逐层扩频的 CAF-Former,先用共享键值的多查询时间注意力守住低频时序,再用频率注意力融合引导高频恢复,在仿真与实测上 STOI、DNSMOS 和 CS-MFCC 最优,代价是仿真 PESQ 略低于 EBENet 与 TF-Locoformer 且参数量为 2.726M。
针对单条一秒短语音说话人确认性能崩塌问题,论文在 WavLM 与 ECAPA-TDNN 之间插入可学习的向量档案映射模块,在相同一秒训练条件下把 Vox1-O 等错误率从 10.346% 降到 8.342%,代价是对三秒长输入做多余补偿导致性能回落。
针对稀疏测量到稠密 HRTF 的上采样受固定测量布局限制的问题,GeoAtt 用逐频点查询条件空间聚合加 Conformer 频率建模实现单个模型适配多种布局,在 SONICOM 四个 LAP 布局上报告了最低对数谱失真,但受限测量覆盖下误差仍明显上升且代码权重本次未能确认可达。
针对神经编解码器重合成会抹掉波形域水印的问题,NeuMark 把 16 比特消息分布嵌入 SpeechTokenizer 的 8 路残差量化潜变量并用失真增强训练检测与解码,其代价是潜变量方法的透明度受限于编解码器自身重建质量并需区分原始参考与重建参考。
针对野外遮挡噪声下说话人易误判问题,ROAM-ASD 联合音频、全脸与嘴部三流并用联合自注意力加模态丢弃融合,在五个基准上取得 98.8%、87.9% 等 mAP,代价是需要人脸跟踪与嘴部关键点定位。
针对注意力编码器解码器语音基座模型在无语音与弱证据下产生无声学支撑文本的问题,AURA 冻结原模型并只编辑解码器交叉注意力的少量头输出,用交叉注意力不确定性做逐词门控,在非语音上把幻觉率从 89.18% 降到 1.94%,代价是训练轮数增加后干净语音词错误率上升的权衡。
针对卢旺达语正字法省略声调与音节时长导致端到端合成语调难的问题,该工作用词素编码器加音素到词素交叉编码器替换 VITS 文本编码,在 10 千句可懂度与 21 人主观评测上提升自然度与语调,但以 169M 词素参数与训练时长增加为代价且对未见词素敏感。
XSQ-AST 用冻结的 SQ-AST 做多维度打分、用 WhisperX 做音素对齐、用显著性加核密度估计定位时间毛刺,40 人听音验证显示 Rollout 等方法与听众标注呈中等相关且 AUC 高于随机,但不同伪影类型最优方法不同且存在未评测边界。
针对一阶 Ambisonics 在旋转与镜像下方向变化而声源不变的问题,EquiSELD 用不变标量与等变强度向量双流加等变注意力实现严格 O(3) 等变,在 TAU2021 上以 0.40 的综合分超过基线并以约 19 倍更少训练耗时超过已有等变网络,但在 STARSS23 真实场景上优势收窄且仍受类别覆盖与仰角先验限制。
论文研究视频字幕与语音转写在流式条件下如何决定每写一个词可见多少源,用单参数幂律窗口替代固定等待,在三个公开集上以 29M 解码器在低延迟处保持质量并给出结构化不偷看证明,代价是长度估计与单轮运行噪声仍需复核。
针对带噪语音中浊音谐波易被抹掉且 PESQ 不可微的问题,HAMMER 用时间-频率并行注意力-Mamba 加自相关前馈建模周期性,并用软化 PESQ 加可微 LLR 直接优化,在 VoiceBank+DEMAND 上报告 3.69 PESQ 和 4.41 COVL,推理时对比度拉伸可到 3.79 PESQ 但背景分随之下降。
针对自动视频面试只给分数而缺乏可检查依据的问题,E-AVI 选择先抽取带时间戳的结构化多模态证据再做维度条件打分,在 RecruitView 上把 MAE 从 0.641 降到 0.607、Spearman 从 0.440 提升到 0.541,代价是提取阶段仍是 83.3% 困难样本的瓶颈且推理依赖 15 秒级抽取开销。
针对深度与双耳音频简单拼接会丢失几何语义关联的问题,CTAN 用双向重构交叉注意力做主动语义增强、用门控时间记忆桥接听觉死区,在 Replica 与 Matterport3D 未见环境中相对 SoundSpaces 基线提升了未听过声音下的成功率与路径效率,但消融显示各模块贡献与听觉死区恢复能力仍受场景规模与声音泛化条件限制。
该研究把 AASIST2 图注意力层拆成打分对称性、温度可学习性与路由粒度三条残差分支,在统一 LoRA 条件下用五个评测集和五个随机种子检验,发现 LearnT 平均统一等错误率最优而 GATv2 与 LearnT 联用反而明显退化,说明分支之间是非可加的相互作用。