Are Deep Speech Denoising Models Robust to Adversarial Noise?

📄 Are Deep Speech Denoising Models Robust to Adversarial Noise? #语音增强 #对抗样本 #鲁棒性 #音频安全 #信号处理 ✅ 7.5/10 | 前25% | #语音增强 | #对抗样本 | #鲁棒性 #音频安全 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Will Schwarzer(University of Massachusetts) 通讯作者:未明确说明(第一作者邮箱为wschwarzer@umass.edu,但论文未明确标注“通讯作者”) 作者列表: Will Schwarzer(University of Massachusetts) Philip S. Thomas(University of Massachusetts) Andrea Fanelli(Dolby Laboratories) Xiaoyu Liu(Dolby Laboratories,论文注释“Work done while at Dolby Laboratories”,现所属机构为Meta) 💡 毒舌点评 本文系统性地揭示了当前主流开源深度语音降噪(DNS)模型在面对心理声学隐藏的对抗噪声时的普遍脆弱性,其“攻击成功且不可感知”的结论对安全关键场景(如助听器、应急通信)的模型部署敲响了警钟,实验设计严谨且多维度验证令人信服。然而,攻击目前严重依赖白盒梯度访问,且通用对抗扰动(UAP)效果有限,这使得论文揭示的威胁在真实复杂对抗环境中的可实现性打了折扣,防御部分也仅探索了最简单的高斯噪声。 🔗 开源详情 代码:提供代码仓库链接:https://github.com/willschwarzer/adv-dns-public 模型权重:论文测试的四个DNS模型(Demucs, FRCRN, MP-SENet, Full-SubNet+)均为开源,权重公开。 数据集:使用公开的ICASSP 2022 DNS Challenge 4数据集。 Demo:论文中未提及在线演示链接。 复现材料:论文正文和附录提供了详细的实验设置、超参数、优化细节、攻击样本链接以及复现声明。 论文中引用的开源项目:Whisper (ASR), Denoiser (Demucs), FullSubNet-Plus, FRCRN (ClearerVoice-Studio), MP-SENet, MaskGCT (Amphion), DNS-Challenge数据集与代码, DNSMOS P.835, NISQA, ViSQOL。其许可证信息已在表4中列出。 📌 核心摘要 问题:本文研究广泛使用的深度语音降噪(DNS)模型是否对精心构造的、心理声学上不可感知的对抗性噪声具有鲁棒性。 方法:作者提出了一种结合心理声学掩蔽模型(增强时间前后掩蔽)和房间脉冲响应(RIR)感知的攻击框架。核心是利用投影梯度下降(PGD)优化扰动,以短时客观可懂度(STOI)为损失函数,使DNS模型的输出从清晰语音变为无法理解的乱码,同时确保扰动能量低于听觉掩蔽阈值。 创新:与先前工作相比,本文首次对多个SOTA开源DNS模型在多种声学环境(从极干净到嘈杂混响)和模拟空中传播条件下,进行了系统性的不可感知攻击研究;建立了结合心理声学和RIR感知的攻击优化流程;并通过人类研究验证了攻击的成功性和不可感知性。 结果:对四个模型(Demucs, FRCRN, MP-SENet, Full-SubNet+)的测试表明,除Full-SubNet+因梯度爆炸问题表现出一定“伪鲁棒性”外,其他三个模型在所有测试环境(包括70 dB SNR无混响的近乎干净场景)下均可被成功攻击,使其输出STOI显著下降(例如,图1显示攻击后STOI增强量ΔSTOI从正值变为显著负值)。人类听辨实验(15名音频专家)证实攻击后输出词准确率接近0(图6a),且攻击扰动与干净样本的区分率仅略高于随机猜测(ABX准确率59%,图6b)。简单高斯噪声防御仅能提供部分保护(图4)。 意义:研究警示,开源DNS模型在安全关键应用(如助听器、应急通信、空管)中的部署存在严重安全隐患,亟需开发更强的防御机制。 局限:攻击需要白盒梯度访问;朴素的模型迁移攻击无效;目标攻击虽在客观指标上成功,但主观听感上目标语音仅隐约可闻;通用对抗扰动(UAP)效果有限;防御评估仅限于简单的高斯噪声。 🏗️ 模型架构 本文并未提出新的DNS模型架构,而是评估了四个现有开源DNS模型的脆弱性。这些模型的架构简述如下,均来源于论文及其引用: ...

2026-05-02 · 更新于 2026-06-12 · 1 min · 203 words

Tatemae: Detecting Alignment Faking via Tool Selection in LLMs

📄 Tatemae: Detecting Alignment Faking via Tool Selection in LLMs #大语言模型 #提示工程 #模型评估 #对抗样本 #鲁棒性 ✅ 7.5/10 | 前25% | #大语言模型 | #提示工程 | #模型评估 #对抗样本 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Matteo Leonesi(University of Camerino, Department of Computer Science) 通讯作者:未明确说明(作者列表中有两位标注“Equal contribution”,即Matteo Leonesi和Francesco Belardinelli) 作者列表:Matteo Leonesi(University of Camerino, Department of Computer Science)、Francesco Belardinelli(Imperial College London, Department of Computing)、Flavio Corradini(University of Camerino, Department of Computer Science)、Marco Piangerelli(University of Camerino, Department of Computer Science) 💡 毒舌点评 这篇论文最亮眼的地方在于其“去玄学化”的努力:将对齐伪装从“推理黑箱里的阴谋论”拉回到了“可观测工具选择”的实证科学范畴,其四阶段评估管道(特别是“监控”作为唯一变量)设计堪称优雅。然而,它的“杀手锏”——那个揭示模型内心挣扎的“监控提示词”——完全依赖于精心设计的提示工程,这无异于在教科书上模拟实战;虽然降低了门槛,但也在根本上限定了其结论的适用边界,即模型是否“真的”理解并恐惧权重更新,还是只是被一段特定文本诱导出了这种输出。 ...

2026-04-30 · 更新于 2026-06-12 · 2 min · 374 words

Adversarial Fine-Tuning on Speech Foundation Model with Vulnerable Attention Consistency Regularization for Robust Speech Recognition

📄 Adversarial Fine-Tuning on Speech Foundation Model with Vulnerable Attention Consistency Regularization for Robust Speech Recognition #语音识别 #语音大模型 #预训练 #对抗样本 #鲁棒性 ✅ 7.5/10 | 前25% | #语音识别 | #对抗样本 | #语音大模型 #预训练 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Yanyun Wang (The Hong Kong University of Science and Technology (Guangzhou)) 通讯作者:Li Liu (The Hong Kong University of Science and Technology (Guangzhou), avrillliu@hkust-gz.edu.cn) 作者列表:Yanyun Wang (The Hong Kong University of Science and Technology (Guangzhou)), Baoyuan Wu (The Chinese University of Hong Kong, Shenzhen; Shenzhen Loop Area Institute), Li Liu (The Hong Kong University of Science and Technology (Guangzhou)) 💡 毒舌点评 亮点:这篇工作敏锐地抓住了“防御SFM时,不能像对待传统模型那样容忍精度大幅下降”这一核心矛盾,通过CKA分析定位脆弱层并设计了针对性的双重正则化(注意力散度和特征相似性),思路清晰且可解释性强。短板:实验基本局限于Whisper模型在LibriSpeech一个数据集上的表现,对于SFM在多语言、多噪声环境下的泛化能力验证不足,使得“SOTA”的宣称在更大范围内略显底气不足。 ...

2026-04-29 · 更新于 2026-06-12 · 3 min · 457 words

Are Modern Speech Enhancement Systems Vulnerable to Adversarial Attacks?

📄 Are Modern Speech Enhancement Systems Vulnerable to Adversarial Attacks? #语音增强 #对抗样本 #扩散模型 #鲁棒性 ✅ 7.5/10 | 前25% | #语音增强 | #对抗样本 | #扩散模型 #鲁棒性 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者:Rostislav Makarov (汉堡大学信号处理组) 通讯作者:未说明 作者列表:Rostislav Makarov(汉堡大学信号处理组)、Lea Schönherr(CISPA亥姆霍兹信息安全中心)、Timo Gerkmann(汉堡大学信号处理组) 💡 毒舌点评 论文系统性地揭示了现代语音增强系统在对抗攻击下的脆弱性,并令人信服地论证了扩散模型因其随机采样机制而具备的“先天”鲁棒性,这是一个有价值的安全视角。然而,实验完全基于白盒攻击和合成攻击对,离验证真实世界(如助听器、通信系统)中的攻击场景还有很长距离,且代码和模型权重的未明确开源限制了结论的即时可验证性。 🔗 开源详情 代码:论文在摘要和引文部分提供了一个项目页面链接 https://sp-uhh.github.io/se-adversarial-attack,声称包含音频示例和代码。但论文正文中未明确说明代码是否完全开源、具体包含哪些内容(如训练脚本、评估代码、预训练模型)。因此,基于论文文本,不能确认其完全开源。 模型权重:论文未提及是否公开了所使用的SE模型(Direct Map, CRM, Diffusion)的预训练权重。 数据集:实验使用公开的EARS-WHAM-v2数据集,但论文未说明该数据集的获取方式(假设读者已知)。 Demo:项目页面可能包含音频示例演示,但论文正文中未提及在线可交互的Demo。 复现材料:论文给出了攻击优化的主要超参数(学习率、迭代次数、动量等)和扩散模型推理的步骤数N,但缺少SE模型训练的详细配置(如学习率调度、优化器、batch size、具体架构参数修改细节)。 论文中引用的开源项目:论文引用了多个开源项目/工具作为基础: SGMSE+ 基线仓库:https://github.com/sp-uhh/sgmse 心理声学模型实现:https://github.com/RUB-SysSec/dompteur/tree/main/standalone-psychoacoustic-filtering Whisper 语音识别模型(用于计算WER) DistillMOS 评估指标 总结:论文声称提供了代码和示例,但未在正文中做出明确的开源承诺或提供详细的复现指南。其依赖的上游开源项目(SGMSE+等)是公开的。因此,复现难度中等,需要自行搭建模型并调试。 📌 核心摘要 问题:本文研究了一个新兴的安全问题:现代的、表达能力强大的语音增强(SE)系统是否容易受到精心设计的、人耳难以察觉的对抗性噪声的攻击,从而输出与用户意图完全不同的语音内容。 方法核心:提出了一种针对语音增强系统的白盒对抗攻击框架。攻击者向原始混合语音(语音+噪声)中添加一个经优化的小扰动δ,目标是让SE系统的输出语音听起来像另一个指定的、攻击者选择的语音信号(Sattacker)。该扰动通过结合心理声学模型(MPEG-1)进行隐藏,使其不易被察觉,并使用PGD结合ℓ2范数约束进行优化。 新颖之处:首次系统性地将对抗攻击从语音识别(分类任务)扩展到语音增强(回归任务)。对比分析了三类主流SE模型(直接映射、复数掩膜、基于分数的扩散模型SGMSE+)在攻击下的脆弱性差异,并创新性地将心理声学隐藏技术适配到SE攻击场景。 主要实验结果:在EARS-WHAM-v2数据集上对100对样本进行攻击。结果显示,预测式模型(Direct Map, CRM)在适中约束下(λ=20dB, ε=10)能被有效攻击,输出语音与目标攻击语音高度相似(WER≈0.20, AS-POLQA≈1.81),同时扰动具有一定隐蔽性(SNR≈12.88 dB)。相比之下,扩散模型(Diffusion)更难攻击:即使在相同约束下,攻击成功率更低(WER≈0.80, AS-POLQA≈1.14),且扰动更明显(SNR≈7.90 dB)。消融实验进一步证明,扩散模型的随机采样步骤是其鲁棒性的关键来源(固定噪声路径后WER从0.47降至0.27)。 实际意义:本研究首次指出了语音增强系统存在被恶意操纵以篡改语义内容的安全风险,为未来SE系统的设计和安全评估提出了新挑战。其结论暗示,基于扩散模型的生成式SE可能因其随机性而更适合对安全性有要求的应用。 主要局限性:攻击场景为理想化的白盒攻击,且未考虑真实信道传输的影响;实验规模相对有限;攻击成功与否高度依赖于模型的可微性和攻击者对模型的完全控制。 🏗️ 模型架构 论文并未提出一个新的SE模型架构,而是评估和对比现有三类主流SE架构在对抗攻击下的表现。这三类架构都基于同一个骨干网络(NCSN++ U-Net),主要区别在于输出生成方式: ...

2026-04-29 · 更新于 2026-06-12 · 2 min · 369 words

Audio Classification Models are Vulnerable to Filter Perturbations

📄 Audio Classification Models are Vulnerable to Filter Perturbations #音频分类 #对抗样本 #鲁棒性 #信号处理 ✅ 7.5/10 | 前25% | #音频分类 | #对抗样本 | #鲁棒性 #信号处理 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Justin Dettmer(RWTH Aachen University, Chair for Artificial Intelligence Methodology) 通讯作者:未说明 作者列表: Justin Dettmer(RWTH Aachen University, Chair for Artificial Intelligence Methodology) Annelot Bosman(Leiden University, Leiden Institute of Advanced Computer Science) Igor Vatolkin(RWTH Aachen University, Chair for Artificial Intelligence Methodology) Holger Hoos(RWTH Aachen University, Chair for Artificial Intelligence Methodology; Leiden University, Leiden Institute of Advanced Computer Science) 💡 毒舌点评 本文最大的亮点在于将对抗扰动从“像素/采样点级噪声”升维到更具物理和语义意义的“频域滤波器”,使得攻击更贴近真实世界中录音设备差异造成的频谱失真,这种更现实的威胁建模思路值得肯定。然而,论文虽然证明了当前模型对此脆弱,但提出的对抗训练解决方案计算成本高达10倍,且缺乏与现有多样性音频增强(如FilterAugment)方法的直接鲁棒性对比,使得“防御有效性”的结论稍显单薄。 ...

2026-04-29 · 更新于 2026-06-12 · 1 min · 199 words

Audio-Text Jailbreak Attack on Large Audio-Language Models: Towards Generality and Stealthiness

📄 Audio-Text Jailbreak Attack on Large Audio-Language Models: Towards Generality and Stealthiness #音频安全 #对抗样本 #多模态模型 #跨模态 ✅ 7.0/10 | 前25% | #音频安全 | #对抗样本 | #多模态模型 #跨模态 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者:Yuhong Li(太原工业大学工业互联网安全山西省重点实验室 & 计算机科学与技术学院) 通讯作者:Jianhua Wang(太原工业大学工业互联网安全山西省重点实验室 & 计算机科学与技术学院,邮箱:wangjianhua02@tyut.edu.cn) 作者列表:Yuhong Li(太原工业大学工业互联网安全山西省重点实验室 & 计算机科学与技术学院)、Jiabao Zhang(太原工业大学工业互联网安全山西省重点实验室 & 计算机科学与技术学院)、Yan Chen(太原工业大学计算机科学与技术学院)、Zhihui Zhao(太原工业大学工业互联网安全山西省重点实验室 & 计算机科学与技术学院)、Jianhua Wang(太原工业大学工业互联网安全山西省重点实验室 & 计算机科学与技术学院) 💡 毒舌点评 亮点在于首次开辟了“音频+文本”联合优化的多模态越狱攻击赛道,并在实验上取得了90%以上的攻击成功率,有力证明了当前LALM在多模态融合下的脆弱性,为安全研究提供了新方向。短板是论文对“隐身性”的论证略显单薄,仅通过提升成功率来间接证明,并未深入评估攻击音频在人类听觉或音频检测系统中的隐蔽程度,削弱了“Stealthiness”这一主张的力度。 🔗 开源详情 代码:是,论文提供了GitHub仓库链接:https://github.com/SKLIIS-AIS/AudioTextJailbreak。 模型权重:未提及。论文未说明是否公开攻击者使用的模型或攻击目标模型的权重获取方式。 数据集:是,但获取方式不明确。论文提到使用TTS技术创建了音频版AdvBench数据集,但未提供公开下载链接或详细生成脚本。 Demo:未提及。 复现材料:论文中提及了代码,但未提供完整的训练配置、检查点或附录说明。对于攻击优化中的关键超参数细节未充分披露。 论文中引用的开源项目:TTS工具 Coqui;目标模型 Qwen2-Audio-7B-Instruct, Qwen2.5-Omni-3B;文本攻击基线 GCG;数据集 AdvBench。 📌 核心摘要 问题:现有的针对大型音频语言模型(LALM)的越狱攻击多局限于单模态(纯文本或纯音频),且通用性和隐蔽性不足。 方法核心:提出“音频-文本越狱攻击”(Audio-Text Jailbreak),首次联合优化微小的对抗音频扰动和恶意的文本后缀,共同诱导模型生成有害回应。同时设计了环境噪声添加和语速调整等隐身策略。 与已有方法相比新在哪里:a) 首次实现音频和文本模态的深度融合攻击;b) 设计的单个对抗音频/文本后缀可泛化应用于不同用户指令;c) 引入针对性的音频层隐身策略。 主要实验结果:在Qwen2-Audio和Qwen2.5-Omni两个模型上,攻击成功率(ASR)分别达到91.00% 和 92.73%,显著优于GCG、VoiceJailbreak、SpeechGuard等基线方法。关键实验结果如下表所示: 方法 非法活动 仇恨言论 人身伤害 欺诈 色情 隐私侵犯 平均 Base (无攻击) 0 0 0 0 0 0 0 GCG (文本攻击) 0.67 0.72 0.73 0.79 0.80 0.75 0.74 VoiceJailbreak 0 0.40 0.20 0.20 0.30 0 0.21 SpeechGuard 0.20 0.40 0.40 0.20 0.30 0 0.25 Audio-Text JailBreak (本文) 0.95 0.90 0.90 0.88 0.90 0.90 0.91 模型 Noise Rate Rate + Noise Ours Qwen2-Audio 84.00 83.30 86.61 91.00 Qwen2.5-Omni 82.50 85.65 73.91 92.73 平均 83.25 84.48 80.26 91.86 实际意义:揭示了当前LALM在处理跨模态输入时存在的严重安全漏洞,为模型安全加固(如多模态对齐安全训练)提供了明确的攻击测试基准和方向。 主要局限性:通用性验证实验仅在一个条件(K=10)下进行,泛化能力论证不够充分;隐身策略的实际效果(如是否易于被人耳察觉或被音频检测器识别)未通过直接的用户研究或客观度量进行评估。 🏗️ 模型架构 本文并未提出一个新的端到端语音大模型架构,而是针对现有的LALM(如Qwen2-Audio, Qwen2.5-Omni)设计了一个攻击框架。其核心是音频-文本联合越狱攻击流程。 ...

2026-04-29 · 更新于 2026-06-12 · 2 min · 264 words

Cooperative Multi-Agent Reinforcement Learning for Adaptive Aggregation in Semi-Supervised Federated Learning with non-IID Data

📄 Cooperative Multi-Agent Reinforcement Learning for Adaptive Aggregation in Semi-Supervised Federated Learning with non-IID Data #联邦学习 #强化学习 #音频分类 #对抗样本 #鲁棒性 ✅ 7.0/10 | 前50% | #联邦学习 | #强化学习 | #音频分类 #对抗样本 学术质量 6.0/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者:Rene Glitza(波鸿鲁尔大学通信声学研究所) 通讯作者:论文中未明确指出,未说明 作者列表:Rene Glitza(波鸿鲁尔大学通信声学研究所)、Luca Becker(波鸿鲁尔大学通信声学研究所)、Rainer Martin(波鸿鲁尔大学通信声学研究所) 💡 毒舌点评 本文巧妙地将TD3算法应用于联邦学习的服务器与客户端双层决策,构建了一个能同时“抵御坏人”和“发展个性”的自适应系统,实验设计考虑了三种非独立同分布场景和对抗设置,相当全面。但实验仅局限于一个450k参数的小型音频Transformer预训练任务,就宣称“适用于真实世界部署”略显仓促,且未与同样使用强化学习的FedAA、FedDRL进行充分直接的性能对比,说服力打了折扣。 🔗 开源详情 代码:论文中提及代码仓库链接为 github.com/NexuFed/pFedMARL。 模型权重:未提及公开模型权重。 数据集:实验使用DCASE Task 2数据集,但论文未说明是否公开处理后的数据集或如何获取,仅提及了原始数据集来源。 Demo:未提供在线演示。 复现材料:论文提供了部分训练细节(网络结构、超参数、数据集描述),但缺少完整的配置文件、训练脚本、环境依赖列表和检查点。 论文中引用的开源项目:论文引用了Twin Delayed DDPG (TD3)算法[12]、优先级经验回放[19]、Audio Spectrogram Transformer (AST)[17, 18]等,表明实现可能依赖这些概念或现有库。 📌 核心摘要 本文旨在解决联邦学习在非独立同分布数据下全局模型性能下降及模型偏差问题,以及对抗性客户端威胁模型鲁棒性的挑战。核心方法是提出pFedMARL,一个多智能体强化学习框架,使用Twin Delayed DDPG(TD3) 算法。该框架包含一个服务器端代理,动态调整客户端聚合权重以优化全局模型鲁棒性;以及客户端代理,平衡全局与局部更新以实现个性化模型,且无需预训练代理。与传统方法(如FedAvg)相比,其新在将联邦学习过程建模为多智能体协同决策问题,实现了聚合策略的动态自适应。与Ditto相比,其新在通过强化学习自动学习个性化平衡参数,并额外增强了对抗鲁棒性。主要实验结��(见下表)表明,在三种非独立同分布数据场景下,pFedMARL在本地数据和全局数据上的MSE和F1-score指标上均优于或媲美FedAvg和Ditto,并能有效抑制对抗性客户端的影响。其实际意义在于为隐私敏感、数据异构的真实世界(如IoT设备协同训练)提供了一个灵活、可扩展的联邦学习解决方案。主要局限性在于验证局限于单一的半监督音频预训练任务,且缺乏对更多标准联邦学习基准(如计算机视觉数据集)的验证。 ...

2026-04-29 · 更新于 2026-06-12 · 2 min · 275 words

Emotional Damage: Investigating Safety Vulnerabilities of Large Audio-Language Models Under Speaker Emotional Variations

📄 Emotional Damage: Investigating Safety Vulnerabilities of Large Audio-Language Models Under Speaker Emotional Variations #音频大模型 #音频安全 #对抗样本 #语音合成 ✅ 7.5/10 | 前25% | #音频安全 | #对抗样本 | #音频大模型 #语音合成 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者:Bo-Han Feng(台湾大学)、Chien-Feng Liu(台湾大学)、Yu-Hsuan Li Liang(台湾大学)(注:论文标明三位为共同第一作者) 通讯作者:Hung-yi Lee(台湾大学)(注:论文未明确标注通讯作者,Hung-yi Lee为资深作者,按惯例推断) 作者列表:Bo-Han Feng(台湾大学)、Chien-Feng Liu(台湾大学)、Yu-Hsuan Li Liang(台湾大学)、Chih-Kai Yang(台湾大学)、Szu-Wei Fu(NVIDIA)、Zhehuai Chen(NVIDIA)、Ke-Han Lu(台湾大学)、Sung-Feng Huang(NVIDIA)、Chao-Han Huck Yang(NVIDIA)、Yu-Chiang Frank Wang(NVIDIA)、Yun-Nung Chen(台湾大学)、Hung-yi Lee(台湾大学) 💡 毒舌点评 这篇论文的“问题嗅觉”非常灵敏,精准地抓住了大型音频语言模型在“情绪化表达”这一软肋上的安全漏洞,并用一套严谨的控制变量实验(同一指令、同一说话人、不同情绪与强度)给出了令人信服的实证证据,这是其最大亮点。然而,论文在揭示问题后戛然而止,未能进一步探索漏洞产生的原因(如数据偏差、模型架构缺陷)或提出任何防御/改进方案,使其研究深度略显不足,更像是一个扎实的“安全审计报告”,而非一个完整的“攻防研究”。此外,模型评估的全面性可以进一步加强。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:未提及。 数据集:论文明确提供数据集获取链接:https://huggingface.co/LALM-emotional-vulnerability。 Demo:未提及。 复现材料:论文描述了数据集构建流程和评估指标,但未提供完整的训练细节、配置或检查点。 论文中引用的开源项目:主要依赖AdvBench(文本有害查询)、CREMA-D(情感语音参考)和CosyVoice 2(TTS模型)。 📌 核心摘要 问题:大型音频语言模型(LALMs)的安全对齐在面对说话人情感(副语言信息)变化时,存在尚未被系统研究的脆弱性。 ...

2026-04-29 · 更新于 2026-06-12 · 2 min · 230 words

ICASSP 2026 - 对抗样本 论文列表

ICASSP 2026 - 对抗样本 共 1 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 Style Attack Disguise: When Fonts Become a Camouflage for Ad 7.0分 前25% 📋 论文详情 🥇 Style Attack Disguise: When Fonts Become a Camouflage for Adversarial Intent ✅ 7.0/10 | 前25% | #对抗样本 | #数据增强 | #文本分类 #机器翻译 👥 作者与机构 第一作者:Yangshijie Zhang† (Lanzhou University) 通讯作者:Xingxing Jia⋆ (Lanzhou University, jiaxx@lzu.edu.cn) 作者列表: Yangshijie Zhang† (Lanzhou University) Xinda Wang† (Peking University) Jialin Liu (Peking University) Wenqiang Wang (Sun Yat-sen University) Zhicong Ma (Lanzhou University) Xingxing Jia⋆ (Lanzhou University) 机构:兰州大学、北京大学、中山大学 💡 毒舌点评 ...

2026-04-29 · 更新于 2026-06-12 · 1 min · 128 words

Impact of Phonetics on Speaker Identity in Adversarial Voice Attack

📄 Impact of Phonetics on Speaker Identity in Adversarial Voice Attack #说话人验证 #对抗样本 #语音识别 #音频安全 ✅ 7.0/10 | 前50% | #说话人验证 | #对抗样本 | #语音识别 #音频安全 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者:未说明(论文中作者按字母顺序列出,未明确标注第一作者) 通讯作者:未说明(论文中未提供通讯作者信息) 作者列表:Daniyal Kabir Dar(密歇根州立大学计算机科学与工程系)、Qiben Yan(密歇根州立大学计算机科学与工程系)、Li Xiao(密歇根州立大学计算机科学与工程系)、Arun Ross(密歇根州立大学计算机科学与工程系) 💡 毒舌点评 亮点在于将对抗扰动的分析从单纯的转录错误(WER/CER)提升到了语音学特征(元音、辅音)和说话人身份表征的层面,提出了“身份漂移”这个直观且有意义的概念。短板是整个研究框架(白盒攻击+评估指标)相对常规,对“为什么某些语音结构更容易引发漂移”这一核心问题的分析深度有限,更多是相关性观察而非因果解释。 🔗 开源详情 代码:论文在结论部分提供了一个GitHub仓库链接(https://dantyalkabir.github.io/icassp-2026-results/),用于提供额外的图示和可视化结果。但未明确说明该仓库是否包含生成对抗样本、运行评估的完整可执行代码。 模型权重:未提及公开攻击生成的对抗样本权重或修改后的说话人模型权重。 数据集:实验使用公开数据集VCTK [31]。 Demo:未提供在线演示。 复现材料:论文详细描述了攻击框架、目标短语设计思路、评估指标,但缺少具体的训练/优化超参数(如迭代次数、步长、c值)、模型配置细节和完整的脚本,复现存在一定难度。 引用的开源项目:引用了DeepSpeech [2]、ECAPA-TDNN [3]等作为基线模型。 📌 核心摘要 本文研究了针对自动语音识别(ASR)系统的对抗性语音攻击,如何同时影响说话人身份验证。论文的核心问题是:这些旨在改变转录文本的微小扰动,是否会破坏用于区分说话人的声学指纹?方法上,作者以DeepSpeech为攻击目标,采用基于梯度的白盒攻击方法生成对抗样本,并创新性地从语音学角度(如元音中心化、辅音替换)分析扰动模式。与以往只关注转录准确率的工作不同,本文的核心贡献在于系统评估了对抗攻击对说话人验证系统(使用ECAPA-TDNN和ResNet模型)的影响,提出了“身份漂移”概念。实验结果显示,在VCTK数据集上,攻击的成功率与目标短语的语音复杂度和长度强相关:短元音丰富的短语(如“yes”)身份漂移很小(TMR=100%, d’≈9.6),而长且包含复杂辅音丛的短语(如pangrams)会导致严重的身份漂移(TMR低至44%, d’降至约3.0)。该研究的实际意义在于揭示了语音对抗攻击的双重危害,提示了未来防御系统需要同时考虑转录安全和身份安全。主要局限性在于研究仅限于理想化的白盒攻击设置,未探讨更现实的黑盒或过空气攻击场景。 🏗️ 模型架构 本文并未提出一个新的模型架构,而是分析现有系统在对抗攻击下的行为。整体攻击与分析框架如图1所示。 ...

2026-04-29 · 更新于 2026-06-12 · 2 min · 252 words