音频安全

📄 PADAM: Perceptual Audio Defect Assessment Model #音频分类 #对比学习 #预训练 #音频安全 ✅ 7.0/10 | 前50% | #音频分类 | #对比学习 | #预训练 #音频安全 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Alex Mackin, Pratha Khandelwal（共同贡献，论文中未明确区分第一作者） 通讯作者：论文中未明确标注通讯作者 作者列表：Alex Mackin (Amazon Prime Video), Pratha Khandelwal (Amazon Prime Video), Veneta Haralampieva (Amazon Prime Video), Michael Lau (Amazon Prime Video), Benoit Vallade (Amazon Prime Video), David Higham (Amazon Prime Video), Josh Anderson (Amazon Prime Video) 💡 毒舌点评 亮点：合成缺陷生成流程设计得相当扎实，考虑了从源到转码的整个制作管道，并针对七种缺陷给出了具体的生成算法和参数范围，这使得模型训练数据更贴近真实的工业场景。短板：模型在区分“技术缺陷”和“创意意图”上表现拙劣（生产评估中68.1%的“问题”实为创意意图），这暴露了纯信号层面检测的根本局限，也让“无参考感知评估”的“感知”二字打了折扣。 ...

📄 PRoADS: Provably Secure And Robust Audio Diffusion Steganography With Latent Optimization And Backward Euler Inversion #音频安全 #扩散模型 #音频生成 ✅ 6.5/10 | 前50% | #音频安全 | #扩散模型 | #音频生成 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Yongpeng Yan（武汉大学国家网络安全学院） 通讯作者：Yanzhen Ren（武汉大学国家网络安全学院） 作者列表：Yongpeng Yan（武汉大学国家网络安全学院），Yanan Li（武汉大学国家网络安全学院），Qiyang Xiao（武汉大学国家网络安全学院），Yanzhen Ren（武汉大学国家网络安全学院，武汉大学航空航天信息安全与可信计算教育部重点实验室） 💡 毒舌点评 亮点： 本文精准地抓住了“初始噪声嵌入式”扩散隐写方法在逆向提取时的痛点——重建误差，并针对性地提出了“潜在空间优化”和“后向欧拉反演”两个技术改进，实验结果也清晰地证明了其有效性（BER显著降低），是一篇问题导向明确、解决方案扎实的改进型工作。 短板： 论文最大的软肋在于其核心实验基础——EzAudio模型——的复现信息几乎完全缺失，且未开源任何代码，这使得其宣称的“可复现”和“高效”大打折扣；同时，提取过程的高计算开销（106秒 vs 6.8秒）限制了其实时应用场景，论文对此的讨论也较为轻描淡写。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开PRoADS模型的权重。实验使用的是预训练的EzAudio模型，但论文未给出其具体获取方式或版本。 数据集：使用了公开的AudioCaps数据集，但未说明具体版本和使用方式。 Demo：未提供在线演示。 复现材料：未提供训练细节（本方法无需训练）、配置文件、检查点或附录说明。复现依赖于对论文算法描述的理解和对EzAudio模型的自行配置。 论文中引用的开源项目：明确依赖于EzAudio [7] 音频扩散模型进行实验。其他基线方法（如GSD, DiffStega, Gaussian Shading）也多为已发表的工作，但本文未提供其代码链接。 📌 核心摘要 本文旨在解决基于扩散模型的生成式音频隐写术中，由于扩散模型逆向过程误差导致的秘密消息提取比特错误率（BER）过高的问题。其核心方法是提出PRoADS框架，通过正交矩阵投影将消息嵌入扩散模型初始噪声，并引入两项关键技术来最小化逆向误差：一是在编码器将隐写音频转为潜在表示后，进行潜在空间梯度优化以逼近原始潜在变量；二是采用更精确的后向欧拉迭代法替代朴素的DDIM反演来求解扩散逆过程。与现有方法（如Hu[17]）相比，本文的主要新意在于同时从“潜在变量重构”和“扩散逆过程求解”两个层面减少误差。实验表明，在EzAudio模型上，PRoADS在64 kbps MP3压缩攻击下实现了0.15%的低BER，相比基线方法有显著提升（例如在DPMSolver下，较Hu[17]降低约0.5%）。该工作的实际意义在于为生成式音频隐写提供了更高鲁棒性的解决方案，主要局限性是提取过程计算开销大（106秒），且未提供开源代码和详细模型参数，限制了复现与应用。 ...

📄 RoCo: Robust Code for Fast and Effective Proactive Defense against Voice Cloning Attack #音频安全 #对抗样本 #语音克隆 #语音合成 #鲁棒性 ✅ 7.5/10 | 前25% | #音频安全 | #对抗样本 | #语音克隆 #语音合成 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Seungmin Kim（松石大学， Soongsil University） 通讯作者：Daeseon Choi（松石大学， Soongsil University， sunchoi@ssu.ac.kr） 作者列表：Seungmin Kim（松石大学）、Dain Kim（松石大学）、Sohee Park（松石大学）、Daeseon Choi（松石大学）。论文指出Seungmin Kim和Dain Kim为共同第一作者。 💡 毒舌点评 RoCo巧妙地将主动防御的“战场”从脆弱的波形域转移到结构更稳定的编解码器潜在空间，并利用STE优雅地解决了离散优化问题，这是一个在架构层面令人耳目一新的设计。然而，该防御策略本质上是针对特定语音合成管线的“寄生式”扰动，其长期有效性高度依赖于攻击模型编解码器的结构稳定性，一旦遇到更强的自适应净化攻击或完全不同的合成架构，其鲁棒性承诺就可能大打折扣。 🔗 开源详情 代码：论文中提供了项目主页链接 (https://smerge0802.github.io/RoCo/)，该页面可能包含演示音频样本。但未提及任何公开的代码仓库（如GitHub）。 模型权重：未提及公开的预训练模型权重（包括编解码器模型和优化好的扰动码）。 数据集：论文中使用的多个数据集（VCTK, LibriSpeech等）是公开的，但论文未说明RoCo训练数据的具体情况及获取方式。 Demo：提供了在线演示页面，可试听防御前后的语音样本。 复现材料：给出了方法的整体框架和损失函数公式，但缺失关键实现细节：扰动码本大小N_P、两阶段优化阈值τ的具体数值、说话人编码器g(·)在优化时的具体选择、优化器、学习率、训练步数等。 论文中引用的开源项目：引用了多个作为攻击和基线防御的开源项目，例如：SV2TTS（Real-time voice cloning）， YourTTS， AttackVC， AntiFake， VoiceGuard， DeepFilterNet， MP-SENet， De-antifake， ECAPA-TDNN， Resemblyzer， NISQA等。 开源计划：论文中未明确提及未来的开源计划。 📌 核心摘要 本文提出RoCo，一种基于神经音频编解码器（Neural Codec）的主动防御方法，旨在解决语音克隆攻击。该方法面临两大核心问题：1）现有防御注入的扰动易被语音增强技术去除；2）生成防御语音的速度过慢，不实用。RoCo的核心方法是：不在原始音频上直接添加扰动，而是在编解码器提取的离散潜在码序列后，额外追加一个专门优化的扰动码（Perturbation Code）。该扰动码使用直通估计器（STE）进行梯度优化，以干扰攻击模型中的说话人编码器。为平衡防御强度和音质，RoCo采用两阶段损失优化策略：先优化目标损失（Target Loss）以最大化防御效果，当扰动码强度达到阈值后，切换为信噪比损失（SNR Loss）以修复音质。与AntiFake、AttackVC、VoiceGuard等基线方法相比，RoCo在多个攻击模型（SV2TTS， YourTTS， AVC）和验证模型（ECAPA， ResNet， RSZ）上取得了更高的防御成功率（DSR）。更重要的是，经语音增强（如Spectral Masking， DeepFilterNet， MP-SENet）后，RoCo的DSR平均下降约15%，而基线方法平均下降约38%，表现出更强的鲁棒性。同时，RoCo生成防御语音的速度显著快于基线（例如在AVC模型上仅需13秒，而基线需要40-122秒）。该工作的实际意义在于提供了一种更快速、更抗干扰的语音隐私主动保护方案。其主要局限在于：方法的防御效果依赖于目标攻击模型采用的特定编解码器架构；论文未评估面对自适应净化攻击或更强大攻击模型时的性能。 ...

📄 The Impact of Audio Watermarking on Audio Anti-Spoofing Countermeasures #音频深度伪造检测 #领域适应 #知识蒸馏 #音频水印 #音频安全 🔥 8.5/10 | 前25% | #音频深度伪造检测 | #领域适应 | #知识蒸馏 #音频水印 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Zhenshan Zhang（杜克昆山大学多模态智能系统苏州重点实验室， 数字创新研究中心） 通讯作者：Ming Li（杜克昆山大学多模态智能系统苏州重点实验室， 数字创新研究中心， ming.li369@dukekunshan.edu.cn） 作者列表：Zhenshan Zhang（杜克昆山大学多模态智能系统苏州重点实验室， 数字创新研究中心）、Xueping Zhang（杜克昆山大学多模态智能系统苏州重点实验室， 数字创新研究中心）、Yechen Wang（OfSpectrum, Inc.）、Liwei Jin（OfSpectrum, Inc.）、Ming Li（杜克昆山大学多模态智能系统苏州重点实验室， 数字创新研究中心） 💡 毒舌点评 亮点：选题填补了一个重要的认知空白——系统量化了“水印”这种合法但普遍存在的人为扰动对反欺骗系统的“无差别攻击”效果，实验设计严谨（控制水印比例、类型分布），结论可靠。提出的KPWL框架在“已知水印”适应上取得了立竿见影的效果，思路清晰实用。 短板：在“未见水印”场景下的性能反而下降，暴露了当前方法对水印特异性的过拟合，极大限制了其在真实世界（水印类型未知且多样）中的应用价值，也说明“领域适应”的本质挑战并未被彻底解决。 🔗 开源详情 代码：论文明确提供了代码仓库链接：https://github.com/Alphawarheads/Watermark_Spoofing.git。 模型权重：论文未提及是否公开预训练的模型权重（如基线XLSR+SLS或KPWL适应后的模型）。 数据集：论文指出构建了“Watermark-Spoofing”数据集，并提供了获取方式（通过上述GitHub仓库），表明数据集是公开的。 Demo：论文中未提及在线演示。 复现材料：论文详细说明了数据集构建协议（水印方法、比例）、训练配置（优化器、学习率、轮数、损失函数超参数）、评估设置，复现信息充分。 论文中引用的开源项目：引用了ASVspoof 2019/2021数据集[12,20]、In-the-Wild数据集[21]、多种水印方法（WavMark[4], Timbre[5], AudioSeal[13]等）、反欺骗模型（XLSR[6], SLS[9], Nes2Net[10]）以及数据增强工具RawBoost[28]。 📌 核心摘要 问题：本文首次研究了广泛使用的音频水印技术（为版权保护设计）对语音反欺骗（深度伪造检测）系统性能的影响，发现这种影响之前被完全忽视。 方法核心：构建了包含多种手工和DNN水印的“Watermark-Spoofing”数据集，并系统评估了现有模型性能下降的程度。提出名为“知识保留水印学习”（KPWL）的适应框架，通过在冻结前端（XLSR）和分类器的情况下微调中间层，并结合对称知识蒸馏与参数锚定，使模型能适应水印引入的分布偏移。 创新：首次揭示了音频水印是反欺骗系统面临的一种新的、未被研究的领域偏移源；首次构建了用于评估和缓解此问题的专用数据集与基准；提出了首个旨在同时适应水印并保留原始域检测能力的专用框架。 实验结果：在ASVspoof 2021 LA数据集上，当75%的样本被水印时，基线模型（XLSR+SLS）的EER从3.02%上升至3.68%。KPWL模型在相同条件下将EER降至3.21%，同时在干净数据上保持3.06%（与基线3.02%接近）。然而，在“未见水印”评估中，基线模型在75%水印（LA21）下EER为9.94%，而KPWL模型恶化至11.22%。 实际意义：提醒反欺骗系统开发者需考虑水印带来的鲁棒性挑战；为构建抗水印污染的反欺骗系统提供了首个基准和初步解决方案；揭示了水印技术可能对语音安全生态产生的意外副作用。 主要局限性：KPWL框架在应对未见过的水印类型时效果不佳甚至有害，表明当前方法的适应能力局限于训练时接触过的特定水印，泛化能力有待突破。 🏗️ 模型架构 本文的核心模型架构并非提出一种全新的端到端神经网络，而是提出了一种训练策略与框架（KPWL），用于适应现有的反欺骗模型以应对水印干扰。以论文中作为骨干的 XLSR+SLS 模型为例，其整体流程与KPWL框架的适配如下： ...

📄 Training Dynamics-Aware Multi-Factor Curriculum Learning for Target Speaker Extraction #语音分离 #课程学习 #音频安全 #数据集 ✅ 7.0/10 | 前25% | #语音分离 | #课程学习 | #音频安全 #数据集 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Yun Liu（日本国立信息学研究所；综合研究大学院大学） 通讯作者：未说明（论文未明确指定通讯作者，通常根据邮箱判断，此处多个邮箱并列） 作者列表：Yun Liu（日本国立信息学研究所 & 综合研究大学院大学）、Xuechen Liu（日本国立信息学研究所）、Xiaoxiao Miao（昆山杜克大学自然科学与应用科学部）、Junichi Yamagishi（日本国立信息学研究所 & 综合研究大学院大学） 💡 毒舌点评 亮点：将“训练动态可视化”（Dataset Cartography）引入TSE任务，并创新性地结合多因子（SNR、说话人数、重叠率、数据来源）联合调度，克服了传统课程学习依赖预设单一难度指标的缺陷，在复杂多说话人场景下取得了显著的性能增益。 短板：实验仅在单一数据集（Libri2Vox）和一种相对简单的BLSTM模型上验证，未在更先进的模型架构（如基于Transformer的）和更多元的数据集上测试其通用性；TSE-Datamap区域的划分比例（30%，50%，20%）是经验值，缺乏理论支撑或自动优化机制。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：提及了使用Libri2Vox数据集及其合成变体，并引用了相关数据集论文，但未提供本工作生成的数据或脚本。 Demo：未提及。 复现材料：提供了较详细的训练配置（优化器、学习率调度、早停）、数据采样参数、模型架构描述，但缺少超参数网格搜索细节、具体的数据预处理脚本和硬件信息。 论文中引用的开源项目：ECAPA-TDNN（预训练说话人模型）、SALT（语音合成模型）、SynVox2（语音匿名化/合成模型）。 论文中未提及开源计划。 📌 核心摘要 问题：现有针对目标说话人提取（TSE）的课程学习方法通常单独处理不同难度因子（如SNR、说话人数），无法建模因子间的复杂交互，且依赖可能不符合模型实际学习情况的预设难度指标。 方法核心：提出多因子课程学习策略，联合调度SNR、干扰说话人数、时间重叠比和干扰源类型（真实/合成）四个因子；同时提出TSE-Datamap框架，通过跟踪训练过程中每个样本的损失置信度和变异性，在二维空间将数据分为“易学习”、“模糊”和“难学习”三个区域，以指导数据选择。 创新：相较于传统单因子、预设规则的课程学习，本文方法实现了多因子协同渐进式学习，并首次将训练动态可视化（TSE-Datamap）应用于TSE，使课程设计基于模型实际学习行为。 ...

📄 VoxMorph: Scalable Zero-Shot Voice Identity Morphing via Disentangled Embeddings #语音克隆 #零样本 #语音合成 #流匹配 #音频安全 🔥 9.0/10 | 前10% | #语音克隆 | #流匹配 | #零样本 #语音合成 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Bharath Krishnamurthy (北德克萨斯大学) 通讯作者：Ajita Rattani (北德克萨斯大学) 作者列表：Bharath Krishnamurthy (北德克萨斯大学)， Ajita Rattani (北德克萨斯大学) 💡 毒舌点评 这篇论文堪称生物识别安全领域的一声警钟，它用优雅的技术（解纠缠表示学习）和极低的成本（5秒音频），制造出了一个足以让现有语音验证系统头疼不已的“合成身份”。其亮点在于将看似复杂的攻击变得异常简单高效；短板则是，这种“降维打击”式的技术突破，也立刻暴露了当前ASV系统在应对此类高级、细粒度伪造时的脆弱性，给防御方带来了前所未有的压力。 🔗 开源详情 代码：论文中提供了代码仓库链接：Vcbsl/VoxMorph。 模型权重：论文中未明确提及是否公开预训练模型权重，但鉴于其代码开源，权重很可能包含在内或后续会提供。 数据集：公开。论文明确声明“we release the first publicly available dataset of 10, 000 high-fidelity voice morphs”，并提供了项目页面链接。 Demo：论文中未提及在线演示。 复现材料：论文提供了充分的复现信息，包括：数据集（LibriSpeech）、评估指标（FAD, KLD, WER, MMPMR/FMMPMR）及其计算方式、使用的基线模型（ViM, Vevo, MorphFader）、硬件环境（RTX 5000 Ada GPU）以及详细的消融实验设置。 引用的开源项目：论文引用并依赖了多个开源项目/模型，包括：GE2E（说话人验证）、CAM++（说话人验证）、自回归语言模型（如LLaMA）、条件流匹配模型（如COSYVOICE）、HiFTNet（声码器）、ECAPA-TDNN、HuBERT、Wav2Vec2（用于编码器消融）、Resemblyzer（用于评估）、Wav2Vec2-Base-960h（用于WER计算）。 📌 核心摘要 解决的问题：现有的语音身份变形（VIM）攻击方法存在严重缺陷：计算成本高、不可扩展（需要为每对说话人微调）、依赖声学相似的说话人对，且生成语音质量低。这些限制了其作为实际威胁的可行性。 方法核心：提出VoxMorph，一个零样本框架。其核心是将声音解纠缠为韵律嵌入（说话风格）和音色嵌入（核心身份）。对两个说话人的这两种嵌入分别使用球面线性插值进行混合，然后将融合的嵌入输入一个三阶段合成管线：自回归语言模型生成声学令牌（由融合韵律引导），条件流匹配网络生成梅尔频谱图（由融合音色引导），最后神经声码器生成波形。 与已有方法相比新在哪里：a) 零样本与可扩展性：仅需5秒音频，无需微调即可生成变形语音。b) 解纠缠表示：将风格与身份分离，可独立精细控制，避免了传统单一嵌入混合产生的声学伪影。c) 先进合成架构：利用自回归模型和流匹配模型的强大生成能力，确保了高保真度。d) 首个大规模数据集：发布包含10,000个样本的数据集用于防御研究。 主要实验结果：在严格安全阈值（0.01% FAR）下，VoxMorph-v2实现了67.8%的完全匹配变形成功率（FMMPMR），比之前最优方法（ViM的2.61%）高出数十倍。音频质量（FAD）比基线提升2.6倍，可理解性错误（WER）降低73%。详细对比见下表： 方法 FAD↓ (vs Real) WER↓ KLD↓ MMPMR (%) @ 0.01% FMMPMR (%) @ 0.01% MorphFader [16] 8.96 1.84 0.4332 0.0 0.0 Vevo [3] 9.14 0.54 0.1899 82.40 9.00 ViM [14] 7.52 1.06 0.3501 2.61 0.00 VoxMorph-v1 5.03 0.33 0.1404 78.60 60.60 VoxMorph-v2 4.90 0.19 0.1385 99.80 67.80 实际意义：证明了语音变形攻击已从理论走向实用，对自动说话人验证（ASV）系统构成切实、可扩展的安全威胁。同时，通过开源代码、模型和大规模数据集，为社区研究和开发下一代变形攻击检测（MAD）对策提供了关键工具和基准。 主要局限性：a) 攻击属性：该技术本身是一种攻击手段，存在滥用风险。b) 评估局限：评估主要在LibriSpeech数据集上进行，且攻击的是特定ASV系统（Resemblyzer），对真实世界、多场景、多模态ASV系统的威胁程度有待进一步验证。c) 多说话人变形：当前方法聚焦于两两变形，未来可扩展至更多说话人融合。 🏗️ 模型架构 VoxMorph是一个端到端的零样本语音身份变形框架，其整体架构如图1所示，包含提取、插值、合成三个核心阶段。 ...

📄 ZK-VSA: Zero-Knowledge Verifiable Speaker Anonymization Leveraging Phase Vocoder with Time-Scale Modification #语音匿名化 #零知识证明 #信号处理 #音频安全 #隐私计算 ✅ 7.5/10 | 前25% | #语音匿名化 | #零知识证明 | #信号处理 #音频安全 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Shuang Liang（上海交通大学计算机科学学院） 通讯作者：Tao Song（上海交通大学计算机科学学院）， Bin Yao（上海交通大学计算机科学学院） 作者列表：Shuang Liang（上海交通大学计算机科学学院）， Yang Hua（英国女王大学电子、电气工程与计算机科学学院）， Peishen Yan（上海交通大学计算机科学学院）， Linshan Jiang（新加坡国立大学数据科学研究所）， Tao Song（上海交通大学计算机科学学院）， Bin Yao（上海交通大学计算机科学学院）， Haibing Guan（上海交通大学计算机科学学院） 💡 毒舌点评 论文的亮点在于巧妙地将密码学中的零知识证明与经典的语音信号处理技术结合，为“可验证计算”在语音领域的应用打开了一扇窗，思路新颖且实现扎实。短板在于实验评估稍显单薄，仅验证了单一匿名化算子（PV-TSM）在单一数据集（LibriSpeech）上的效果，且未与其他基于深度学习的语音匿名化或更先进的可验证计算方案进行横向对比，说服力打了折扣。 🔗 开源详情 代码：论文中未提及公开的代码仓库链接。仅提供了一个演示页面：https://wizicer.github.io/zkVSA/ 模型权重：未提及。系统不涉及神经网络模型。 数据集：使用公开的LibriSpeech数据集，但未提及提供其他专有数据。 Demo：提供了在线演示页面链接：https://wizicer.github.io/zkVSA/ 复现材料：论文详细描述了电路设计算法（Algorithm 1, 2）和实验设置，但未提供完整的代码、训练脚本、超参数配置文件或检查点。复现需要自行实现复杂的SNARK电路。 论文中引用的开源项目：引用了gnark框架[18]（用于实现SNARK电路和GKR哈希验证）、Poseidon2哈希[20]、EdDSA签名[22]等。 总结：论文中未提及完整的开源计划或提供可直接复现的代码库。 📌 核心摘要 解决的问题：现有语音匿名化方法只能隐藏说话人身份，但第三方无法验证所发布的匿名语音是否确实由一个可信的原始录音经过预定义的匿名化处理得到，同时又不能泄露原始信息。这带来了对语音证据完整性和处理过程可信度的担忧。 方法核心：提出“可验证语音匿名化”范式，并利用零知识简洁非交互知识证明（ZK-SNARKs）实例化为ZK-VSA系统。核心是将基于相位声码器的时标修改（PV-TSM）匿名化算法编码为SNARK友好的算术电路约束，并结合数字签名和承诺方案，实现既能证明处理过程正确，又不泄露原始语音。 与已有方法相比新在哪里：这是首次将可验证计算（特别是零知识证明）系统性地应用于语音匿名化领域。与单纯追求匿名效果或使用水印的方法不同，它提供了密码学意义上的处理过程正确性保证，且不引入额外的音频伪影。 主要实验结果：在LibriSpeech测试集上评估。匿名化效果方面，ZK-VSA的等错误率（EER）高于原始语音和浮点PV-TSM，表明其增强了匿名性。可理解性方面，字错率（WER）增加通常低于1%（最高为1.8%）。可验证性方面，证明生成时间随音频帧数线性增长（例如16秒音频约13.43秒），但验证仅需毫秒级（约4毫秒），证明大小固定为292字节。 实际意义：为需要审计追踪和隐私保护的语音应用（如法庭取证、隐私敏感数据共享）提供了一种技术解决方案，确保语音处理过程透明、可信且可验证，防止伪造和抵赖。 主要局限性：实验仅在单一数据集和单一匿名化算子（变调）上进行验证，未与其他语音匿名化基线或更复杂的场景（如多语言、带噪）进行对比。此外，系统设计假设了可信的录制设备来生成初始签名，这在实际部署中可能是一个挑战。 🏗️ 模型架构 该论文提出的ZK-VSA并非传统意义上的深度学习模型，而是一个由密码学证明系统和信号处理算法协同工作的协议系统。 ...

📄 Misinformation Span Detection in Videos via Audio Transcripts #音频安全 #预训练 #多语言 #音视频 ✅ 7.5/10 | 前25% | #音频安全 | #预训练 | #多语言 #音视频 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Breno Matos (联邦米纳斯吉拉斯大学，工作完成时) 通讯作者：未说明 作者列表： Breno Matos (联邦米纳斯吉拉斯大学) Rennan C. Lima (未说明具体机构) Savvas Zannettou (未说明具体机构) Fabrício Benevenuto (未说明具体机构) Rodrygo L.T. Santos (未说明具体机构) 💡 毒舌点评 这篇论文的亮点在于敏锐地捕捉到了“视频虚假信息片段检测”这一空白任务，并提供了首个公开、标注的数据集，为后续研究铺平了道路。然而，其短板也十分明显：方法上缺乏实质创新，仅仅是现有语音转录模型（Whisper）和语言模型（BERTimbau/PTT5）的串联使用，更像是一个“数据集构建与初步验证”的工作，而非一个提出突破性算法的论文。 🔗 开源详情 代码：提供代码仓库链接（https://github.com/brenomatos/msd）。 模型权重：提及发布了训练好的模型权重，可通过HuggingFace获取。 数据集：公开发布。BOL4Y和EI22数据集（包括虚假声明、转录文本、标注）在Zenodo仓库（https://zenodo.org/records/19097541）。音频和视频文件托管在HuggingFace（https://huggingface.co/datasets/brenomatos/msd），需申请访问。 Demo：未提及。 复现材料：提供了数据集构建和模型训练的代码。论文附录详细说明了数据集的字段结构。 引用的开源项目： Whisper：用于语音转录。 BERTimbau：用于生成文本嵌入和作为分类器。 PTT5：用于作为分类器。 SentenceTransformers：用于获取嵌入。 Doccano：用于文本标注。 HuggingFace Transformers：用于模型实现。 📌 核心摘要 问题：现有视频虚假信息检测多停留在视频级别的二分类，无法定位视频中具体哪一段内容（即虚假声明）是问题所在，这给事实核查和内容审核带来了困难。 方法核心：提出“虚假信息片段检测”任务。方法流程为：使用Whisper将视频音频转录为文本片段；利用BERTimbau模型将片段和已知的虚假声明转换为向量，通过余弦相似度匹配可能包含虚假信息的片段；最后，使用BERTimbau或PTT5作为分类器，对转录片段进行二分类（是否为虚假信息）。 创新点：首次定义并研究该任务；构建并公开了两个包含时间戳标注的葡萄牙语虚假视频数据集（BOL4Y和EI22）；进行了包括时间窗口分析、跨数据集评估在内的系统性基准实验。 主要实验结果：在BOL4Y数据集上，使用BERTimbau分类器在1:75的下采样比例下取得了最佳的Macro F1分数0.68。在“编辑版”数据集（使用记者润色后的声明）上，性能有所提升，最佳F1达到0.81。跨数据集实验（BOL4Y训练，EI22测试）取得了0.71的F1分数，表明模型具有一定的泛化能力。时间分析显示，模型性能在不同月份间存在波动。 实际意义：为自动化辅助事实核查人员定位视频中的虚假内容、为社交平台在虚假声明出现时精准添加警告标签提供了技术可能和数据基础。 主要局限性：依赖于音频转录质量，Whisper的自动分段可能不够精确；数据仅限于葡萄牙语和巴西政治语境，泛化性未知；分类性能（F1=0.68）仍有较大提升空间。 🏗️ 模型架构 本文没有提出新的模型架构，而是构建了一个基于现有预训练模型的处理流水线。整体流程如下： ...

📄 Benign Fine-Tuning Breaks Safety Alignment in Audio LLMs #音频安全 #数据增强 #音频大模型 #多模态模型 #对抗样本 🔥 评分：9.5/10 | arxiv 👥 作者与机构 第一作者：Jaechul Roh（推断，因名字在前） 通讯作者：Amir Houmansadr（推断，因名字在后且通常为资深作者） 全部作者：Jaechul Roh, Amir Houmansadr 所属机构：University of Massachusetts Amherst, Department of Computer Science 💡 毒舌点评 亮点：论文像一把精准的手术刀，首次剖开了音频大模型“良性微调”外表下的安全脆弱性，揭示了其与文本/视觉模态截然不同的、由编码器架构决定的“阿喀琉斯之踵”，研究问题抓得准，分析框架设计得妙。槽点：提出的防御方法（远距离过滤和系统提示）虽然有效但略显“直球”，缺乏对模型内部拒绝机制更深入的干预探索，算是给后续研究者留了口饭吃。 🔗 开源详情 代码：论文明确提及在GitHub上发布了代码（“Report GitHub Issue”），用于复现邻近度过滤和实验。 数据集：论文提及发布了用于实验的良性音频数据集和有害音频提示集（经过TTS转换）。 模型权重：论文研究的是三个已公开的SOTA模型（AF3, Kimi-Audio, Qwen2.5-Omni），未发布其微调后的权重，以防止滥用。 在线Demo：未提及。 依赖的开源工具：使用了多个开源模型和工具，包括：Whisper系列编码器、Sentence-BERT、WavLM、LoRA微调框架、Edge-TTS、Google TTS (gTTS)等。 📌 核心摘要 这篇论文首次系统研究了良性（无害）音频数据微调对音频大模型安全对齐的破坏作用。要解决的问题是：用户出于提升模型性能目的进行的常规微调，是否会无意中破坏模型的安全防护？方法上，作者提出了一个基于嵌入空间邻近度的过滤框架，从语义、声学及混合维度，选择性地用与有害内容在表示空间上相近的良性音频进行微调。主要发现是，即使微调数据完全良性，也能使越狱成功率（JSR）从个位数飙升至87.12%，且主导的脆弱性维度（语义或声学）取决于模型编码器的架构。实际意义在于揭示了Audio LLMs一个非对抗性、易被忽视的重大安全风险，并提出了两种无需修改架构的实用防御策略（训练时远距离过滤和推理时安全系统提示）。局限性在于研究限于英语单轮对话，未探索非语音音频任务或多语言场景。 🏗️ 模型架构 论文本身并非提出新模型，而是分析三个现有的SOTA音频大模型在微调下的安全行为。因此，模型架构部分描述的是被分析的三个目标模型： Audio Flamingo 3 (AF3)：架构为 Whisper音频编码器 -> 2层MLP投影器 -> Qwen2.5-7B LLM骨干（28层）。其关键特点是MLP投影器会压缩音频特征，形成一个与文本对齐空间不同的表示区域。 Kimi-Audio 7B：采用双编码器设计，包含WhisperVQ编码器（通过矢量量化瓶颈，会丢弃部分声学细节）和Whisper-Large-V3编码器。音频信息通过这两个编码器处理后输入LLM。 Qwen2.5-Omni 7B：架构为Whisper-Large-V3编码器 -> 直通（pass-through）-> Qwen2.5-7B Thinker模块。其编码器输出几乎不加修改地传递给LLM，保留了更多的音频-文本对齐信息。 数据流动与关键设计：在所有三个模型中，音频编码器在微调期间是冻结的，只有LLM骨干网络通过LoRA进行参数更新。这是与文本LLM微调的关键区别：在音频LLM中，安全对齐所依赖的表示（来自编码器）并未被微调直接修改，但下游LLM的决策边界却发生了偏移。 ...

📄 Environmental Sound Deepfake Detection Using Deep-Learning Framework #音频深度伪造检测 #预训练 #音频分类 #数据增强 #音频安全 ✅ 评分：6.5/10 | arxiv 👥 作者与机构 第一作者：Lam Pham (奥地利理工学院 AIT，数字安全与安全中心) 通讯作者：Son Le (Ton Duc Thang University, Vietnam) 其他作者： Khoi Vu, Dat Tran (FPT University, Vietnam) Phat Lam (HCM University of Technology, Vietnam) David Fischinger, Alexander Schindler, Martin Boyer (奥地利理工学院 AIT，数字安全与安全中心) 💡 毒舌点评 亮点：论文像一本详尽的“菜谱”，把频谱图、网络架构、预训练模型这些“食材”挨个试了个遍，还精心设计了“三阶段烹饪法”（训练策略），最终端出了一盘在特定数据集上色香味俱全的“菜”（高准确率）。槽点：创新性主要体现在“系统性尝试”和“策略调优”上，缺乏让人眼前一亮的“新菜式”（核心方法创新）。而且，这盘“菜”主要用的还是别人家的“高级食材”（预训练BEATs模型）。 🔗 开源详情 代码：论文在arXiv页面明确提供了GitHub链接，表明代码已开源。 模型权重：论文中未明确说明是否公开预训练或微调后的模型权重。通常此类研究会随代码一起发布。 数据集：使用了公开的基准数据集EnvSDD和ESDD-Challenge-TestSet，论文中提供了数据集的详细构成和获取参考文献。 预训练权重：使用了公开的预训练BEATs模型。 在线Demo：论文中未提及。 引用的开源项目：Pytorch框架、Adam优化器、BEATs模型、EnvSDD数据集。 📌 核心摘要 本文针对环境声音（如声音事件、声音场景）的深度伪造检测这一新兴任务，提出了一个系统的深度学习框架。核心贡献在于通过大量实验，系统评估了不同频谱图（MEL, CQT, Gammatone）、多种CNN架构（ResNet, Inception等）以及预训练模型（BEATs）在该任务上的表现，并验证了声音事件与声音场景的伪造检测应作为独立任务处理。关键方法包括：1）提出以Gammatone频谱图作为有效输入特征；2）设计了一个包含多损失函数训练、Mixup微调和骨干网络冻结的三阶段训练策略；3）发现并验证了微调预训练的BEATs模型远优于从头训练。主要效果是在EnvSDD测试集上取得了0.98的准确率和0.99的AUC，并在跨数据集测试（ESDD-Challenge-TestSet）中展现了泛化能力。局限性在于方法创新性有限，主要依赖现有技术的组合与优化，且跨数据集性能有显著下降，表明领域泛化仍是挑战。 🏗️ 模型架构 论文提出了一个统一的深度学习框架用于环境声音深度伪造检测（ESDD），其整体流程如下： ...