Beyond Content: A Comprehensive Speech Toxicity Dataset and Detection Framework Incorporating Paralinguistic Cues

📄 Beyond Content: A Comprehensive Speech Toxicity Dataset and Detection Framework Incorporating Paralinguistic Cues #音频分类 #预训练 #多任务学习 #内容审核 ✅ 6.5/10 | 前25% | #音频分类 | #预训练 | #多任务学习 #内容审核 | arxiv 学术质量 5.5/8 | 影响力 0.6/1 | 可复现性 0.4/1 | 置信度 高 👥 作者与机构 第一作者:Zhongjie Ba(论文作者列表首位,但未明确标注为第一作者) 通讯作者:未明确说明(论文仅标注“The corresponding author”,但未在作者列表旁具体指出是谁) 作者列表:Zhongjie Ba, Liang Yi, Peng Cheng, Qingcao Li, Qinglong Wang, Li Lu 作者机构:论文未在作者列表旁提供具体机构信息,但在致谢部分提及了Zhejiang Provincial Natural Science Foundation等支持机构。 💡 毒舌点评 数据集ToxiAlert-Bench的构建是最大贡献,填补了副语言毒性样本标注的空白。然而,模型(ToxiAlert)的“创新”本质上是将预训练SSL模型与两个标准MLP头进行工程整合,缺乏架构或理论深度。实验中与之对比的部分基线(如DeToxy, YIDUN)性能极低,使得性能提升的宣称需要谨慎看待;与强大的多模态大模型对比更有说服力。论文未明确列出局限性部分,是一个疏漏。 📌 核心摘要 本文旨在解决现有语音毒性检测忽视副语言特征(语调、情绪等)的问题。作者构建了首个大规模、标注毒性来源(文本/副语言/两者兼有)的语音毒性数据集ToxiAlert-Bench,包含超3.2万条音频。其次,提出了基于Wav2Vec 2.0的双头检测框架ToxiAlert:一个头(Source Head)识别毒性来源,另一个头(Category Head)对7类毒性进行分类。该框架采用三阶段训练策略:先分别独立训练两个头,再联合微调。实验表明,ToxiAlert在ToxiAlert-Bench上显著优于包括DeToxy和多个多模态大模型在内的基线,其宏F1分数相比最强基线(Gemini-2.5-Flash)提升了21.1%,准确率提升13.0%,尤其在纯副语言毒性检测上表现突出。该工作为语音内容安全领域提供了重要的数据资源和方法框架,但数据集限于英文,且合成数据可能无法完全代表真实世界分布。 ...

2026-05-18 · 更新于 2026-05-19 · 3 min · 606 words

语音/音频论文速递 2026-05-18

语音/音频论文速递 2026-05-18 共分析 13 篇论文 ⚡ 今日概览 📥 抓取 13 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音乐生成 2篇 ██ #音频分类 2篇 ██ #音频修复 1篇 █ #语音识别 #说话人分离 1篇 █ #语音翻译 1篇 █ #语音识别 1篇 █ #生理信号预测 1篇 █ #语音生物标志物 1篇 █ 📊 论文评分排行榜(13 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 Modeling Music as a Time-Frequency Image: A 2D Tokenize 8.1分 前25% #音乐生成 🥈 Scalable neuromorphic computing from autonomous spiking 7.8分 前25% #音频分类 🥉 Real-time Speech Restoration using Data Prediction Mean 7.5分 前25% #音频修复 4. Mind the Gap: Impact of Synthetic Conversational Data o 7.2分 前25% #语音识别 #说话人分离 5. From Flat Language Labels to Typological Priors: Struct 6.9分 前50% #语音翻译 6. Beyond Content: A Comprehensive Speech Toxicity Dataset 6.5分 前25% #音频分类 7. ARIA: A Diagnostic Framework for Music Training Data At 6.1分 前25% #音乐生成 8. Improving Automatic Speech Recognition for Speakers Tre 6.0分 前50% #语音识别 9. Toward World Modeling of Physiological Signals with Cha 6.0分 前50% #生理信号预测 10. Can Large Language Models Imitate Human Speech for Clin 6.0分 前50% #语音生物标志物 11. Can We Trust AI-Inferred User States. A Psychometric Fr 6.0分 前50% #模型评估 12. Sound Sparks Motion: Audio and Text Tuning for Video Ed 5.5分 前25% #视频编辑 13. Perforated Neural Networks for Keyword Spotting 5.0分 前60% #关键词检测 📋 论文列表 🥇 Modeling Music as a Time-Frequency Image: A 2D Tokenizer for Music Generation 🔥 8.1/10 | 前25% | #音乐生成 | #自回归模型 | arxiv ...

2026-05-18 · 更新于 2026-05-19 · 11 min · 2305 words

The Deepfakes We Missed: We Built Detectors for a Threat That Didn't Arrive

📄 The Deepfakes We Missed: We Built Detectors for a Threat That Didn’t Arrive #深度伪造检测 #音频深度伪造检测 #基准测试 #评测协议 #内容审核 #立场论文 #文献计量 ✅ 6.5/10 | 前50% | #深度伪造检测 | #基准测试 | #音频深度伪造检测 #评测协议 | arxiv 学术质量 7.0/8 | 影响力 1.5/2 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 第一作者:Shaina Raza(Vector Institute for Artificial Intelligence, Toronto, Canada; 多伦多城市大学) 通讯作者:论文未明确标注通讯作者。 作者列表:Shaina Raza(Vector Institute for Artificial Intelligence, Toronto, Canada;多伦多城市大学) 💡 毒舌点评 这篇立场论文以文献计量为刃,精准解剖了深度伪造检测领域近十年的“错位”症候群。其核心价值不在于技术突破,而在于以无可辩驳的实证数据揭示了研究议程与社会危害之间的巨大鸿沟,并尖锐地指出这种错位已成为部署有效防御的主要瓶颈。然而,其“威胁未以预测形式到来”的核心论断在力度上稍显不足,且对“威慑论”的反驳主要依赖间接证据。论文的警示意义远大于其提供的技术解决方案。 📌 核心摘要 问题:本文指出,自2017年以来,深度伪造检测研究一直围绕一个继承自2017-2019年、以“公众人物换脸/说话头视频”(T1)为主的威胁模型,但该威胁模型预测的大规模政治灾难并未在2024年全球选举周期中如期出现。与此同时,非自愿亲密图像(NCII)、语音克隆诈骗等实际危害已大规模爆发,研究重心与实际危害分布存在严重错位。 方法核心:本文是一篇立场论文,其核心方法是一个四阶段分析框架:(1) 威胁模型考古,追溯当前研究主流威胁模型的起源;(2) 实证错位分析,通过文献计量(438篇论文)和危害数据综合(来自IC3, IWF等),量化研究努力与实际危害的分布差异;(3) 机制诊断,分析基准继承、数据伦理不对称、显著性驱动关注等导致错位持续的原因;(4) 提出三个面向被忽视危害类别的具体技术研究议程。 创新点:提出了清晰的五类威胁分类法(T1-T5),并通过大规模实证分析系统性地量化了领域内资源与社会危害之间的错位。超越现象描述,深入诊断了维持这种错位的结构性原因,并勾勒了针对现实危害的研究路线图。 主要结果: 研究分布:在389篇检测方法论文中,71.0%(276篇)针对T1(公众人物视频),28.5%(111篇)针对T3(音频),而T2(1篇)、T4(0篇)、T5(1篇)几乎为零。 危害趋势:IWF评估的AI生成CSAM视频在2024-2025年间增长260倍(从13个到3,443个);IC3报告的合成媒体相关投诉呈数量级增长。相比之下,2024年全球选举周期中未有记录证明合成政治视频根本性地改变了选举结果,相关事件多由人类而非ML系统识别。 错位加剧:在对数刻度下,T1论文数量呈线性增长,而危害指标呈指数增长,差距在持续扩大。 实际意义:论文明确呼吁ML社区、会议、资助机构和平台将研究议程重新平衡,投向危害真实增长的领域(如实时语音克隆检测、隐私保护的NCII检测、消息层防御),并提出了具体的行动建议。 主要局限性:论文明确承认其文献语料库可能低估了安全、HCI等领域的工作;危害数据依赖公开报告,存在漏报偏差;对论文和基准的分类涉及主观判断;且无法通过反事实分析证明现有研究未对政治deepfake产生威慑。 🔗 开源详情 代码:论文提及在补充材料中包含了用于构建438篇论文语料库的收集脚本和关键词列表(见附录A),但未提供具体的代码仓库链接(如GitHub)。这与“has_code: 是”的机器摘要判断一致。 模型权重:论文未提出新模型,故无模型权重。 数据集:论文引用了多个用于研究和基准测试的公开数据集(如FaceForensics++, Celeb-DF, DFDC等,见附录C Table 2),但并未提供新的数据集。 Demo:未提及。 复现材料:论文详细描述了其文献收集、分类的方法论(附录A, B),并表示在补充材料中包含了收集脚本和关键词规则。这为复现其核心文献分析提供了基础。危害数据综合部分属于定性研究,复现性较低。 论文中引用的开源项目:论文作为一篇立场论文,主要引用学术研究和数据集作为论据。文中提到的实体如StopNCII.org、IWF、IC3是报告和处理危害的组织或数据库,而非供研究者使用的开源软件项目。 🏗️ 方法概述和架构 本文是一篇立场与观点论文(Position Paper),其核心方法并非提出一个新的检测模型,而是通过一套系统性的分析框架来论证其核心主张。该框架旨在诊断研究与危害的错位并提出新的研究方向,具体流程与架构如下: ...

2026-05-13 · 更新于 2026-05-19 · 2 min · 324 words

语音/音频论文速递 2026-05-13

语音/音频论文速递 2026-05-13 共分析 22 篇论文 ⚡ 今日概览 📥 抓取 22 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #声源定位 2篇 ██ #音频编码 2篇 ██ #语音识别 2篇 ██ #多模态检索 1篇 █ #深度伪造检测 1篇 █ #音视频 1篇 █ #基准测试 1篇 █ #多模态推理 1篇 █ 📊 论文评分排行榜(21 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 jina-embeddings-v5-omni: Text-Geometry-Preserving Multi 7.5分 前25% #多模态检索 🥈 Adaptive Diagonal Loading using Krylov Subspaces for Ro 7.0分 前25% #声源定位 🥉 Spatial Power Estimation via Riemannian Covariance Matc 7.0分 前25% #声源定位 4. The Deepfakes We Missed: We Built Detectors for a Threa 7.0分 前50% #深度伪造检测 5. OmniRefine: Alignment-Aware Cooperative Compression for 7.0分 前25% #音视频 6. Exploring Token-Space Manipulation in Latent Audio Toke 6.7分 前25% #音频编码 7. MMTB: Evaluating Terminal Agents on Multimedia-File Tas 6.7分 前25% #基准测试 8. UniPath: Adaptive Coordination of Understanding and Gen 6.6分 前25% #多模态推理 9. The SMC Blind Spot: A Failure Mode Analysis of State-of 6.5分 前35% #节拍跟踪 10. Too Good to Be True: A Study on Modern Automatic Speech 6.2分 前50% #语音增强 11. Towards Fine-Grained Multi-Dimensional Speech Understan 6.0分 前25% #语音理解 12. A Semi-Supervised Framework for Speech Confidence Detec 6.0分 前50% #语音自信度检测 13. AffectCodec: Emotion-Preserving Neural Speech Codec for 5.8分 前25% #音频编码 14. STRUM: A Spectral Transcription and Rhythm Understandin 5.5分 前25% #音乐转录 15. Chunkwise Aligners for Streaming Speech Recognition 5.5分 前50% #语音识别 16. Poly-SVC: Polyphony-Aware Singing Voice Conversion with 5.5分 前50% #歌唱语音转换 17. What makes a word hard to learn? Modeling L1 influence 5.5分 前50% #词汇难度预测 18. Mind the Pause: Disfluency-Aware Objective Tuning for M 5.5分 前25% #语音编辑 19. OmniNFT: Modality-wise Omni Diffusion Reinforcement for 5.5分 前25% #音视频生成 20. Mechanistic Interpretability of ASR models using Sparse 5.0分 前60% #语音识别 21. Boosting Omni-Modal Language Models: Staged Post-Traini 5.0分 前50% #多模态模型评估 22 AuDirector: A Self-Reflective Closed-Loop Framework for N/A - - 📋 论文列表 🥇 jina-embeddings-v5-omni: Text-Geometry-Preserving Multimodal Embeddings via Frozen-Tower Composition ✅ 7.5/10 | 前25% | #多模态检索 | #迁移学习 | #多模态模型 #模型评估 | arxiv ...

2026-05-13 · 更新于 2026-05-19 · 14 min · 2798 words

Beyond Seeing Is Believing: On Crowdsourced Detection of Audiovisual Deepfakes

📄 Beyond Seeing Is Believing: On Crowdsourced Detection of Audiovisual Deepfakes #音频深度伪造检测 #内容审核 #模型评估 #数据集 #评测协议 ✅ 7.0/10 | 前25% | #音频深度伪造检测 | #模型评估 | #内容审核 #数据集 | arxiv 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者:Michael Soprano(University of Udine, Department of Mathematics, Computer Science and Physics) 通讯作者:未说明(论文未明确指定通讯作者) 作者列表:Michael Soprano(University of Udine, Department of Mathematics, Computer Science and Physics)、Andrea Cioci(University of Udine, Department of Mathematics, Computer Science and Physics)、Stefano Mizzaro(University of Udine, Department of Mathematics, Computer Science and Physics) 💡 毒舌点评 这篇论文的亮点在于其严谨的实验设计,系统地量化了普通人在检测逼真假视频时的“集体盲点”,特别是对音视频联合伪造的无力感,为“眼见不一定为实”的当代困境提供了扎实的实证数据。但短板在于其结论高度依赖于特定的众包平台和数据集,且未与当前先进的自动检测模型进行对比,使得“人类筛查信号”到底有多强、能否与模型互补,仍是一个未解之谜。 ...

2026-05-07 · 更新于 2026-05-19 · 2 min · 364 words

语音/音频论文速递 2026-05-07

语音/音频论文速递 2026-05-07 共分析 22 篇论文 ⚡ 今日概览 📥 抓取 22 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音频分类 3篇 ███ #音乐信息检索 2篇 ██ #音乐生成 2篇 ██ #音频质量评估 1篇 █ #语音识别 1篇 █ #语音情感识别 1篇 █ #标签分布学习 1篇 █ #视频编辑 1篇 █ 📊 论文评分排行榜(22 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 JASTIN: Aligning LLMs for Zero-Shot Audio and Speech Ev 8.5分 前10% #音频质量评估 🥈 PHALAR: Phasors for Learned Musical Audio Representatio 8.5分 前10% #音乐信息检索 🥉 The TTS-STT Flywheel: Synthetic Entity-Dense Audio Clos 8.5分 前25% #语音识别 4. To Fuse or to Drop? Dual-Path Learning for Resolving Mo 8.0分 前25% #语音情感识别 5. Trustworthy Federated Label Distribution Learning under 8.0分 前25% #标签分布学习 6. AVI-Edit: Audio-sync Video Instance Editing with Granul 8.0分 前25% #视频编辑 7. Empirical Study of Pop and Jazz Mix Ratios for Genre-Ad 7.5分 前50% #音乐生成 8. Hearing the Ocean: Bio-inspired Gammatone-CNN framework 7.5分 前25% #音频分类 9. Sparse Tokens Suffice: Jailbreaking Audio Language Mode 7.5分 前25% #音频安全 10. SEI-SHIELD: Robust Specific Emitter Identification Unde 7.5分 前25% #信号处理 11. OceanPile: A Large-Scale Multimodal Ocean Corpus for Fo 7.5分 前25% #音频分类 12. MiniMind-O Technical Report: An Open Small-Scale Speech 7.5分 前25% #语音对话系统 13. APEX: Large-scale Multi-task Aesthetic-Informed Popular 7.5分 前25% #音乐评估 14. Spatial-Magnifier: Spatial upsampling for multichannel 7.0分 前25% #语音增强 15. VocalParse: Towards Unified and Scalable Singing Voice 7.0分 前25% #音乐转录 16. Benchmarking LLMs on the Massive Sound Embedding Benchm 7.0分 前50% #音频分类 17. Stage-adaptive audio diffusion modeling 7.0分 前25% #音频生成 18. Adaptive Diagonal Loading for Norm Constrained Beamform 7.0分 前25% #波束成形 19. RenCon 2025: Revival of the Expressive Performance Rend 7.0分 前50% #音乐生成 20. Beyond Seeing Is Believing: On Crowdsourced Detection o 7.0分 前25% #音频深度伪造检测 21. Stage Light is Sequence^2: Multi-Light Control via Imit 7.0分 前25% #舞台技术 22. Library learning with e-graphs on jazz harmony 6.5分 前50% #音乐信息检索 📋 论文列表 🥇 JASTIN: Aligning LLMs for Zero-Shot Audio and Speech Evaluation via Natural Language Instructions 🔥 8.5/10 | 前10% | #音频质量评估 | #大语言模型 | #多模态模型 #零样本 | arxiv ...

2026-05-07 · 更新于 2026-05-19 · 14 min · 2879 words