MetaSICL: Globalizing Auditory LLMs for Underserved Speakers and Languages via Meta Speech In-Context Learning

📄 MetaSICL: Globalizing Auditory LLMs for Underserved Speakers and Languages via Meta Speech In-Context Learning 标签:#音频理解 #元学习 #音频大模型 #少样本 #低资源 8.0/10 | 创新 1.8/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.9/1 | 影响 1.4/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 🔥 8.0/10 | 前25% | 文档类型:方法研究 | 评分置信度:中 | #音频理解 | #元学习 | #音频大模型 #少样本 | arxiv 👥 作者与机构 第一作者:Haolong Zheng(University of Illinois Urbana-Champaign) 通讯作者:正文未明确标注 作者列表:Haolong Zheng、Siyin Wang、Zengrui Jin、Mark Hasegawa-Johnson(机构:University of Illinois Urbana-Champaign;Tsinghua University) ...

2026-08-25 · 更新于 2026-09-04 · 4 min · 728 words

语音/音乐/音频论文速递 2026-08-25

语音/音乐/音频论文速递 2026-08-25 共分析 46 篇论文 ⚡ 今日概览 ✅ 筛选入选 46 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 7 篇 ███████ #音视频理解 4 篇 ████ #语音交互 3 篇 ███ #语音增强 3 篇 ███ #语音情感识别 3 篇 ███ #音频事件检测 3 篇 ███ #音频理解 3 篇 ███ #语音合成 2 篇 ██ 📊 论文评分排行榜(46 篇,按分数降序) 排名 论文 总分 分档 文档类型 主任务 🥇 TLive-Omni: An Omni-Modal Understanding Model for E… 10.0 前10% 系统技术报告 #音视频理解 🥈 sanoTTS: The Smallest Real-Time Neural TTS on a… 10.0 前10% 系统技术报告 #语音合成 🥉 Do Spoken Language Models Hear Speech as They Read… 10.0 前10% 方法研究 #语音交互 4. LipsAM: Lipschitz-continuous Neural Networks for… 10.0 前10% 理论研究 #音频修复 5. PolyChirp: Multi-Species Birdsong Classification Using… 10.0 前10% 系统技术报告 #音频分类 6. EchoWM: Open and Enterable Omnimodal World Models 10.0 前10% 系统技术报告 #音视频生成 7. Simulation-to-Real First-Break Segmentation for… 9.8 前10% 应用研究 #音频事件检测 8. A Computationally Efficient Likelihood Approximation… 9.8 前10% 方法研究 #声源定位 9. A Factorial Ablation of a Speech-to-SFT Pipeline… 9.7 前10% 应用研究 #语音交互 10. Self-Supervised Speech Representations Track Spoken… 9.7 前10% 应用研究 #语音属性识别 11. AudioWorldSim: Realistic Binaural Audio Datasets For… 9.7 前10% 系统技术报告 #空间音频 12. AT-ADD: A Benchmark and Challenge for Robust and All… 9.6 前10% 数据集与基准 #音频伪造检测 13. WnW: Waxing-and-Waning KV Cache for Long-Form Speech… 9.4 前10% 方法研究 #语音交互 14. Better Retrieval, Worse Robustness: How Multi-hop RAG… 9.1 前10% 应用研究 #音频理解 15. Training DeepFilterNet with Accurate Room Acoustic… 9.0 前10% 应用研究 #语音增强 16. TurboBias 2.0: Streaming Context-Biasing for… 9.0 前10% 系统技术报告 #语音识别 17. FlowSep 2: Self-Supervised Flow Matching for Language… 9.0 前10% 方法研究 #音频分离 18. Pre-Decoding Acoustic Triage for Budgeted Vision… 9.0 前10% 方法研究 #音视频理解 19. Do SpeechLMs Hear Their Own Opinions? Diagnosing and… 8.9 前25% 方法研究 #语音情感识别 20. MRMAD: A Multi-Round Multi-Audio Benchmark for… 8.9 前25% 数据集与基准 #音频质量评估 21. Unsupervised Speech Recognition at the Syllable Level 8.9 前25% 方法研究 #语音识别 22. Towards Actionable Surgical Team Dynamics: from… 8.9 前25% 数据集与基准 #音视频理解 23. Long-Horizon Audio-Visual Generation for Persistent… 8.9 前25% 系统技术报告 #音视频生成 24. Do Time-Series Foundation Models Pay Off for… 8.8 前25% 应用研究 #音频事件检测 25. MusPyExpress: Extending MusPy with Enhanced Expression… 8.7 前25% 系统技术报告 #音乐理解 26. Adaptive Hierarchical Representation Alliance for… 8.6 前25% 方法研究 #语音情感识别 27. Vibrato Matching for Modulation Control and Blending… 8.5 前25% 方法研究 #音频生成 28. Spiking Neural Networks for Energy-Efficient Object… 8.5 前25% 应用研究 #音频事件检测 29. Development and Feasibility Evaluation of an Edge AI… 8.4 前25% 应用研究 #语音识别 30. Dual-Scale State-Space Modeling with Speaker-Wise… 8.4 前25% 方法研究 #语音情感识别 31. μNet: Ultra-Low-Memory and Low-Complexity Speech… 8.3 前25% 方法研究 #语音增强 32. Cross-Subject Generalization in Decoding Perceived… 8.3 前25% 方法研究 #语音识别 33. Reasoning-Oriented Post-Training and Inference-Time… 8.3 前25% 应用研究 #音频理解 34. Multi-Modal Semantic Expansion with Constrained LLM… 8.3 前25% 系统技术报告 #音乐推荐 35. DAMOS: Learning Distortion-Aware Speech Quality… 8.2 前25% 方法研究 #语音质量评估 36. Multi-Task Learning for Non-Canonical Phoneme… 8.2 前25% 方法研究 #语音识别 37. MetaSICL: Globalizing Auditory LLMs for Underserved… 8.0 前25% 方法研究 #音频理解 38. AudioNoisePrints: Model-free audio watermarking using… 7.9 前25% 方法研究 #音频水印 39. Building and Evaluating a Synthetic Bengali Speech… 7.6 前25% 数据集与基准 #语音合成 40. SlimDiffuSE: Towards Efficient Diffusion-Based Speech… 7.6 前25% 方法研究 #语音增强 41. DiaScriber: A Speech LLM for Joint Diarization and… 7.3 前50% 方法研究 #语音识别 42. A Regularized Block Diagonal RLS Algorithm for… 7.2 前50% 方法研究 #回声消除 43. Separating Voice from Age in COPD Screening 7.2 前50% 应用研究 #语音属性识别 44. Mitigating Speaker Leakage in Cascaded Multi-talker… 7.1 前50% 方法研究 #语音识别 45. Motion-Aware Reasoning from Speech to Mask Tracks… 7.1 前50% 系统技术报告 #音视频理解 46. Humanoid Musical Robots as Experimental Interfaces for… 5.9 前50% 应用研究 #音视频交互 📋 论文列表 🥇 TLive-Omni: An Omni-Modal Understanding Model for E-Commerce Live Streaming 10.0/10 | 创新 1.7/2 | 严谨 1.4/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ...

2026-08-25 · 更新于 2026-09-04 · 34 min · 7173 words

Normal-Anchored First-Order Model-Agnostic Meta-Learning based Whisper Fine-Tuning for Enhancing Fairness of Cleft Lip and Palate Speech Recognition

📄 Normal-Anchored First-Order Model-Agnostic Meta-Learning based Whisper Fine-Tuning for Enhancing Fairness of Cleft Lip and Palate Speech Recognition 标签:#语音识别 #元学习 #低资源 #参数高效微调 #医疗音频 5.9/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.9/1.5 📝 5.9/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #语音识别 | #元学习 | #低资源 #参数高效微调 | arxiv 👥 作者与机构 第一作者:Susmita Bhattacharjee(印度理工学院古瓦哈提分校 电子与电气工程系) 通讯作者:未说明 作者列表:Susmita Bhattacharjee(印度理工学院古瓦哈提分校 电子与电气工程系)、Jagabandhu Mishra(东芬兰大学 计算机学院)、H.S. Shekhawat(印度理工学院古瓦哈提分校 电子与电气工程系)、Ravi Jasuja(哈佛医学院 布里格姆妇女医院 / Function Promoting Therapies)、S.R. Mahadeva Prasanna(印度理工学院达瓦德分校 电气工程系) 💡 毒舌点评 用正常语音做内环锚点的设计小而巧妙,有效约束了元学习的适应方向,在 CLP 语音这个小众领域里算是扎实的探索。但公平性指标 α/β 从未赋值,整个“公平性得分”名存实亡;且实验完全回避了与 LoRA、Adapter 等主流参数高效微调方法的对比,无法判断 FOMAML 的优势究竟来自元学习还是仅仅来自更合适的正则化。严重度采样策略需为每个数据集单独选择外环组合,通用性存疑。 ...

2026-08-04 · 更新于 2026-09-04 · 5 min · 857 words

语音/音乐/音频论文速递 2026-08-04

语音/音乐/音频论文速递 2026-08-04 共分析 39 篇论文。 ⚡ 今日概览 📥 抓取 39 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 4篇 ████ #语音识别 3篇 ███ #音视频生成 3篇 ███ #语音属性识别 2篇 ██ #说话人验证 2篇 ██ #音视频理解 2篇 ██ #音频分类 2篇 ██ #音频理解 2篇 ██ 📊 论文评分排行榜(39 篇,按分数降序) 排名 论文 总分 分档 文档类型 主任务 🥇 SoniSpeech: A Large-Scale Open-Vocabulary Tri-Modal Dat 8.3分 前25% 数据集与基准 #语音识别 🥈 FATE: Frame-Level Audio-Visual Temporal Embedding 8.3分 前25% 方法研究 #音视频理解 🥉 Allocation Before Ranking: Decoupled Token Compression 8.1分 前25% 方法研究 #音视频理解 4. Embodied Passive Aeroacoustic Perception Enables Relati 7.9分 前25% 系统技术报告 #声源定位 5. Interpretable MEG Decoding of Perceived Speech: Cortica 7.9分 前25% 方法研究 #音频检索 6. Beyond Prompt Adherence: Auditing Attribute-Level Voice 7.8分 前25% 方法研究 #语音合成 7. Hidden-Domain Routing for All-Type Audio Deepfake Detec 7.6分 前25% 系统技术报告 #领域适应 8. An End-to-End Workflow for Fin Whale Song Detection, No 7.5分 前25% 系统技术报告 #音频事件检测 9. SAGE: Switch-Aware EEG-Guided Soft Gating for Target Sp 7.3分 前50% 方法研究 #语音分离 10. Experience-Calibrated Contrastive Decoding for Mitigati 7.2分 前50% 方法研究 #语音合成 11. DRONEAUDIONET: Noise Suppression for Drone Audition-bas 7.2分 前50% 方法研究 #音频分离 12. Multi-Backbone Self-Supervised Ensembles for Audio Deep 7.2分 前50% 系统技术报告 #音频伪造检测 13. Hear, Invoke, and Understand: A Skill-Calling Multimoda 7.2分 前50% 方法研究 #音频理解 14. CultureVidBench: Benchmarking Cultural Understanding in 7.2分 前50% 数据集与基准 #音视频生成 15. SwanTale: Unified Multi-Speaker Speech and Audio Genera 7.1分 前50% 系统技术报告 #音频生成 16. Scene2Sound: Auditory-Grounded Soundscape Generation fo 7.0分 前50% 方法研究 #音频生成 17. The Learning Objective Governs Perceptual Narrowing: A 7.0分 前50% 方法研究 #语音属性识别 18. Discriminative Axis, Not Data Volume: What a Contrastiv 6.9分 前50% 方法研究 #语音属性识别 19. P-MUSE: Prompt-MIDI-Optional Model for Unified Instrume 6.9分 前50% 系统技术报告 #音频理解 20. AcoustiTrace: When Plausible Sound Violates Physics 6.9分 前50% 数据集与基准 #音视频生成 21. Gecko: Fast Private Inference via Secure Public Encoder 6.9分 前50% 系统技术报告 #迁移学习 22. LeapTalk: Breaking the Latency-Quality Trade-off in Tal 6.8分 前50% 方法研究 #音视频生成 23. Separate-and-Detect: Unified Drum Transcription and Ste 6.8分 前50% 方法研究 #音乐转录 24. Domain-Specific Evaluation of Text-to-Speech Systems: A 6.8分 前50% 数据集与基准 #语音合成 25. JoyAI-Talker: Full-Duplex Speech Interactive Large Mode 6.5分 前50% 系统技术报告 #语音合成 26. REIMU: Efficient Heterogeneous Hierarchical Reasoning f 6.4分 前50% 方法研究 #语音伪造检测 27. The Role of Disfluencies in Speech Translation 6.4分 前50% 数据集与基准 #语音翻译 28. SCOPE: Entanglement Frontier Escape for Source-Free Cla 6.3分 前50% 方法研究 #说话人验证 29. Uncertainty-Aware Crossmodal Fusion for Classification 6.3分 前50% 方法研究 #音频分类 30. Can Foundation Models Hear What Made That Sound? A Tier 6.3分 前50% 数据集与基准 #音频分类 31. QR-Erase: Efficient Subspace-Based Machine Unlearning w 6.0分 前50% 方法研究 #说话人验证 32. SGAD: A State-Guided Adaptive Decision Framework for Ro 6.0分 前50% 方法研究 #Transformer 33. Normal-Anchored First-Order Model-Agnostic Meta-Learnin 5.9分 前50% 方法研究 #语音识别 34. AnyBand: Unified Multi-Bandwidth Speech Extension via F 5.9分 前50% 方法研究 #语音超分 35. Sounding Canvas: Embedding Algorithms in Networked, Sen 5.7分 前50% 系统技术报告 #RNN 36. UOT-IR: Structured Routing of High-Polyphony Symbolic M 5.5分 前50% 方法研究 #音乐理解 37. Embodied Empathy: A Multimodal AR and LLM-Powered Syste 5.4分 后50% 应用研究 #音频交互 38. Analyzing Speech Condition Effects in Dysarthric ASR: A 5.0分 后50% 方法研究 #语音识别 39. Homebot: A Personal AI Agent for Conversational Home As 3.8分 后50% 系统技术报告 #语音交互 📋 论文列表 🥇 SoniSpeech: A Large-Scale Open-Vocabulary Tri-Modal Dataset for Wearable Silent Speech Interfaces 8.3/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ...

2026-08-04 · 更新于 2026-09-04 · 28 min · 5820 words

Model-Agnostic Meta-Learning Initialization for Distributed Multichannel Active Noise Control

📄 Model-Agnostic Meta-Learning Initialization for Distributed Multichannel Active Noise Control 标签:#主动降噪 #元学习 #音频理解 #Transformer #模型评估 5.1/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.7/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 0.5/1.5 📝 5.1/10 | 后50% | 文档类型:方法研究 | 评分置信度:高 | #主动降噪 | #元学习 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者:Xiaoyi Shen(State Key Laboratory of Acoustics and Marine Information, Institute of Acoustics, Chinese Academy of Sciences) 通讯作者:未明确说明,但从致谢基金(中国科学院青年人才引进项目)推断可能为 Jun Yang 作者列表:Xiaoyi Shen(State Key Laboratory of Acoustics and Marine Information, Institute of Acoustics, Chinese Academy of Sciences)、Junwei Ji(School of Electrical and Electronic Engineering, Nanyang Technological University)、Woon-Seng Gan(School of Electrical and Electronic Engineering, Nanyang Technological University)、Dongyuan Shi(Center of Intelligent Acoustics and Immersive Communications, Northwestern Polytechnical University)、Jun Yang(State Key Laboratory of Acoustics and Marine Information, Institute of Acoustics, Chinese Academy of Sciences; School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences) 💡 毒舌点评 本文将MAML引入分布式多通道ANC滤波器初始化,动机合理,仿真显示收敛速度确有提升。但硬伤是MAML训练的超参数(内外步长、遗忘因子、任务数等)一律缺失,所谓的“核心贡献”几乎无法复现;且通篇未与任何非零初始化基线(如系统辨识均值、随机初值的多次平均)对比,无法支撑其“元学习初始化最优”的主张。纯仿真、无实测、无计算开销分析,工程实用价值存疑。 ...

2026-08-03 · 更新于 2026-09-04 · 2 min · 357 words

Versatile On-device Adaptation at the Edge by Unifying Few-shot, Zero-shot, Continual, and In-context Learning

📄 Versatile On-device Adaptation at the Edge by Unifying Few-shot, Zero-shot, Continual, and In-context Learning 标签:#元学习 #持续学习 #音频理解 #Transformer #模型评估 8.1/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.1/0.5 | 工程 1.5/1.5 🔥 8.1/10 | 前25% | 文档类型:系统技术报告 | 评分置信度:高 | #元学习 | #Transformer | #持续学习 #音频理解 | arxiv 👥 作者与机构 第一作者:Douwe den Blanken(Delft University of Technology, Microelectronics Department) 通讯作者:Douwe den Blanken(Delft University of Technology, Microelectronics Department) 作者列表:Douwe den Blanken(Delft University of Technology, Microelectronics Department)、Martin Lefebvre(Delft University of Technology, Microelectronics Department)、Charlotte Frenkel(Delft University of Technology, Microelectronics Department) 💡 毒舌点评 本文以"embedder-centric"为统一视角,巧妙地在单片SoC上整合了四种边缘学习范式,工程落地能力令人印象深刻,尤其是在微瓦级功耗下实现首个CL/ZSL/ICL硬件基线。然而,方法层面的创新更像是对现有技术的精巧组合与硬件映射,而非算法本质的突破;且核心"统一嵌入器"实际需要为每个模态和任务单独训练,削弱了"通用"的叙事力度。FSL上的SOTA对比存在测试条件不对等(依赖专用推理芯片)的嫌疑,使得纯粹算法优势的论证不够有力。 ...

2026-08-03 · 更新于 2026-09-04 · 4 min · 641 words

语音/音乐/音频论文速递 2026-08-03

语音/音乐/音频论文速递 2026-08-03 共分析 16 篇论文 ⚡ 今日概览 📥 抓取 16 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 2篇 ██ #音频理解 2篇 ██ #主动降噪 1篇 █ #元学习 1篇 █ #医疗音频 1篇 █ #声源定位 1篇 █ #数据集 1篇 █ #语音交互 1篇 █ 📊 论文评分排行榜(16 篇,按分数降序) 排名 论文 总分 分档 文档类型 主任务 🥇 Do Music Foundation Models Embed Pitch in Helical Struc 8.1分 前25% 方法研究 #音乐理解 🥈 Versatile On-device Adaptation at the Edge by Unifying 8.1分 前25% 系统技术报告 #元学习 🥉 FriendBench: Benchmarking Dyadic Familiarity Inference 7.9分 前25% 数据集与基准 #音视频理解 4. Cloned Voices, Real Consequences: Evaluating Bias in Po 7.7分 前25% 数据集与基准 #语音伪造检测 5. A Neurosymbolic Approach for Explainable Early Diagnosi 7.7分 前25% 系统技术报告 #音频理解 6. DoubleHelix: Structured Cross-Modal Fusion for Audio-Vi 7.4分 前50% 方法研究 #音视频语音识别 7. Tensor-Based Joint Pitch and DOA Estimation 6.9分 前50% 方法研究 #声源定位 8. ParaASR: Multi-Token Prediction for Fast and Long-Conte 6.7分 前50% 系统技术报告 #语音识别 9. Exploring Efficient Waveform Diffusion Models for Foley 6.5分 前50% 方法研究 #音频生成 10. Leveraging Beam Search Information for Confidence Estim 6.3分 前50% 方法研究 #语音识别 11. TORUS: A Test of Rendering-Understanding Self-Coherence 6.1分 前50% 数据集与基准 #音频理解 12. M3-DuplexBench: A Multi-Turn, Multilingual, Multidomain 6.1分 前50% 数据集与基准 #语音交互 13. Stable Autoregressive Speech Generation with Low-Frame- 5.8分 前50% 方法研究 #语音合成 14. Learning to Predict Performance-induced Emotion Differe 5.6分 前50% 方法研究 #数据集 15. Model-Agnostic Meta-Learning Initialization for Distrib 5.1分 后50% 方法研究 #主动降噪 16. Technological Advances in Detecting and Managing Cognit 4.0分 后50% 综述 #医疗音频 📋 论文列表 🥇 Do Music Foundation Models Embed Pitch in Helical Structure? 8.1/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ...

2026-08-03 · 更新于 2026-09-04 · 14 min · 2783 words

Few-Shot Open-Set Audio Classification Using Attention Information-Fused Prototypes

📄 Few-Shot Open-Set Audio Classification Using Attention Information-Fused Prototypes #音频分类 #元学习 6.8/10 | 创新 1.1/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.6/1 | 影响 0.8/1.5 | 开源 0.8/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.8/10 | 前50% | #音频分类 | #元学习 | arxiv 👥 作者与机构 第一作者:Yanxiong Li(华南理工大学电子与信息工程学院) 通讯作者:Yanxiong Li(华南理工大学电子与信息工程学院) 作者列表:Yanxiong Li(华南理工大学电子与信息工程学院)、Jiaxin Tan(华南理工大学电子与信息工程学院)、Qianqian Li(华南理工大学电子与信息工程学院)、Guoqing Chen(华南理工大学电子与信息工程学院)、Sen Huang(华南理工大学电子与信息工程学院)、Tuomas Virtanen(坦佩雷大学信息技术与通信科学学院) 💡 毒舌点评 这篇论文试图在少样本开集音频分类(FOAC)这个新兴问题上建立一套完整的解决方案,用增强基类原型、查询-支持融合和开集原型生成器搭建了一个多组件框架。实验覆盖面不错,在三个数据集上赢了八个基线方法,统计检验也做了。但问题在于,把这套框架拆开来看,增强基类原型本质上就是可学习的负样本生成,PGFC是Transformer交叉注意力加残差连接的经典套路,PGOC则是两级注意力压缩——每个模块都高度成熟,拼在一起更像是一次扎实的工程整合,而非方法论层面的突破。更令人担忧的是跨数据集泛化能力严重不足,FS→NS的Acc掉到74.20%,与领域内对稳健表征的期待相去甚远。论文声称是首个将“少样本+开集+音频分类”三者系统整合的工作,但在音频领域尚无其他完整FOAC方法直接对比的情况下,所有基线均来自视觉或通用领域,缺乏与音频特化方法的比较。 📌 核心摘要 要解决的问题:常规音频分类假设测试样本均属已知类且无法拒识未知类,当标注样本稀缺且环境动态变化时,需模型既能用少量样本学习新类(少样本),又能拒识从未见过的类别(开集)——即少样本开集音频分类(FOAC)。 方法核心:提出基于注意力信息融合原型的FOAC方法,模型由编码器(ResNet18骨干)和分类器(PGFC+PGOC)组成。预训练阶段,利用基类丰富样本生成基类原型和增强基类原型,通过联合损失(分类风险损失+互补空间风险损失)使增强原型在嵌入空间中被推离对应基类原型,扩大开集表征空间。元训练和测试阶段,PGFC通过SEFM(支持-查询嵌入融合模块)实现查询与支持嵌入的双向交叉注意力融合,经SCM(支持嵌入转换模块)将查询感知的维度信息反向注入支持嵌入,再由SAM(显著信息聚合模块)以逐维显著性加权聚合生成少样本类原型;PGOC则将少样本类原型、基类原型和增强基类原型经两级Transformer注意力和MLP后处理,压缩生成单一开集类原型,替代传统固定阈值或OOD打分,实现自适应拒识。 与已有方法的区别:第一,显式建模增强基类原型以丰富开放空间表征,而非仅依赖Softmax confidence或简单距离阈值。第二,少样本类原型生成融入了查询信息(类似隐式transductive learning)和逐维度显著性加权,突破了传统原型网络中“原型仅由支持集决定”的定式。第三,通过三级分层原型融合直接生成开集原型,使决策边界具有上下文适应性。 主要实验结果:在LS-100、NSynth-100、FSC-89三个数据集上,5-way 1-shot和5-way 5-shot设置下,本文方法均超过8种基线方法(FEAT、L3-Net、D-ProtoNet、OpenFEAT、TANE、GEL、OPP、MET)。Friedman+Nemenyi统计检验表明,本文方法在AUROC上对除MET外的所有基线有统计显著优势,在Acc上对除D-ProtoNet外的所有基线有统计显著优势。复杂度方面,MACs(2259M)和AIT(3.37s)仅高于L3-Net和D-ProtoNet,优于多数方法,但NP(15.02M)偏高。 实际意义:为智能家居异常音检测、生物声学监测中新物种识别等动态开放场景提供端到端的FOAC技术方案,推理效率尚可,有边缘部署潜力,且方法框架可作为FOAC问题的baseline。 主要局限性:跨数据集泛化能力严重不足(FS→NS Acc仅74.20%),模型参数量偏大难以直接部署到资源受限终端,各组件创新度有限但工程整合较完整。 🔗 开源详情 代码:论文提供了GitHub链接(https://github.com/Jessytan/FOAC-AIFP)。 模型权重:论文中未提及,仓库情况未知。 数据集:三个主要数据集(LS-100、NSynth-100、FSC-89)均提供了公开下载链接于脚注中(ModelScope平台)。扩展实验使用的家庭环境音频数据集来自文献[23],但论文未给出直接链接。论文未宣称自己构建或开源了新的数据集。 🏗️ 方法概述和架构 论文提出的FOAC方法(FOAC-AIFP)采用分阶段训练+测试的框架,整体结构见原文Fig. 4。 ...

2026-07-03 · 更新于 2026-09-04 · 2 min · 298 words

Pmeta-TLA: Backdoor Attacks for Speech Classification Models via Meta-Learning with Timbre Leakage Attack

📄 Pmeta-TLA: Backdoor Attacks for Speech Classification Models via Meta-Learning with Timbre Leakage Attack #语音唤醒 #元学习 #自监督学习 #多任务学习 6/10 | 创新 1.2/2 | 严谨 0.9/1.5 | 实验 1.2/1.5 | 清晰 0.5/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.9/1.5 ✅ 6/10 | 前50% | #语音唤醒 | #元学习 | #自监督学习 #多任务学习 | arxiv 👥 作者与机构 第一作者:Yueming Huang(湘潭大学) 通讯作者:未说明 作者列表:Yueming Huang(湘潭大学)、Wenhan Yao(未说明)、Fen Xiao(未说明)、Xiarun Chen(未说明)、Weiping Wen(北京大学) 💡 毒舌点评 论文提出了一种结合帧级音色泄露触发器和元学习的语音后门攻击方法,在关键词检测任务上展示了高攻击成功率和低投毒成本的实验效果,并通过多种防御测试验证了鲁棒性。然而,写作质量令人担忧,存在两个完全重复的消融实验章节,且关键方法细节缺失,代码和模型权重完全闭源,这使得其学术价值严重依赖作者的后续维护和社区的信任。 📌 核心摘要 要解决什么问题:现有语音后门攻击的触发器不够隐蔽,容易被自动质量评估模型或声纹验证模型检测;且多目标攻击成本高,难以一次性高效植入多个后门。 方法核心:提出Pmeta-TLA,其包含两部分:(1) 一种新的触发函数 Timbre Leakage Attack (TLA),通过自监督模型提取语义向量,利用聚类与最近邻向量替换仅在帧级别上泄露目标音色,生成极难被人类和机器察觉的投毒样本;(2) 一种基于元学习(MAML)和投影冲突梯度(PCGrad)的训练框架,将后门攻击建模为清洁任务与多个后门任务的多任务学习问题,训练模型获得“学会如何植入后门”的元能力,从而能一次性植入多个后门,并可在新触发器上快速微调适应。 新在哪里:(1) TLA首次在帧级别上实现音色泄露,相较于VSVC等整句音色转换的方法更隐蔽;(2) 首次将元学习框架与PCGrad算法结合应用于语音后门攻击,显著降低了多后门攻击所需的投毒样本数量并提升了攻击成功率。 主要实验结果如何:在Google Speech Commands v2的10分类关键词检测任务上,使用四种SOTA模型(ERes2Net, KWS-ViT, EAT-S, CAM++)进行验证: 方法 ERes2Net (ASR/PN) KWS-ViT (ASR/PN) EAT-S (ASR/PN) CAM++ (ASR/PN) PIBA 95.33 / 550 96.46 / 500 95.93 / 550 94.80 / 600 DABA 94.26 / 450 93.33 / 450 92.13 / 500 92.53 / 500 Ultrasonic 95.40 / 400 94.93 / 450 93.87 / 450 93.53 / 500 PBSM 97.13 / 350 98.87 / 400 98.93 / 450 98.20 / 450 VSVC 99.13 / 300 99.27 / 350 98.53 / 350 97.27 / 400 TLA-S (t=1) 98.93 / 350 99.13 / 400 98.60 / 400 97.47 / 450 TLA-M (t=3) 98.80 / (400×3) 98.47 / (450×3) 98.20 / (450×3) 97.13 / (450×3) PMeta-TLA (t=3) 99.67 / (300×3) 99.40 / (320×3) 99.13 / (350×3) 98.20 / (450×3) PMeta-S (t=3+1) 98.53 / 250 98.337 / 260 97.60 / 260 97.07 / 280 PMeta-M (t=3+3) 97.20 / (250×3) 97.60 / (260×3) 96.40 / (260×3) 95.93 / (250×3) PMeta-TLA (t=3) 相比同量级多触发器方法TLA-M,不仅降低了每类所需的投毒样本数,更达到了最高的攻击成功率。在防御测试中,对模型微调、剪枝、STRIP、谱签名和触发器过滤等方法均展示了强鲁棒性。 实际意义是什么:暴露了当前主流的关键词检测模型在面对帧级精细音色触发器时的严重脆弱性,为未来设计更鲁棒、更安全的语音分类系统提供了重要的攻击范式参考。 主要局限性:写作存在严重格式问题;未提供代码与模型权重,几乎不可复现;仅在关键词检测单一任务上验证,说服力有限;元学习和PCGrad结合部分的训练细节缺失,无法判断调参难度。 🔗 开源详情 代码:未提供任何代码仓库链接。 模型权重:未提供任何后门模型或触发函数模型的权重文件。 数据集:使用的Google Speech Commands v2是公开数据集,但用于提取OOD音色的“辅助语音语料库”的详细信息未提供。 Demo:未提供演示链接或页面。 复现材料:无。 论文中引用的开源项目: NISQA [38]、MosNet [37]、RMVPE [48] 等项目在论文中被提及,但未提供具体的开源代码链接。 使用的下游模型如ERes2Net、KWS-ViT、EAT-S、CAM++等均为公开论文的模型架构,但论文未给出其代码实现的具体地址。 🏗️ 方法概述和架构 PMeta-TLA是一种数据投毒后门攻击方法,其创新点主要体现在触发函数设计和训练框架两个层面。 ...

2026-07-03 · 更新于 2026-09-04 · 3 min · 499 words

语音/音乐/音频论文速递 2026-07-03

语音/音乐/音频论文速递 2026-07-03 共分析 31 篇论文 ⚡ 今日概览 📥 抓取 31 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音频分类 4篇 ████ #声源定位 4篇 ████ #语音识别 4篇 ████ #语音交互 3篇 ███ #语音合成 3篇 ███ #音视频理解 2篇 ██ #语音增强 2篇 ██ #音乐理解 1篇 █ 📊 论文评分排行榜(31 篇,按分数降序) 排名 论文 总分 分档 主任务 🥇 Unlocking Speech-Text Compositional Powers: Instruction 8.5分 前25% #语音交互 🥈 Decomposer: Learning to Decompile Symbolic Music to Pro 8.4分 前25% #音乐理解 🥉 A global predicted-fMRI drive signal from TRIBE does no 7.7分 前25% #音视频理解 4. Cross Domain Few-Shot Class-Incremental Audio Classific 7.4分 前50% #音频分类 5. Self-Supervised Test-Time Tuning for Packet Loss Concea 7.4分 前50% #音频修复 6. Reasoning LLM Improves Speaker Recognition in Long-form 7.2分 前50% #音视频理解 7. SelectTSL: Prompt-Guided Selective Target Sound Localiz 7.1分 前50% #声源定位 8. Enhancing Acoustic-to-Articulatory Inversion with Multi 7.0分 前50% #语音交互 9. TurnNat: Automatic Evaluation of Turn-Taking Naturalnes 7.0分 前50% #语音交互 10. Audio-Based Understanding of Audiobook Narration Appeal 6.9分 前50% #语音属性识别 11. H-SAGE: Holistic Speaker-Aware Guided Experts for MoE-b 6.9分 前50% #语音识别 12. An Efficient vLLM-Based Inference Pipeline for Unified 6.8分 前50% #语音合成 13. Few-Shot Open-Set Audio Classification Using Attention 6.8分 前50% #音频分类 14. Beyond Words: Towards Effective Modeling of Non-Verbal 6.4分 前50% #语音识别 15. LMPAN: A Lightweight Multi-Path Alignment Network for J 6.2分 前50% #语音增强 16. NAVER LABS Europe Submission to the Instruction-followi 6.2分 前50% #语音翻译 17. Pmeta-TLA: Backdoor Attacks for Speech Classification M 6.0分 前50% #语音唤醒 18. Neural Audio Codec with Adjustable Token Temporal Resol 5.8分 前50% - 19. SPARCLE: SPeaker-aware Aligned Representations via Cont 5.8分 前50% #语音合成 20. Speaker head orientation estimation with a single micro 5.8分 前50% #声源定位 21. Towards a Phonology-Informed Evaluation of Multilingual 5.7分 前50% #语音质量评估 22. Rethinking Speech-LLM Integration for ASR: Effective Jo 5.6分 前50% #语音识别 23. RT-Tango: Real-Time Distributed Binaural Speech Enhance 5.5分 前50% #语音增强 24. Quantifying the Uncertainty of Blindly Estimated Room E 5.2分 后50% #音频检索 25. CNN Models for Microphone Array Covariance Matrix Upsam 5.0分 后50% #声源定位 26. A Multi-Branch Hierarchy-Aware Framework for Heterogene 4.9分 后50% #音频分类 27. From Monolingual to Multilingual: Evaluating Mamba for 4.8分 后50% #语音识别 28. DRL-CLBA: A Clean Label Backdoor Attack for Speech Clas 4.7分 后50% #音频分类 29. Spatial Speech Perception Systems: A Survey of Sound So 4.1分 后50% #声源定位 30. UT-AISTimprt submission for ICME 2026 Grand Challenge o 4.1分 后50% #音乐生成 31. Using embeddings to predict spoken word duration and pi 4.0分 后50% #语音合成 📋 论文列表 🥇 Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning 8.5/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1.1/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 ...

2026-07-03 · 更新于 2026-09-04 · 25 min · 5320 words