Normal-Anchored First-Order Model-Agnostic Meta-Learning based Whisper Fine-Tuning for Enhancing Fairness of Cleft Lip and Palate Speech Recognition

📄 Normal-Anchored First-Order Model-Agnostic Meta-Learning based Whisper Fine-Tuning for Enhancing Fairness of Cleft Lip and Palate Speech Recognition 标签:#语音识别 #元学习 #低资源 #参数高效微调 #医疗音频 5.9/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.9/1.5 📝 5.9/10 | 前50% | 文档类型:方法研究 | 评分置信度:中 | #语音识别 | #元学习 | #低资源 #参数高效微调 | arxiv 👥 作者与机构 第一作者:Susmita Bhattacharjee(印度理工学院古瓦哈提分校 电子与电气工程系) 通讯作者:未说明 作者列表:Susmita Bhattacharjee(印度理工学院古瓦哈提分校 电子与电气工程系)、Jagabandhu Mishra(东芬兰大学 计算机学院)、H.S. Shekhawat(印度理工学院古瓦哈提分校 电子与电气工程系)、Ravi Jasuja(哈佛医学院 布里格姆妇女医院 / Function Promoting Therapies)、S.R. Mahadeva Prasanna(印度理工学院达瓦德分校 电气工程系) 💡 毒舌点评 用正常语音做内环锚点的设计小而巧妙,有效约束了元学习的适应方向,在 CLP 语音这个小众领域里算是扎实的探索。但公平性指标 α/β 从未赋值,整个“公平性得分”名存实亡;且实验完全回避了与 LoRA、Adapter 等主流参数高效微调方法的对比,无法判断 FOMAML 的优势究竟来自元学习还是仅仅来自更合适的正则化。严重度采样策略需为每个数据集单独选择外环组合,通用性存疑。 ...

2026-08-04 · 更新于 2026-08-14 · 5 min · 857 words

语音/音乐/音频论文速递 2026-08-04

语音/音乐/音频论文速递 2026-08-04 共分析 39 篇论文。 ⚡ 今日概览 📥 抓取 39 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 4篇 ████ #语音识别 3篇 ███ #音视频生成 3篇 ███ #语音属性识别 2篇 ██ #说话人验证 2篇 ██ #音视频理解 2篇 ██ #音频分类 2篇 ██ #音频理解 2篇 ██ 📊 论文评分排行榜(39 篇,按分数降序) 排名 论文 总分 分档 文档类型 主任务 🥇 SoniSpeech: A Large-Scale Open-Vocabulary Tri-Modal Dat 8.3分 前25% 数据集与基准 #语音识别 🥈 FATE: Frame-Level Audio-Visual Temporal Embedding 8.3分 前25% 方法研究 #音视频理解 🥉 Allocation Before Ranking: Decoupled Token Compression 8.1分 前25% 方法研究 #音视频理解 4. Embodied Passive Aeroacoustic Perception Enables Relati 7.9分 前25% 系统技术报告 #声源定位 5. Interpretable MEG Decoding of Perceived Speech: Cortica 7.9分 前25% 方法研究 #音频检索 6. Beyond Prompt Adherence: Auditing Attribute-Level Voice 7.8分 前25% 方法研究 #语音合成 7. Hidden-Domain Routing for All-Type Audio Deepfake Detec 7.6分 前25% 系统技术报告 #领域适应 8. An End-to-End Workflow for Fin Whale Song Detection, No 7.5分 前25% 系统技术报告 #音频事件检测 9. SAGE: Switch-Aware EEG-Guided Soft Gating for Target Sp 7.3分 前50% 方法研究 #语音分离 10. Experience-Calibrated Contrastive Decoding for Mitigati 7.2分 前50% 方法研究 #语音合成 11. DRONEAUDIONET: Noise Suppression for Drone Audition-bas 7.2分 前50% 方法研究 #音频分离 12. Multi-Backbone Self-Supervised Ensembles for Audio Deep 7.2分 前50% 系统技术报告 #音频伪造检测 13. Hear, Invoke, and Understand: A Skill-Calling Multimoda 7.2分 前50% 方法研究 #音频理解 14. CultureVidBench: Benchmarking Cultural Understanding in 7.2分 前50% 数据集与基准 #音视频生成 15. SwanTale: Unified Multi-Speaker Speech and Audio Genera 7.1分 前50% 系统技术报告 #音频生成 16. Scene2Sound: Auditory-Grounded Soundscape Generation fo 7.0分 前50% 方法研究 #音频生成 17. The Learning Objective Governs Perceptual Narrowing: A 7.0分 前50% 方法研究 #语音属性识别 18. Discriminative Axis, Not Data Volume: What a Contrastiv 6.9分 前50% 方法研究 #语音属性识别 19. P-MUSE: Prompt-MIDI-Optional Model for Unified Instrume 6.9分 前50% 系统技术报告 #音频理解 20. AcoustiTrace: When Plausible Sound Violates Physics 6.9分 前50% 数据集与基准 #音视频生成 21. Gecko: Fast Private Inference via Secure Public Encoder 6.9分 前50% 系统技术报告 #迁移学习 22. LeapTalk: Breaking the Latency-Quality Trade-off in Tal 6.8分 前50% 方法研究 #音视频生成 23. Separate-and-Detect: Unified Drum Transcription and Ste 6.8分 前50% 方法研究 #音乐转录 24. Domain-Specific Evaluation of Text-to-Speech Systems: A 6.8分 前50% 数据集与基准 #语音合成 25. JoyAI-Talker: Full-Duplex Speech Interactive Large Mode 6.5分 前50% 系统技术报告 #语音合成 26. REIMU: Efficient Heterogeneous Hierarchical Reasoning f 6.4分 前50% 方法研究 #语音伪造检测 27. The Role of Disfluencies in Speech Translation 6.4分 前50% 数据集与基准 #语音翻译 28. SCOPE: Entanglement Frontier Escape for Source-Free Cla 6.3分 前50% 方法研究 #说话人验证 29. Uncertainty-Aware Crossmodal Fusion for Classification 6.3分 前50% 方法研究 #音频分类 30. Can Foundation Models Hear What Made That Sound? A Tier 6.3分 前50% 数据集与基准 #音频分类 31. QR-Erase: Efficient Subspace-Based Machine Unlearning w 6.0分 前50% 方法研究 #说话人验证 32. SGAD: A State-Guided Adaptive Decision Framework for Ro 6.0分 前50% 方法研究 #Transformer 33. Normal-Anchored First-Order Model-Agnostic Meta-Learnin 5.9分 前50% 方法研究 #语音识别 34. AnyBand: Unified Multi-Bandwidth Speech Extension via F 5.9分 前50% 方法研究 #语音超分 35. Sounding Canvas: Embedding Algorithms in Networked, Sen 5.7分 前50% 系统技术报告 #RNN 36. UOT-IR: Structured Routing of High-Polyphony Symbolic M 5.5分 前50% 方法研究 #音乐理解 37. Embodied Empathy: A Multimodal AR and LLM-Powered Syste 5.4分 后50% 应用研究 #音频交互 38. Analyzing Speech Condition Effects in Dysarthric ASR: A 5.0分 后50% 方法研究 #语音识别 39. Homebot: A Personal AI Agent for Conversational Home As 3.8分 后50% 系统技术报告 #语音交互 📋 论文列表 🥇 SoniSpeech: A Large-Scale Open-Vocabulary Tri-Modal Dataset for Wearable Silent Speech Interfaces 8.3/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ...

2026-08-04 · 更新于 2026-08-14 · 28 min · 5820 words

Model-Agnostic Meta-Learning Initialization for Distributed Multichannel Active Noise Control

📄 Model-Agnostic Meta-Learning Initialization for Distributed Multichannel Active Noise Control 标签:#主动降噪 #元学习 #音频理解 #Transformer #模型评估 5.1/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.7/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 0.5/1.5 📝 5.1/10 | 后50% | 文档类型:方法研究 | 评分置信度:高 | #主动降噪 | #元学习 | #音频理解 #Transformer | arxiv 👥 作者与机构 第一作者:Xiaoyi Shen(State Key Laboratory of Acoustics and Marine Information, Institute of Acoustics, Chinese Academy of Sciences) 通讯作者:未明确说明,但从致谢基金(中国科学院青年人才引进项目)推断可能为 Jun Yang 作者列表:Xiaoyi Shen(State Key Laboratory of Acoustics and Marine Information, Institute of Acoustics, Chinese Academy of Sciences)、Junwei Ji(School of Electrical and Electronic Engineering, Nanyang Technological University)、Woon-Seng Gan(School of Electrical and Electronic Engineering, Nanyang Technological University)、Dongyuan Shi(Center of Intelligent Acoustics and Immersive Communications, Northwestern Polytechnical University)、Jun Yang(State Key Laboratory of Acoustics and Marine Information, Institute of Acoustics, Chinese Academy of Sciences; School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences) 💡 毒舌点评 本文将MAML引入分布式多通道ANC滤波器初始化,动机合理,仿真显示收敛速度确有提升。但硬伤是MAML训练的超参数(内外步长、遗忘因子、任务数等)一律缺失,所谓的“核心贡献”几乎无法复现;且通篇未与任何非零初始化基线(如系统辨识均值、随机初值的多次平均)对比,无法支撑其“元学习初始化最优”的主张。纯仿真、无实测、无计算开销分析,工程实用价值存疑。 ...

2026-08-03 · 更新于 2026-08-14 · 2 min · 357 words

Versatile On-device Adaptation at the Edge by Unifying Few-shot, Zero-shot, Continual, and In-context Learning

📄 Versatile On-device Adaptation at the Edge by Unifying Few-shot, Zero-shot, Continual, and In-context Learning 标签:#元学习 #持续学习 #音频理解 #Transformer #模型评估 8.1/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.1/0.5 | 工程 1.5/1.5 🔥 8.1/10 | 前25% | 文档类型:系统技术报告 | 评分置信度:高 | #元学习 | #Transformer | #持续学习 #音频理解 | arxiv 👥 作者与机构 第一作者:Douwe den Blanken(Delft University of Technology, Microelectronics Department) 通讯作者:Douwe den Blanken(Delft University of Technology, Microelectronics Department) 作者列表:Douwe den Blanken(Delft University of Technology, Microelectronics Department)、Martin Lefebvre(Delft University of Technology, Microelectronics Department)、Charlotte Frenkel(Delft University of Technology, Microelectronics Department) 💡 毒舌点评 本文以"embedder-centric"为统一视角,巧妙地在单片SoC上整合了四种边缘学习范式,工程落地能力令人印象深刻,尤其是在微瓦级功耗下实现首个CL/ZSL/ICL硬件基线。然而,方法层面的创新更像是对现有技术的精巧组合与硬件映射,而非算法本质的突破;且核心"统一嵌入器"实际需要为每个模态和任务单独训练,削弱了"通用"的叙事力度。FSL上的SOTA对比存在测试条件不对等(依赖专用推理芯片)的嫌疑,使得纯粹算法优势的论证不够有力。 ...

2026-08-03 · 更新于 2026-08-14 · 4 min · 641 words

语音/音乐/音频论文速递 2026-08-03

语音/音乐/音频论文速递 2026-08-03 共分析 16 篇论文 ⚡ 今日概览 📥 抓取 16 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 2篇 ██ #音频理解 2篇 ██ #主动降噪 1篇 █ #元学习 1篇 █ #医疗音频 1篇 █ #声源定位 1篇 █ #数据集 1篇 █ #语音交互 1篇 █ 📊 论文评分排行榜(16 篇,按分数降序) 排名 论文 总分 分档 文档类型 主任务 🥇 Do Music Foundation Models Embed Pitch in Helical Struc 8.1分 前25% 方法研究 #音乐理解 🥈 Versatile On-device Adaptation at the Edge by Unifying 8.1分 前25% 系统技术报告 #元学习 🥉 FriendBench: Benchmarking Dyadic Familiarity Inference 7.9分 前25% 数据集与基准 #音视频理解 4. Cloned Voices, Real Consequences: Evaluating Bias in Po 7.7分 前25% 数据集与基准 #语音伪造检测 5. A Neurosymbolic Approach for Explainable Early Diagnosi 7.7分 前25% 系统技术报告 #音频理解 6. DoubleHelix: Structured Cross-Modal Fusion for Audio-Vi 7.4分 前50% 方法研究 #音视频语音识别 7. Tensor-Based Joint Pitch and DOA Estimation 6.9分 前50% 方法研究 #声源定位 8. ParaASR: Multi-Token Prediction for Fast and Long-Conte 6.7分 前50% 系统技术报告 #语音识别 9. Exploring Efficient Waveform Diffusion Models for Foley 6.5分 前50% 方法研究 #音频生成 10. Leveraging Beam Search Information for Confidence Estim 6.3分 前50% 方法研究 #语音识别 11. TORUS: A Test of Rendering-Understanding Self-Coherence 6.1分 前50% 数据集与基准 #音频理解 12. M3-DuplexBench: A Multi-Turn, Multilingual, Multidomain 6.1分 前50% 数据集与基准 #语音交互 13. Stable Autoregressive Speech Generation with Low-Frame- 5.8分 前50% 方法研究 #语音合成 14. Learning to Predict Performance-induced Emotion Differe 5.6分 前50% 方法研究 #数据集 15. Model-Agnostic Meta-Learning Initialization for Distrib 5.1分 后50% 方法研究 #主动降噪 16. Technological Advances in Detecting and Managing Cognit 4.0分 后50% 综述 #医疗音频 📋 论文列表 🥇 Do Music Foundation Models Embed Pitch in Helical Structure? 8.1/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ...

2026-08-03 · 更新于 2026-08-14 · 14 min · 2783 words

Few-Shot Open-Set Audio Classification Using Attention Information-Fused Prototypes

📄 Few-Shot Open-Set Audio Classification Using Attention Information-Fused Prototypes #音频分类 #元学习 6.8/10 | 创新 1.1/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.6/1 | 影响 0.8/1.5 | 开源 0.8/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.8/10 | 前50% | #音频分类 | #元学习 | arxiv 👥 作者与机构 第一作者:Yanxiong Li(华南理工大学电子与信息工程学院) 通讯作者:Yanxiong Li(华南理工大学电子与信息工程学院) 作者列表:Yanxiong Li(华南理工大学电子与信息工程学院)、Jiaxin Tan(华南理工大学电子与信息工程学院)、Qianqian Li(华南理工大学电子与信息工程学院)、Guoqing Chen(华南理工大学电子与信息工程学院)、Sen Huang(华南理工大学电子与信息工程学院)、Tuomas Virtanen(坦佩雷大学信息技术与通信科学学院) 💡 毒舌点评 这篇论文试图在少样本开集音频分类(FOAC)这个新兴问题上建立一套完整的解决方案,用增强基类原型、查询-支持融合和开集原型生成器搭建了一个多组件框架。实验覆盖面不错,在三个数据集上赢了八个基线方法,统计检验也做了。但问题在于,把这套框架拆开来看,增强基类原型本质上就是可学习的负样本生成,PGFC是Transformer交叉注意力加残差连接的经典套路,PGOC则是两级注意力压缩——每个模块都高度成熟,拼在一起更像是一次扎实的工程整合,而非方法论层面的突破。更令人担忧的是跨数据集泛化能力严重不足,FS→NS的Acc掉到74.20%,与领域内对稳健表征的期待相去甚远。论文声称是首个将“少样本+开集+音频分类”三者系统整合的工作,但在音频领域尚无其他完整FOAC方法直接对比的情况下,所有基线均来自视觉或通用领域,缺乏与音频特化方法的比较。 📌 核心摘要 要解决的问题:常规音频分类假设测试样本均属已知类且无法拒识未知类,当标注样本稀缺且环境动态变化时,需模型既能用少量样本学习新类(少样本),又能拒识从未见过的类别(开集)——即少样本开集音频分类(FOAC)。 方法核心:提出基于注意力信息融合原型的FOAC方法,模型由编码器(ResNet18骨干)和分类器(PGFC+PGOC)组成。预训练阶段,利用基类丰富样本生成基类原型和增强基类原型,通过联合损失(分类风险损失+互补空间风险损失)使增强原型在嵌入空间中被推离对应基类原型,扩大开集表征空间。元训练和测试阶段,PGFC通过SEFM(支持-查询嵌入融合模块)实现查询与支持嵌入的双向交叉注意力融合,经SCM(支持嵌入转换模块)将查询感知的维度信息反向注入支持嵌入,再由SAM(显著信息聚合模块)以逐维显著性加权聚合生成少样本类原型;PGOC则将少样本类原型、基类原型和增强基类原型经两级Transformer注意力和MLP后处理,压缩生成单一开集类原型,替代传统固定阈值或OOD打分,实现自适应拒识。 与已有方法的区别:第一,显式建模增强基类原型以丰富开放空间表征,而非仅依赖Softmax confidence或简单距离阈值。第二,少样本类原型生成融入了查询信息(类似隐式transductive learning)和逐维度显著性加权,突破了传统原型网络中“原型仅由支持集决定”的定式。第三,通过三级分层原型融合直接生成开集原型,使决策边界具有上下文适应性。 主要实验结果:在LS-100、NSynth-100、FSC-89三个数据集上,5-way 1-shot和5-way 5-shot设置下,本文方法均超过8种基线方法(FEAT、L3-Net、D-ProtoNet、OpenFEAT、TANE、GEL、OPP、MET)。Friedman+Nemenyi统计检验表明,本文方法在AUROC上对除MET外的所有基线有统计显著优势,在Acc上对除D-ProtoNet外的所有基线有统计显著优势。复杂度方面,MACs(2259M)和AIT(3.37s)仅高于L3-Net和D-ProtoNet,优于多数方法,但NP(15.02M)偏高。 实际意义:为智能家居异常音检测、生物声学监测中新物种识别等动态开放场景提供端到端的FOAC技术方案,推理效率尚可,有边缘部署潜力,且方法框架可作为FOAC问题的baseline。 主要局限性:跨数据集泛化能力严重不足(FS→NS Acc仅74.20%),模型参数量偏大难以直接部署到资源受限终端,各组件创新度有限但工程整合较完整。 🔗 开源详情 代码:论文提供了GitHub链接(https://github.com/Jessytan/FOAC-AIFP)。 模型权重:论文中未提及,仓库情况未知。 数据集:三个主要数据集(LS-100、NSynth-100、FSC-89)均提供了公开下载链接于脚注中(ModelScope平台)。扩展实验使用的家庭环境音频数据集来自文献[23],但论文未给出直接链接。论文未宣称自己构建或开源了新的数据集。 🏗️ 方法概述和架构 论文提出的FOAC方法(FOAC-AIFP)采用分阶段训练+测试的框架,整体结构见原文Fig. 4。 ...

2026-07-03 · 更新于 2026-08-14 · 2 min · 298 words

Pmeta-TLA: Backdoor Attacks for Speech Classification Models via Meta-Learning with Timbre Leakage Attack

📄 Pmeta-TLA: Backdoor Attacks for Speech Classification Models via Meta-Learning with Timbre Leakage Attack #语音唤醒 #元学习 #自监督学习 #多任务学习 6/10 | 创新 1.2/2 | 严谨 0.9/1.5 | 实验 1.2/1.5 | 清晰 0.5/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.9/1.5 ✅ 6/10 | 前50% | #语音唤醒 | #元学习 | #自监督学习 #多任务学习 | arxiv 👥 作者与机构 第一作者:Yueming Huang(湘潭大学) 通讯作者:未说明 作者列表:Yueming Huang(湘潭大学)、Wenhan Yao(未说明)、Fen Xiao(未说明)、Xiarun Chen(未说明)、Weiping Wen(北京大学) 💡 毒舌点评 论文提出了一种结合帧级音色泄露触发器和元学习的语音后门攻击方法,在关键词检测任务上展示了高攻击成功率和低投毒成本的实验效果,并通过多种防御测试验证了鲁棒性。然而,写作质量令人担忧,存在两个完全重复的消融实验章节,且关键方法细节缺失,代码和模型权重完全闭源,这使得其学术价值严重依赖作者的后续维护和社区的信任。 📌 核心摘要 要解决什么问题:现有语音后门攻击的触发器不够隐蔽,容易被自动质量评估模型或声纹验证模型检测;且多目标攻击成本高,难以一次性高效植入多个后门。 方法核心:提出Pmeta-TLA,其包含两部分:(1) 一种新的触发函数 Timbre Leakage Attack (TLA),通过自监督模型提取语义向量,利用聚类与最近邻向量替换仅在帧级别上泄露目标音色,生成极难被人类和机器察觉的投毒样本;(2) 一种基于元学习(MAML)和投影冲突梯度(PCGrad)的训练框架,将后门攻击建模为清洁任务与多个后门任务的多任务学习问题,训练模型获得“学会如何植入后门”的元能力,从而能一次性植入多个后门,并可在新触发器上快速微调适应。 新在哪里:(1) TLA首次在帧级别上实现音色泄露,相较于VSVC等整句音色转换的方法更隐蔽;(2) 首次将元学习框架与PCGrad算法结合应用于语音后门攻击,显著降低了多后门攻击所需的投毒样本数量并提升了攻击成功率。 主要实验结果如何:在Google Speech Commands v2的10分类关键词检测任务上,使用四种SOTA模型(ERes2Net, KWS-ViT, EAT-S, CAM++)进行验证: 方法 ERes2Net (ASR/PN) KWS-ViT (ASR/PN) EAT-S (ASR/PN) CAM++ (ASR/PN) PIBA 95.33 / 550 96.46 / 500 95.93 / 550 94.80 / 600 DABA 94.26 / 450 93.33 / 450 92.13 / 500 92.53 / 500 Ultrasonic 95.40 / 400 94.93 / 450 93.87 / 450 93.53 / 500 PBSM 97.13 / 350 98.87 / 400 98.93 / 450 98.20 / 450 VSVC 99.13 / 300 99.27 / 350 98.53 / 350 97.27 / 400 TLA-S (t=1) 98.93 / 350 99.13 / 400 98.60 / 400 97.47 / 450 TLA-M (t=3) 98.80 / (400×3) 98.47 / (450×3) 98.20 / (450×3) 97.13 / (450×3) PMeta-TLA (t=3) 99.67 / (300×3) 99.40 / (320×3) 99.13 / (350×3) 98.20 / (450×3) PMeta-S (t=3+1) 98.53 / 250 98.337 / 260 97.60 / 260 97.07 / 280 PMeta-M (t=3+3) 97.20 / (250×3) 97.60 / (260×3) 96.40 / (260×3) 95.93 / (250×3) PMeta-TLA (t=3) 相比同量级多触发器方法TLA-M,不仅降低了每类所需的投毒样本数,更达到了最高的攻击成功率。在防御测试中,对模型微调、剪枝、STRIP、谱签名和触发器过滤等方法均展示了强鲁棒性。 实际意义是什么:暴露了当前主流的关键词检测模型在面对帧级精细音色触发器时的严重脆弱性,为未来设计更鲁棒、更安全的语音分类系统提供了重要的攻击范式参考。 主要局限性:写作存在严重格式问题;未提供代码与模型权重,几乎不可复现;仅在关键词检测单一任务上验证,说服力有限;元学习和PCGrad结合部分的训练细节缺失,无法判断调参难度。 🔗 开源详情 代码:未提供任何代码仓库链接。 模型权重:未提供任何后门模型或触发函数模型的权重文件。 数据集:使用的Google Speech Commands v2是公开数据集,但用于提取OOD音色的“辅助语音语料库”的详细信息未提供。 Demo:未提供演示链接或页面。 复现材料:无。 论文中引用的开源项目: NISQA [38]、MosNet [37]、RMVPE [48] 等项目在论文中被提及,但未提供具体的开源代码链接。 使用的下游模型如ERes2Net、KWS-ViT、EAT-S、CAM++等均为公开论文的模型架构,但论文未给出其代码实现的具体地址。 🏗️ 方法概述和架构 PMeta-TLA是一种数据投毒后门攻击方法,其创新点主要体现在触发函数设计和训练框架两个层面。 ...

2026-07-03 · 更新于 2026-08-14 · 3 min · 499 words

语音/音乐/音频论文速递 2026-07-03

语音/音乐/音频论文速递 2026-07-03 共分析 31 篇论文 ⚡ 今日概览 📥 抓取 31 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音频分类 4篇 ████ #声源定位 4篇 ████ #语音识别 4篇 ████ #语音交互 3篇 ███ #语音合成 3篇 ███ #音视频理解 2篇 ██ #语音增强 2篇 ██ #音乐理解 1篇 █ 📊 论文评分排行榜(31 篇,按分数降序) 排名 论文 总分 分档 主任务 🥇 Unlocking Speech-Text Compositional Powers: Instruction 8.5分 前25% #语音交互 🥈 Decomposer: Learning to Decompile Symbolic Music to Pro 8.4分 前25% #音乐理解 🥉 A global predicted-fMRI drive signal from TRIBE does no 7.7分 前25% #音视频理解 4. Cross Domain Few-Shot Class-Incremental Audio Classific 7.4分 前50% #音频分类 5. Self-Supervised Test-Time Tuning for Packet Loss Concea 7.4分 前50% #音频修复 6. Reasoning LLM Improves Speaker Recognition in Long-form 7.2分 前50% #音视频理解 7. SelectTSL: Prompt-Guided Selective Target Sound Localiz 7.1分 前50% #声源定位 8. Enhancing Acoustic-to-Articulatory Inversion with Multi 7.0分 前50% #语音交互 9. TurnNat: Automatic Evaluation of Turn-Taking Naturalnes 7.0分 前50% #语音交互 10. Audio-Based Understanding of Audiobook Narration Appeal 6.9分 前50% #语音属性识别 11. H-SAGE: Holistic Speaker-Aware Guided Experts for MoE-b 6.9分 前50% #语音识别 12. An Efficient vLLM-Based Inference Pipeline for Unified 6.8分 前50% #语音合成 13. Few-Shot Open-Set Audio Classification Using Attention 6.8分 前50% #音频分类 14. Beyond Words: Towards Effective Modeling of Non-Verbal 6.4分 前50% #语音识别 15. LMPAN: A Lightweight Multi-Path Alignment Network for J 6.2分 前50% #语音增强 16. NAVER LABS Europe Submission to the Instruction-followi 6.2分 前50% #语音翻译 17. Pmeta-TLA: Backdoor Attacks for Speech Classification M 6.0分 前50% #语音唤醒 18. Neural Audio Codec with Adjustable Token Temporal Resol 5.8分 前50% - 19. SPARCLE: SPeaker-aware Aligned Representations via Cont 5.8分 前50% #语音合成 20. Speaker head orientation estimation with a single micro 5.8分 前50% #声源定位 21. Towards a Phonology-Informed Evaluation of Multilingual 5.7分 前50% #语音质量评估 22. Rethinking Speech-LLM Integration for ASR: Effective Jo 5.6分 前50% #语音识别 23. RT-Tango: Real-Time Distributed Binaural Speech Enhance 5.5分 前50% #语音增强 24. Quantifying the Uncertainty of Blindly Estimated Room E 5.2分 后50% #音频检索 25. CNN Models for Microphone Array Covariance Matrix Upsam 5.0分 后50% #声源定位 26. A Multi-Branch Hierarchy-Aware Framework for Heterogene 4.9分 后50% #音频分类 27. From Monolingual to Multilingual: Evaluating Mamba for 4.8分 后50% #语音识别 28. DRL-CLBA: A Clean Label Backdoor Attack for Speech Clas 4.7分 后50% #音频分类 29. Spatial Speech Perception Systems: A Survey of Sound So 4.1分 后50% #声源定位 30. UT-AISTimprt submission for ICME 2026 Grand Challenge o 4.1分 后50% #音乐生成 31. Using embeddings to predict spoken word duration and pi 4.0分 后50% #语音合成 📋 论文列表 🥇 Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning 8.5/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1.1/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 ...

2026-07-03 · 更新于 2026-08-14 · 25 min · 5320 words

L-Proto: Language-Aware Episodic Prototypical Training for Multilingual Speaker Verification

📄 L-Proto: Language-Aware Episodic Prototypical Training for Multilingual Speaker Verification #说话人验证 #元学习 #数据集 7.1/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 1.1/1.5 | 复现 0.5/0.5 | 工程 0.4/1.5 ✅ 7.1/10 | 前50% | #说话人验证 | #元学习 | #数据集 | arxiv 👥 作者与机构 论文作者为Hyung-Seok Oh, Deok-Hyeon Cho, Seung-Bin Kim, 和 Seong-Whan Lee,隶属于韩国首尔高丽大学(Korea University)人工智能系。 💡 毒舌点评 想法挺直接的:既然不同语言混在一起学不好,那就分开学呗。这确实是个好主意,但论文把它包装得过于隆重了,好像发现了新大陆。最大的软肋是“验证”的广度严重不足。只在一个叫TidyVoice的挑战赛数据集上做实验,这说服力就像只在自己家后院测试了一辆车的性能,然后宣称它全球适用。作者应该拿着这个方法去VoxCeleb、IJB-S这些公认的“试车场”上跑跑看。另外,和那些专门搞语言对抗、特征解耦的“老炮儿”们(比如论文引用的[13-18])比起来,L-Proto就像个精巧但略显单薄的特例,缺乏更普适的理论支撑。总结:一个实用的trick,但远非一篇让人眼前一亮、愿意存入收藏夹的顶会论文。 📌 核心摘要 本文针对多语言说话人验证(SV)中语言与说话人身份纠缠导致跨语言性能下降的问题,提出了一种语言感知的情节式原型训练(L-Proto)策略。其核心动机在于,传统的情节式采样会混合不同语言,导致同一说话人的嵌入形成语言子聚类,干扰原型估计。L-Proto通过构建语言一致的训练情节(每个情节仅包含单一语言的说话人)来控制任务级别的语言变异,迫使模型更专注于学习说话人身份的区分性。在TidyVoice挑战赛基准测试上的实验表明,L-Proto在SimAM-ResNet、ResNet、ECAPA-TDNN和CAM++等多种骨干网络上,相比常规微调和随机情节采样,在EER和minDCF指标上均取得了提升,尤其在跨语言场景下效果更明显。消融实验证实了语言一致情节构建和原型监督的协同有效性。该方法为缓解多语言SV中的语言纠缠提供了一种简洁、易于实现的训练策略。 🔗 开源详情 代码:论文中提供了明确的代码仓库链接:https://github.com/hs-oh-prml/L-Proto/ ...

2026-06-17 · 更新于 2026-08-14 · 3 min · 444 words

语音/音乐/音频论文速递 2026-06-17

语音/音乐/音频论文速递 2026-06-17 共分析 35 篇论文 ⚡ 今日概览 📥 抓取 35 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 9篇 █████████ #语音合成 4篇 ████ #音频分类 3篇 ███ #语音增强 2篇 ██ #多模态模型 2篇 ██ #强化学习 1篇 █ #语音活动检测 1篇 █ #说话人验证 1篇 █ 📊 论文评分排行榜(35 篇,按分数降序) 排名 论文 总分 分档 主任务 🥇 One-Step Token-to-Waveform Generation with MeanFlow in 9.3分 前10% #语音合成 🥈 Synergizing Zero-Shot Cross-Lingual Alzheimer Detection 9.1分 前25% - 🥉 When Multiple Scripts Matter: Evaluating ASR in Clinica 9.1分 前10% #语音识别 4. Grounding Spoken LLMs in Multi-Speaker Audio via Diariz 8.5分 前25% #语音识别 5. ELSA: Acoustic Event-Level Semantic Alignment for Fine- 8.5分 前25% - 6. A 399uW 114.3 dB DR Companding Readout ASIC for MEMS Mi 8.2分 前25% - 7. Are you speaking my languages? On spoken language adher 8.0分 后50% #语音识别 8. From Signals to Patterns: Non-Invasive Tuberculosis Det 7.9分 前25% - 9. Next-Turn: Duration-Aware Streaming Endpoint Detection 7.9分 前50% #语音合成 10. Decision-Driven Geosteering Under Uncertainty: A Unifie 7.8分 前50% #强化学习 11. Perceptual compensation for tonal context in self-super 7.7分 前50% #语音识别 12. JoyAI-VL-Interaction: Real-Time Vision-Language Interac 7.7分 前50% #语音合成 13. PhASE-Flow: Phonetic-Conditioned Acoustic Flow Matching 7.6分 前25% #语音增强 14. Non-Autoregressive Minimum Bayes' Risk Decoding for 7.6分 前25% - 15. SpeechDx: A Multi-Task Benchmark for Clinical Speech AI 7.6分 前25% #语音识别 16. Vibrato Expression Control for Singing Voice Conversion 7.5分 前25% - 17. Improving low-resource ASR using bilingual fine-tuning 7.5分 前50% #语音识别 18. Turning music identification into a neural forward pass 7.4分 前50% #音频分类 19. Direction of arrival estimation from distant microphone 7.3分 前50% #语音活动检测 20. DeSRPA: Decoupled Speech Role-Playing Agent via Inferen 7.3分 前50% #语音合成 21. L-Proto: Language-Aware Episodic Prototypical Training 7.1分 前50% #说话人验证 22. Single frequency filtering based multi-speaker directio 7.0分 前50% #语音增强 23. MLLP-VRAIN UPV system for the IWSLT 2026 Simultaneous S 6.9分 前50% #语音识别 24. Reading between the Lines: Leveraging Large Language Mo 6.8分 前50% #语音情感识别 25. A Closer Look at Failure Modes in Temporal Understandin 6.6分 前50% #多模态模型 26. MVEB: Massive Video Embedding Benchmark 6.5分 前50% #基准测试 27. Transductive Zero-Shot Audio Classification with Audio- 6.4分 前50% #音频分类 28. A Neuromorphic Trigger for Efficient Audio Event Detect 6.2分 前50% #音频事件检测 29. Learning task-specific subspaces via interventional pos 6.2分 前50% #自监督学习 30. Embedded Machine Learning for Microcontroller-Class Edg 6.0分 前50% - 31. Descriptor: Certus Caliber Classification Gunshot Datas 5.9分 前50% #音频分类 32. AI-based Cognitive-linguistic Features for Dementia Ass 5.8分 前50% #语音识别 33. An Analysis of the Effectiveness of Synthetic Speech Da 5.7分 前50% #语音识别 34. OlfactProfile: Profile-Conditioned Odor Prediction from 5.6分 前50% #多模态模型 35. Intelligibility of Speech in Noise: Investigating Contr 5.5分 前50% - 📋 论文列表 🥇 One-Step Token-to-Waveform Generation with MeanFlow in Latent Space 9.3/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 ...

2026-06-17 · 更新于 2026-08-14 · 21 min · 4445 words