对比学习

📄 InstructFX2FX: A Multi-turn Text-to-Preset Demo for Iterative Audio Effect Refinement #对比学习 8.6/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.6/10 | 前50% | #对比学习 | #对比学习 | arxiv 👥 作者与机构 Song-Ze Yu (1,2), Milan Liessens Dujardin (1), Yuxuan Cai (1), Wantong Zhang (1) KU Leuven， 2. 不明（原文未明确第二机构） 💡 毒舌点评 这篇Demo论文清晰地定义了一个实际存在的音频工程问题——多轮、状态化的音频效果精调，并提出了一个直观且技术上合理的混合架构来解决它。LLM作为“大脑”进行规划，CLAP优化作为“手脚”进行感知微调，这个分工很有工程智慧。然而，作为一篇旨在展示系统能力的Demo论文，其核心弱点在于评估的局限性和“概念验证”的实质。评估几乎完全围绕EQ效果展开，且仅与一个简单的“LLM重复提示”基线对比，说服力有限。所谓“多轮”交互的评估，也仅限于两个步骤的序列，未能真正展示复杂长会话下的状态管理能力。系统在非可微效果上的不稳定性、优化延迟等问题被指出但未解决。代码和Demo的开源值得称赞，但论文的贡献更多在于系统集成和问题提出，而非方法学上的突破。对于期望看到音频AI最新技术进展的读者，可能会觉得稍显单薄。 📌 核心摘要 本文提出了InstructFX2FX，一个用于多轮、文本引导音频效果精调的交互式演示系统。与传统单次生成预设的方法不同，该系统将音频效果编辑视为一个状态化的序列过程：给定当前的音效链、参数状态和一系列用户指令，系统需在保留先前指令意图的同时，根据新指令进行迭代更新。其核心架构采用混合设计：LLM作为高层规划器，负责选择效果、排列信号链并提议初始参数；CLAP引导的优化（梯度下降用于可微分效果，贝叶斯优化用于非可微分效果）作为感知精调层，根据渲染音频在CLAP嵌入空间中微调参数。系统维护一个包含效果链、参数、渲染音频和指令历史的持久会话状态，并通过路由模块决定每次指令是初始化、重用优化还是混合更新效果链。在SocialFX数据集构建的EQ描述符转换对上的初步评估表明，与LLM单独重复提示的基线相比，该系统在90%的测试对中降低了最大均值差异（MMD），平均降低约24%。论文同时指出了CLAP目标与DSP特征评估的不匹配、优化漂移、非可微效果优化不稳定以及实时性不足等局限性，并展望了未来向更丰富效果链评估、人类听觉研究及实时插件集成的方向发展。 ...

📄 PrefSQA: Pairwise Preference Prediction for Speech Quality Assessment and the Critical Role of High Quality Datasets #语音质量评估 #对比学习 7.3/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.3/10 | 前50% | #语音质量评估 | #对比学习 | arxiv 👥 作者与机构 作者: Junyi Fan, Donald S. Williamson 机构: The Ohio State University, USA 💡 毒舌点评 论文选题切中了MOS标注噪声这一实际痛点，并试图用偏好学习来解决，思路直接且合理。然而，方法的“创新”部分更偏向于对现有技术模块（如Bradley-Terry模型、注意力机制、NMR头）的工程化组合与适配，缺乏更深层的原理性突破。作者投入大量篇幅构建和论证数据集质量的重要性，这一点确实有价值，但也反衬出其模型本身在标准、噪声较大的基准上提升有限。最令人诟病的是，论文中最重要的两个基线SQAPP和UPPSQA的代码均不可用，这使得其声称的“基于框架”和“实现”变得难以验证，严重削弱了可复现性和说服力。此外，关于“非匹配参考”对模型全局排序的提升作用，其消融实验显示的增益非常小，这让人质疑该组件的必要性。 ...

📄 Segment-Level Mandarin Chinese Speech-Based Cognitive Impairment Detection via an Autoencoder with Contrastive Learning #对比学习 #数据增强 #低资源 6.5/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 6.5/10 | 前50% | #对比学习 | #对比学习 | #数据增强 #低资源 | arxiv 👥 作者与机构 Yongqi Shao, Hong Huo, Flavio Bertini, Danilo Montesi, Tao Fang. 机构：上海交通大学自动化与智能感知学院、系统控制与信息处理教育部重点实验室、上海工业网络系统感知与控制重点实验室；意大利博洛尼亚大学计算机科学与工程系；意大利帕尔马大学数学、物理与计算机科学系。 💡 毒舌点评 创新性平庸：将自编码器、监督对比学习、SpecAugment这三个早已成熟的技术拼接在一起，缺乏根本性的算法或理论创新。论文更像是一个有效的工程集成方案，而非一篇旨在推动方法边界的研究。在NeurIPS/ICML/ICLR级别的会议上，这种“有效组合”的贡献度通常不足以获得高分。 消融实验设计存在瑕疵：AE-only与AE+CL的模型选择标准不一致（前者用重建损失，后者用分类性能），这直接削弱了对比学习贡献的公平性。这是一个不应出现的实验设计疏忽。 关键泛化验证缺失：在四个“独立”数据集上训练并评估，却没有进行任何跨数据集的训练-测试实验。这使得“跨数据集鲁棒性”的声称缺乏最直接的支持，无法评估模型在真正未见数据源上的表现。 对比学习细节模糊：未说明在同一batch内如何处理来自同一原始录音的不同片段作为正样本的问题。由于这些片段高度相似，将它们都视为正样本可能过于简单，可能稀释对比学习的难度和效果，这一关键细节的缺失影响了方法的严谨性。 评分与定位：考虑到其临床应用价值和扎实的实验，作为一篇应用性/实验性论文，其价值是有的。但若以NeurIPS/ICML/ICLR的标准衡量，其方法新颖性和分析深度均有不足，6.8分是更合理的定位。 📌 核心摘要 本文针对中文语音认知障碍检测，提出一个片段级表示学习框架。该框架整合了基于GRU的自编码器和监督对比学习，并结合了离线与在线谱图增强策略，旨在解决有限标注数据下的检测挑战。在四个公开中文语音数据集上的实验表明，该框架在二分类和三分类任务上均取得了稳定且具竞争力的性能，特别是在更具挑战性的三分类任务上表现出显著提升。消融研究验证了各组件的贡献，可视化分析展示了表示空间的优化过程。论文为资源受限的临床场景提供了一种可扩展的语音筛查方法。 ...

📄 Transcript-Free Flow-Matching Text-to-Speech via Speech Feature Conditioning #语音合成 #自监督学习 #语音增强 #多任务学习 #对比学习 7.7/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.7/10 | 前25% | #语音合成 | #自监督学习 | #语音增强 #多任务学习 | arxiv 👥 作者与机构 作者：SooHwan Eom, Hee Suk Yoon, Eunseop Yoon, Mark Hasegawa-Johnson, Chang D. Yoo 机构：1 Korea Advanced Institute of Science and Technology, South Korea; 2 University of Illinois Urbana-Champaign, United States ...

语音/音乐/音频论文速递 2026-06-19 共分析 40 篇论文 ⚡ 今日概览 📥 抓取 40 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 10篇 ██████████ #语音识别 8篇 ████████ #语音转换 2篇 ██ #语音增强 2篇 ██ #自监督学习 2篇 ██ #说话人验证 1篇 █ #模型压缩 1篇 █ #多模态模型 1篇 █ 📊 论文评分排行榜（40 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 FlowEdit: Associative Memory for Lifelong Pronunciation 10.0分 前25% #语音合成 🥈 Low-Burden Data Augmentation for Dysarthric ASR via Zer 8.7分 前25% #语音识别 🥉 S-JEPA : Soft Clustering Anchors for Self-Supervised Sp 8.7分 前25% #语音识别 4. Personalized Keyword Spotting for User-Defined Keywords 8.6分 前25% #说话人验证 5. FlowFake: Liquid Networks for Audio Deepfake Detection 8.5分 前25% #模型压缩 6. Systematic Study of Dysarthric Speech Recognition: Spec 8.3分 前50% #语音识别 7. PerceptionDLM: Parallel Region Perception with Multimod 8.1分 前25% #多模态模型 8. RIVET: Robust Idempotent Voice Attribute Editing 8.0分 前50% #语音转换 9. Repurposing a Speech Classifier for Guided Diffusion-Ba 7.9分 前50% #语音合成 10. Exploring Feature Extraction Technique Parameters for A 7.9分 前50% #音频事件检测 11. Transcript-Free Flow-Matching Text-to-Speech via Speech 7.7分 前25% #语音合成 12. How Do Instructions Shape Speech? Cross-Attention Attri 7.7分 前50% #语音合成 13. Hybrid Diffusion Transformer for Instruction-Guided Aud 7.6分 前50% #Transformer 14. Improving Code-Switching ASR with Code-Mixing Guided Sy 7.6分 前25% #语音识别 15. PolSeT: Polish Semantics of Timbre Dataset 7.5分 后50% - 16. IHBench: Evaluating Post-Interruption Recovery in Voice 7.5分 前25% #语音对话系统 17. A Survey of Full-Duplex Spoken Dialogue Systems: Archit 7.4分 前50% #语音合成 18. PhysDrift: Bridging the Embodiment Gap in Humanoid Co-S 7.4分 前50% #语音合成 19. PrefSQA: Pairwise Preference Prediction for Speech Qual 7.3分 前50% #语音质量评估 20. Latency-Configurable Streaming Speech Enhancement via A 7.2分 前50% #语音增强 21. A Comparative Study of Pretrained Transformer Models fo 7.2分 前50% #语音识别 22. Pitch Spelling Jazz Lead Sheets, Solo Transcriptions, C 7.2分 前50% - 23. Stuttering Classification and Segmentation with Attenti 7.0分 前50% - 24. Time-Unconditional Generative Speech Enhancement via Au 7.0分 前25% #语音增强 25. Investigating Human-Model Discrepancies in Speech Quali 6.9分 前25% #语音合成 26. Prismriver: Formalization of Music Theory and Algorithm 6.9分 前50% - 27. NEST: Narrative Event Structures in Time for Long Video 6.8分 前50% - 28. Cross-Dataset, Age, and Gender Generalization: A Compre 6.7分 前50% #语音识别 29. Exploring Pre-training Benefits on Phoneme Addition thr 6.7分 前50% - 30. Analyzing Language and Geographical Variation in Speech 6.5分 前50% #语音识别 31. Improving End-to-End Speech Recognition for Dysarthric 6.5分 前50% #语音识别 32. Segment-Level Mandarin Chinese Speech-Based Cognitive I 6.5分 前50% #对比学习 33. Light-weight Pronunciation Assessment via Discrete Spee 6.4分 前50% #自监督学习 34. ReNikud: Audio-Supervised Hebrew Grapheme-to-Phoneme Co 6.2分 前50% #语音合成 35. Zero-VC: Zero-Lookahead Streaming Voice Conversion via 6.1分 前50% #语音转换 36. MixProLAP: Mixture-Induced Uncertainty Modeling for Pro 5.7分 前50% #音频检索 37. MaineCoon: Pursuing A Real-Time Audio-Visual Social Wor 5.7分 前50% #语音合成 38. Leveraging systems' non-linearity to tackle the sca 5.5分 后50% #数据增强 39. Interpreting Content and Speaker Characteristics in Fac 5.0分 后50% #语音合成 40. Beyond Speaker Independence: Evaluating Cross-Lingual A 4.9分 后50% #自监督学习 📋 论文列表 🥇 FlowEdit: Associative Memory for Lifelong Pronunciation Adaptation in Flow-Matching TTS 10.0/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

📄 Learning Robust Pair Confidence for Multimodal Emotion-Cause Pair Extraction #多模态模型 #对比学习 #对抗训练 7.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.5/10 | 前50% | #多模态模型 | #对比学习 | #对抗训练 | arxiv 👥 作者与机构 作者：Zhuangzhuang Pan (Universiti Malaya), Ning Dong (Suqian University), Yingna Su (Suqian University), Yan Xia (Suzhou University of Technology)。 机构：Universiti Malaya, Suqian University, Suzhou University of Technology。 ...

📄 Learning task-specific subspaces via interventional post-training of speech foundation models #自监督学习 #对比学习 #数据增强 #参数高效微调 6.2/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.3/1.5 ✅ 6.2/10 | 前50% | #自监督学习 | #自监督学习 | #对比学习 #数据增强 | arxiv 👥 作者与机构 作者：Jack Cox (通讯作者), Jon Barker 机构：University of Sheffield, United Kingdom (英国谢菲尔德大学) 💡 毒舌点评 这篇工作就像一个巧妙的玩具：想法（用TTS做可控干预数据来分离表示）很有趣，但玩具本身太小（32个训练说话人，合成数据），玩出来的结果（内容子空间性能下降）也未能完全证明其价值。论文像一篇扎实的课程项目报告，而非一篇能说服顶会审稿人的研究。最大的“惊喜”是内容子空间在关键任务上性能不升反降，这直接挑战了“联合学习能更好分离”的初衷。作者将此归因于预训练目标与下游任务不匹配，但这恰恰暴露了该方法的核心局限：它依赖于一个完美的、与任务无关的干预数据集，而这在现实中很难获得。总体而言，创新点值得鼓励，但实验的规模和深度严重不足，结论的普适性存疑。 📌 核心摘要 本文针对语音基础模型表示信息纠缠的问题，提出了一种基于因果干预思想的后训练方法。核心是使用一个通过零样本TTS（F5-TTS）合成的、可密集控制内容和说话人变量的数据集，并设计一个多部分对比损失（干预对比学习）来联合学习两个正交子空间：内容子空间和说话人子空间。实验在wav2vec 2.0, HuBERT, WavLM三个骨干上进行，评估任务包括VoxCeleb1上的域外说话人验证和Speech Commands上的关键词识别。结果显示，所学说话人子空间能显著提升域外说话人验证性能，证明其有效分离了说话人信息；然而，内容子空间在关键词识别任务上性能下降，表明其未能有效保留或增强任务所需的内容信息。联合学习两个子空间相比单独学习未显示出明显优势。 ...

📄 Unsupervised Approaches for Global Prosodic Embedding Extraction #语音合成 #语音识别 #自监督学习 #对比学习 7.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.8/10 | 前25% | #语音合成 | #自监督学习 | #语音识别 #对比学习 | arxiv 👥 作者与机构 作者：Martin Meza, Luciana Ferrer, Pablo Riera 机构：1 Departamento de Computación, FCEyN, Universidad de Buenos Aires (UBA), Argentina; 2 Instituto de Investigación en Ciencias de la Computación (ICC), CONICET-UBA, Argentina ...

语音/音乐/音频论文速递 2026-06-15 共分析 26 篇论文 ⚡ 今日概览 📥 抓取 26 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 4篇 ████ #语音合成 4篇 ████ #说话人识别 3篇 ███ #数据增强 2篇 ██ #音频问答 2篇 ██ #语音增强 1篇 █ #音乐信息检索 1篇 █ #强化学习 1篇 █ 📊 论文评分排行榜（26 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Listening with Attention: Entropy-Guided Explainability 9.6分 前25% #语音识别 🥈 MaskedFOP: Polyglot Speaker Identification under Missin 9.2分 前25% #说话人识别 🥉 HIDVAS: A Hearing Instrument Dataset in Various Acousti 9.0分 前25% #语音增强 4. BayLing-Duplex: Native Full-Duplex Speech Dialogue with 9.0分 前10% #语音合成 5. Moonlight in Latent Space: Chirality and Structural Cor 8.7分 前50% #音乐信息检索 6. Who Spoke When in Multi-Conversation: Target Speaker Ta 8.6分 前50% #说话人识别 7. Learning to Hear Hesitation: Continual Learning for Dis 8.3分 前25% #语音识别 8. The Holistic Storage of Verb+Up Phrases in Text-based a 8.2分 前50% #语音识别 9. OmniVideo-100K: A Dataset for Audio-Visual Reasoning th 8.2分 前50% #数据增强 10. Orchestra-o1: Omnimodal Agent Orchestration 8.1分 前50% #强化学习 11. Unsupervised Approaches for Global Prosodic Embedding E 7.8分 前25% #语音合成 12. Instantaneous Pitch Estimation via Wave-U-Net-Based Fun 7.7分 前25% #数据增强 13. A Deep Zero-Inflated Model of North Atlantic Right Whal 7.6分 前50% #概率图模型 14. FAConformer: Frequency-Aware Convolutional Transformer 7.5分 前25% #Transformer 15. From Self-Supervised Speech Models to Mixture-of-Expert 7.5分 前50% #自监督学习 16. The Perceived Fragility of Explanations in Audio Models 7.5分 前25% - 17. A Multi-Domain Feature Fusion Framework for Generalizab 7.4分 前50% #多模态模型 18. AudioDER: A Deduplication-Enhanced Reasoning Dataset fo 7.3分 前50% #音频问答 19. Beyond task performance: Decoding bioacoustic embedding 7.1分 前50% - 20. Explainable and Trustworthy Speech Emotion Recognition 7.0分 前50% #语音情感识别 21. FoleyGenEx: Unified Video-to-Audio Generation with Mult 7.0分 前50% #语音合成 22. Spatio-Temporal Audio Language Modeling for Dynamic Sou 6.9分 前25% #音频问答 23. Mask, Sample, Revise: A Revisable CTMC Inference Stack 6.8分 前25% #语音合成 24. MoDiCoL: A Modular Diagnostic Continual Learning Datase 6.5分 前50% #语音识别 25. Multimodal Speaker Identification in Classroom Environm 6.0分 前50% #说话人识别 26. Efficiency-Performance Trade-offs in Neural Speaker Dia 5.1分 后50% #说话人日志 📋 论文列表 🥇 Listening with Attention: Entropy-Guided Explainability for Transformer-Based Audio Models 9.6/10 | 创新 1.5/2 | 严谨 1.4/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ...

📄 From Tokens to Faces: Investigating Discrete Speech Representations for 3D Facial Animation #语音合成 #自监督学习 #对比学习 7.9/10 | 创新 1.5/2 | 严谨 1.4/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.9/10 | 前25% | #语音合成 | #自监督学习 | #对比学习 | arxiv 👥 作者与机构 作者：Pedro R. Correa, Olivier Perrotin, Samir Sadok, Paula D. P. Costa, Thomas Hueber 机构： Univ. Estadual de Campinas (UNICAMP), Brazil Univ. Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, France Inria at Univ. Grenoble Alpes, CNRS, LJK, France 💡 毒舌点评 这篇工作做了一个工整的“排列组合”实验，试图回答“哪种语音表征最适合驱动人脸”这个基本问题。优点在于实验设计清晰，覆盖了主要表征类型，且提出了一个讨巧的AVTTS概念。然而，其核心发现——“编码音素信息的表征效果好”——几乎是一个基于直觉的结论，论文更多是在验证而非突破。探测分析部分试图挖得更深，但方法（线性回归、离散化聚类）略显简单，难以充分揭示复杂的映射关系。解码器架构的选择（GRU vs. 基础Transformer）也落后于当前扩散模型主导的前沿。总的来说，这是一篇扎实的“观测报告”，但离顶会论文所期望的“开创性洞察”或“强大新方法”还有距离。更适合作为一份详尽的baseline分析或技术报告。 ...

语音/音乐/音频论文速递 2026-06-12 共分析 27 篇论文 ⚡ 今日概览 📥 抓取 27 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 6篇 ██████ #语音识别 4篇 ████ #音频分类 2篇 ██ #语音翻译 2篇 ██ #语音增强 2篇 ██ #音频生成 1篇 █ #多模态模型 1篇 █ #说话人识别 1篇 █ 📊 论文评分排行榜（27 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Self-Guidance: Enhancing Neural Codecs via Decoder Mani 9.7分 前25% #语音合成 🥈 Ontology Memory-Augmented ASR Correction for Long Text- 9.6分 前25% #语音识别 🥉 Emo-LiPO: Listwise Preference Optimization for Fine-Gra 9.3分 前50% #语音合成 4. AudioX-Turbo: A Unified Framework for Efficient Anythin 9.0分 前10% #音频生成 5. M*: A Modular, Extensible, Serving System for Multimoda 8.9分 前25% #多模态模型 6. Decoding Insect Song: A Multitask Semisupervised Orthop 8.7分 前50% #音频分类 7. Missing-Token Prompted Reliability-Aware Fusion for Rob 8.6分 前25% #说话人识别 8. Leveraging Audio-LLMs to Filter Speech-to-Speech Traini 8.4分 前25% #语音翻译 9. Endpoint Anticipation for Low-Latency Spoken Dialogue 8.2分 前25% #多任务学习 10. A Dual-Mode Faust-to-CLAP Compilation System 8.1分 前50% - 11. PRISM: Prosody-Integrated Multi-Agent Reasoning Framewo 8.1分 前25% #语音合成 12. Positional Encoding in the Context of Memristor-Based A 8.0分 前50% #语音识别 13. From Tokens to Faces: Investigating Discrete Speech Rep 7.9分 前25% #语音合成 14. Low-Latency Real-Time Audio Game Commentary System via 7.9分 前25% #语音合成 15. MiniMax Sparse Attention 7.7分 前25% #高效推理 16. BASENet: Band-Adapted Speech Enhancement Network with C 7.5分 前50% #语音增强 17. Dolph2Vec: Self-Supervised Representations of Dolphin V 7.2分 前50% #音频分类 18. Balancing ASR and diarization in end-to-end LLMs for mu 7.1分 前50% #语音识别 19. NaturalFlow: Reducing Disruptive Pauses for Natural Spe 7.0分 前50% #语音翻译 20. Adaptive Turn-Taking for Real-time Multi-Party Voice Ag 6.7分 后50% #数据增强 21. Predicting Cognitive Load from Speech and Interaction D 6.7分 前50% #语音情感识别 22. PiDA: Phonetically-Informed Data Augmentation for Robus 6.5分 前50% - 23. Generating Training Targets for Real-World Speech Enhan 6.4分 前50% #语音增强 24. Towards Personalized Federated Learning for Dysarthric 6.2分 前50% #语音识别 25. The Moving Drone: Negotiating Agency Between the Voice 6.0分 前50% - 26. Generative Modeling of Bach-Style Symbolic Music: A Com 5.7分 前50% #音乐生成 27. Vocal Identity Under Siege by AI Voice Cloning Technolo 3.2分 前50% #语音合成 📋 论文列表 🥇 Self-Guidance: Enhancing Neural Codecs via Decoder Manifold Alignment 9.7/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.4/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ...

📄 Lung-SRAD: Spectral-Aware Regularized Audio DASS with Dual-Axis Patch-Mix Contrastive Learning for Respiratory Sound Classification #对比学习 #数据增强 #正则化微调 6.8/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.4/1.5 | 复现 0.3/0.5 | 工程 0.4/1.5 ✅ 6.8/10 | 前50% | #对比学习 | #对比学习 | #数据增强 #正则化微调 | arxiv 👥 作者与机构 作者: Hemansh Shridhar, Miika Toikkanen, June-Woo Kim† 机构: 1 RSC LAB, MODULABS, Republic of Korea; 2 Department of Electronic Engineering, Wonkwang University, Republic of Korea; 3 AI Convergence Research Institute, Wonkwang University, Republic of Korea ...

语音/音乐/音频论文速递 2026-06-11 共分析 36 篇论文 ⚡ 今日概览 📥 抓取 36 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 7篇 ███████ #语音合成 7篇 ███████ #基准测试 2篇 ██ #音乐信息检索 2篇 ██ #语音情感识别 2篇 ██ #低资源 1篇 █ #音频问答 1篇 █ #音频质量评估 1篇 █ 📊 论文评分排行榜（36 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Massive Open-Vocabulary Keyword Spotting 9.8分 前50% #语音识别 🥈 Tight Boundary Prediction in Speaker Diarization Using 9.6分 前25% #低资源 🥉 RAIL: Rethinking Auditory Intelligence in Large Audio-L 9.6分 前10% #音频问答 4. Quality Adaptive Angular Margin Learning for Respirator 9.5分 前50% #音频质量评估 5. CS-YODAS: A Mined Dataset of In-the-Wild Code-Switched 9.2分 前50% #多语言 6. Gumbel-BEARD: Automatic Layer Selection for Self-Superv 9.1分 前25% #语音识别 7. PianoKontext: Expressive Performance Rendering from Dea 9.1分 前50% #音乐生成 8. Benchmarking Neural Speech Compression from a Rate-Dist 9.0分 前25% #基准测试 9. Fast-SDE: Efficient Single-Microphone Sound Source Dist 8.8分 前50% - 10. Evaluating Bias in Phoneme-Based Automatic Speech Recog 8.8分 前50% #语音识别 11. Real-Time Language Model Jamming: A Case Study for Live 8.7分 前25% #音乐信息检索 12. HALO: Half-Frame-Rate Adaptive Learnable Operator for L 8.4分 前50% #语音增强 13. The Dynamics of Human and AI-Generated Language: How Se 8.1分 前25% #语音合成 14. UR-BERT: Scaling Text Encoders for Massively Multilingu 8.1分 前25% #语音合成 15. SARA: A Dual-Stream VAE for High-Fidelity Speech Genera 7.9分 前25% #语音合成 16. SpAArSIST: Sparsified AASIST for Efficient and Reliable 7.7分 前50% #模型压缩 17. Interpreting and Steering a Text-to-Speech Language Mod 7.7分 前25% #语音合成 18. Which Speech Representation Better Matches Text-Native 7.5分 前50% #语音识别 19. MA-DLE: Speech-based Automatic Depression Level Estimat 7.5分 前25% #语音情感识别 20. The Hidden Cost of Pairwise Verification in Synthetic S 7.5分 前50% #语音合成 21. Sensitivity Analysis of Generative Spatial Audio Metric 7.2分 前50% #音频生成 22. Snapping Matters: Context-Aware Onset Refinement for Au 7.1分 前25% #音乐信息检索 23. Feature-Aligned Speech Watermarking for Robustness to R 7.1分 前25% #鲁棒性 24. Context-Aware Multimodal Claim Verification in Spoken D 7.1分 前50% #多模态模型 25. Afrispeech Semantics: Evaluating Audio Semantic Reasoni 7.0分 前50% #数据集 26. Lung-SRAD: Spectral-Aware Regularized Audio DASS with D 6.8分 前50% #对比学习 27. Lip Forcing: Few-Step Autoregressive Diffusion for Real 6.8分 前50% #语音合成 28. Frozen Multimodal Embeddings for Personality and Cognit 6.7分 前50% #语音情感识别 29. Fast Speech Foundation Model Distillation Using Interle 6.6分 前50% #知识蒸馏 30. Steering Where to Listen: Instruction-Based Activation 6.5分 前50% - 31. Pretrained self-supervised speech models can recognize 6.5分 前50% #语音识别 32. Towards Data-free and Training-free Compression for Spe 6.4分 前50% #语音识别 33. Additive Noise, Shift Recovery, and Signed Signals in t 6.1分 前50% #信号处理基础 34. I Understand How You Feel: Enhancing Deeper Emotional S 5.8分 前50% #语音识别 35. Overcoming State Inertia in Full-Duplex Spoken Language 5.5分 前50% #基准测试 36. BadRobot: Jailbreaking Embodied LLM Agents in the Physi 5.2分 后50% #语音合成 📋 论文列表 🥇 Massive Open-Vocabulary Keyword Spotting 9.8/10 | 创新 1.6/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

📄 RespiraMFM: A Multimodal Foundation Model with Contrastive Audio-Language Alignment for Respiratory Disease Identification #对比学习 #多模态模型 #参数高效微调 6.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.0/1.5 | 清晰 1.0/1 | 影响 0.6/1.5 | 开源 0.7/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 6.5/10 | 前50% | #对比学习 | #对比学习 | #多模态模型 #参数高效微调 | arxiv 👥 作者与机构 Shakhrul Iman Siam¹, Tiantian Feng², Jiankun Zhang³, Shrikanth Narayanan², Mi Zhang¹ ¹The Ohio State University, ²University of Southern California, ³University of Chicago 通讯作者：{siam.5, mizhang.1}@osu.edu ...

📄 A Comparative Study of Pre-trained Speech Encoders and Training Objectives for Large-Scale Indic Spoken Language Identification #自监督学习 #对比学习 #低资源 #多语言 8.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 8.9/10 | 前50% | #自监督学习 | #自监督学习 | #对比学习 #低资源 | arxiv 👥 作者与机构 Agneedh Basu1, Pavan Kumar J1, Sujith P1, Visruth Sanka1, Nihar Desai1, Prasanta Kumar Ghosh2 ...

📄 Probing Token Spaces under Generator Shift in AI-Generated Music Detection #自监督学习 #音频编码 #对比学习 9/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 9/10 | 前10% | #音频编码 | #自监督学习 | #对比学习 | arxiv 👥 作者与机构 作者：Joonyong Park, Jungwoo Kim, Junyoung Koh, Yuki Saito。论文中未明确说明作者所属的具体机构。 💡 毒舌点评 这篇论文像一份精心设计的实验报告，而非一篇突破性的研究。其最大的亮点在于实验设计的“控制变量”思想——用一个固定的CoMoE分类器来孤立Token空间的影响，这确实是一个聪明的实验设置。然而，这恰恰也暴露了其核心弱点：论文本质上是在验证一个相对直觉性的假设（即不同的音频表示会影响检测器的泛化能力），并提供了一个实验框架。其最大的问题在于“为什么”层面的解释极其匮乏。我们观察到X-Codec在Udio上好，MERT在Suno上好，但论文对此提供的解释几乎为零。是Token的离散化粒度？是训练数据的重叠？是音频编解码器的重建特性？作者只停留在现象描述。此外，CoMoE的四流设计动机略显模糊，特别是对不同Token空间（如EnCodec的8层RVQ）进行截取的规则（q=0,1 vs q=6,7）是否公平且最优，并未给出令人信服的讨论。整篇论文感觉是在用复杂的实验设置来包装一个简单的核心观点，理论深度和机制创新是其明显的短板。 📌 核心摘要 本文研究了AI生成音乐检测器在面对生成器偏移（即处理训练时未见过的生成器输出）时的鲁棒性问题。为公平评估不同音频表示（Token空间）的影响，作者提出了CoMoE（Codec-Mixture-of-Experts），一个固定的四流探测分类器。通过在MoM-open（一个使用FMA和MTG-Jamendo真实音频、并保留原MoM-CLAM生成器协议的开源数据集）上进行源受限评估，研究发现标准评估已饱和，而虚假音频源受限评估能有效区分不同Token空间的迁移性能。核心结论是，在生成器偏移条件下，音频Token空间（如EnCodec、DAC、X-Codec、MERT离散化单元）的选择本身应成为一个关键的实验变量。 🔗 开源详情 代码：https://github.com/MAAP-LAB/CoMoE （论文明确提供） 模型权重： EnCodec 24 kHz: https://huggingface.co/facebook/encodec_24khz （论文明确提供） DAC 44 kHz: https://github.com/descriptinc/descript-audio-codec （论文明确提供） X-Codec mini: https://huggingface.co/m-a-p/xcodec_mini_infer （论文明确提供） MERT-v0-public: https://huggingface.co/m-a-p/MERT-v0-public （论文明确提供） 数据集： MoM-open：论文构建的数据集，基于FMA-medium和MTG-Jamendo。具体获取链接未在论文中直接给出，但与代码仓库（https://github.com/MAAP-LAB/CoMoE）关联。 真实音频原始数据集：FMA (https://github.com/mdeff/fma)， MTG-Jamendo (https://github.com/MTG/mtg-jamendo-dataset)。 Demo：未提及。 复现材料：论文提供了训练配置（12 epochs, AdamW, lr=2e-4, label smoothing 0.05, seed 42, single H100 GPU），代码仓库应包含相关脚本。 论文中引用的开源项目：DiffRhythm (https://github.com/AIFSH/DiffRhythm)， Riffusion (https://github.com/riffusion/riffusion)， YuE (https://github.com/yue-genesis/yue)。 🏗️ 方法概述和架构 本文提出的核心方法是CoMoE，一个用于公平比较异质离散音频Token空间的固定分类器探针。其设计原则是：保持下游分类器架构、训练流程和评估协议完全一致，仅替换输入的Token空间，从而将性能差异完全归因于Token表示本身。 ...

📄 Your U-Net Dereverberation Model is Secretly an RIR Encoder #对比学习 #扩散模型 #U-Net 8.3/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 🔥 8.3/10 | 前50% | #对比学习 | #自监督学习 | #扩散模型 #U-Net | arxiv 👥 作者与机构 作者：Sina Khanagha, Timo Gerkmann 机构：Signal Processing Group, University of Hamburg, Germany 💡 毒舌点评 这篇论文试图为“扩散模型如何处理非加性失真（如混响）”这个有点玄学的问题提供一个实证角度的解释，即它们“偷偷”学了个RIR编码器。想法有趣，验证也花了不少功夫，尤其是可视化部分做得不错，让人信服U-Net深层确实在捕捉环境信息。但作为顶会论文，其“惊天发现”的力度可能稍弱，毕竟模型架构（NCSN++）并非作者提出。核心贡献更多是“观察到现象并利用它”——用一个外部编码器给现有模型“开小灶”来提升性能，这在方法论上更像一个实用的工程技巧（FiLM条件化）而非根本性的突破。实验主要在自建的模拟数据集上跑，缺乏真实场景或与最新SOTA方法的广泛对比，说服力打个折扣。作者自称揭示了“混合行为”，但论证链条（相关性 -> 因果性）还不够严密。总而言之，是一篇扎实的、有点意思的分析工作，但离“颠覆认知”的级别还有距离。 📌 核心摘要 本文分析了基于NCSN++ U-Net的单通道语音去混响模型（包括判别式和扩散式）的内部表示。通过可视化中间层特征，发现这些模型都隐式学习了与房间脉冲响应（RIR）强相关的表示，且这种表示的区分度与去混响性能相关。受此启发，作者提出通过对比学习预训练一个RIR编码器，并使用特征线性调制（FiLM）将外部RIR嵌入条件化注入到U-Net中。实验表明，该方法提升了模型对RIR的表示能力，加速了训练收敛，并显著提高了扩散模型在较少推理步数下的去混响性能（PESQ提升0.17-0.28）。 ...

📄 Contrastive Training with LLM-generated Near-Misses for Robust Code-Switching Speech Recognition #语音识别 #对比学习 #数据增强 7.1/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.1/10 | 前50% | #语音识别 | #对比学习 | #数据增强 | arxiv 👥 作者与机构 作者：Tung X. Nguyen, Hieu Minh Truong, Giang-Son Nguyen, Nhu Vo, Wray Buntine, Dung D. Le 机构：VinUniversity (越南), University of Technology Sydney (澳大利亚), Monash University (澳大利亚) ...

📄 DirectAudioEdit: Inversion-Free Text-Guided Audio Editing via Diffusion Prediction Contrast #扩散模型 #对比学习 7.5/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 ✅ 7.5/10 | 前25% | #扩散模型 | #对比学习 | arxiv 👥 作者与机构 Zhengkun Ge, Xiaoqian Liu, Haoran Zhang, Yuan Ge, Junxiang Zhang：School of Computer Science and Engineering, Northeastern University, Shenyang, China. Zhengtao Yu：Kunming University of Science and Technology. Jingbo Zhu, Tong Xiao：Northeastern University, Shenyang, China; NiuTrans Research, Shenyang, China. ...

📄 FIGMA: Towards FIne-Grained Music retrievAl #对比学习 #多模态模型 7.2/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 0.1/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 7.2/10 | 前50% | #对比学习 | #对比学习 | #多模态模型 | arxiv 👥 作者与机构 作者：Nishit Anand, Ashish Seth, Sreyan Ghosh, Dinesh Manocha, Ramani Duraiswami 机构：University of Maryland, College Park, USA 链接：https://arxiv.org/abs/2606.06615 💡 毒舌点评 这篇论文提出的问题“细粒度音乐检索”是实际存在的，动机清晰。然而，其核心方法“多视图对比学习”本质上是将两个已有的、简单的对比损失（全局损失+一个基于帧-词元最大相似度的帧级损失）线性相加，技术新颖性有限。最大的硬伤在于，其贡献的庞大FGMCaps数据集（380K样本）完全由自动工具和LLM生成，缺乏人工标注验证，这使得其“细粒度”的可靠性存疑，也让论文的实验结论打了折扣——模型可能只是学会了匹配LLM生成的“模板化描述”，而非真正理解音乐理论属性。此外，论文开源情况极差，代码、模型权重、数据集均未提供，这在顶会论文中是难以接受的，严重阻碍了可复现性和后续研究。实验上，在自建测试集（FGMCaps）上的巨大提升说服力有限，而在外部分 benchmark（MusicBench， FMACaps-Eval）上的提升虽然显著，但基线模型（特别是最强的音乐专用模型 CLAMP 3）在 A2T 任务上表现异常差，这可能暗示了基线评估或设置存在问题，削弱了对比的公平性。 ...