对比学习

📄 Direct Raw Audio Signal Processing via Reservoir Computing: An Investigation into 'Feature-Free' Architectures #对比学习 4.5/10 | 创新 1.5/2 | 严谨 0.6/1.5 | 实验 0.5/1.5 | 清晰 0.4/1 | 影响 0.4/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 4.5/10 | 后50% | #语音识别 | #对比学习 | arxiv 👥 作者与机构 作者：Rinku Sebastian, Simon O’Keefe, Martin A Trefzer。 机构：英国约克大学物理、工程与技术学院（School of PET, University of York, UK）和计算机科学系（Department of Computer Science, University of York, UK）。 ...

📄 InstructFX2FX: A Multi-turn Text-to-Preset Demo for Iterative Audio Effect Refinement #对比学习 8.6/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.6/10 | 前50% | #对比学习 | #对比学习 | arxiv 👥 作者与机构 Song-Ze Yu (1,2), Milan Liessens Dujardin (1), Yuxuan Cai (1), Wantong Zhang (1) KU Leuven， 2. 不明（原文未明确第二机构） 💡 毒舌点评 这篇Demo论文清晰地定义了一个实际存在的音频工程问题——多轮、状态化的音频效果精调，并提出了一个直观且技术上合理的混合架构来解决它。LLM作为“大脑”进行规划，CLAP优化作为“手脚”进行感知微调，这个分工很有工程智慧。然而，作为一篇旨在展示系统能力的Demo论文，其核心弱点在于评估的局限性和“概念验证”的实质。评估几乎完全围绕EQ效果展开，且仅与一个简单的“LLM重复提示”基线对比，说服力有限。所谓“多轮”交互的评估，也仅限于两个步骤的序列，未能真正展示复杂长会话下的状态管理能力。系统在非可微效果上的不稳定性、优化延迟等问题被指出但未解决。代码和Demo的开源值得称赞，但论文的贡献更多在于系统集成和问题提出，而非方法学上的突破。对于期望看到音频AI最新技术进展的读者，可能会觉得稍显单薄。 📌 核心摘要 本文提出了InstructFX2FX，一个用于多轮、文本引导音频效果精调的交互式演示系统。与传统单次生成预设的方法不同，该系统将音频效果编辑视为一个状态化的序列过程：给定当前的音效链、参数状态和一系列用户指令，系统需在保留先前指令意图的同时，根据新指令进行迭代更新。其核心架构采用混合设计：LLM作为高层规划器，负责选择效果、排列信号链并提议初始参数；CLAP引导的优化（梯度下降用于可微分效果，贝叶斯优化用于非可微分效果）作为感知精调层，根据渲染音频在CLAP嵌入空间中微调参数。系统维护一个包含效果链、参数、渲染音频和指令历史的持久会话状态，并通过路由模块决定每次指令是初始化、重用优化还是混合更新效果链。在SocialFX数据集构建的EQ描述符转换对上的初步评估表明，与LLM单独重复提示的基线相比，该系统在90%的测试对中降低了最大均值差异（MMD），平均降低约24%。论文同时指出了CLAP目标与DSP特征评估的不匹配、优化漂移、非可微效果优化不稳定以及实时性不足等局限性，并展望了未来向更丰富效果链评估、人类听觉研究及实时插件集成的方向发展。 ...

📄 PrefSQA: Pairwise Preference Prediction for Speech Quality Assessment and the Critical Role of High Quality Datasets #语音质量评估 #对比学习 7.3/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.3/10 | 前50% | #语音质量评估 | #对比学习 | arxiv 👥 作者与机构 作者: Junyi Fan, Donald S. Williamson 机构: The Ohio State University, USA 💡 毒舌点评 论文选题切中了MOS标注噪声这一实际痛点，并试图用偏好学习来解决，思路直接且合理。然而，方法的“创新”部分更偏向于对现有技术模块（如Bradley-Terry模型、注意力机制、NMR头）的工程化组合与适配，缺乏更深层的原理性突破。作者投入大量篇幅构建和论证数据集质量的重要性，这一点确实有价值，但也反衬出其模型本身在标准、噪声较大的基准上提升有限。最令人诟病的是，论文中最重要的两个基线SQAPP和UPPSQA的代码均不可用，这使得其声称的“基于框架”和“实现”变得难以验证，严重削弱了可复现性和说服力。此外，关于“非匹配参考”对模型全局排序的提升作用，其消融实验显示的增益非常小，这让人质疑该组件的必要性。 ...

📄 Segment-Level Mandarin Chinese Speech-Based Cognitive Impairment Detection via an Autoencoder with Contrastive Learning #对比学习 #数据增强 #低资源 6.5/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 6.5/10 | 前50% | #对比学习 | #对比学习 | #数据增强 #低资源 | arxiv 👥 作者与机构 Yongqi Shao, Hong Huo, Flavio Bertini, Danilo Montesi, Tao Fang. 机构：上海交通大学自动化与智能感知学院、系统控制与信息处理教育部重点实验室、上海工业网络系统感知与控制重点实验室；意大利博洛尼亚大学计算机科学与工程系；意大利帕尔马大学数学、物理与计算机科学系。 💡 毒舌点评 创新性平庸：将自编码器、监督对比学习、SpecAugment这三个早已成熟的技术拼接在一起，缺乏根本性的算法或理论创新。论文更像是一个有效的工程集成方案，而非一篇旨在推动方法边界的研究。在NeurIPS/ICML/ICLR级别的会议上，这种“有效组合”的贡献度通常不足以获得高分。 消融实验设计存在瑕疵：AE-only与AE+CL的模型选择标准不一致（前者用重建损失，后者用分类性能），这直接削弱了对比学习贡献的公平性。这是一个不应出现的实验设计疏忽。 关键泛化验证缺失：在四个“独立”数据集上训练并评估，却没有进行任何跨数据集的训练-测试实验。这使得“跨数据集鲁棒性”的声称缺乏最直接的支持，无法评估模型在真正未见数据源上的表现。 对比学习细节模糊：未说明在同一batch内如何处理来自同一原始录音的不同片段作为正样本的问题。由于这些片段高度相似，将它们都视为正样本可能过于简单，可能稀释对比学习的难度和效果，这一关键细节的缺失影响了方法的严谨性。 评分与定位：考虑到其临床应用价值和扎实的实验，作为一篇应用性/实验性论文，其价值是有的。但若以NeurIPS/ICML/ICLR的标准衡量，其方法新颖性和分析深度均有不足，6.8分是更合理的定位。 📌 核心摘要 本文针对中文语音认知障碍检测，提出一个片段级表示学习框架。该框架整合了基于GRU的自编码器和监督对比学习，并结合了离线与在线谱图增强策略，旨在解决有限标注数据下的检测挑战。在四个公开中文语音数据集上的实验表明，该框架在二分类和三分类任务上均取得了稳定且具竞争力的性能，特别是在更具挑战性的三分类任务上表现出显著提升。消融研究验证了各组件的贡献，可视化分析展示了表示空间的优化过程。论文为资源受限的临床场景提供了一种可扩展的语音筛查方法。 ...

📄 Transcript-Free Flow-Matching Text-to-Speech via Speech Feature Conditioning #语音合成 #自监督学习 #语音增强 #多任务学习 #对比学习 7.7/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.7/10 | 前25% | #语音合成 | #自监督学习 | #语音增强 #多任务学习 | arxiv 👥 作者与机构 作者：SooHwan Eom, Hee Suk Yoon, Eunseop Yoon, Mark Hasegawa-Johnson, Chang D. Yoo 机构：1 Korea Advanced Institute of Science and Technology, South Korea; 2 University of Illinois Urbana-Champaign, United States ...

语音/音乐/音频论文速递 2026-06-19 共分析 40 篇论文 ⚡ 今日概览 📥 抓取 40 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 10篇 ██████████ #语音识别 8篇 ████████ #语音转换 2篇 ██ #语音增强 2篇 ██ #自监督学习 2篇 ██ #说话人验证 1篇 █ #模型压缩 1篇 █ #多模态模型 1篇 █ 📊 论文评分排行榜（40 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 FlowEdit: Associative Memory for Lifelong Pronunciation 10.0分 前25% #语音合成 🥈 Low-Burden Data Augmentation for Dysarthric ASR via Zer 8.7分 前25% #语音识别 🥉 S-JEPA : Soft Clustering Anchors for Self-Supervised Sp 8.7分 前25% #语音识别 4. Personalized Keyword Spotting for User-Defined Keywords 8.6分 前25% #说话人验证 5. FlowFake: Liquid Networks for Audio Deepfake Detection 8.5分 前25% #模型压缩 6. Systematic Study of Dysarthric Speech Recognition: Spec 8.3分 前50% #语音识别 7. PerceptionDLM: Parallel Region Perception with Multimod 8.1分 前25% #多模态模型 8. RIVET: Robust Idempotent Voice Attribute Editing 8.0分 前50% #语音转换 9. Repurposing a Speech Classifier for Guided Diffusion-Ba 7.9分 前50% #语音合成 10. Exploring Feature Extraction Technique Parameters for A 7.9分 前50% #音频事件检测 11. Transcript-Free Flow-Matching Text-to-Speech via Speech 7.7分 前25% #语音合成 12. How Do Instructions Shape Speech? Cross-Attention Attri 7.7分 前50% #语音合成 13. Hybrid Diffusion Transformer for Instruction-Guided Aud 7.6分 前50% #Transformer 14. Improving Code-Switching ASR with Code-Mixing Guided Sy 7.6分 前25% #语音识别 15. PolSeT: Polish Semantics of Timbre Dataset 7.5分 后50% - 16. IHBench: Evaluating Post-Interruption Recovery in Voice 7.5分 前25% #语音对话系统 17. A Survey of Full-Duplex Spoken Dialogue Systems: Archit 7.4分 前50% #语音合成 18. PhysDrift: Bridging the Embodiment Gap in Humanoid Co-S 7.4分 前50% #语音合成 19. PrefSQA: Pairwise Preference Prediction for Speech Qual 7.3分 前50% #语音质量评估 20. Latency-Configurable Streaming Speech Enhancement via A 7.2分 前50% #语音增强 21. A Comparative Study of Pretrained Transformer Models fo 7.2分 前50% #语音识别 22. Pitch Spelling Jazz Lead Sheets, Solo Transcriptions, C 7.2分 前50% - 23. Stuttering Classification and Segmentation with Attenti 7.0分 前50% - 24. Time-Unconditional Generative Speech Enhancement via Au 7.0分 前25% #语音增强 25. Investigating Human-Model Discrepancies in Speech Quali 6.9分 前25% #语音合成 26. Prismriver: Formalization of Music Theory and Algorithm 6.9分 前50% - 27. NEST: Narrative Event Structures in Time for Long Video 6.8分 前50% - 28. Cross-Dataset, Age, and Gender Generalization: A Compre 6.7分 前50% #语音识别 29. Exploring Pre-training Benefits on Phoneme Addition thr 6.7分 前50% - 30. Analyzing Language and Geographical Variation in Speech 6.5分 前50% #语音识别 31. Improving End-to-End Speech Recognition for Dysarthric 6.5分 前50% #语音识别 32. Segment-Level Mandarin Chinese Speech-Based Cognitive I 6.5分 前50% #对比学习 33. Light-weight Pronunciation Assessment via Discrete Spee 6.4分 前50% #自监督学习 34. ReNikud: Audio-Supervised Hebrew Grapheme-to-Phoneme Co 6.2分 前50% #语音合成 35. Zero-VC: Zero-Lookahead Streaming Voice Conversion via 6.1分 前50% #语音转换 36. MixProLAP: Mixture-Induced Uncertainty Modeling for Pro 5.7分 前50% #音频检索 37. MaineCoon: Pursuing A Real-Time Audio-Visual Social Wor 5.7分 前50% #语音合成 38. Leveraging systems' non-linearity to tackle the sca 5.5分 后50% #数据增强 39. Interpreting Content and Speaker Characteristics in Fac 5.0分 后50% #语音合成 40. Beyond Speaker Independence: Evaluating Cross-Lingual A 4.9分 后50% #自监督学习 📋 论文列表 🥇 FlowEdit: Associative Memory for Lifelong Pronunciation Adaptation in Flow-Matching TTS 10.0/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

📄 Learning Robust Pair Confidence for Multimodal Emotion-Cause Pair Extraction #多模态模型 #对比学习 #对抗训练 7.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.5/10 | 前50% | #多模态模型 | #对比学习 | #对抗训练 | arxiv 👥 作者与机构 作者：Zhuangzhuang Pan (Universiti Malaya), Ning Dong (Suqian University), Yingna Su (Suqian University), Yan Xia (Suzhou University of Technology)。 机构：Universiti Malaya, Suqian University, Suzhou University of Technology。 ...

📄 Learning task-specific subspaces via interventional post-training of speech foundation models #自监督学习 #对比学习 #数据增强 #参数高效微调 6.2/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.3/1.5 ✅ 6.2/10 | 前50% | #自监督学习 | #自监督学习 | #对比学习 #数据增强 | arxiv 👥 作者与机构 作者：Jack Cox (通讯作者), Jon Barker 机构：University of Sheffield, United Kingdom (英国谢菲尔德大学) 💡 毒舌点评 这篇工作就像一个巧妙的玩具：想法（用TTS做可控干预数据来分离表示）很有趣，但玩具本身太小（32个训练说话人，合成数据），玩出来的结果（内容子空间性能下降）也未能完全证明其价值。论文像一篇扎实的课程项目报告，而非一篇能说服顶会审稿人的研究。最大的“惊喜”是内容子空间在关键任务上性能不升反降，这直接挑战了“联合学习能更好分离”的初衷。作者将此归因于预训练目标与下游任务不匹配，但这恰恰暴露了该方法的核心局限：它依赖于一个完美的、与任务无关的干预数据集，而这在现实中很难获得。总体而言，创新点值得鼓励，但实验的规模和深度严重不足，结论的普适性存疑。 📌 核心摘要 本文针对语音基础模型表示信息纠缠的问题，提出了一种基于因果干预思想的后训练方法。核心是使用一个通过零样本TTS（F5-TTS）合成的、可密集控制内容和说话人变量的数据集，并设计一个多部分对比损失（干预对比学习）来联合学习两个正交子空间：内容子空间和说话人子空间。实验在wav2vec 2.0, HuBERT, WavLM三个骨干上进行，评估任务包括VoxCeleb1上的域外说话人验证和Speech Commands上的关键词识别。结果显示，所学说话人子空间能显著提升域外说话人验证性能，证明其有效分离了说话人信息；然而，内容子空间在关键词识别任务上性能下降，表明其未能有效保留或增强任务所需的内容信息。联合学习两个子空间相比单独学习未显示出明显优势。 ...

📄 Unsupervised Approaches for Global Prosodic Embedding Extraction #语音合成 #语音识别 #自监督学习 #对比学习 7.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.8/10 | 前25% | #语音合成 | #自监督学习 | #语音识别 #对比学习 | arxiv 👥 作者与机构 作者：Martin Meza, Luciana Ferrer, Pablo Riera 机构：1 Departamento de Computación, FCEyN, Universidad de Buenos Aires (UBA), Argentina; 2 Instituto de Investigación en Ciencias de la Computación (ICC), CONICET-UBA, Argentina ...

语音/音乐/音频论文速递 2026-06-15 共分析 26 篇论文 ⚡ 今日概览 📥 抓取 26 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 4篇 ████ #语音合成 4篇 ████ #说话人识别 3篇 ███ #数据增强 2篇 ██ #音频问答 2篇 ██ #语音增强 1篇 █ #音乐信息检索 1篇 █ #强化学习 1篇 █ 📊 论文评分排行榜（26 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Listening with Attention: Entropy-Guided Explainability 9.6分 前25% #语音识别 🥈 MaskedFOP: Polyglot Speaker Identification under Missin 9.2分 前25% #说话人识别 🥉 HIDVAS: A Hearing Instrument Dataset in Various Acousti 9.0分 前25% #语音增强 4. BayLing-Duplex: Native Full-Duplex Speech Dialogue with 9.0分 前10% #语音合成 5. Moonlight in Latent Space: Chirality and Structural Cor 8.7分 前50% #音乐信息检索 6. Who Spoke When in Multi-Conversation: Target Speaker Ta 8.6分 前50% #说话人识别 7. Learning to Hear Hesitation: Continual Learning for Dis 8.3分 前25% #语音识别 8. The Holistic Storage of Verb+Up Phrases in Text-based a 8.2分 前50% #语音识别 9. OmniVideo-100K: A Dataset for Audio-Visual Reasoning th 8.2分 前50% #数据增强 10. Orchestra-o1: Omnimodal Agent Orchestration 8.1分 前50% #强化学习 11. Unsupervised Approaches for Global Prosodic Embedding E 7.8分 前25% #语音合成 12. Instantaneous Pitch Estimation via Wave-U-Net-Based Fun 7.7分 前25% #数据增强 13. A Deep Zero-Inflated Model of North Atlantic Right Whal 7.6分 前50% #概率图模型 14. FAConformer: Frequency-Aware Convolutional Transformer 7.5分 前25% #Transformer 15. From Self-Supervised Speech Models to Mixture-of-Expert 7.5分 前50% #自监督学习 16. The Perceived Fragility of Explanations in Audio Models 7.5分 前25% - 17. A Multi-Domain Feature Fusion Framework for Generalizab 7.4分 前50% #多模态模型 18. AudioDER: A Deduplication-Enhanced Reasoning Dataset fo 7.3分 前50% #音频问答 19. Beyond task performance: Decoding bioacoustic embedding 7.1分 前50% - 20. Explainable and Trustworthy Speech Emotion Recognition 7.0分 前50% #语音情感识别 21. FoleyGenEx: Unified Video-to-Audio Generation with Mult 7.0分 前50% #语音合成 22. Spatio-Temporal Audio Language Modeling for Dynamic Sou 6.9分 前25% #音频问答 23. Mask, Sample, Revise: A Revisable CTMC Inference Stack 6.8分 前25% #语音合成 24. MoDiCoL: A Modular Diagnostic Continual Learning Datase 6.5分 前50% #语音识别 25. Multimodal Speaker Identification in Classroom Environm 6.0分 前50% #说话人识别 26. Efficiency-Performance Trade-offs in Neural Speaker Dia 5.1分 后50% #说话人日志 📋 论文列表 🥇 Listening with Attention: Entropy-Guided Explainability for Transformer-Based Audio Models 9.6/10 | 创新 1.5/2 | 严谨 1.4/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ...