低资源

语音/音乐/音频论文速递 2026-06-24 共分析 39 篇论文 ⚡ 今日概览 📥 抓取 39 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 6篇 ██████ #语音增强 6篇 ██████ #语音合成 2篇 ██ #多模态模型 2篇 ██ #音乐生成 2篇 ██ #信号处理基础 2篇 ██ #音频深度伪造检测 1篇 █ #对比学习 1篇 █ 📊 论文评分排行榜（39 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 ZONOS2 Technical Report 10.0分 前25% #语音合成 🥈 Layer-wise Probing of wav2vec 2.0 and Whisper for Conso 9.5分 前50% #语音识别 🥉 CN-NewsTTS Bench: a target-level automatic benchmark fo 9.2分 前10% #语音合成 4. BanglaFake: Constructing and Evaluating a Specialized B 9.0分 后50% #音频深度伪造检测 5. Data Scale, Not Latency, Shapes Cross-Lingual Encoder T 9.0分 前25% #语音识别 6. Breaking Shortcut Learning for Cross-Trial EEG-Guided T 8.6分 前50% #对比学习 7. AVOC: Enhancing Hour-Level Audio-Video Understanding in 8.4分 前25% #多模态模型 8. SphereVBx: Spherical Variational Bayes Clustering for S 8.3分 前50% #无监督学习 9. ParaPairAudioBench: Paralinguistic Pairwise Audio Bench 8.2分 前50% #语音质量评估 10. video-SALMONN-R\(^3\): Learning to ReWatch, ReAsk, and Re 8.2分 前10% #多模态模型 11. Audio-visual Contrastive Alignment for Diffusion-based 8.1分 前25% #语音增强 12. Perceptual Evaluation of Higher-Order Ambisonic Codecs 8.0分 前50% #音频编码 13. DTT-BSR+: A Generative-Regression Cascade for Music Sou 8.0分 前25% #生成对抗网络 14. Heterogeneous 2D/1D Signal Representation Fusion for Un 7.6分 前50% - 15. Selective Capability Unlearning in End-to-End Spoken La 7.6分 前25% - 16. A Multi-Stage Separation-and-Classification Framework G 7.5分 前50% #音频分类 17. Progressive Alignment Objectives for Aligner-Encoder ba 7.5分 前25% #语音识别 18. Comparative Reasoning: Making an Audio Language Model B 7.5分 前25% #语音情感识别 19. VieSpeaker: A Large-Scale Vietnamese Speaker Recognitio 7.5分 前25% #说话人识别 20. Suppressing spectral edge effects in Schroeder Harmonic 7.3分 前50% #语音增强 21. Real-Time Interactive Music Generation via Data-Free St 7.1分 前50% #音乐生成 22. A Methodology for Characterizing Underwater Radiated No 7.0分 前50% #信号处理基础 23. A Fusion-Aware Two-Stage Framework for Mispronunciation 7.0分 前25% #语音识别 24. Neuromorphic Speech Enhancement with Dual-Branch Spikin 7.0分 前50% #语音增强 25. NeuroSonic: Conditional Flow Matching for EEG-to-Speech 7.0分 前50% #语音生成 26. The effect of micro-changes in the pluck trajectory on 6.8分 前50% #信号处理基础 27. Evaluation of Headrest-Integrated Loudspeakers for Enha 6.8分 前50% - 28. Statistical validation and full-sphere extension of a B 6.7分 前50% #音频质量评估 29. Beyond U-Net: A Latent-Representation-Aligned Skip-Free 6.6分 前50% #语音增强 30. Measuring User's Mental Models of Speech Translatio 6.6分 前50% #语音翻译 31. Audio–Image Alignment as a Continued-Pretraining Stage 6.2分 前50% #语音识别 32. Poster: Exploring the Limits of Audio-Based Detection o 6.2分 前50% - 33. Joint Learning of Covariance Estimation and White Noise 5.8分 前50% #语音增强 34. Sonus Health: Calibrated Heart-Murmur Detection from Sm 5.7分 前50% #音频事件检测 35. Autoencoder based optimized SSL representations: Comple 5.5分 前50% #语音识别 36. It's Complicated: On the Design and Evaluation of A 5.5分 前50% #大语言模型 37. Digital Revival: Acoustic Documentation and Digital Rea 5.3分 后50% #音乐生成 38. Aligning MusicLLM with Emotion using Instruction Tuning 4.9分 后50% #音乐情感识别 39. A Variational-Flow Analysis of StoRM under Noise-Power 4.4分 前50% #语音增强 📋 论文列表 🥇 ZONOS2 Technical Report 10.0/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.4/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ...

📄 Adding Robust Code-Switching Capabilities to High Performance Multilingual ASR #语音识别 #语音合成 #参数高效微调 #低资源 7/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.9/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7/10 | 前50% | #语音识别 | #参数高效微调 | #语音合成 #低资源 | arxiv 👥 作者与机构 Enes Yavuz Ugan¹², Alexander Waibel¹² ¹Interactive Systems Lab, Karlsruhe Institute of Technology (KIT), Germany ²InterACT, Carnegie Mellon University (CMU), USA ...

📄 An Analysis of Untrained Deep Reservoir Networks for Audio Surveillance #音频事件检测 #鲁棒性 #低资源 8.8/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.8/10 | 前50% | #音频事件检测 | #鲁棒性 | #低资源 | arxiv 👥 作者与机构 Corrado Baccheschi, Patrizio Dazzi. 未明确说明所属机构。 💡 毒舌点评 这篇工作探索了一个有趣但相对小众的方向：将未训练的储层计算模型用于音频监控。其主要价值在于工程实践层面——展示了在资源受限设备上实现具有竞争力性能的可行性，并系统性地量化了深度与效率的权衡。然而，从顶会角度看，其理论贡献和方法创新深度有限。将现有的DeepESN架构应用于一个特定任务，主要贡献是详尽的实验分析和边缘设备评估，这更像一篇扎实的系统工程或应用研究论文。文中的比较声称有些模糊，例如与文献的“非严格排名”对比，削弱了结论的冲击力。选择仅与BiLSTM和CRNN这两个相对基础的模型进行内部对比，而刻意回避与AST等当前SOTA的交锋，使得“竞争力”的声明打了折扣。总而言之，这是一篇合格的工作，清晰地说明了“我们做了什么，效果如何”，但在“为什么这很重要”和“这如何改变领域”方面着墨不足。 📌 核心摘要 本文研究了基于储层计算范式的未训练循环模型在音频监控中的应用，重点评估了不同深度的双向回声状态网络（DeepBiESN）在紧急声音事件检测任务上的表现。作者在MIVIA音频事件数据集上，针对不同信噪比水平，评估了这些模型在识别性能、计算效率和对噪声/输入特征表示鲁棒性之间的权衡。实验在服务器和NVIDIA Orin边缘设备上进行，并与完全训练的循环模型（BiLSTM）和卷积循环模型（CRNN）进行了对比。结果表明，深度和浅层储层模型均能取得具有竞争力的识别率，其中深层变体在高噪声条件下更鲁棒，而浅层变体（尤其是1层）在边缘设备上表现出最优的效率与性能权衡。此外，该模型对不同的输入特征表示（对数梅尔频谱图和MFCC）表现出鲁棒性。这些发现突显了未训练储层架构在资源受限音频监控场景中的潜力。 🔗 开源详情 代码：https://github.com/Bakko000/TorchDeepESN/ 模型权重：论文中未提及提供预训练模型权重。 数据集：MIVIA Audio Events dataset。论文中引用该数据集（Foggia et al. [8]），但未提供直接的下载链接。数据集可通过原论文[8]的相关信息获取。 ...

📄 ATCCaps: A Call-Sign-Aware Speech Dataset for Air Traffic Control Recognition #语音识别 #语音增强 #数据集 #低资源 8.6/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 8.6/10 | 前25% | #语音识别 | #语音增强 | #数据集 #低资源 | arxiv 👥 作者与机构 作者：Dongdong Li, Jianwei Song, Jianwei Wang, Zhe Wang 机构：华东理工大学计算机科学与技术系 通信作者：Dongdong Li 💡 毒舌点评 数据集的价值与新颖性的平衡：这篇论文的核心贡献是构建了一个“大而全”的空管数据集，并为其贴上了“呼号感知”的标签。这确实填补了社区的一个空白，但创新性更多体现在工程集成和管道设计上，而非提出全新的算法或理论。对于顶会而言，纯粹的数据集论文需要更强的动机和更深入的验证来证明其不可或缺性。 “LLM增强”的风险被低估：论文虽然承认了LLM生成描述中呼号和数字的保真度问题（71.34%，51.59%），但这恰恰是该数据集“音频-文本对齐监督”主张的阿喀琉斯之踵。在安全关键的空管领域，这种不可靠性是致命弱点。论文仅做了小样本定性分析，却没有提出或尝试任何系统性的检测、过滤或修正机制来确保生成内容的可靠性，这削弱了该部分工作的严谨性。 评估任务的深度与广度不足：提供的基线评估（Whisper零样本、CLAP微调）更像是“演示”而非“基准”。缺乏对数据集核心价值（呼号感知）的针对性深度评估，例如：使用呼号实体识别指标、对长尾呼号的识别分析、或将数据集用于训练一个强大的上下文感知ASR模型来展示其威力。当前的评估无法充分证明该数据集能带来何种质的飞跃。 📌 核心摘要 本文介绍了ATCCaps，一个针对空管通信的、呼号感知的语音数据集。ATCCaps包含202.94小时经过精心筛选的真实空管音频，共170,385条话语和922个唯一规范化呼号。数据集构建管道融合了置信度感知的机器转录解析、ADS-B导出的元数据、呼号规范化、基于规则的音频质量过滤以及大型语言模型（LLM）辅助的描述生成。每条保留的数据都配有转录文本、呼号描述和空管风格的描述，支持语音识别、呼号匹配和呼号感知的音频-文本检索等任务。论文对数据集进行了全面的统计分析，包括划分统计、呼号覆盖分析、过滤效果审计以及生成描述的质量评估，并提供了上述任务的基线结果。 ...

📄 AugCodec: A Low-Bitrate Disentangled Neural Speech Codec via Data Augmentation #数据增强 #低资源 6.7/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.3/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 ✅ 6.7/10 | 前50% | #数据增强 | #数据增强 | #低资源 | arxiv 👥 作者与机构 作者：Dongmei Wang, Xiaohang Sun, Yang Liu, Fanjie Kong, Abhishek Yanamandra, Abhinav Jain, Daniel Tompkins, Woohyun Kang, Najmeh Sadoughi, Sunil Hadap, Xiang Hao, Zhu Liu, Caren Chen 机构：Amazon, USA 💡 毒舌点评 论文的“低比特率”宣称有点取巧——它通过大幅降低帧率（12.5Hz甚至6.25Hz）来实现，而非真正高效的信息编码。核心的数据增强思路虽然直观有效，但严重依赖一个外部且固定的语音转换模型（Seed-VC），这引入了不可控的域偏移风险和系统复杂度。实验部分最大的硬伤是评估完全局限于干净的英文朗读数据集（LibriSpeech test-clean），对于一个声称有广泛应用前景的编解码器而言，这说服力远远不够，连点背景噪声都没见过，怎能谈鲁棒性？作者自己都在结论里提到了未来要做TTS和语音翻译，却连这些下游任务的初步验证都没做，使得贡献看起来更像一个有趣的玩具，而非能落地的解决方案。此外，论文完全缺乏计算开销分析（参数量、推理延迟），这对于实时通信场景至关重要，是一个显著的遗漏。 ...

📄 CORTIS: Text-Only Adaptation of Spoken Language Models for Task-Oriented Voice Agents #多模态模型 #正则化微调 #低资源 #鲁棒性 #语音识别 7.7/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ✅ 7.7/10 | 前50% | #语音识别 | #多模态模型 | #正则化微调 #低资源 | arxiv 👥 作者与机构 Youngwon Choi (Maum AI Inc.) Hyeonyu Kim (Maum AI Inc.) Taeyoun Kwon (Maum AI Inc., Seoul National University) Donghyuk Jung (Korea Culture Technology Institute) Myeongkyun Cho (Maum AI Inc., KAIST) 通讯作者：youngwonchoi@maum.ai 💡 毒舌点评 创新性有限：论文提出CORTIS框架，核心是“用文本数据微调语音模型”，这是一个直观且合理的思路，并非突破性的技术新颖性。主要贡献在于在特定任务（语音代理）上验证了这一思路的有效性，并与级联系统进行了系统比较。 实验范围受限：虽然使用了三个数据集，但两个是公开基准，一个是未公开的内部数据集。关键的消融实验（如has_ablation: 否）缺失，未能深入探讨“冻结语音模块”、“提示格式一致性”等设计选择对性能的具体影响。 评估深度不足：论文声称优势在“高阶任务语义”和“噪声鲁棒性”，但缺乏对失败案例（如表2所示的实体错误）的定量分析。未报告置信区间或统计显著性检验，使得“竞争优势”的结论强度打折扣。 开源与可复现性差：论文未提供代码、模型权重或内部数据集的任何访问链接（has_code: 否， has_model: 否， has_dataset: 否）。尽管提供了详细训练配置，但缺乏代码使得完全复现困难，违背了顶会鼓励开源的原则。 影响力中等：工作为降低任务导向语音模型的标注成本提供了实用方案，但受限于仅在Qwen2.5-Omni架构上的验证（且附录C显示在其他模型上效果不佳），其普适性有待进一步证明。对语音领域的实际产品开发有一定参考价值。 📌 核心摘要 本文提出了CORTIS，一个用于任务导向语音代理的文本-only监督适配框架。其核心思想是：仅使用文本形式的任务监督数据（用户指令-结构化输出对）来微调口语语言模型（SLM）的LLM组件，同时冻结其语音编码器和模态适配器。利用SLM预训练时习得的跨模态对齐能力，使得微调后的模型在推理时能够直接处理语音输入，生成结构化任务输出，而无需任务特定的语音-标注对。实验在FSC、SLURP和一个内部产品数据集上进行，将CORTIS与使用相同文本监督数据的ASR-LLM级联系统进行对比。结果表明，CORTIS在性能上与级联系统具有竞争力，并在声学条件恶化时，对于保留高阶任务语义（如意图识别、函数调用）表现出更明显的优势。 ...

📄 DisSpeech: Low-Resource Controllable Mandarin Stuttered Speech Synthesis for ASR Augmentation #语音合成 #语音识别 #低资源 #数据增强 7.2/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.2/10 | 前25% | #语音合成 | #数据增强 | #语音识别 #低资源 | arxiv 👥 作者与机构 作者：Yao Lu 机构：TMCC, College of Computer Science, Nankai University, Tianjin, China (南开大学计算机科学学院智能多媒体计算中心) 邮箱：2211843@mail.nankai.edu.cn 💡 毒舌点评 动机与定位清晰，但“低资源”声明需斟酌：针对普通话口吃语音数据稀缺导致ASR性能下降的问题，提出合成增强方案，动机合理。声称“仅需少于50小时数据微调”，这在特定任务下是优势，但需注意AS-70数据集本身就有48小时，且预训练使用了85小时的AISHELL-3，严格意义上“低资源”可能指目标领域的微调数据量。 方法设计模块化，有改进但创新性中等：将离散token生成与可控口吃建模结合，并引入非自回归模型缓解误差累积，思路直接有效。然而，核心组件（SpeechTokenizer, MaskGCT, HiFi-GAN, 韵律解码器）均为已有工作，本文主要贡献在于整合与适配，针对口吃合成的原创性架构设计或理论贡献有限。 实验充分，但部分评估可深化：在合成质量和ASR增强上做了全面对比，结果显示有效。但缺少关键的消融实验来验证各组件（如非自回归模型、显式音高能量模块、口吃标签）的具体贡献。ASR增强实验虽结果显著，但“state-of-the-art”的声明受限于特定数据集和评估设置，泛化性未知。 开源与可复现性严重不足：论文未提供代码、模型权重或合成数据，这极大限制了其可复现性和对社区的贡献。作为一篇应用性较强的论文，不开源使得验证其主张和进行后续研究变得困难。 局限性挖掘可更深入：论文提及了未来工作方向，但审稿人认为应更尖锐地指出当前局限，例如：自动插入口吃标签的策略可能过于简单，无法模拟真实口吃的复杂性和上下文依赖性；模型在极严重或罕见口吃类型上的泛化能力未被验证；合成语音与真实口吃语音在自然度和多样性上的差距未被量化讨论。 📌 核心摘要 本文针对普通话口吃语音数据稀缺导致自动语音识别（ASR）系统性能下降的问题，提出了DisSpeech框架。该框架是一个基于离散语音token的低资源可控口吃语音合成系统，可用于ASR数据增强。核心思想是将文本和显式口吃事件标签通过非自回归掩码生成Transformer映射为语义token，再通过一个集成显式音高与能量建模的解码器重建声学特征，最终由HiFi-GAN生成波形。实验表明，DisSpeech在合成质量和口吃事件可控性上优于现有方法（如Stutter-TTS）。利用其生成的94小时合成口吃语音增强ASR模型训练后，Qwen3-ASR-0.6B模型在评估的普通话口吃语音识别任务上达到4.19%的最优字符错误率（CER），同时对流利语音识别性能影响轻微。 ...

📄 Imitation Learning for Elder-Facing Speech Synthesis #语音合成 #强化学习 #低资源 5.5/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 0.1/1.5 | 复现 0.3/0.5 | 工程 0.6/1.5 📝 5.5/10 | 前50% | #语音合成 | #强化学习 | #低资源 | arxiv 👥 作者与机构 作者：Dongrui Han, Weidong Chen, Jiawen Kang, Mingyu Cui, Helen Meng, Xixin Wu 机构：1 The Chinese University of Hong Kong, Hong Kong SAR, China; 2 Tencent Hunyuan, China ...

📄 MindAlign: Decoding Inner Speech from fMRI Signals via Multimodal Embedding Alignment under Limited Data #语音识别 #低资源 #数据增强 #多模态模型 #自监督学习 #参数高效微调 5.8/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0.1/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 5.8/10 | 前50% | #语音识别 | #数据增强 | #低资源 #多模态模型 | arxiv 👥 作者与机构 作者：Muxuan Liu, Ichiro Kobayashi, Satoshi Nishida。第一作者Muxuan Liu和第二作者Ichiro Kobayashi隶属于日本御茶水女子大学（Ochanomizu University）人文与科学研究生院；第三作者Satoshi Nishida隶属于日本国立信息通信技术研究所（NICT）先进ICT研究所信息与神经网络中心（CiNet）。 ...

📄 On the Effect of Segmentation Width and Cluster Size on Speech Resynthesis and Continuation in Generative Spoken Language Models #语音合成 #语音生成 #自监督学习 #低资源 #数据增强 7.4/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.4/10 | 前25% | #语音合成 | #自监督学习 | #语音生成 #低资源 | arxiv 👥 作者与机构 Shunsuke Kando (东京大学) Wataru Nakata (庆应义塾大学) Shinnosuke Takamichi (东京大学) Yusuke Miyao (庆应义塾大学) ...

📄 OpenWER: Improving Cross-Lingual ASR Evaluation and Enabling Token-Based Accuracy Metrics #语音识别 #低资源 #开源工具 8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 🔥 8/10 | 前50% | #语音识别 | #低资源 | #开源工具 | arxiv 👥 作者与机构 论文作者是Korbinian Kuhn和Gottfried Zimmermann。机构为斯图加特传媒大学（Stuttgart Media University）和蒂宾根大学（University of Tübingen）。 💡 毒舌点评 这篇论文本质上是一个做得不错的开源工具包发布，包装了一套工程化的评估流水线。它的价值在于“整合”与“实用”，而非“发现”或“突破”。将几个已有的后处理技巧（归一化、复合词处理）打包进一个统一的框架，并号称能降低WER，这更像是对现有最佳实践的梳理和标准化，而非开辟新路。最大的亮点——细粒度评估（标点、大小写）——虽然有用，但概念上并不新颖。性能上的巨大鸿沟（慢100多倍）是其学术转化应用的阿喀琉斯之踵。论文在论证“为什么数值更低的WER就更好”这一核心问题上显得乏力，缺乏与人类判断的直接挂钩，这使得其“改进”的说服力打折扣。总体而言，这是一篇合格的、对社区有工具性贡献的工作，但距离顶级会议所期待的深刻洞见或显著性能提升尚有距离。 📌 核心摘要 本文提出了OpenWER，一个用于改进跨语言自动语音识别评估的开源工具。其核心贡献在于：1) 通过模块化设计支持灵活的文本预处理（分词、语言特定归一化）；2) 扩展了Levenshtein距离算法，以处理标点符号和复合词，从而减少非语义差异导致的WER波动；3) 基于token的对齐机制能够保留原始文本及嵌入的元数据（如词性、置信度），从而支持计算标点准确率、大小写准确率等互补指标。在Common Voice 17数据集上对52种语言的评估显示，OpenWER相比JiWER和Whisper默认归一化，平均WER分别降低了7.7%（14.5%相对）和3.8%（9.2%相对），绝对WER降低最高可达25%。论文强调此工具旨在提高跨语言评估的公平性和全面性。 ...

📄 Vaani Benchmark V1.0: An Inclusive Multimodal Benchmark Dataset for Hindi #语音识别 #多模态模型 #低资源 6.7/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.3/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 ✅ 6.7/10 | 前50% | #语音识别 | #多模态模型 | #低资源 | arxiv 👥 作者与机构 作者：Sujith Pulikodan, Agneedh Basu, Saurabh Kumar, Pranav Bhat, Pavan Kumar J, Visruth Sanka, Nihar Desai, Prasanta K. Ghosh 机构： ...

语音/音乐/音频论文速递 2026-06-23 共分析 83 篇论文 ⚡ 今日概览 📥 抓取 83 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 19篇 ███████████████ #语音合成 14篇 ██████████████ #音乐生成 3篇 ███ #说话人验证 3篇 ███ #语音增强 3篇 ███ #对比学习 2篇 ██ #自监督学习 2篇 ██ #音频水印 2篇 ██ 📊 论文评分排行榜（83 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 CoughPhase-CLR: Designing an acoustics-informed foundat 10.0分 前10% #对比学习 🥈 Libretto: Giving LLM Agents a Sense of Musical Structur 9.2分 前50% #音乐生成 🥉 Speaker Identity in Non-Verbal Vocalizations: Condition 9.1分 前25% #说话人验证 4. PHAST-Net: Attention-Guided, Physics-Informed Network f 9.0分 前10% #音乐信息检索 5. Domain-incremental audio classification using domain-sp 9.0分 前50% #音频分类 6. MSU-Bench: Towards Speaker-Centric Understanding in Con 9.0分 前10% - 7. How Well Do Self-Supervised Speech Models Encode Age an 9.0分 前50% #自监督学习 8. CAAD: Contrastive Audio-Aware Distillation for Efficien 8.9分 前25% #语音识别 9. STAR-VAE: Structured Topology-Aware Regularization for 8.8分 前25% #音频生成 10. An Evaluation Framework for Text-to-Speech Voice Recons 8.8分 前25% #语音合成 11. An Analysis of Untrained Deep Reservoir Networks for Au 8.8分 前50% #音频事件检测 12. Towards Detecting Neural Audio Codec Synthesized Heart 8.7分 前50% #自监督学习 13. Bridging the Age Gap: Towards Detecting Neural Audio Co 8.6分 前50% #语音伪造检测 14. ATCCaps: A Call-Sign-Aware Speech Dataset for Air Traff 8.6分 前25% #语音识别 15. InstructFX2FX: A Multi-turn Text-to-Preset Demo for Ite 8.6分 前50% #对比学习 16. When EER Hides Deployment Failure: Auditing Threshold T 8.6分 前25% - 17. CapRiCorn-1K: A Comprehensive Benchmark for Video Capti 8.6分 前50% #语音识别 18. Compiling Differentiable Audio Graphs to Real-Time DSP 8.5分 前25% - 19. Improving Text-to-Music Generation with Human Preferenc 8.5分 前50% #音乐生成 20. Don't Listen to Me: A Lightweight, Low-Latency Mode 8.4分 前50% #语音增强 21. HALAS: A Human-Annotated Dataset of Hallucinations of M 8.4分 前50% #语音识别 22. Benchmarking Large Language Models for Grapheme-to-Phon 8.4分 前25% #语音合成 23. Cross-lingual Retrieval-Augmented Classification for Dy 8.4分 前25% #语音识别 24. Bagpiper-TTS: Natural Language Guided Universal Speech 8.4分 前25% #语音合成 25. Using Phonological-Level Wav2Vec2 for Mandarin Automati 8.3分 前25% #语音识别 26. Word Lengthening as a Function of Utterance Position: A 8.1分 前25% #语音合成 27. LambdaMark: Semantic Audio Watermarking for Robustness 8.0分 前25% #音频水印 28. OpenWER: Improving Cross-Lingual ASR Evaluation and Ena 8.0分 前50% #语音识别 29. AudioCALM: Continuous Autoregressive Language Modeling 7.9分 前25% #语音合成 30. AOR-Bench: Do Large Audio Language Models Over-Refuse P 7.9分 前50% #音频问答 31. Gradient-Based Learning of Parametric Engine Sound Repr 7.8分 前50% #参数高效微调 32. Toward Open-Set Speaker Attribute Prediction with Keywo 7.8分 前25% #多模态模型 33. Time-Frequency Weighted Losses for Phoneme Reconstructi 7.8分 前25% #语音增强 34. An implicitization-based solution to the minimal 4s/6r 7.8分 前50% - 35. CORTIS: Text-Only Adaptation of Spoken Language Models 7.7分 前50% #语音识别 36. What Do Neural Networks Learn for TDOA Estimation? A Cr 7.7分 前50% #声源定位 37. Kiwano: A Cutting-Edge Open-Source Toolkit for Speaker 7.6分 前50% #说话人验证 38. Learning to Evade: Adaptive Attacks on Audio Watermarki 7.6分 前50% #音频水印 39. Bagpiper-Edit: Zero-Shot Open-Ended Audio Editing via R 7.6分 前25% #语音合成 40. From Text Metrics to Model Internals: A Study of Whispe 7.5分 前50% #语音识别 41. Bridging Self-Supervised Learning and Speech Enhancemen 7.5分 前25% #语音增强 42. Integrating Facial Generation into Full-Duplex Spoken D 7.5分 前25% - 43. ESPnet3: Infrastructure for Scalable Speech and Audio R 7.5分 前25% #语音识别 44. On the Effect of Segmentation Width and Cluster Size on 7.4分 前25% #语音合成 45. The Anatomy of the CTC Oracle Gap: Acoustic Exhaustion 7.3分 前50% #语音识别 46. FlowTTS-GRPO: Online Reinforcement Learning with Multi- 7.2分 前50% - 47. DisSpeech: Low-Resource Controllable Mandarin Stuttered 7.2分 前25% #语音合成 48. SDP-Codec: A Speaker-Decoupled Speech Codec with Pitch 7.2分 前50% #语音编码 49. Synthesizing the Lombard Effect: Multi-Level Control of 7.2分 前50% #语音合成 50. Scaling Audio Models Efficiently: A Joint Study of Comp 7.2分 前50% #语音识别 51. Online Predictive Coding for Dual-Mode Self-Supervised 7.2分 前50% #语音识别 52. Exploiting Neural Audio Codec Latents for Adversarial A 7.2分 前50% #生成对抗网络 53. Audio Editing in the Era of Foundation Models: A Survey 7.0分 前25% - 54. Adding Robust Code-Switching Capabilities to High Perfo 7.0分 前50% #语音识别 55. Unlocking In-Context Learning in Audio-Language Models 7.0分 前50% #联邦学习 56. Backdoor Attacks on Speech Emotion Recognition via TTS- 7.0分 前50% #语音情感识别 57. LK Jam: System Architecture and Implementation of a Rea 7.0分 前50% #音乐生成 58. An Acoustic Landmark Database of the English Lexicon vi 6.9分 前50% #语音合成 59. Learning from Audio-Dependency Errors: Data Curation St 6.9分 前50% #音频问答 60. The Watermark Shortcut: How Provenance Marking Sabotage 6.8分 前50% #数据增强 61. LISE : Listenable Interpretable Speaker Embeddings 6.8分 前50% #说话人验证 62. PIVOTSBench: Evaluating Fine-Grained Interpersonal Rela 6.8分 前50% #基准测试 63. AugCodec: A Low-Bitrate Disentangled Neural Speech Code 6.7分 前50% #数据增强 64. Vaani Benchmark V1.0: An Inclusive Multimodal Benchmark 6.7分 前50% #语音识别 65. Physics-Informed Neural Operator for Speech Production 6.7分 前50% #语音合成 66. Streaming T5-based Text-to-Speech Synthesis with Limite 6.7分 前25% #语音合成 67. ProsoCodec: Prosody-Oriented Speech Codec for Voice Con 6.6分 前50% #语音转换 68. Beyond ROC-AUC: Operating-Point Performance Reporting f 6.6分 前50% - 69. ISCSLP 2026 CoT-TTS Challenge: Chain-of-Thought Reasoni 6.6分 前50% #语音合成 70. A DDSP Framework for Adaptive Room Equalization 6.5分 前50% #自适应滤波 71. EmoInstruct-TTS: Dual-Path Instruction-Guided Emotional 6.5分 前50% - 72. Interleaved Speech Language Models Latently Work In Tex 6.4分 前50% #语音识别 73. DSSCNet: A Transfer Learning Framework for Cross-Corpus 6.3分 前50% #迁移学习 74. Sea-Scan: High-Accuracy, ML-based Dark Vessel Detection 6.3分 前50% - 75. Catching Lies Without Sending the Video: Privacy-Preser 6.2分 前50% #多模态模型 76. MindAlign: Decoding Inner Speech from fMRI Signals via 5.8分 前50% #语音识别 77. Acoustic Landmark Detector based on Conformer and HuBER 5.5分 前50% #语音识别 78. Explainable AI in Speaker Recognition – Attention Map 5.5分 前50% #说话人识别 79. Imitation Learning for Elder-Facing Speech Synthesis 5.5分 前50% #语音合成 80. Improving Engine Sound Analysis in Hot-Test Environment 4.9分 后50% #音频降噪 81. Direct Raw Audio Signal Processing via Reservoir Comput 4.5分 后50% #语音识别 82. A Generalized Formalism of Auto-Regressive Decoding for 4.1分 后50% #自回归模型 83. Noise-Driven Instrument Based on Coherent Quantum and S 3.8分 后50% - 📋 论文列表 🥇 CoughPhase-CLR: Designing an acoustics-informed foundation model for coughing sound classification 10.0/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.3/1.5 | 复现 0.5/0.5 | 工程 1.0/1.5 ...

📄 Beyond Speaker Independence: Evaluating Cross-Lingual Acoustic-to-Articulatory Inversion Across Finnish and Russian #自监督学习 #低资源 4.9/10 | 创新 1/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.2/1.5 📝 4.9/10 | 后50% | #自监督学习 | #自监督学习 | #低资源 | arxiv 👥 作者与机构 Ruchi Pandey, Tomi H. Kinnunen。 University of Eastern Finland, Finland。 💡 毒舌点评 这篇论文的“野心”在于为跨语言AAI建立一个干净的评估框架，这本身是值得肯定的，就像在一个嘈杂的厨房里坚持用标准度量衡。然而，其“骨感”之处在于执行力度的不足。首先，作为一篇声称建立“基准”的论文，其核心贡献——FROST-EMA数据集——竟然是“犹抱琵琶半遮面”，没有提供公开获取途径，这严重削弱了其作为社区基准的可重复性和影响力，堪称“基准”二字的最大讽刺。其次，实验部分的核心发现（跨语言错配影响大于跨性别错配）虽然听起来合理，但支撑它的实验设计存在明显短板：消融实验仅锚定在FIN-M这一单一组别，其结论的普适性存疑；文中声称“首次”隔离了性别和语言因素，但对比的基线工作（wieling2017analysis, yan2023combining）本就存在混淆因素，这种“首次”的价值打了折扣。更关键的是，论文的终极武器——自监督学习特征（SSL）——虽然赢了MFCC，但赢的并不光彩：其比较是“冻结”的，没有进行任何微调或适配，在低资源场景下，这真的是SSL的最佳打开方式吗？论文对此毫无探讨。最后，作者在结论中“画饼”说未来要评估L2和口音语音，但连L1的基线结果（相关系数普遍低于0.5）都如此挣扎，谈论更复杂的场景是否为时尚早？总体而言，论文提出了一条清晰的技术路线，但每个环节都显得“点到为止”，深度不足，数据壁垒更是致命伤，使其难以成为该领域一个坚实可靠的里程碑。 📌 核心摘要 本文针对声学到发音倒置（AAI）在跨领域场景下的性能下降问题，提出首个针对芬兰语-俄语双语电磁发音图（EMA）语料库FROST-EMA的系统性基准评估。核心贡献是定义了可隔离语言和性别因素的评估协议，并消融比较了多种声学前端（MFCC, Wav2Vec 2.0, XLSR-53, MMS-300m）、发音目标表示（原始EMA坐标, 管道变量）和倒置后端（BiLSTM, Attn-lite）。实验结果表明，跨语言失配（\(\Delta r \approx 0.10-0.20\)）导致的性能下降显著大于跨性别失配（\(\Delta r \approx 0.05-0.10\)），且两者效应叠加。SSL特征（特别是Wav2Vec 2.0和MMS-300m）在所有条件下均优于MFCC，而BiLSTM后端在当前数据规模下优于轻量级Transformer。研究为跨语言、跨性别的AAI研究提供了首个可控的评估框架和基准结果。 ...

📄 Cross-Dataset, Age, and Gender Generalization: A Comprehensive Analysis of Fine-Tuning Strategies for Low-Resource Children's ASR #语音识别 #低资源 #自监督学习 6.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.7/1.5 ✅ 6.7/10 | 前50% | #语音识别 | #自监督学习 | #低资源 | arxiv 👥 作者与机构 作者：Abhijit Sinha， Hemant Kumar Kathania， Sudarsana Reddy Kadiri， Shrikanth Narayanan 机构：南加州大学（USC） 💡 毒舌点评 这篇论文的工作更像是一份详尽的实验报告，而非一篇具有突破性方法的顶级会议论文。虽然系统性地测试了几种微调策略，但其核心发现（“在更小的上训练在更大的上效果更好”、“微调能缓解偏见”、“跨数据集会掉点”）在语音识别领域并不算新颖，更像是对现有知识的验证。实验规模受限于两个小数据集，使得结论的普适性存疑。论文最大的问题在于对“为什么”的探索不足：跨数据集失败仅仅归因于“口音和词汇不匹配”，缺乏深入的声学或语言学分析。此外，完全依赖WER指标，忽略了对模型内部表示变化的分析，使得对“偏见缓解”机制的解释流于表面。整体而言，这是一篇扎实但缺乏深度和惊喜的工作。 ...

📄 FlowEdit: Associative Memory for Lifelong Pronunciation Adaptation in Flow-Matching TTS #语音合成 #语音增强 #参数高效微调 #持续学习 #低资源 #数据增强 #多语言 10/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 10/10 | 前25% | #语音合成 | #参数高效微调 | #语音增强 #持续学习 | arxiv 👥 作者与机构 作者：Harshit Singh (1), Ayush Pratap Singh (2), Nityanand Mathur (3) 机构：1 University Of Maryland, 2 TU Darmstadt, 3 Smallest AI 联系邮箱：nityanandmathur@gmail.com ...

📄 Improving End-to-End Speech Recognition for Dysarthric Speech through In-Domain Data Augmentation #语音识别 #自监督学习 #低资源 #数据增强 6.5/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 6.5/10 | 前50% | #语音识别 | #数据增强 | #自监督学习 #低资源 | arxiv 👥 作者与机构 Paban Sapkota, Hemant Kumar Kathania, Sudarsana Reddy Kadiri, Shrikanth Narayanan 未提及具体单位，但作者Paban Sapkota, Hemant Kumar Kathania与Sudarsana Reddy Kadiri, Shrikanth Narayanan可能来自同一机构或合作机构。原文未明确说明第一作者及通讯作者的所属机构。 💡 毒舌点评 这篇论文解决了一个有价值的实际问题——为数据稀缺的构音障碍群体改善语音识别。其工作是扎实的，系统性地将几种经典数据增强技术应用到Wav2Vec2微调中，并针对不同严重程度进行了细致调参，得出了SRM和PM各有侧重的结论。然而，其“顶会”成色不足。创新性主要体现在“首次应用”和“系统性实验”，而���方法论或模型的突破。最致命的弱点是实验设计：评估设置可能并非严格的说话者独立，这使得结果的泛化性存疑；同时，仅使用一个较小的公开数据集（TORGO）和一个SSL模型（Wav2Vec2），缺乏与当前SOTA方法（如其他SSL模型或专门针对残障语音的模型）的直接对比，结论的说服力和影响力大打折扣。论文在讨论和反思上也显得吝啬，未能深入剖析技术选择背后的声学机理。总体而言，这是一篇合格的系统性实验论文，但距离顶会要求的深刻洞见和坚实论证尚有差距。 ...

📄 Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal #自监督学习 #低资源 6.4/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 ✅ 6.4/10 | 前50% | #自监督学习 | #自监督学习 | #低资源 | arxiv 👥 作者与机构 作者：Syeda Faiza Ahmed, Shammur Absar Chowdhury 机构：Qatar Computing Research Institute, Doha, Qatar 💡 毒舌点评 论文抓住了“无监督/轻监督语音评估”的痛点，提出了一条技术路径清晰的“曲线救国”方案——利用母语数据的统计规律（token惊异度）来检测发音异常，思路巧妙。但“轻量级”的宣称缺乏硬核的工程效率对比数据，更多是定性描述。方法的核心创新在于将离散token惊异度与文本引导的DTW对齐在同一个离散空间进行结合，这比前人工作（如aMRT或GoP）减少了对音素和强制对齐的依赖。然而，实验部分存在明显的“报喜”倾向：在核心数据集SpeechOcean762上，与最强的监督方法（如HMamba）相比差距仍然显著（0.661 vs. 0.807），论文更侧重与“零样本”方法比较，模糊了性能边界。跨数据集泛化实验（L2-ARCTIC）的设置存在疑问，使用Azure伪标签作为标准是否可靠？这可能会削弱结论的说服力。开源方面一无所有，严重阻碍了结果的可复现性和影响力传播。总体而言，这是一篇技术实现完整、有一定想法的工作，但深度和广度上的贡献都较为有限，更像是一篇扎实的系统论文而非突破性的研究。 📌 核心摘要 本文提出一种轻量级的发音评估框架，旨在减少对昂贵、标注过的非母语数据的依赖。该框架的核心思想是：一个仅在母语语音数据上训练的模型，会对符合母语音系的语音赋予较低的“惊异度”（surprisal），反之则高。具体地，它首先使用预训练的自监督学习（SSL）编码器（HuBERT）和K-means聚类将语音离散化为token序列（Audio2DUnit）。然后，在母语token序列上训练一个n-gram语言模型（Token Language Model, TLM）来计算token惊异度。当参考文本可用时，引入一个文本到离散单元的模型（Text2DUnit）预测出预期的母语token序列，并通过动态时间规整（DTW）将其与实际发音的token序列对齐，从而提取更细粒度的特征。最终，将惊异度统计特征与可选的对齐特征融合，通过岭回归预测发音质量分数。在SpeechOcean762数据集上，结合音频和文本引导特征的轻监督模型达到了0.661的皮尔逊相关系数（PCC），优于先前的零样本方法，并展示了在少量母语训练数据（约100小时）下的鲁棒性以及在L2-ARCTIC数据集上的初步泛化能力。 ...

📄 Low-Burden Data Augmentation for Dysarthric ASR via Zero-Shot Voice Cloning #语音识别 #数据增强 #低资源 #语音合成 #迁移学习 8.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 8.7/10 | 前25% | #语音识别 | #数据增强 | #低资源 #语音合成 | arxiv 👥 作者与机构 Satwinder Singh: DeepNet Discovery Network, University of Auckland, New Zealand Qianli Wang: University of Auckland, New Zealand Zihan Zhong: University of Auckland, New Zealand Clarion Mendes: University of Illinois Urbana-Champaign, USA Mark Hasegawa-Johnson: University of Illinois Urbana-Champaign, USA Waleed Abdulla: University of Auckland, New Zealand Seyed Reza Shahamiri: DeepNet Discovery Network 💡 毒舌点评 这篇工作直击构音障碍ASR的痛点——数据稀缺，想法很直接：既然真实数据难采，那就用现成的“克隆”技术造点。实验也做得像样，跑通了从合成到微调的全流程，甚至挖了挖数据量的“甜点”和跨库泛化。但仔细一看，这更像是一个扎实的“技术可行性验证”而非突破性研究。核心工具（Higgs Audio V2, Whisper）都是别人的，创新主要在应用层面。最让人皱眉的是，所有结论都建立在TORGO这个只有8个说话人的小池塘里，就像用8个病例来验证一种新药的普适疗效，说服力天然受限。对于克隆数据为何对中重度患者更有效、为何数据过量会变差，分析止步于“可能因为…”，缺乏更硬的声学证据。作者们坦承了数据集规模的问题，但没有充分探讨这可能带来的结论偏差。总的来说，这是一篇合格的应用型工作，为工具箱增添了一种新方法，但离真正令人信服的、可推广的解决方案还有距离。 ...

📄 RIVET: Robust Idempotent Voice Attribute Editing #语音编辑 #语音转换 #低资源 8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 🔥 8/10 | 前50% | #语音转换 | #语音编辑 | #低资源 | arxiv 👥 作者与机构 Dareen Alharthi, Bhuvan Koduru, Rita Singh, Bhiksha Raj 卡内基梅隆大学 (Carnegie Mellon University) 💡 毒舌点评 这篇工作的出发点不错，抓住了语音编辑在大数据时代的一个真实痛点——脏标签。用“幂等性”这剂药方听起来也挺高大上，直觉上说得通。但仔细一看，这药方的“药效”和“适用症”证明得不够扎实。最大的问题是，作者自己搭了个简易擂台（去掉核心损失的自身架构），就宣布自己赢了。这就像只跟昨天的自己比赛，说服力打折扣。而且，对“年龄”这个属性，药效好像不太灵（在EARS上甚至变差了），论文却轻描淡写带过，没给出像样的病理分析。方法部分对模型“怎么做手术”的细节描述比较模糊，光给了个公式和示意图，让人不清楚这“潜在表示空间”的约束到底落在VITS的哪个部位。总之，想法有价值，但就像一篇刚完成初步临床试验的新药报告：看到了希望，但离证明其广泛有效性和弄清所有副作用，还有不少路要走。 📌 核心摘要 本文针对语音属性编辑模型因训练数据中的标签噪声而导致编辑不稳定和身份漂移的问题，提出了RIVET训练框架。其核心在于利用幂等性原理（\(f(f(x)) = f(x)\)）作为正则化。具体实现上，RIVET在模型的编码潜在表示空间（同时针对说话人嵌入和语音潜在表示）施加一致性约束，通过最小化原始编码与“编辑-重建”再编码之间的差异，使模型在噪声标签下也能学习到稳定的映射。实验表明，该方法能有效提升模型在自然噪声（GLOBE）和可控合成噪声（EARS）下的编辑成功率和说话人身份保持能力，尤其是在性别编辑和对抗噪声方面效果显著。 🔗 开源详情 代码：https://github.com/DareenHarthi/rivet (提供了完整的训练和评估代码) 模型权重：论文中未提及提供预训练模型权重。 数据集：论文使用GLOBE和EARS数据集，但未提供直接获取链接，需从官方渠道获取。 Demo：论文中未提及。 复现材料：论文中包含主要的训练细节（如优化器、学习率），但未提供具体的配置文件或脚本。 🏗️ 方法概述和架构 RIVET是一个端到端训练的语音属性编辑框架，其核心组件包括三个部分：说话人编码器、属性编辑模块和语音生成器，并通过引入幂等性损失进行联合优化。 ...