自监督学习

📄 A Fusion-Aware Two-Stage Framework for Mispronunciation Detection and Diagnosis in Low-Resource Modern Standard Arabic #语音识别 #低资源 #自监督学习 #集成学习 7/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7/10 | 前25% | #语音识别 | #自监督学习 | #低资源 #集成学习 | arxiv 👥 作者与机构 论文作者包括Yang, Zhang, Deng, Li, Dang, Huang, Chen, Benesty, Jing, Shuqing, Yongyi, Pan, Ting, Gongping, Jingdong, Jacob。主要机构为武汉大学、墨尔本大学、西北工业大学和魁北克大学。 ...

📄 Audio–Image Alignment as a Continued-Pretraining Stage Improves Low-Resource ASR #语音识别 #自监督学习 #对比学习 #低资源 #多模态模型 6.2/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.2/1.5 | 复现 0.4/0.5 | 工程 0.6/1.5 ✅ 6.2/10 | 前50% | #语音识别 | #自监督学习 | #对比学习 #低资源 | arxiv 👥 作者与机构 作者：Sujith Pulikodan, Nihar Desai, Prasanta Kumar Ghosh。 机构：论文中未明确说明作者所属机构。根据作者姓名和研究领域推测，可能来自印度的相关研究机构（例如印度科学研究所 IISc Bangalore）。 💡 毒舌点评 改进幅度的“相对性”：论文在FLEURS上的21.26%相对WER降低听起来很惊人，但这主要是因为基线模型在FLEURS（未见语言）上表现极差（WER 67.78%）。从绝对数值看，最佳模型将WER从0.68降到0.53，仍属于“不可用”到“勉强可读”的范畴。在资源更丰富的Vaani上，改进仅在1-2%之间，这种“蚊子腿”级别的增益在实际部署中几乎无感。 数据集依赖性过强：核心假设——易获取的音频-图像对——严重依赖于Vaani这个特定收集范式（图片提示说话）。在绝大多数真实低资源场景中，这种精心配对的多模态数据并不存在。方法泛化能力存疑。 成本转嫁而非消除：声称“无需转录”，但获取数十万小时高质量且配对的音频-图像数据，其成本真的远低于获取转录文本吗？Vaani数据集本身的收集就是一项巨大的工程。这更像是将一种稀缺资源（转录文本）的成本转嫁到了另一种稀缺资源（配对多模态数据）上。 消融不足：声称改进来自“对齐阶段”而非更多数据，但对比实验仅用了三个检查点的微小差异。更彻底的消融应包括：a) 使用相同音频但随机配对图像的模型；b) 使用相同音频但无图像（纯文本描述）的模型。现有证据链不够强。 工程细节模糊：虽然描述了架构，但关键超参数（如对齐阶段各组件的学习率缩放因子0.05的具体依据）未解释。三种对齐配置的对比更像是超参搜索，而非对不同模态交互机制的深度分析。 📌 核心摘要 本文针对低资源语音识别问题，提出了一种在自监督音频预训练和监督微调之间引入“音频-图像对齐”的中间适应阶段。该方法利用预先冻结的视觉编码器（如SigLIP2、Qwen3-VL）提取图像语义特征，通过对比学习（SigLIP损失）训练音频编码器，使其输出表示与图像特征对齐，全程无需转录文本。实验在Vaani（48种语言）和FLEURS（14种南亚语言）数据集上进行。结果表明，经过对齐的模型在两个基准上均优于直接微调的基线，尤其是在FLEURS这种更极端低资源场景下，最佳模型的词错误率（WER）实现了21.26%的相对下降，且统计检验显示该提升具有显著性。论文认为，此对齐阶段有效提升了音频表示的鲁棒性和泛化能力。 ...

📄 Autoencoder based optimized SSL representations: Complexity Minimization and improved Dysarthric ASR #语音识别 #自监督学习 #低资源 5.5/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.7/1.5 📝 5.5/10 | 前50% | #语音识别 | #自监督学习 | #低资源 | arxiv 👥 作者与机构 Paban Sapkota (作者), Hemant Kumar Kathania (作者), Mikko Kurimo (作者), Shrikanth Narayanan (作者), Sudarsana Reddy Kadiri (通讯作者) ...

📄 Acoustic Landmark Detector based on Conformer and HuBERT #Conformer #自监督学习 5.5/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 📝 5.5/10 | 前50% | #语音识别 | #Conformer | #自监督学习 | arxiv 👥 作者与机构 作者：Mateo Cámara, José Luis Blanco, Juan Ignacio Godino-Llorente, Jeung-Yoon Choi, Stefanie Shattuck-Hufnagel 机构： Signal Processing Applications Group, Information Processing & Telecomm. Center, Universidad Politécnica de Madrid, Spain Speech Communication Group, Research Laboratory of Electronics, Massachusetts Institute of Technology, USA Bioengineering and Optoelectronics Lab., Universidad Politécnica de Madrid, Spain 💡 毒舌点评 这是一篇扎实的、以实验为导向的系统性工作，将Conformer和预训练SSL模型应用于一个相对小众但具有语言学基础的任务。优点在于实验配置全面（14种），消融研究清晰，并提出了简单有效的高斯软标签策略来处理标注模糊性。然而，论文的“新意”主要在于组合和验证，而非提出一个颠覆性的新方法。其最大软肋在于评估体系：1）自建语料库（仅3人，孤立语料）与主流任务数据（如TIMIT的连续语音）脱节；2）提出的F1@20ms指标虽然合理，但与过往工作（LER）不直接可比，使得“SOTA”的宣称显得苍白。与Auto-Landmark的对比部分，虽然在TIMIT上做了零样本迁移，但使用了不同的地标体系（8类 vs 5类）和指标（LER），且结果差距巨大，这反而削弱了其方法泛化能力的说服力。论文对自身局限性的承认是诚实的，但也在一定程度上限制了工作的影响力。最终得分反映了一个“有用但不够惊艳”的定位。 ...

📄 Backdoor Attacks on Speech Emotion Recognition via TTS-Generated Poisoning #语音情感识别 #语音合成 #自监督学习 7/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7/10 | 前50% | #语音情感识别 | #自监督学习 | #语音合成 | arxiv 👥 作者与机构 作者：Yongbin Huang, Xihao Xie, Jia Zhang 机构：未在提供的论文片段中明确说明。 💡 毒舌点评 这篇论文精准地戳中了当前语音情感识别（SER）系统，尤其是基于自监督预训练模型的流水线，在数据供应链上的一个致命软肋：对TTS生成投毒样本的毫无防备。作者们的工作动机非常清晰且现实，指出了TTS技术如何极大降低了发起高效后门攻击的门槛。实验设计也比较扎实，覆盖了多语言数据集和多种主流自监督模型，验证了攻击的普遍脆弱性。然而，论文的“系统性”研究在深度上仍有欠缺：对触发器的声学特性、为何TTS合成的特定片段（一个“标准中性TTS语音”）能成为有效触发器，缺乏更底层的分析。此外，威胁模型过于理想化（“能注入TTS样本”），对攻击在现实数据收集流程中如何实施的讨论几乎为空白。最后，讨论部分草草收场，面对已证实的严重漏洞，却没有提供任何有意义的防御思路或后续研究方向，这极大地削弱了工作的完整性。总的来说，一篇合格的、指明了问题的工作，但离一篇令人印象深刻、引领方向的顶会论文还有距离。 📌 核心摘要 本文首次系统性地研究了针对语音情感识别（SER）系统的、基于文本转语音（TTS）生成投毒样本的后门攻击。作者提出了一种隐蔽的低能量声学触发器，并构建了包含触发器生成、后门注入（波形域叠加）和推理阶段激活的攻击框架。通过在四个公开情感语音数据集（ANAD, CaFE, CASIA, JL Corpus）上对四种自监督语音模型（wav2vec2-base, wavlm-base, data2vec-base, unispeech-sat-base）进行广泛实验，证明了该攻击的有效性（高攻击成功率）、隐蔽性（干净准确率下降小）和跨模型/跨数据集迁移性。研究揭示了现代SER流水线的关键安全漏洞，并表明TTS技术显著降低了发起此类攻击的门槛，亟需开发专门的防御机制。 ...

📄 Bridging Self-Supervised Learning and Speech Enhancement: A Wav2Vec2-Conditioned Framework #语音增强 #自监督学习 #扩散模型 7.5/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前25% | #语音增强 | #自监督学习 | #扩散模型 | arxiv 👥 作者与机构 作者：Shubham Ojha, Carol Espy-Wilson 机构：Institute for Systems Research, University of Maryland, College Park 💡 毒舌点评 这篇工作像个精心包装的“拼盘”：拿现成的扩散模型（StoRM）和自监督特征（Wav2Vec2.0），用一层简单的FiLM胶水粘起来。作者声称的“理论推导”更像是给一个简单的指数平滑操作找了个高大上的借口——最终α还是得靠经验选定（α=1）。实验设计存在明显短板：与表1中其他SOTA（如UNIVERSE++）的对比避重就轻，只强调PESQ的提升而淡化其他指标的劣势或持平。消融实验不够深入，例如仅探讨了FiLM位置，却未深入分析Wav2Vec不同层特征或不同SSL模型的影响。最要命的是完全封闭，不提供代码，让“可复现性”沦为一句空话。整体来看，想法直接，工程上有一定价值，但学术贡献的深度和完整性堪忧。 📌 核心摘要 本文提出了一种将冻结的Wav2Vec 2.0自监督语音特征注入扩散语音增强模型（StoRM）的新框架。核心是在U-Net的瓶颈层使用特征线性调制（FiLM），用从含噪语音提取的语音特征来调制扩散过程的中间表示。为了在有限的内存开销下处理时间序列特征，作者基于线性高斯状态空间模型的最优贝叶斯因果估计器推导出指数平滑策略来聚合FiLM系数。在VoiceBank-DEMAND和LibriMix基准测试上，该方法相比于未使用条件化的StoRM基线，在PESQ等感知指标上取得了显著提升（最高+0.4），证明了自监督特征对扩散语音增强的有效引导作用，但SI-SDR指标有轻微下降，计算开销略有增加。 ...

📄 Bridging the Age Gap: Towards Detecting Neural Audio Codec Synthesized Elderly Speech Deepfake #语音伪造检测 #多模态模型 #自监督学习 #数据集 8.6/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 🔥 8.6/10 | 前50% | #语音伪造检测 | #自监督学习 | #多模态模型 #数据集 | arxiv 👥 作者与机构 作者: Chetia Phukan, Mujtaba Akhtar, Orchid Girish, Mohd Lee, Chi-Chun Lee 机构: 1 BIIC Lab, NTHU, Taiwan, 2 UPES, India, 3 VBSPU, India 邮箱: orchidchetiaphukan1@gmail.com, cclee@ee.nthu.edu.tw ...

📄 CoughPhase-CLR: Designing an acoustics-informed foundation model for coughing sound classification #对比学习 #自监督学习 10/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.3/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 10/10 | 前10% | #对比学习 | #对比学习 | #自监督学习 | arxiv 👥 作者与机构 Marius Moldovan, Andreas Triantafyllopoulos, Anton Batliner, Björn W. Schuller: CHI – the Chair of Health Informatics at the TUM University Hospital, Munich, Germany; MCML – the Munich Center for Machine Learning and MDSI – the Munich Data Science Institute, Munich, Germany. Björn W. Schuller: GLAM – the Group on Language, Audio, & Music at Imperial College London, London, United Kingdom. Thomas M. Berghaus: University Hospital Augsburg at the University of Augsburg, Augsburg, Germany and Medical Faculty, Ludwig Maximilians University of Munich, Munich, Germany. 💡 毒舌点评 这篇论文像一个精心设计但规模有限的临床试验。想法不错——用咳嗽的“物理节奏”来教AI听咳嗽，比随机切片要合理。但现实很骨感：预训练数据量仅为OPERA的十分之一，在最重要的COPD诊断任务上，所有模型都像在扔硬币（最高57%），远低于语音方法的84%。作者很诚实地承认了问题，但“诚实”不能替代“解决”。私有COPD-DE数据集只有48个病人、166条录音，这样的结论在临床意义上非常脆弱。最终，论文更像是一次扎实的、关于“当前咳嗽声学分析天花板”的演示，而非一个能实际落地的诊断工具。代码和模型权重的开源是亮点，为后续研究铺了路，但路还很长。 ...

📄 ESPnet3: Infrastructure for Scalable Speech and Audio Research in the Foundation Model Era #语音识别 #语音合成 #语音增强 #说话人识别 #语音翻译 #语音分离 #语音编码 #自监督学习 #数据增强 #参数高效微调 #迁移学习 7.5/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前25% | #语音识别 | #自监督学习 | #语音合成 #语音增强 | arxiv 👥 作者与机构 Masao Someki (Carnegie Mellon University, Pittsburgh, USA) Alexander Polok (Brno University of Technology, Brno, Czechia) Carlos Carvalho (Instituto Superior Técnico, Lisbon, Portugal) Chyi-Jiunn Lin (Hanyang University, Seoul, South Korea) Da-Hee Yang (Hitachi Astemo, Tokyo, Japan) Jiatong Shi (Shanghai Jiao Tong University, Shanghai, China) Jinchuan Tian (Carnegie Mellon University, Pittsburgh, USA) Nelson Enrique Yalta Soplin (Carnegie Mellon University, Pittsburgh, USA) Samuele Cornell (Carnegie Mellon University, Pittsburgh, USA) Siddhant Arora (Carnegie Mellon University, Pittsburgh, USA) Francisco Teixeira (Instituto Superior Técnico, Lisbon, Portugal) Wei Wang (Shanghai Jiao Tong University, Shanghai, China) William Chen (Carnegie Mellon University, Pittsburgh, USA) Alberto Abad (Instituto Superior Técnico, Lisbon, Portugal) Chenda Li (Carnegie Mellon University, Pittsburgh, USA) Shinji Watanabe (Carnegie Mellon University, Pittsburgh, USA) Wangyou Zhang (Shanghai Jiao Tong University, Shanghai, China) ...

📄 How Well Do Self-Supervised Speech Models Encode Age and Gender in Children's Speech? A Layer-Wise Analysis Across Multiple Architectures #自监督学习 #迁移学习 9/10 | 创新 1.5/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 9/10 | 前50% | #自监督学习 | #自监督学习 | #迁移学习 | arxiv 👥 作者与机构 作者：Abhijit Sinha, Hemant Kumar Kathania, Mohit Joshi, Harishankar Kumar, Shrikanth Narayanan, Sudarsana Reddy Kadiri。 机构：印度锡金国立技术学院 (National Institute of Technology Sikkim)，美国南加州大学信号分析与解释实验室 (Signal Analysis and Interpretation Lab, University of Southern California)。 ...