自监督学习

📄 BEST-RQ-2: Contextualize-Then-Predict, a Two-Step Approach for Self-Supervised Audio Representations #自监督学习 #语音识别 #语音增强 #音频分类 6.9/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.4/1.5 | 复现 0.5/0.5 | 工程 0.4/1.5 ✅ 6.9/10 | 前50% | #语音识别 | #自监督学习 | #语音增强 #音频分类 | arxiv 👥 作者与机构 论文作者为Ludovic K. Tuncay, Etienne Labbé, Thomas Pellegrini。论文原文未提及作者所属的具体机构。 💡 毒舌点评 这篇工作是BEST-RQ的直接迭代，想法简单直接（两步走），效果有提升但谈不上惊艳。优点在于方法简洁，保持了BEST-RQ无需复杂目标建模的优点，并在推理效率上没有妥协。然而，论文的写作和实验报告存在明显短板：核心贡献（两步解耦）的机制分析非常薄弱，缺乏说服力；消融实验几乎为零，无法判断性能提升究竟源于“两步解耦”还是仅仅换了ViT；开源声明流于形式（只说可用，不给链接），这在顶会审稿中是重大减分项。整体来看，这是一篇合格的、incremental的工作，但距离一篇让人印象深刻的论文还有距离。 📌 核心摘要 本文提出了BEST-RQ-2，这是对BEST-RQ自监督音频表示学习方法的改进。核心思想是将预训练过程解耦为两步：首先，一个ViT编码器（上下文化器）仅处理输入频谱图中未被遮蔽的区域，生成上下文表征；然后，一个轻量级预测器利用这些上下文表征，去预测原始输入中被遮蔽区域对应的随机投影离散目标。预训练完成后，预测器被丢弃，仅保留编码器用于下游任务。这种“上下文化-然后-预测”的范式在X-ARES和XARES-LLM两个跨领域音频评估基准上，持续优于使用相同离散目标的单阶段预测基线。与原始BEST-RQ（使用Conformer编码器）相比，新方法在语音性能上略有损失，但在音乐和环境声性能上有所提升，整体平均性能持平。代码和模型检查点已公开（但未提供链接）。 🔗 开源详情 代码：论文声明“Code … are publicly available”，但未提供具体的GitHub或其他代码仓库URL链接。 模型权重：论文声明“model checkpoints are publicly available”，但未提供具体的模型权重下载地址（如HuggingFace Hub、ModelScope、Google Drive链接等）。 数据集：论文未提及是否开源了预训练所用的数据集，也未提供相关获取信息。评估基准X-ARES和XARES-LLM是公开的，但论文未说明是否提供了使用这些基准的评估脚本或数据划分。 Demo：论文未提及。 复现材料：论文未提及是否提供训练脚本、配置文件、超参数列表或环境依赖说明（如requirements.txt）等辅助复现的材料。 论文中引用的开源项目：论文正文未明确列出使用或引用的任何第三方开源工具、框架或代码库。 🏗️ 方法概述和架构 论文提出了一种两阶段预训练框架 BEST-RQ-2，其核心架构和流程如下（参考论文架构图）： ...

📄 Beyond Binary Instrument QA: Probing Instrument Grounding in Music Audio-Language Models #自监督学习 #多模态模型 #迁移学习 7.6/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 7.6/10 | 前25% | #音频分类 | #自监督学习 | #多模态模型 #迁移学习 | arxiv 👥 作者与机构 Yujun Lee, Joonhyeok Shin, Hyoeun Kim, Kyuhong Shim。论文原文未提供作者机构信息。 💡 毒舌点评 这篇论文的核心贡献是“造尺子”，而不是“量身高”。它正确地指出了现有评估指标（二元问答准确率）的不足，这本身是有价值的。然而，作为一篇顶会论文，其创新性稍显不足：1）诊断基准序列的设计虽合理，但并非颠覆性创新，类似思路在CV/NLP评估研究中已存在；2）论文未提出任何新的建模方法来解决它所揭示的问题，显得“只破不立”；3）实验结论（模型有偏差）在意料之中，缺乏更深刻的理论或机制解释。此外，部分实验设计存在局限，如“易混淆乐器组”的人工定义缺乏严格验证，可能影响结论的普适性。总体而言，这是一篇扎实的评估工作，但突破性有限。 📌 核心摘要 本文针对当前音乐音频语言模型在乐器问答任务上表现良好，但其能力真实性存疑的问题，提出了一个从简到难的诊断基准序列。该序列基于OpenMIC-2018数据集，从标准的二元（是/否）乐器存在问答出发，逐步引入更严格的评估设置：1) 减少基于音乐流派先验的问答；2) 要求模型区分声学或音乐上易混淆的乐器；3) 在更长的音频上下文中进行多标签乐器识别；4) 在时间轴上定位乐器出现的位置。通过对多种通用和音乐专用模型的评估，研究发现：高二元问答准确率并不能保证模型具备稳健的乐器接地能力；当任务难度提升时，模型暴露出多种系统性偏差，包括对选项位置的偏好、对特定乐器标签的偏好，以及在时间定位任务中对特定时间段的过度选择。这些结果表明，评估乐器中心的音乐理解需要采用多维度的诊断方法，而非仅依赖单一的聚合准确率。 ...

📄 Enhancing BEST-RQ Pseudo-Label Quality through Online Refinement for Automatic Speech Recognition #语音识别 #自监督学习 8.6/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.6/10 | 前50% | #语音识别 | #自监督学习 | arxiv 👥 作者与机构 论文作者为 Jingjing Xu, Zijian Yang, Mohammad Zeineldeen, Eugen Beck, Ralf Schlüter, Hermann Ney。 机构为 Machine Learning and Human Language Technology Group, RWTH Aachen University, Germany 以及 Apptek GmbH, Aachen, Germany。 ...

📄 FlexiSLM: A Dynamic and Controllable Frame Rate Spoken Language Model #自监督学习 #语音合成 #语音识别 #模型压缩 7.2/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.8/1.5 | 复现 0.4/0.5 | 工程 0.5/1.5 ✅ 7.2/10 | 前25% | #语音合成 | #自监督学习 | #语音识别 #模型压缩 | arxiv 👥 作者与机构 本文由香港中文大学（深圳）和字节跳动联合完成。作者为：Jiaqi Li, Chaoren Wang, Xiaohai Tian, Mingjie Chen, Xinyu Liang, Xu Li, Yufan Lin, Junwen Qiu, Jun Zhang, Lu Lu, Haizhou Li, Zhizheng Wu。其中，通讯作者为jiaqili3@link.cuhk.edu.cn和wuzhizheng@cuhk.edu.cn。 ...

📄 How Bilingual Are SSL Speech Models? Cross-Lingual Probing of Articulatory Encoding with Finnish and Russian EMA #自监督学习 #低资源 5.8/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.3/1.5 📝 5.8/10 | 前50% | #自监督学习 | #自监督学习 | #低资源 | arxiv 👥 作者与机构 作者：Ailín Pollio San Pedro, Tomi Kinnunen, Alexandre Nikolaev, Ruchi Pandey 机构：1 University Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, France; 2 University of Eastern Finland, Computational Speech Group, Finland ...

📄 Linguistic Bias Mitigation for Spoofing Detection via Gradient Reversal and A Variational Information Bottleneck #自监督学习 #数据增强 8.6/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8.6/10 | 前25% | #自监督学习 | #自监督学习 | #数据增强 | arxiv 👥 作者与机构 作者：Anh-Tuan Dao, Driss Matrouf, Mickael Rouvier, Nicholas Evans。 机构：Laboratoire Informatique d’Avignon, Avignon Universite, France；EURECOM, Sophia Antipolis, France。 邮箱：{anh-tuan.dao, driss.matrouf, mickael.rouvier}@univ-avignon.fr, evans@eurecom.fr。 ...

📄 Listening Between the Lines: Joint Learning of ASR Embeddings and LLM-Augmented Linguistics for Dementia Detection #数据增强 #自监督学习 #多模态模型 7/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 0.3/1.5 ✅ 7/10 | 前50% | #数据增强 | #数据增强 | #自监督学习 #多模态模型 | arxiv 👥 作者与机构 Jung, Park, Oh（Jiyoun Jung, Jonghyeon Park, Myungwoo Oh）。机构：1 Division of Communication and Media, Ewha Womans University, South Korea; 2 NAVER Cloud, South Korea。邮箱：olivierjiyounjung@gmail.com, jong-hyeon.park@navercorp.com, myungwoo.oh@navercorp.com。 ...

📄 LuxEmo: Expressive Text-to-Speech Corpus for Luxembourgish #语音合成 #语音识别 #自监督学习 #低资源 #基准测试 7.5/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.5/10 | 前25% | #语音合成 | #自监督学习 | #语音识别 #低资源 | arxiv 👥 作者与机构 Nina Hosseini-Kivanani Sandipana Dowerah 💡 毒舌点评 这篇论文好在选题切中要害——低资源语言+表达性语音+真实场景数据，确实是块缺肉的骨头。LuxEmo语料库的构建和公开（附带采样链接）是实打实的贡献，工作流描述也算清楚。但“严苛审稿人”视角下，槽点不少：语料库就4位主播，还来自同一个青年节目，说能代表“卢森堡语”有点勉强，作者自己也承认了，但评审意见应更尖锐地指出这直接限制了论文声称的“系统性评估”的普适性上限。情绪分布那“0.5%的愤怒”简直是个事故级数据倾斜，论文仅在结论提一句，审稿人应该追问这如何影响了模型训练与评估的有效性，以及基准测试结论在多大程度上是“可泛化的”。评估方面，20人主观听测且无显著性检验，置信区间大幅重叠，这个“基准”的排名可靠性打个大问号。论文反复强调代码混合是挑战，但分析部分却没拿出任何细粒度的分析（比如混合段vs纯语种段的WER对比），这属于典型的“提了但没分析”，深度不足。另外，像情绪检测分类器的训练数据、置信度阈值选取这些影响复现的关键细节一笔带过，不够“严谨”。总的来说，是一篇合格的资源发布和基准测试论文，但离顶会要求的深度分析和严谨论证还有距离，其影响力主要局限在资源本身，而非方法论或深刻洞察。 📌 核心摘要 本文介绍了LuxEmo，一个用于卢森堡语的表达性语音语料库和TTS基准测试集。该语料库包含从RTL青年广播档案中通过半自动工作流提取的21小时自发语音，标注了语言、说话人身份和四种情绪（中性、快乐、悲伤、愤怒）。作者在LuxEmo上评估了五种TTS系统，涵盖跨语言迁移、多语言支持和卢森堡语适配等方案。主要发现包括：没有单一TTS系统在所有评估维度（音频质量、可懂度、韵律、说话人相似度、情感自然度）上最优；目标语言适配在部分指标上有效但非全面；基于ASR的客观可懂度与人类主观感知的自然度、情感表现存在差异。论文同时指出了语料库在说话人覆盖、情绪分布均衡性以及评估统计显著性方面的局限性。 🔗 开源详情 代码：论文中未提供代码链接。 模型权重：论文中未提供模型权重链接。 数据集：LuxEmo语料库。论文中未提供公开获取链接，但提供了语料库采样链接：https://anonymous.4open.science/r/LuxEmo_Sample-445F/。 Demo：论文中未提及。 复现材料：论文中未提供完整的训练配置、检查点或附录，但提及了数据划分使用的固定随机种子为42。 论文中引用的开源项目：论文中提及了以下项目，但未提供具体链接。 DeepFilterNet [32] NISQA v2.0 [24] DNSMOS [30] LuxASR [9, 26, 35] Wav2Vec2-based mms-lid-4017 model [27] Whisper [28] SpeechBrain ECAPA-TDNN [29] pYIN [21] Sequitur G2P (用于LuxEmo): https://github.com/PeterGilles/sequitur-g2p German gruut (用于EmoDB比较): https://github.com/sequitur-g2p/sequitur-g2p 🏗️ 方法概述和架构 本文的方法可分为两大核心部分：LuxEmo语料库构建和TTS基准测试评估。 ...

📄 Probing-Guided Layer Selection from Self-Supervised Speech Models for Generalizable Audio Deepfake Detection #集成学习 #自监督学习 7.5/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 0.6/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.5/10 | 前25% | #集成学习 | #集成学习 | #自监督学习 | arxiv 👥 作者与机构 Marjan Beheshti, Majid Rostami, Bo Chen， 密歇根理工大学（Michigan Technological University）计算机科学系 💡 毒舌点评 这篇论文的工作相当扎实，动机清晰，解决的是一个实际且重要的问题。两阶段方法的设计思路是好的，用轻量探针给沉重的SSL模型“做体检”来选层，比训练完再回头看要高效。实验做得很足，不仅在一个骨干上试，还扩展到WavLM和XLSR-53，消融实验也设计得挺全面，特别是那个“最差情况”配置，把早期和晚期层组合起来性能崩盘，直接证明了“深度区域”理论的正确性。不过，最大的槽点在于“探针评估”和“最终评估”用了部分相同的测试集（比如In-The-Wild）。作者在第6节的讨论中试图辩解，说探针和神经网络分类器没有共享参数，但选择过程本身已经利用了这些数据上的性能反馈，这存在微妙的数据泄露风险，审稿人在这里会揪住不放。另外，选择K=4层看起来更像是一种基于观察的“手艺”而非自动化流程，论文对“如何自动确定K”的讨论不足。最后，面对ASVspoof5 Eval的对抗样本，性能掉得比较厉害（11% EER），这暴露了基于固定特征选择的框架在动态对抗环境下的脆弱性，论文对此的讨论略显不足。总的来说，方法有效且有洞察力，但在实验的严谨性和结论的普适性上还有提升空间。 📌 核心摘要 本文针对音频深度伪造检测中跨域泛化能力差的问题，提出了一种模型无关的两阶段框架。第一阶段为探针引导的层选择：在冻结的SSL模型各层上，使用轻量级XGBoost探针，基于在多个跨域数据集上的平均平衡精度对层进行排名，从而在任务分类器训练之前识别出具有高跨域判别力的深度区域（如中间层和后层）。第二阶段为紧凑分类器构建：仅将第一阶段选定层的隐藏状态输入分类器，每个选定层的特征经过独立的层归一化、多头注意力池化，然后通过一个共享的瓶颈投影层映射到512维，最后将所有选定层的投影特征拼接后送入MLP分类头。实验表明，在XLS-R-300M骨干上，仅使用4个探针选定层（{6,7,17,19}）和1.34M可训练参数，即可在In-The-Wild数据集上达到4.94% EER，跨域平均EER为4.81%，相比使用全部25层的基线实现了28%的相对提升。消融研究证实，性能的关键在于选择正确的深度区域，而非精确的单一最优层；区域内层替换性能波动小，而跨越区域的错误组合会导致性能显著下降。该方法在WavLM Large和XLSR-53两个不同的骨干上同样有效，但选择了不同的层子集，证明了探针评估能自适应骨干的表示结构。 ...

📄 What Counts as an Error? Dual-Reference Benchmarking for Atypical ASR #语音识别 #自监督学习 #基准测试 #数据集 7.3/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.3/10 | 前50% | #语音识别 | #自监督学习 | #基准测试 #数据集 | arxiv 👥 作者与机构 作者：Hawau Olamide Toyin1, Srinivasan Umesh2, Hanan Aldarmaki1 机构：1MBZUAI, UAE; 2SPRING Lab, IIT Madras, India 电子邮件：{hawau.toyin,hanan.aldarmaki}@mbzuai.ac.ae 💡 毒舌点评 这篇文章好比是给ASR领域做了一次“体检”，但它查出的不是病，而是一个长期被忽视的“诊断标准混乱”问题。作者没有发明什么新模型，而是像一个严谨的审计员，把11个现有模型放在两套不同的账本（意图转录 vs. 逐字转录）下重新算了一遍。结果很有意思：在“意图”账本下排名靠前的“优等生”，到了“逐字”账本下可能就泯然众人。这记耳光打得响亮，直接指向了当前评估实践的盲区——我们总在问“哪个模型最好？”，却忘了先问“‘好’的标准是什么？”。当然，审计报告也有局限：只审计了英语病房（FluencyBank）的病例，没去多语言社区医院（更多数据集）交叉验证；也没深入剖析“优等生”和“差生”的大脑构造（模型机制）到底有何不同。但作为一份“行业标准自查报告”，它的警示价值远大于技术花活。 ...

📄 AMR: Adaptive Modality Routing for Multimodal Polyglot Speaker Identification #说话人识别 #多模态模型 #自监督学习 #数据增强 #语音识别 #计算机视觉 7.8/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ✅ 7.8/10 | 前25% | #说话人识别 | #自监督学习 | #多模态模型 #数据增强 | arxiv 👥 作者与机构 论文作者为 Chuxiao Zuo, Yao Zhu, Minqiang Xu, Manhong Wang, Yunke Zhang, 和 Fei Huang。所有作者均隶属于 Honor Device Co., Ltd.，单位地点包括南京和上海。 ...

📄 Child-Centric Voice Anonymization in Single and Multi-Speaker Speech via Domain-Adapted SSL Models #语音匿名化 #自监督学习 7.2/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.2/10 | 前50% | #语音匿名化 | #自监督学习 | arxiv 👥 作者与机构 作者: Pranav Tushar (新加坡科技学院, 1), Xiao Xiao Miao (昆山杜克大学, 2), Rong Tong (新加坡科技学院, 1)。 机构: 1 Singapore Institute of Technology, Singapore; 2 Duke Kunshan University, China。 邮箱: tpranav2001@gmail.com, pranav.tushar@singaporetech.edu.sg, xiaoxiao.miao@dukekunshan.edu.cn, tong.rong@singaporetech.edu.sg。 💡 毒舌点评 这篇论文做了一件正确且必要的事：把成人世界里玩得挺溜的语音匿名化技术，认真地适配到了常被忽视的儿童语音领域。思路清晰，实验也做得比较扎实，像个标准的好学生作业。但就像用一套精心设计的西装去改造一套儿童西装，虽然用了新的布料（领域自适应），但剪裁方法（SSL分解-替换-合成框架）本身并不新鲜。最大的亮点不是“发明了新衣服”，而是“证明了给孩子做衣服必须考虑孩子的身材”（儿童领域自适应的必要性），并且“试穿了不同场景”（多说话人）。然而，论文也坦诚地展示了当前工具的窘境——几乎所有评估工具都是给成人设计的，这使得论文报告的性能数字本身可能就带着“成人视角”的滤镜，是个需要读者自行脑补的局限。总体是一篇扎实、诚恳，但突破性有限的工作。 ...

📄 Clustering Unsupervised Representations as Defense against Poisoning Attacks on Speech Commands Classification System #自监督学习 6.5/10 | 创新 1.2/2 | 严谨 0.9/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 6.5/10 | 前50% | #自监督学习 | #自监督学习 | arxiv 👥 作者与机构 论文未在提供的正文中明确列出作者与机构信息。 💡 毒舌点评 创新性深度不足，是“技术拼盘”而非“原创突破”：将DINO（一种成熟的无监督学习框架）与K-means聚类（一种基础算法）和LDA（一种经典的降维技术）进行组合，其创新点更偏向于工程上的有效集成，而非提出新的原理或算法。论文未能深入阐释为何DINO学习到的表示会对这类特定攻击（叠加触发器）敏感，这使得其贡献停留在“现象观察”层面，而非“机理解释”。 实验设计存在明显短板，缺乏稳定性验证：所有实验均基于单一的训练/测试集划分，未报告多次随机划分下的结果方差或置信区间。唯一提及的方差计算（图5）仅针对过滤后残留少量中毒样本的场景，不足以证明整个防御流程在数据划分变动下的鲁棒性。这使得实验结论的普适性存疑。 对失败案例的分析流于表面：论文承认对高音量触发器（50%音量）防御效果差（表3，第5行，ASR高达99.51%），但未提供任何深入分析。这是方法的关键局限，可能涉及表示空间的可分性边界、触发器特征淹没语音特征等根本性问题。缺乏此类分析，大大削弱了论文的深度和说服力。 部分关键实验细节缺失或模糊： K-means的K值选择：主要实验固定K=1000，虽然进行了消融（图4），但未说明此选择的具体依据。对于包含11个类别、约8.5万样本的数据集，使用1000个簇是否必要或最优？图4显示在K=1000时性能已进入平台期，但更高K值下良性数据移除率仍在下降，最佳点的选择标准不明。 DINO训练细节：训练使用的工具包未公开，训练稳定性（如不同随机种子的影响）未评估。 与基线的对比存在“稻草人”嫌疑：虽然对比了图像领域的激活聚类和谱签名防御，但论文仅给出一种猜测性解释（“添加噪声” vs “像素补丁”差异）而未设计针对性实验验证。这种对比缺乏公平性和洞察力，更像是为了展示“现有方法失效”而非探索根本原因。 可复现性近乎为零：论文明确表示核心代码（DINO工具包）要到终稿才公开，模型权重未提供。这严重影响了该工作的可复现性和社区验证，是重大扣分项。 📌 核心摘要 本文针对语音命令分类系统面临的脏标签后门中毒攻击，提出了一种基于无监督表示聚类的过滤防御方法。核心流程为：首先，使用DINO自监督模型在被污染的训练集上学习无监督表示；然后，对这些表示进行K-means聚类，并可选地通过线性判别分析（LDA）投影后进行二次聚类以提升效果；最后，在每个聚类内，仅保留占多数标签的样本，过滤掉少数标签的样本。实验在Google Speech Commands数据集上进行，面对10%中毒比例的基准攻击，该方法能将攻击成功率从99.75%降至0.25%（使用LDA），同时分类准确率维持在91.37%。在系统评估的多种攻击变体（包括不同源/目标类、触发器类型、音量、位置）下，方法通常能移除超过97%的中毒样本，同时良性数据移除率通常低于8%。若假设仅有一个目标类，良性数据移除率可进一步降至0.5%以下。论文将此方法与完美过滤、随机过滤、激活聚类及谱签名防御等基线进行了对比，显示了优越性。然而，该方法对高音量触发器（如50%音量）防御效果较差。 🔗 开源详情 代码：论文中明确表示代码将在最终版本（camera-ready paper）中公开，当前版本未提供任何代码链接或仓库。 模型权重：论文中未提供预训练的DINO模型权重或受害者模型权重。 数据集：Google’s Speech Commands dataset (v0.02)。获取链接：https://storage.googleapis.com/download.tensorflow.org/data/speech_commands_v0.02.tar.gz。 Demo：论文中未提及。 复现材料：论文中未提供用于复现的训练配置文件、检查点或补充材料。 论文中引用的开源项目： Armory：用于评估ML系统鲁棒性的工具包。GitHub仓库链接：https://github.com/twosixlabs/armory。论文指出其实验装置基于此工具包实现。 DINO：论文使用的方法。引用了原始DINO论文及其语音版本，但未提供具体代码链接。原始DINO代码通常可在以下仓库找到：https://github.com/facebookresearch/dino，但论文文本中未给出此链接。 🏗️ 方法概述和架构 本文提出的防御方法（图2）旨在从被污染的训练集中检测并移除脏标签中毒样本，其核心思想是利用无监督学习获取数据的内在表示，再通过聚类和多数投票机制来识别与标签不一致的样本。整个流程是数据过滤式的，不修改最终分类模型的训练方式。具体包含以下关键组件和步骤： ...

📄 OLIVE: View-Augmented Latent Prediction with Waveform Reconstruction for Speech SSL #自监督学习 #生成对抗网络 #语音增强 #语音分离 #语音转换 7.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1.2/1 | 影响 1.3/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 7.5/10 | 前50% | #语音识别 | #自监督学习 | #生成对抗网络 #语音增强 | arxiv 👥 作者与机构 作者：Karl El Hajal (Idiap Research Institute, Switzerland; EPFL, Switzerland), Mathew Magimai.-Doss (Idiap Research Institute, Switzerland) 机构：Idiap Research Institute（瑞士），洛桑联邦理工学院（EPFL，瑞士） ...

📄 SIGMA: Saliency-Guided Sparse Mask Attacks for Speech Emotion Recognition #语音情感识别 #自监督学习 7.1/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | #语音情感识别 | #自监督学习 | arxiv 👥 作者与机构 Qiyang Sun: Imperial College London, GLAM, Department of Computing Yi Chang（通讯作者）: Imperial College London, GLAM, Department of Computing; email: yichang312@gmail.com Zixing Zhang: Hunan University, College of Computer Science and Electronic Engineering; Shenzhen Research Institute, Hunan University Björn W. Schuller: Imperial College London, GLAM, Department of Computing; Technical University of Munich (CHI – Chair of Health Informatics, relAI, MDSI, MCML) ...

📄 VeRe-Flow: Guiding Flow Matching toward Clean Speech via Velocity Contrastive Regularization and Representation Alignment for Noise-Robust Bandwidth Expansion #语音增强 #流匹配 #自监督学习 #正则化微调 #生成模型 #鲁棒性 7.7/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.7/10 | 前25% | #语音增强 | #自监督学习 | #流匹配 #正则化微调 | arxiv 👥 作者与机构 作者：Sujin Koo, Sangyoon Kim, Ji Sub Um, Hoirin Kim。机构：MAGO（韩国）和KAIST（韩国）。 ...

📄 wav2VOT: Automatic estimation of voice onset time, closure duration, and burst realisation with wav2vec2 #自监督学习 #低资源 #迁移学习 8.5/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.7/1 | 影响 1.5/1.5 | 开源 0.9/1.5 | 复现 0.4/0.5 | 工程 1.3/1.5 🔥 8.5/10 | 前25% | #自监督学习 | #自监督学习 | #低资源 #迁移学习 | arxiv 👥 作者与机构 James Tanner (1,2), Morgan Sonderegger (2), Jane Stuart-Smith (1), Tyler Kendall (3), Jeff Mielke (4) 1 University of Glasgow, United Kingdom 2 McGill University, Canada 3 University of Oregon, United States 4 North Carolina State University, United States ...

📄 A Survey of Automated Presentation Coaching: Systems, Methods, and Open Challenges #语音识别 #语音合成 #自监督学习 #多模态模型 #多任务学习 5.4/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 0.7/1.5 | 清晰 0.9/1 | 影响 0.7/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 0.3/1.5 📝 5.4/10 | 后50% | #语音识别 | #自监督学习 | #语音合成 #多模态模型 | arxiv 👥 作者与机构 Wen Liang: Columbia University, Red Hat Li Siyan: Columbia University Zackary Rackauckas: RoleGaku Julia Hirschberg: Columbia University 💡 毒舌点评 这篇综述试图为“自动化演讲辅导”这个看似细分但实际横跨多个热门领域的课题（CAPT、TTS、L2语言学习）建立一个清晰的分类法和研究路线图。其野心值得肯定，但执行上仍有改进空间。 ...

📄 Advancing Speaker-Based Vocal Effort Classification with WavLM and Data Augmentation in Naturalistic Non-Calibrated Speech Recordings #语音增强 #自监督学习 #低资源 #数据增强 6.8/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 6.8/10 | 前50% | #语音增强 | #自监督学习 | #低资源 #数据增强 | arxiv 👥 作者与机构 论文作者来自University of Texas at Dallas (UTDallas)，由J.H.L. Hansen教授支持。 💡 毒舌点评 这篇论文的“首次”宣称需要打折扣。虽然WavLM用于语音努力分类确实是新尝试，但整体架构是标准的微调预训练模型加数据增强和损失函数改进，创新点更多是工程上的组合与验证，而非方法论上的根本突破。论文最大的问题在于实验规模过小：仅在单一、非校准的AVID数据集（约1万条样本）上进行验证，这使得“新SOTA”的宣称说服力有限，模型在更复杂、更真实场景下的泛化能力完全未知。作者提出的“高斯邻居软标签”听起来很新颖，但其核心思想（建模标签连续性）与已有的标签平滑、序数回归等方法思想相通，论文未能充分论证其相比这些成熟方法的显著优势。此外，论文开源信息为零，极大阻碍了科学验证和后续研究。整体而言，这是一篇扎实的“应用性”工作，但距离顶会所要求的“开创性”贡献还有明显差距。 📌 核心摘要 本文首次将WavLM自监督模型应用于自然的非校准语音录音的语音努力分类任务。通过系统性地研究和结合多种波形级数据增强策略（如RIR卷积、噪声添加、时间掩码、速度扰动、限带）以及混合级增强（MixUp， CutMix），并创新性地提出高斯邻居软标签以建模语音努力的连续性，有效缓解了标注数据稀缺和相邻类别混淆的问题。在AVID语料库的10折交叉验证中，最佳系统（WavLM-BASE + 渐进式解冻 + MixUp + 高斯邻居软标签）达到了78.22%的平均准确率，相较于之前的基线方法有所提升。 ...

📄 Do Speech Emphasis Models Generalize across Languages and Emotions? #语音识别 #自监督学习 #迁移学习 #多语言 #数据增强 7/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 7/10 | 前25% | #语音识别 | #自监督学习 | #迁移学习 #多语言 | arxiv 👥 作者与机构 1 Adobe Research, USA 2 Brown University, USA meganwei@brown.edu, aneja@adobe.com, jsu@adobe.com, yunyunw@adobe.com, haonanc@adobe.com, zejin@adobe.com 💡 毒舌点评 论文动机清晰，提出了一个当前领域内确实缺失的大规模多语言多情感强调检测基准。数据集MMEE的构建过程描述详尽，从语料收集到标注流程都显得相当专业。系统性的基准测试覆盖了单语、跨语言、多语言、跨情感、跨数据集和数据规模等多种场景，实验设计比较全面。然而，其核心贡献——MMEE数据集是专有的，未公开，这极大地限制了工作的可复现性和社区影响力，是一个重大缺陷。研究本身是“评估”而非“提出”新模型，技术深度有限。对音调语言（如中文）表现不佳的根本原因探讨不足，仅仅归因于声调系统显得有些草率。跨数据集泛化实验中，模型在不同数据集上性能差异的原因（如Whisper版本差异）分析可以更深入。整体而言，这是一篇扎实的“数据集与基准”论文，但未开源是其最大硬伤。 📌 核心摘要 本文针对现有语音强调检测模型主要在中性朗读单语数据上训练和评估的问题，引入了MMEE数据集，并利用它对两个前沿模型（EmphaClass, WhiStress）进行了系统性的跨语言、跨情感泛化能力基准测试。核心发现包括：单语模型的跨语言零样本迁移能力有限，且随语言类型距离增加而下降；多语言联合训练显著提升了模型鲁棒性；模型能在高/低唤醒度情感间稳健迁移；人类感知标注与合成标注支持可迁移的表示学习。 🔗 开源详情 代码：论文中未提供代码链接 模型权重：论文中未提供模型权重链接 数据集：MMEE数据集。论文明确指出其基于一个“专有的多语言情感语音语料库（proprietary multilingual expressive speech corpus）”构建，但未提供公开下载链接。 Demo：论文中未提及Demo 复现材料：论文未提供训练配置、检查点等复现所需材料的具体获取方式。 论文中引用的开源项目：论文引用了以下项目作为技术组件，但未在文中提供具体链接： Qwen3-ASR：用于语音转录。 Silero-VAD：用于语音活动检测。 XLS-R (基于Wav2Vec 2.0)：作为EmphaClass模型的基础。 Whisper (包括whisper-small和whisper-small.en)：作为WhiStress模型的基础。 GPT-4o-mini和GPT-5.2：用于数据生成和质量检查（这些是OpenAI的商业模型）。 项目主页：论文提供了一个项目主页链接：https://multilingual-speech-emphasis.github.io ，但该页面未提供数据集或代码的下载方式。 🏗️ 方法概述和架构 本文的方法核心是构建MMEE数据集并利用其对现有模型进行基准测试，而非提出新的模型架构。 ...