自监督学习

📄 AV-SyncBench: Decoupled Benchmarking of Temporal and Semantic Audio-Visual Synchronization #音视频理解 #自监督学习 #对比学习 #音频事件检测 8.5/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 🔥 8.5/10 | 前25% | #音视频理解 | #自监督学习 | #对比学习 #音频事件检测 | arxiv 👥 作者与机构 第一作者：Tianhong Zhou（阿里巴巴集团；清华大学） 通讯作者：Jun Song（阿里巴巴集团） 作者列表：Tianhong Zhou（阿里巴巴集团；清华大学）、Mingyang Han（未说明）、Boyu Li（未说明）、Yuxuan Jiang（未说明）、Jiaxin Ye（未说明）、Dongxiao Wang（未说明）、Haoxiang Shi（未说明）、Kunpeng Wang（未说明）、Jun Song（阿里巴巴集团）、Cheng Yu（未说明）、Bo Zheng（未说明） 💡 毒舌点评 亮点是将音视频评估中被长期混淆的时序对齐与语义一致性进行系统性解耦，并基于野生视频构建了五类变量隔离的挑战任务，直击当前多模态模型训练中的维度偏置。短板是语义编辑完全依赖外部生成模型（DDSP、OpenVoice），但未对编辑产物的“声学纯度”进行定量控制或消融，使“纯语义”假设在物理声学层面站得不够稳；同时，数据集仅3,269个视频，基准规模偏小，且0.64秒切片的选择缺乏理论或实验依据，长期使用的鲁棒性存疑。 ...

📄 Disentangling Speaker and Language Effects in Cross-Lingual Speaker Verification for Iberian Languages #说话人验证 #迁移学习 #自监督学习 #多语言 #数据集 5.6/10 | 创新 1.1/2 | 严谨 0.9/1.5 | 实验 0.7/1.5 | 清晰 0.6/1 | 影响 0.7/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.3/1.5 📝 5.6/10 | 前50% | #说话人验证 | #迁移学习 | #自监督学习 #多语言 | arxiv 👥 作者与机构 第一作者：Pol Buitrago（Barcelona Supercomputing Center, Universitat Politècnica de Catalunya） 通讯作者：Pol Buitrago（Barcelona Supercomputing Center, Universitat Politècnica de Catalunya） 作者列表：Pol Buitrago（Barcelona Supercomputing Center, Universitat Politècnica de Catalunya）、Javier Hernando（Universitat Politècnica de Catalunya） 💡 毒舌点评 本文尝试用一套漂亮的同说话人双语评测集来解耦跨语言 SV 中的语言与说话人混淆效应，研究动机清晰且评测设计确有巧思。然而全文仅围着 mHuBERT-147 一个模型打转，连 ECAPA-TDNN 或 WavLM 的影子都没见着，结论的普适性几乎无从谈起；西班牙语-加利西亚语同说话人评测集仅 21 人，却据此得出"语言效应仍占主导"这样的大结论，说服力堪忧。更让人捏把汗的是，CLTM 定义中训练/测试说话人身份的具体关系始终含混不清，而这么关键的变量一旦控制不好，因果推断怕是站不住脚。 ...

📄 BEST-RQ-2: Contextualize-Then-Predict, a Two-Step Approach for Self-Supervised Audio Representations #自监督学习 #语音识别 #语音增强 #音频分类 6.9/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.4/1.5 | 复现 0.5/0.5 | 工程 0.4/1.5 ✅ 6.9/10 | 前50% | #语音识别 | #自监督学习 | #语音增强 #音频分类 | arxiv 👥 作者与机构 论文作者为Ludovic K. Tuncay, Etienne Labbé, Thomas Pellegrini。论文原文未提及作者所属的具体机构。 💡 毒舌点评 这篇工作是BEST-RQ的直接迭代，想法简单直接（两步走），效果有提升但谈不上惊艳。优点在于方法简洁，保持了BEST-RQ无需复杂目标建模的优点，并在推理效率上没有妥协。然而，论文的写作和实验报告存在明显短板：核心贡献（两步解耦）的机制分析非常薄弱，缺乏说服力；消融实验几乎为零，无法判断性能提升究竟源于“两步解耦”还是仅仅换了ViT；开源声明流于形式（只说可用，不给链接），这在顶会审稿中是重大减分项。整体来看，这是一篇合格的、incremental的工作，但距离一篇让人印象深刻的论文还有距离。 📌 核心摘要 本文提出了BEST-RQ-2，这是对BEST-RQ自监督音频表示学习方法的改进。核心思想是将预训练过程解耦为两步：首先，一个ViT编码器（上下文化器）仅处理输入频谱图中未被遮蔽的区域，生成上下文表征；然后，一个轻量级预测器利用这些上下文表征，去预测原始输入中被遮蔽区域对应的随机投影离散目标。预训练完成后，预测器被丢弃，仅保留编码器用于下游任务。这种“上下文化-然后-预测”的范式在X-ARES和XARES-LLM两个跨领域音频评估基准上，持续优于使用相同离散目标的单阶段预测基线。与原始BEST-RQ（使用Conformer编码器）相比，新方法在语音性能上略有损失，但在音乐和环境声性能上有所提升，整体平均性能持平。代码和模型检查点已公开（但未提供链接）。 🔗 开源详情 代码：论文声明“Code … are publicly available”，但未提供具体的GitHub或其他代码仓库URL链接。 模型权重：论文声明“model checkpoints are publicly available”，但未提供具体的模型权重下载地址（如HuggingFace Hub、ModelScope、Google Drive链接等）。 数据集：论文未提及是否开源了预训练所用的数据集，也未提供相关获取信息。评估基准X-ARES和XARES-LLM是公开的，但论文未说明是否提供了使用这些基准的评估脚本或数据划分。 Demo：论文未提及。 复现材料：论文未提及是否提供训练脚本、配置文件、超参数列表或环境依赖说明（如requirements.txt）等辅助复现的材料。 论文中引用的开源项目：论文正文未明确列出使用或引用的任何第三方开源工具、框架或代码库。 🏗️ 方法概述和架构 论文提出了一种两阶段预训练框架 BEST-RQ-2，其核心架构和流程如下（参考论文架构图）： ...

📄 Beyond Binary Instrument QA: Probing Instrument Grounding in Music Audio-Language Models #自监督学习 #多模态模型 #迁移学习 7.6/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 7.6/10 | 前25% | #音频分类 | #自监督学习 | #多模态模型 #迁移学习 | arxiv 👥 作者与机构 Yujun Lee, Joonhyeok Shin, Hyoeun Kim, Kyuhong Shim。论文原文未提供作者机构信息。 💡 毒舌点评 这篇论文的核心贡献是“造尺子”，而不是“量身高”。它正确地指出了现有评估指标（二元问答准确率）的不足，这本身是有价值的。然而，作为一篇顶会论文，其创新性稍显不足：1）诊断基准序列的设计虽合理，但并非颠覆性创新，类似思路在CV/NLP评估研究中已存在；2）论文未提出任何新的建模方法来解决它所揭示的问题，显得“只破不立”；3）实验结论（模型有偏差）在意料之中，缺乏更深刻的理论或机制解释。此外，部分实验设计存在局限，如“易混淆乐器组”的人工定义缺乏严格验证，可能影响结论的普适性。总体而言，这是一篇扎实的评估工作，但突破性有限。 📌 核心摘要 本文针对当前音乐音频语言模型在乐器问答任务上表现良好，但其能力真实性存疑的问题，提出了一个从简到难的诊断基准序列。该序列基于OpenMIC-2018数据集，从标准的二元（是/否）乐器存在问答出发，逐步引入更严格的评估设置：1) 减少基于音乐流派先验的问答；2) 要求模型区分声学或音乐上易混淆的乐器；3) 在更长的音频上下文中进行多标签乐器识别；4) 在时间轴上定位乐器出现的位置。通过对多种通用和音乐专用模型的评估，研究发现：高二元问答准确率并不能保证模型具备稳健的乐器接地能力；当任务难度提升时，模型暴露出多种系统性偏差，包括对选项位置的偏好、对特定乐器标签的偏好，以及在时间定位任务中对特定时间段的过度选择。这些结果表明，评估乐器中心的音乐理解需要采用多维度的诊断方法，而非仅依赖单一的聚合准确率。 ...

📄 Enhancing BEST-RQ Pseudo-Label Quality through Online Refinement for Automatic Speech Recognition #语音识别 #自监督学习 8.6/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 🔥 8.6/10 | 前50% | #语音识别 | #自监督学习 | arxiv 👥 作者与机构 论文作者为 Jingjing Xu, Zijian Yang, Mohammad Zeineldeen, Eugen Beck, Ralf Schlüter, Hermann Ney。 机构为 Machine Learning and Human Language Technology Group, RWTH Aachen University, Germany 以及 Apptek GmbH, Aachen, Germany。 ...

📄 FlexiSLM: A Dynamic and Controllable Frame Rate Spoken Language Model #自监督学习 #语音合成 #语音识别 #模型压缩 7.2/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.8/1.5 | 复现 0.4/0.5 | 工程 0.5/1.5 ✅ 7.2/10 | 前25% | #语音合成 | #自监督学习 | #语音识别 #模型压缩 | arxiv 👥 作者与机构 本文由香港中文大学（深圳）和字节跳动联合完成。作者为：Jiaqi Li, Chaoren Wang, Xiaohai Tian, Mingjie Chen, Xinyu Liang, Xu Li, Yufan Lin, Junwen Qiu, Jun Zhang, Lu Lu, Haizhou Li, Zhizheng Wu。其中，通讯作者为jiaqili3@link.cuhk.edu.cn和wuzhizheng@cuhk.edu.cn。 ...

📄 How Bilingual Are SSL Speech Models? Cross-Lingual Probing of Articulatory Encoding with Finnish and Russian EMA #自监督学习 #低资源 5.8/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.3/1.5 📝 5.8/10 | 前50% | #自监督学习 | #自监督学习 | #低资源 | arxiv 👥 作者与机构 作者：Ailín Pollio San Pedro, Tomi Kinnunen, Alexandre Nikolaev, Ruchi Pandey 机构：1 University Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, France; 2 University of Eastern Finland, Computational Speech Group, Finland ...

📄 Linguistic Bias Mitigation for Spoofing Detection via Gradient Reversal and A Variational Information Bottleneck #自监督学习 #数据增强 8.6/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8.6/10 | 前25% | #自监督学习 | #自监督学习 | #数据增强 | arxiv 👥 作者与机构 作者：Anh-Tuan Dao, Driss Matrouf, Mickael Rouvier, Nicholas Evans。 机构：Laboratoire Informatique d’Avignon, Avignon Universite, France；EURECOM, Sophia Antipolis, France。 邮箱：{anh-tuan.dao, driss.matrouf, mickael.rouvier}@univ-avignon.fr, evans@eurecom.fr。 ...

📄 Listening Between the Lines: Joint Learning of ASR Embeddings and LLM-Augmented Linguistics for Dementia Detection #数据增强 #自监督学习 #多模态模型 7/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 0.3/1.5 ✅ 7/10 | 前50% | #数据增强 | #数据增强 | #自监督学习 #多模态模型 | arxiv 👥 作者与机构 Jung, Park, Oh（Jiyoun Jung, Jonghyeon Park, Myungwoo Oh）。机构：1 Division of Communication and Media, Ewha Womans University, South Korea; 2 NAVER Cloud, South Korea。邮箱：olivierjiyounjung@gmail.com, jong-hyeon.park@navercorp.com, myungwoo.oh@navercorp.com。 ...

📄 LuxEmo: Expressive Text-to-Speech Corpus for Luxembourgish #语音合成 #语音识别 #自监督学习 #低资源 #基准测试 7.5/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.5/10 | 前25% | #语音合成 | #自监督学习 | #语音识别 #低资源 | arxiv 👥 作者与机构 Nina Hosseini-Kivanani Sandipana Dowerah 💡 毒舌点评 这篇论文好在选题切中要害——低资源语言+表达性语音+真实场景数据，确实是块缺肉的骨头。LuxEmo语料库的构建和公开（附带采样链接）是实打实的贡献，工作流描述也算清楚。但“严苛审稿人”视角下，槽点不少：语料库就4位主播，还来自同一个青年节目，说能代表“卢森堡语”有点勉强，作者自己也承认了，但评审意见应更尖锐地指出这直接限制了论文声称的“系统性评估”的普适性上限。情绪分布那“0.5%的愤怒”简直是个事故级数据倾斜，论文仅在结论提一句，审稿人应该追问这如何影响了模型训练与评估的有效性，以及基准测试结论在多大程度上是“可泛化的”。评估方面，20人主观听测且无显著性检验，置信区间大幅重叠，这个“基准”的排名可靠性打个大问号。论文反复强调代码混合是挑战，但分析部分却没拿出任何细粒度的分析（比如混合段vs纯语种段的WER对比），这属于典型的“提了但没分析”，深度不足。另外，像情绪检测分类器的训练数据、置信度阈值选取这些影响复现的关键细节一笔带过，不够“严谨”。总的来说，是一篇合格的资源发布和基准测试论文，但离顶会要求的深度分析和严谨论证还有距离，其影响力主要局限在资源本身，而非方法论或深刻洞察。 📌 核心摘要 本文介绍了LuxEmo，一个用于卢森堡语的表达性语音语料库和TTS基准测试集。该语料库包含从RTL青年广播档案中通过半自动工作流提取的21小时自发语音，标注了语言、说话人身份和四种情绪（中性、快乐、悲伤、愤怒）。作者在LuxEmo上评估了五种TTS系统，涵盖跨语言迁移、多语言支持和卢森堡语适配等方案。主要发现包括：没有单一TTS系统在所有评估维度（音频质量、可懂度、韵律、说话人相似度、情感自然度）上最优；目标语言适配在部分指标上有效但非全面；基于ASR的客观可懂度与人类主观感知的自然度、情感表现存在差异。论文同时指出了语料库在说话人覆盖、情绪分布均衡性以及评估统计显著性方面的局限性。 🔗 开源详情 代码：论文中未提供代码链接。 模型权重：论文中未提供模型权重链接。 数据集：LuxEmo语料库。论文中未提供公开获取链接，但提供了语料库采样链接：https://anonymous.4open.science/r/LuxEmo_Sample-445F/。 Demo：论文中未提及。 复现材料：论文中未提供完整的训练配置、检查点或附录，但提及了数据划分使用的固定随机种子为42。 论文中引用的开源项目：论文中提及了以下项目，但未提供具体链接。 DeepFilterNet [32] NISQA v2.0 [24] DNSMOS [30] LuxASR [9, 26, 35] Wav2Vec2-based mms-lid-4017 model [27] Whisper [28] SpeechBrain ECAPA-TDNN [29] pYIN [21] Sequitur G2P (用于LuxEmo): https://github.com/PeterGilles/sequitur-g2p German gruut (用于EmoDB比较): https://github.com/sequitur-g2p/sequitur-g2p 🏗️ 方法概述和架构 本文的方法可分为两大核心部分：LuxEmo语料库构建和TTS基准测试评估。 ...