自监督学习

📄 MOSAIC: Interpretable Multi-Token Cross-Attention of Biophonetic and Self-Supervised Representations for Unified Voice Anti-Spoofing #语音伪造检测 #可解释性 #自监督学习 #领域适应 6.3/10 | 创新 1.2/2 | 严谨 0.9/1.5 | 实验 0.7/1.5 | 清晰 0.8/1 | 影响 0.7/1.5 | 开源 0.8/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 ✅ 6.3/10 | 前50% | #语音伪造检测 | #Transformer | #可解释性 #自监督学习 | arxiv 👥 作者与机构 第一作者：Yugwon Won（RaonSecure Co., Ltd., AI Security R&D Team, Seoul, Republic of Korea） 通讯作者：Yugwon Won（同第一作者） 作者列表：Yugwon Won（AI Security R&D Team, RaonSecure Co., Ltd.） 💡 毒舌点评 论文将手工特征拆分为多语义查询令牌进行交叉注意力融合，并利用注意力矩阵和令牌激活进行可解释性分析，思路是有趣的。但这项工作的核心贡献更多体现在特征工程与可视化技巧上，而非提出基础性的新架构或理论。方法在2019年数据集上接近单任务SOTA，但在真正考验泛化能力的2021年跨域评测上表现惨淡，尤其是PA场景（EER 40.09%），使得“统一”模型的卖点大打折扣。对最核心的“6-token”与“单token”之间的性能差异，论文避而不谈，可解释性分析也仅限于定性观察，缺乏严格的因果或消融验证，这使得整体贡献的坚实程度存疑。 ...

📄 RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain #零样本 #少样本 #可解释性 #自监督学习 8.1/10 | 创新 1.5/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 🔥 8.1/10 | 前25% | #音频理解 | #参数高效微调 | #零样本 #少样本 | arxiv 👥 作者与机构 第一作者：Omer Moussa（Max Planck Institute for Software Systems, Saarbrücken, Germany） 通讯作者：Mariya Toneva（Max Planck Institute for Software Systems, Saarbrücken, Germany） 作者列表：Omer Moussa（Max Planck Institute for Software Systems）、Mariya Toneva（Max Planck Institute for Software Systems） 💡 毒舌点评 本文巧妙地将群体共享响应的零样本预测与高效的个体少样本适配统一在一个紧凑的模型中，其学到的ROI查询嵌入能无监督地恢复出听觉到语言的皮层层级，设计精妙。然而，亮点背后是隐忧：训练仅依赖6名受试者的单一视听数据集，混合数据集训练未带来增益反而有所下降，这对其作为“基础模型”的泛化能力投下阴影。实验局限于英语自然聆听场景，其对多语言、对话等复杂真实场景的适用性仍然存疑，距离真正的通用模型尚有距离。 ...

📄 Speaker-Disentangled Chunk-Wise Regression for Syllabic Tokenization #语音编码 #自监督学习 #知识蒸馏 #无监督学习 #语音大模型 7.9/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 1.4/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 7.9/10 | 前25% | #语音编码 | #自监督学习 | #知识蒸馏 #无监督学习 | arxiv 👥 作者与机构 第一作者：Ryota Komatsu（Institute of Science Tokyo） 通讯作者：Ryota Komatsu（Institute of Science Tokyo） 作者列表：Ryota Komatsu（Institute of Science Tokyo）、Kota Kawakita（Institute of Science Tokyo）、Takuma Okamoto（National Institute of Information and Communications Technology）、Takahiro Shinozaki（Institute of Science Tokyo） 💡 毒舌点评 该工作敏锐地捕捉到 SD-HuBERT 的说话人主导缺陷和类别崩塌问题，用分块回归和性别定向扰动实现了干净的解耦，语音 LM 的语义提升和合成编码效率都相当扎实。但分块大小等关键参数高度依赖启发式调节，多阶段蒸馏流水线略显臃肿，且 sWUGGY 的劣势暴露了音节粒度在精细音系判别上的先天不足，整体方案离“即插即用”仍有距离。 ...

📄 Towards Language-Agnostic Speech Inversion #语音属性识别 #多任务学习 #自监督学习 5.6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.5/1.5 📝 5.6/10 | 前50% | #语音属性识别 | #多任务学习 | #自监督学习 | arxiv 👥 作者与机构 第一作者：Saba Tabatabaee（University of Maryland, College Park, Department of Electrical and Computer Engineering） 通讯作者：论文未明确标注，推测为 Carol Espy-Wilson（University of Maryland, College Park） 作者列表：Saba Tabatabaee (University of Maryland College Park), Mark Tiede (Yale University, Department of Psychiatry), Suzanne Boyce (University of Cincinnati, Department of Communication Sciences and Disorders), Liran Oren (University of Cincinnati, Department of Otolaryngology-Head and Neck Surgery), Carol Espy-Wilson (University of Maryland College Park, Department of Electrical and Computer Engineering) 💡 毒舌点评 本文的亮点在于率先系统性地验证了基于英语训练的语音逆推（SI）系统在跨语言（法语、俄语）场景下，对口腔声道变量、源特征及腭咽端口变量的估计能力，并为此构建了多语种数据集，这为语言无关的发声建模提供了直接的实证证据。但短板同样刺眼：实验规模极小，俄语仅3名发音人，其中VP TV测试更只有1人，使得“语言无关”这一宏大主张几乎悬空。方法层面毫无消融实验，仅与自家前作比较，0.01（0.85→0.86）的提升几乎可以归为随机噪声，各模块的实际贡献完全成谜。 ...

📄 Alethia: a Foundational Encoder for Voice Deepfakes #语音伪造检测 #预训练 #自监督学习 #流匹配 #知识蒸馏 #生成模型 7.6/10 | 创新 1.3/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.8/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1.3/1.5 ✅ 7.6/10 | 前25% | #语音伪造检测 | #自监督学习 | #预训练 #流匹配 | arxiv 👥 作者与机构 第一作者：Yi Zhu（Reality Defender） 通讯作者：Yi Zhu（Reality Defender，邮箱 yi.zhu@inrs.ca） 作者列表：Yi Zhu（Reality Defender）、Brahmi Dwivedi（Reality Defender）、Jayaram Raghuram（Reality Defender）、Surya Koppisetti（Reality Defender） 💡 毒舌点评 本文在预训练配方上做出了巧妙且富有洞察的设计，通过互信息分析精准判了离散量化目标的“死刑”，并以连续嵌入预测结合流匹配生成式预训练，在56个数据集上打造了目前最抗打的语音伪造检测基础模型。但声称“首个基础编码器”略有水分，且完全没有开源任何代码、权重或数据集，这种“只发论文不交枪”的做法在安全领域尤为令人遗憾，对学术界的实质性推进构成阻碍。 ...

📄 BAT: Better Audio Transformer Guided by Convex Gated Probing #音频分类 #音频事件检测 #语音识别 #自监督学习 #Transformer 8.6/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 🔥 8.6/10 | 前25% | #音频分类 | #自监督学习 | #音频事件检测 #语音识别 | arxiv 👥 作者与机构 第一作者：Houtan Ghaffari（Ghent University）、Lukas Rauch（University of Kassel，现就职于 Earth Species Project）（并列一作） 通讯作者：Houtan Ghaffari（Ghent University）、Lukas Rauch（University of Kassel） 作者列表：Houtan Ghaffari（Ghent University）、Lukas Rauch（University of Kassel，现就职于 Earth Species Project）、Christoph Scholz（University of Kassel，Fraunhofer IEE）、Paul Devos（Ghent University） 发表于 ICML 2026，首尔，韩国 💡 毒舌点评 论文以鲜明的"探测优先于微调"的评估哲学切入，提出的 CGP 和 BAT 形成了一套从评估到模型设计的闭环，实验维度相当完整且可复现性意识强。不过，其 AS-2M 的最终微调性能未能超越已报告 SOTA（Reported SSLAM 50.2 vs BAT 48.85），且性能提升的来源存在一定"调参红利"嫌疑，部分结论的泛化性仍待更严格的跨框架验证。 ...

📄 Bridging the Stability-Expressivity Gap: Synthetic Data Scaling and Preference Alignment for Low-Resource Spoken Language Models #语音合成 #后训练 #自监督学习 #低资源 #多语言 8/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.4/0.5 | 工程 1.1/1.5 🔥 8/10 | 前25% | #语音合成 | #后训练 | #自监督学习 #低资源 | arxiv 👥 作者与机构 第一作者：Yizhong Geng（北京邮电大学） 通讯作者：Xiaoyu Shen（Eastern Institute of Technology, Ningbo） 作者列表：Yizhong Geng（北京邮电大学）、Yanliang Li（Beijing Logic Intelligence Technology）、Jinghan Yang（北京邮电大学）、Tianhan Jiang（University of California, USA）、Boxun An（Northwestern University, USA）、Ya Li（北京邮电大学）、Xiaoyu Shen（Eastern Institute of Technology, Ningbo） 💡 毒舌点评 本文敏锐地抓住低资源SLM中合成数据泛滥引发的“越稳定越单调”的分布塌缩现象，并将Flow-Matching架构的内在解耦设计巧妙地转化为无需人工标注的自对齐信号，思路相当漂亮。然而，TDSC对目标语言ASR模块的硬依赖限制了其在最极端的语言上的用武之地，且整个pipeline的计算开销在资源受限场景下的性价比分析仍然缺席。 ...

📄 HyperPotter: Spell the Charm of High-Order Interactions in Audio Deepfake Detection #音频伪造检测 #自监督学习 #图神经网络 7.9/10 | 创新 1.1/2 | 严谨 1/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 1.4/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 7.9/10 | 前25% | #音频伪造检测 | #自监督学习 | #图神经网络 | arxiv 👥 作者与机构 第一作者：Qing Wen（浙江大学区块链与数据安全全国重点实验室，浙江大学上海高等研究院） 通讯作者：Zhongjie Ba（浙江大学，杭州高新技术产业开发区（滨江）区块链与数据安全研究院），Peng Cheng（浙江大学，杭州高新技术产业开发区（滨江）区块链与数据安全研究院） 作者列表：Qing Wen（同上），Haohao Li（浙江大学），Zhongjie Ba（浙江大学），Peng Cheng（浙江大学），Miao He（浙江大学），Li Lu（浙江大学），Kui Ren（浙江大学） 💡 毒舌点评 本文利用O-信息理论优雅地诊断了音频深伪检测中的高阶交互缺失问题，并祭出超图与原型学习这对组合拳，立意颇有新意，实验覆盖也堪称广博。然而，方法本质上仍是Wav2Vec2-AASIST的“嫁接增强版”，原型引导与关系放大的协同缺乏深层理论论证，更像依赖工程直觉的拼装。更致命的是，在强压缩场景下性能反而开倒车，作者对何时该用高阶、何时该信冗余仍语焉不详，让整个框架的“协同”假设显得脆弱而不可控。 📌 核心摘要 要解决的问题：现有音频深伪检测方法依赖局部或成对关系，忽视了由多个频谱-时间分量联合涌现的高阶协同交互（HOIs）。论文旨在显式建模HOIs，以捕获更具泛化性的伪造痕迹。 方法核心：提出HyperPotter框架，以超图（hypergraph）代替传统成对图。利用由类感知原型库引导的模糊C均值（FCM）聚类构建软超边捕获高阶关系，并设计了关系伪影放大模块以增强微弱伪造线索。 与已有方法相比的新在哪里：首次引入O-信息量化音频深伪检测中的冗余-协同模式，为高阶关系建模提供理论动机。将对称成对的图学习扩展为非成对的超图学习，并创新性地引入跨批次原型记忆机制，为FCM超边构建注入长期结构先验。 主要实验结果：在仅用ASVspoof2019 LA训练的条件下，HyperPotter在13个测试集上相比Wav2Vec2-AASIST基线，平均相对EER降低12.68%，在性能改善的11个集上，该降幅高达22.15%。具体而言，In‑the‑Wild EER从7.58%降至5.72%，FoR从4.24%降至3.89%，LibriVoc EER从6.96%降至2.55%。但在重度编解码场景ASVspoof2021 LA（2.48%→3.94%）和ASVspoof5（13.38%→16.04%）上性能出现明显退化。 实际意义：证明了高阶关系建模能有效捕获可迁移的伪造痕迹，作为一种“协同专家”，它可在多专家系统中与“冗余专家”互补，提升复杂场景下的整体检测鲁棒性。 主要局限性：强编解码/信道失真会“掩盖”高阶依赖，导致该方法退化成噪声源；模型在参数量近乎不变的情况下，训练和推理开销显著增加，部署友好度差。 🔗 开源详情 代码：https://github.com/HyperPotter/HyperPotter 模型权重：论文及GitHub仓库声明提供了预训练模型，位于上述仓库中。 数据集：论文使用多个公开数据集（ASVspoof 2019 LA, 2021 LA/DF, 2024/5, In-the-Wild, FoR, Codecfake, ADD 2022/2023 系列, LibriVoc, SONAR 等），需遵循各数据集官方协议获取。 复现材料：GitHub仓库提供代码、预训练模型及详细附录（超参、增强策略），复现可行性高。 关键依赖项目： Wav2Vec2-AASIST (基线): https://github.com/TakHemlata/Wav2Vec2-AASIST XLS-R: https://github.com/facebookresearch/fairseq/tree/main/examples/wav2vec RawNet2: https://github.com/asvspoof-challenge/2021/tree/main/LA/Baseline-RawNet2 RawBoost: https://github.com/TakHemlata/RawBoost MUSAN: https://www.openslr.org/17/ 🏗️ 方法概述和架构 HyperPotter将音频深伪检测形式化为图级分类任务。 ...

📄 NeuroCLUS: A Foundation Model with Functional Clustering for Intracranial Neural Decoding #语音识别 #自监督学习 #预训练 #图神经网络 #医疗音频 6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 0.5/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6/10 | 前50% | #语音识别 | #自监督学习 | #预训练 #图神经网络 | arxiv 👥 作者与机构 第一作者：Hui Zheng（Independent Researcher） 通讯作者：Hui Zheng（icml2026.neuroclus@gmail.com） 作者列表：Hui Zheng（Independent Researcher）、Hai-Teng Wang（Independent Researcher） 💡 毒舌点评 这项工作敏锐地捕捉到了现有iEEG基础模型在tokenization粒度上的核心矛盾——要么太细（单通道）要么太粗（全脑聚合），提出的两阶段功能聚类策略直击要害，在Du-IN语音生成任务上甚至大幅超越了专门的SOTA模型（65.92% vs 62.70%），这点值得称赞。然而，完全忽略解码任务中至关重要的时序动态聚类（即功能模块可能随时间漂移这一基本神经科学事实），仅用静态的功能依赖图指导token聚合，导致模型对复杂认知过程的适应性存疑；同时“独立研究者”的身份与高达10k小时的预训练数据和8张A100的算力需求存在一定张力，缺少代码和模型权重也使得“SOTA”声称暂时难以验证。 ...

📄 OmniVideo-R1: Reinforcing Audio-visual Reasoning with Query Intention and Modality Attention #音视频问答 #强化学习 #后训练 #对比学习 #自监督学习 7.5/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 ✅ 7.5/10 | 前25% | #音视频问答 | #强化学习 | #后训练 #对比学习 | arxiv 👥 作者与机构 第一作者：Zhangquan Chen（清华大学，THU；实习于腾讯HY） 通讯作者：Ruqi Huang（清华大学深圳国际研究生院，sz.tsinghua.edu.cn）、Jiale Tao（腾讯HY，jialetao.std@gmail.com） 作者列表：Zhangquan Chen（清华大学）、Jiale Tao（腾讯HY）、Ruihuang Li（腾讯HY）、Yihao Hu（湖南大学，HNU）、Ruitao Chen（腾讯HY）、Zhantao Yang（腾讯HY）、Xinlei Yu（新加坡国立大学，NUS）、Haodong Jing（西安交通大学，XJTU）、Manyuan Zhang（香港中文大学，CUHK）、Shuai Shao（腾讯HY）、Biao Wang（腾讯HY）、Qinglin Lu（腾讯HY）、Ruqi Huang（清华大学深圳国际研究生院） 💡 毒舌点评 这篇论文精准地抓住了“多模态模型一加音频就变傻”的痛点，提出的两阶段RL框架，特别是用自监督时间-字幕对齐来驱动查询密集型局部定位，设计思路相当巧妙，拿掉了过程级标注这个昂贵的门槛。然而，死穴和亮点一样突出：整个奖励函数几乎把身家性命都押在了外部judge模型的质量上，论文对judge偏差传播和reward hacking的风险几乎没有展开讨论，这让人对训练信号的可靠性打上一个大大的问号；更致命的是，所有代码、模型权重和训练数据均未开源，号称“第一个RL框架”却把复现门槛拉满，使得那些漂亮的SOTA数字目前只能被视为“纸上SOTA”，在第三方验证之前说服力大打折扣。 ...