自监督学习

📄 HybridCodec: Modeling Discrete and Continuous Representations for Efficient Speech Language Models #语音合成 #语音识别 #自监督学习 #高效推理 6.5/10 ✅ 6.5/10 | 前50% | #语音合成 | #自监督学习 | #语音识别 #高效推理 | arxiv 👥 作者与机构 论文作者包括：Artem Ploujnikov (Concordia University, Canada), Francesco Verdini (Sapienza University of Rome, Italy), Samir Sadok (Inria, Université Grenoble Alpes CNRS, LJK, France), Mirco Ravanelli (Mila, Quebec AI Institute, Canada; Concordia University, Canada)。机构包括Mila、Concordia大学、Sapienza大学和Inria。 💡 毒舌点评 关于“首个”的声明过于绝对：作者声称是首个在单一Transformer架构中统一离散和连续细化的方法。然而，离散-连续混合建模在强化学习、机器人学、文本扩散等领域已有探索（论文在Related Work中提及）。本文的贡献在于将其应用于统一的语音处理架构，而非“首创”了混合范式本身。论文应更精确地界定其贡献范围。 连续残差预测的“单步NAR”假设可能过于简化：论文声称通过单步NAR预测连续残差即可恢复高保真细节。这一假设在低比特率下可能成立，但在更复杂的声学环境或更长的生成序列中，单步预测的容量可能不足以建模所有丢失的连续信息。论文缺乏对这一关键设计选择的消融研究或理论分析。 实验评估集中且缺乏深度分析：虽然评估了三项任务，但所有实验均在单一数据集（LibriTTS）和单一评估设置下进行。缺乏对模型在更嘈杂环境、多说话人、跨语言场景下的鲁棒性验证。此外，论文未深入分析为何连续残差能提升ASR性能（是提供了更好的声学特征还是仅仅是模型容量增加？），结论显得略微表面。 对计算成本的讨论不完整：论文强调减少AR步数，但未全面报告HybridCodec引入额外残差编码器/解码器路径所带来的训练和编码开销，以及HybridLM中处理两种模式的额外计算成本。效率提升的净收益需要更全面的分析。 📌 核心摘要 离散音频表示在构建多模态文本-音频系统及将音频能力集成到大型语言模型中越来越流行，但其量化过程会不可避免地导致信息损失，影响下游任务性能。为解决此问题，本文提出了一种结合时序压缩离散token与降维连续残差的新颖混合方法。该框架包含一个混合离散-连续Focal调制编解码器（HybridCodec）和一个混合Transformer（HybridLM）。HybridCodec在FocalCodec的基础上增加了一个并行路径，用于提取和压缩量化后丢失的连续残差信息。HybridLM则通过自适应层归一化（AdaLN）机制，在一个统一的Transformer中，将用于语义结构建立的自回归（AR）离散token生成阶段，与用于高保真声学细节恢复的非自回归（NAR）连续残差预测阶段相耦合。实验结果表明，在LibriTTS数据集上，该方法在极低帧率（如6.25 Hz）下的重合成、TTS和ASR性能显著优于离散-only基线，尤其在说话人相似度保持和可懂度（dWER/WER）降低方面优势明显，同时大幅减少了自回归推理步数。 ...

语音/音乐/音频论文速递 2026-06-29 共分析 16 篇论文 ⚡ 今日概览 📥 抓取 16 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 4篇 ████ #语音合成 2篇 ██ #说话人识别 2篇 ██ #语音质量评估 1篇 █ #数据增强 1篇 █ #语音情感识别 1篇 █ #多模态模型 1篇 █ #语音增强 1篇 █ 📊 论文评分排行榜（16 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Screening Matters: A Comparative Study of Conventional 8.4分 前25% #语音质量评估 🥈 From General-Purpose Audio Tagging to Spatially Grounde 8.3分 前50% #数据增强 🥉 HPRO: Hierarchical Progressive Reward Optimization via 8.2分 前50% #语音合成 4. Learning from Annotation Uncertainty: Entropy-Aware Cur 7.4分 前50% #语音情感识别 5. MER-R1: Multimodal Emotion Reasoning via Slow-Fast Thin 7.4分 前25% #多模态模型 6. A Comparison of Fusion Techniques for Multi-Modal Human 7.3分 前50% - 7. Do Speech Emphasis Models Generalize across Languages a 7.0分 前25% #语音识别 8. Advancing Speaker-Based Vocal Effort Classification wit 6.8分 前50% #语音增强 9. HybridCodec: Modeling Discrete and Continuous Represent 6.5分 前50% #语音合成 10. Grammar-Guided Hierarchical Parsing for Long-form Audio 6.2分 前50% #音频事件检测 11. Room for Error: Large-Scale Simulation of Over-the-Air 6.2分 前50% #语音识别 12. What Was That Again? Certified Robustness for Automatic 6.2分 前50% - 13. Dialogue to Detection: A Multimodal Hybrid NLP Pipeline 6.0分 后50% #说话人识别 14. From Black-Box to Clinical Insight: A Multi-Stage Expla 6.0分 前50% #语音识别 15. DG^VoiC: Speaker Clustering for Fraud Investigation und 5.7分 前50% #说话人识别 16. A Survey of Automated Presentation Coaching: Systems, M 5.4分 后50% #语音识别 📋 论文列表 🥇 Screening Matters: A Comparative Study of Conventional and Crowdsourced Listening Tests 8.4/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.3/1.5 ...

📄 wav2tok 2.0: Scalable Audio Tokenization Maintaining Explicit Pairwise Token Alignment for Efficient Audio Retrieval #音频检索 #自监督学习 6.4/10 | 创新 1/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 6.4/10 | 前50% | #语音检索 | #对比学习 | #音频检索 #自监督学习 | arxiv 👥 作者与机构 Adhiraj Banerjee (印度理工学院坎普尔分校电气工程系, adhirajbanerjee35@gmail.com) Vipul Arora (印度理工学院坎普尔分校电气工程系, vipular@iitk.ac.in; 鲁汶大学电气工程系, vipul.arora@kuleuven.be) 💡 毒舌点评 这篇论文是典型的“站在巨人肩上做微创新”的工作。它巧妙地将BEST-STD的稳健骨架与wav2tok的显式对齐思想缝合在一起，形成了一个看似更完整的方案。核心卖点——那个DTW对齐的帧级预测损失——确实有点巧思，弥补了CTC损失过于粗糙的短板。然而，整个工作的创新边界相当模糊：它更像是BEST-STD的一个特定领域适配插件，而非一个开创性框架。实验设置扎实，结论也自洽，但“显著优于”的宣称在某些指标上的提升幅度（例如，MTWV从0.61到0.66）是否足以支撑“scalable”和“maintaining explicit pairwise alignment”这两个宏大标题，需要打个问号。本质上，这是一篇工程优化大于科学突破的论文，适合作为语音检索工具箱里的一件新工具，但离顶会“改变范式”的期待还有距离。 📌 核心摘要 本文提出了wav2tok 2.0，一种用于查询-示例语音关键词检测（QbE-STD）的可扩展、对齐感知的语音分词器。它继承了BEST-STD的双向Mamba编码器和向量量化框架，在第一阶段通过对比学习预训练获得判别性表示。第二阶段是其核心创新：在保留BEST-STD对比损失和承诺损失的基础上，引入两个显式的token对齐监督信号：1）沿用wav2tok的CTC序列对齐损失，但通过自适应加权策略稳定其训练；2）提出一种新颖的DTW对齐帧级token预测损失，为每个帧提供来自对齐正样本的细粒度目标。在LibriSpeech和未见TIMIT数据集上的实验表明，wav2tok 2.0在token一致性（Jaccard相似度）和QbE-STD检索性能（MAP、MRR、MTWV）上均优于基线BEST-STD、原始wav2tok以及多种通用语音分词器，证明了显式对齐目标对检索任务的有效性。 ...

📄 End-to-End Voice Intent Recognition for Spontaneous Human-Drone Interaction with Naive Users #端到端 #自监督学习 #知识蒸馏 #低资源 7/10 | 创新 1.8/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7/10 | 前50% | #端到端 | #自监督学习 | #知识蒸馏 #低资源 | arxiv 👥 作者与机构 Allan Henry1,2,3, Solange Rossato1, Christian Graff2, Sylvain Huet3, Jose-Ernesto Gomez-Balderas3。 1LIG, Univ. Grenoble Alpes, Grenoble, France；2LPNC, Univ. Grenoble Alpes, Grenoble, France；3GIPSA-lab, Univ. Grenoble Alpes, Grenoble, France。 通讯邮箱：firstname.lastname@univ-grenoble-alpes.fr。 ...

📄 Frequency-Aware Self-Supervised Music Representation Learning #自监督学习 #音乐信息检索 #计算机视觉 6.8/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 6.8/10 | 前50% | #音乐信息检索 | #自监督学习 | #计算机视觉 | arxiv 👥 作者与机构 作者：Yicheng Gu (学生会员，IEEE), Junan Zhang, Jerry Li, Zhizheng Wu (高级会员，IEEE), Lauri Juvela (会员，IEEE)。机构：Jerry Li, Yicheng Gu 与 Spellbrush (东京)；Lauri Juvela 与阿尔托大学声学实验室；Junan Zhang, Zhizheng Wu 与香港中文大学（深圳）数据科学学院；Yicheng Gu 同时隶属以上三个机构。 ...

📄 Joint Residual Reweighting for Classifier Free Guidance in Flow-Matching Zero-Shot TTS #语音合成 #语音增强 #生成对抗网络 #自监督学习 #生成模型 #多模态模型 7.5/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前50% | #语音合成 | #生成对抗网络 | #语音增强 #自监督学习 | arxiv 👥 作者与机构 作者：Runwu Shi, Yujin Wang, Hongjin Song, Chunxiang Jin 机构：Institute of Science Tokyo, Wuhan University, Beijing Institute of Technology, Ant Group ...

📄 MJEPA: A Simple and Scalable Joint-Embedding Predictive Architecture for Audio-Visual Learning #自监督学习 7.4/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 7.4/10 | 前25% | #自监督学习 | #自监督学习 | arxiv 👥 作者与机构 Meta FAIR (Revant Teotia, Adrien Bardes, Michael Rabbat, Sumit Chopra, Matthew Muckley, Nicolas Ballas), New York University (Revant Teotia) 💡 毒舌点评 论文提出了一个“简单”的框架，但其消融实验和超参数配置可一点也不简单。将一个巨大的ViT-g模型（1B参数）在混合数据集上训练，本身就需要巨大的计算资源，这与“简单”的宣称形成微妙对比。虽然结果不错，但将成功很大程度归功于“跨模态预测”这一简单机制，可能忽略了精心设计的训练技巧（如多阶段学习率、损失缩放）和规模化数据本身带来的红利。此外，结论中称该方法为“模态无关的统一架构”，但目前只在音频-视频这对相对规整的共现模态上验证，距离真正通用的多模态框架还有距离。未来工作部分提到的医学影像、机器人学等更多是画饼，缺乏初步论证。 ...

📄 Phoneme-Level Mispronunciation Screening in Polish-Speaking Children with an Explainable Assistant #语音识别 #语音合成 #自监督学习 #低资源 #数据增强 6.2/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.5/1.5 ✅ 6.2/10 | 前50% | #语音识别 | #自监督学习 | #语音合成 #低资源 | arxiv 👥 作者与机构 作者：Milosz Dudek, Kamil Hemmerling, Maciej Kwarciak, Maria Stroinski, Mateusz Pensko, Kamil Kowalewski, Leonid Pavlovskyi, Sebastian Jurczak, Anna-Mariia Vitkovska, Zuzanna Miodonska, Natalia Mocko, Michal Krecichwost。 机构：1 AGH University of Krakow, Cracow, Poland; 2 SoftServe, Cracow, Poland; 3 Department of Biomedical Engineering, Silesian University of Technology, Poland; 4 Institute of Linguistics, Faculty of Humanities, University of Silesia in Katowice, Poland. ...

📄 Supervised Post-training of Speech Foundation Models for Robust Adaptation in Speech Deepfake Detection #语音伪造检测 #自监督学习 #参数高效微调 #低资源 #鲁棒性 7.6/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 7.6/10 | 前50% | #语音伪造检测 | #自监督学习 | #参数高效微调 #低资源 | arxiv 👥 作者与机构 作者：Zihan Pan, Hardik Sailor, Jinyang Wu 机构：新加坡科技研究局 (A*STAR) 信息通信研究院 (I2R) 💡 毒舌点评 这篇论文在特定赛道（单模型无增强）刷了SOTA，看起来不错。但仔细一想，这所谓的“监督后训练”不就是个精心设计的、分阶段的微调策略吗？创新性被高估了。论文把“混合帧扰动”包装得很厉害，但本质是数据层面的一种增强手段，只是换了个名字叫“post-training”。更让人皱眉的是，方法论部分写得像在绕迷宫，公式列了一堆但关键直觉阐述不清，比如为什么帧级标签分配要依据中心样本（公式3）？这个设计选择缺乏足够的动机论证。另外，在ASV21上只比别人好了一丢丢（gap从0.34降到0.16），但论文却大书特书其“平衡的鲁棒性”，有过度claim之嫌。总之，这是一篇工程上做了不少工作（值得肯定），但理论洞察和叙事都有提升空间的论文。 ...

📄 What Does a Pathological Speech Assessment Model Know about Acoustic Features? A Case Study on Oral and Oropharyngeal Cancer Patients #语音可懂度评估 #自监督学习 6.4/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 ✅ 6.4/10 | 前50% | #语音可懂度评估 | #自监督学习 | arxiv 👥 作者与机构 Tuan Nguyen, Corinne Fredouille (阿维尼翁大学，LIA，UPR 4128，法国) Alain Ghio, Muriel Lalain (艾克斯-马赛大学，CNRS，LPL，法国) Virginie Woisard (图卢兹医院 Larrey，法国；UT2J，神经心理语言学实验室，法国) ...

📄 A Fusion-Aware Two-Stage Framework for Mispronunciation Detection and Diagnosis in Low-Resource Modern Standard Arabic #语音识别 #低资源 #自监督学习 #集成学习 7/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7/10 | 前25% | #语音识别 | #自监督学习 | #低资源 #集成学习 | arxiv 👥 作者与机构 论文作者包括Yang, Zhang, Deng, Li, Dang, Huang, Chen, Benesty, Jing, Shuqing, Yongyi, Pan, Ting, Gongping, Jingdong, Jacob。主要机构为武汉大学、墨尔本大学、西北工业大学和魁北克大学。 ...

📄 Audio–Image Alignment as a Continued-Pretraining Stage Improves Low-Resource ASR #语音识别 #自监督学习 #对比学习 #低资源 #多模态模型 6.2/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.2/1.5 | 复现 0.4/0.5 | 工程 0.6/1.5 ✅ 6.2/10 | 前50% | #语音识别 | #自监督学习 | #对比学习 #低资源 | arxiv 👥 作者与机构 作者：Sujith Pulikodan, Nihar Desai, Prasanta Kumar Ghosh。 机构：论文中未明确说明作者所属机构。根据作者姓名和研究领域推测，可能来自印度的相关研究机构（例如印度科学研究所 IISc Bangalore）。 💡 毒舌点评 改进幅度的“相对性”：论文在FLEURS上的21.26%相对WER降低听起来很惊人，但这主要是因为基线模型在FLEURS（未见语言）上表现极差（WER 67.78%）。从绝对数值看，最佳模型将WER从0.68降到0.53，仍属于“不可用”到“勉强可读”的范畴。在资源更丰富的Vaani上，改进仅在1-2%之间，这种“蚊子腿”级别的增益在实际部署中几乎无感。 数据集依赖性过强：核心假设——易获取的音频-图像对——严重依赖于Vaani这个特定收集范式（图片提示说话）。在绝大多数真实低资源场景中，这种精心配对的多模态数据并不存在。方法泛化能力存疑。 成本转嫁而非消除：声称“无需转录”，但获取数十万小时高质量且配对的音频-图像数据，其成本真的远低于获取转录文本吗？Vaani数据集本身的收集就是一项巨大的工程。这更像是将一种稀缺资源（转录文本）的成本转嫁到了另一种稀缺资源（配对多模态数据）上。 消融不足：声称改进来自“对齐阶段”而非更多数据，但对比实验仅用了三个检查点的微小差异。更彻底的消融应包括：a) 使用相同音频但随机配对图像的模型；b) 使用相同音频但无图像（纯文本描述）的模型。现有证据链不够强。 工程细节模糊：虽然描述了架构，但关键超参数（如对齐阶段各组件的学习率缩放因子0.05的具体依据）未解释。三种对齐配置的对比更像是超参搜索，而非对不同模态交互机制的深度分析。 📌 核心摘要 本文针对低资源语音识别问题，提出了一种在自监督音频预训练和监督微调之间引入“音频-图像对齐”的中间适应阶段。该方法利用预先冻结的视觉编码器（如SigLIP2、Qwen3-VL）提取图像语义特征，通过对比学习（SigLIP损失）训练音频编码器，使其输出表示与图像特征对齐，全程无需转录文本。实验在Vaani（48种语言）和FLEURS（14种南亚语言）数据集上进行。结果表明，经过对齐的模型在两个基准上均优于直接微调的基线，尤其是在FLEURS这种更极端低资源场景下，最佳模型的词错误率（WER）实现了21.26%的相对下降，且统计检验显示该提升具有显著性。论文认为，此对齐阶段有效提升了音频表示的鲁棒性和泛化能力。 ...

📄 Autoencoder based optimized SSL representations: Complexity Minimization and improved Dysarthric ASR #语音识别 #自监督学习 #低资源 5.5/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.7/1.5 📝 5.5/10 | 前50% | #语音识别 | #自监督学习 | #低资源 | arxiv 👥 作者与机构 Paban Sapkota (作者), Hemant Kumar Kathania (作者), Mikko Kurimo (作者), Shrikanth Narayanan (作者), Sudarsana Reddy Kadiri (通讯作者) ...

📄 Acoustic Landmark Detector based on Conformer and HuBERT #Conformer #自监督学习 5.5/10 | 创新 1/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 📝 5.5/10 | 前50% | #语音识别 | #Conformer | #自监督学习 | arxiv 👥 作者与机构 作者：Mateo Cámara, José Luis Blanco, Juan Ignacio Godino-Llorente, Jeung-Yoon Choi, Stefanie Shattuck-Hufnagel 机构： Signal Processing Applications Group, Information Processing & Telecomm. Center, Universidad Politécnica de Madrid, Spain Speech Communication Group, Research Laboratory of Electronics, Massachusetts Institute of Technology, USA Bioengineering and Optoelectronics Lab., Universidad Politécnica de Madrid, Spain 💡 毒舌点评 这是一篇扎实的、以实验为导向的系统性工作，将Conformer和预训练SSL模型应用于一个相对小众但具有语言学基础的任务。优点在于实验配置全面（14种），消融研究清晰，并提出了简单有效的高斯软标签策略来处理标注模糊性。然而，论文的“新意”主要在于组合和验证，而非提出一个颠覆性的新方法。其最大软肋在于评估体系：1）自建语料库（仅3人，孤立语料）与主流任务数据（如TIMIT的连续语音）脱节；2）提出的F1@20ms指标虽然合理，但与过往工作（LER）不直接可比，使得“SOTA”的宣称显得苍白。与Auto-Landmark的对比部分，虽然在TIMIT上做了零样本迁移，但使用了不同的地标体系（8类 vs 5类）和指标（LER），且结果差距巨大，这反而削弱了其方法泛化能力的说服力。论文对自身局限性的承认是诚实的，但也在一定程度上限制了工作的影响力。最终得分反映了一个“有用但不够惊艳”的定位。 ...

📄 Backdoor Attacks on Speech Emotion Recognition via TTS-Generated Poisoning #语音情感识别 #语音合成 #自监督学习 7/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7/10 | 前50% | #语音情感识别 | #自监督学习 | #语音合成 | arxiv 👥 作者与机构 作者：Yongbin Huang, Xihao Xie, Jia Zhang 机构：未在提供的论文片段中明确说明。 💡 毒舌点评 这篇论文精准地戳中了当前语音情感识别（SER）系统，尤其是基于自监督预训练模型的流水线，在数据供应链上的一个致命软肋：对TTS生成投毒样本的毫无防备。作者们的工作动机非常清晰且现实，指出了TTS技术如何极大降低了发起高效后门攻击的门槛。实验设计也比较扎实，覆盖了多语言数据集和多种主流自监督模型，验证了攻击的普遍脆弱性。然而，论文的“系统性”研究在深度上仍有欠缺：对触发器的声学特性、为何TTS合成的特定片段（一个“标准中性TTS语音”）能成为有效触发器，缺乏更底层的分析。此外，威胁模型过于理想化（“能注入TTS样本”），对攻击在现实数据收集流程中如何实施的讨论几乎为空白。最后，讨论部分草草收场，面对已证实的严重漏洞，却没有提供任何有意义的防御思路或后续研究方向，这极大地削弱了工作的完整性。总的来说，一篇合格的、指明了问题的工作，但离一篇令人印象深刻、引领方向的顶会论文还有距离。 📌 核心摘要 本文首次系统性地研究了针对语音情感识别（SER）系统的、基于文本转语音（TTS）生成投毒样本的后门攻击。作者提出了一种隐蔽的低能量声学触发器，并构建了包含触发器生成、后门注入（波形域叠加）和推理阶段激活的攻击框架。通过在四个公开情感语音数据集（ANAD, CaFE, CASIA, JL Corpus）上对四种自监督语音模型（wav2vec2-base, wavlm-base, data2vec-base, unispeech-sat-base）进行广泛实验，证明了该攻击的有效性（高攻击成功率）、隐蔽性（干净准确率下降小）和跨模型/跨数据集迁移性。研究揭示了现代SER流水线的关键安全漏洞，并表明TTS技术显著降低了发起此类攻击的门槛，亟需开发专门的防御机制。 ...

📄 Bridging Self-Supervised Learning and Speech Enhancement: A Wav2Vec2-Conditioned Framework #语音增强 #自监督学习 #扩散模型 7.5/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前25% | #语音增强 | #自监督学习 | #扩散模型 | arxiv 👥 作者与机构 作者：Shubham Ojha, Carol Espy-Wilson 机构：Institute for Systems Research, University of Maryland, College Park 💡 毒舌点评 这篇工作像个精心包装的“拼盘”：拿现成的扩散模型（StoRM）和自监督特征（Wav2Vec2.0），用一层简单的FiLM胶水粘起来。作者声称的“理论推导”更像是给一个简单的指数平滑操作找了个高大上的借口——最终α还是得靠经验选定（α=1）。实验设计存在明显短板：与表1中其他SOTA（如UNIVERSE++）的对比避重就轻，只强调PESQ的提升而淡化其他指标的劣势或持平。消融实验不够深入，例如仅探讨了FiLM位置，却未深入分析Wav2Vec不同层特征或不同SSL模型的影响。最要命的是完全封闭，不提供代码，让“可复现性”沦为一句空话。整体来看，想法直接，工程上有一定价值，但学术贡献的深度和完整性堪忧。 📌 核心摘要 本文提出了一种将冻结的Wav2Vec 2.0自监督语音特征注入扩散语音增强模型（StoRM）的新框架。核心是在U-Net的瓶颈层使用特征线性调制（FiLM），用从含噪语音提取的语音特征来调制扩散过程的中间表示。为了在有限的内存开销下处理时间序列特征，作者基于线性高斯状态空间模型的最优贝叶斯因果估计器推导出指数平滑策略来聚合FiLM系数。在VoiceBank-DEMAND和LibriMix基准测试上，该方法相比于未使用条件化的StoRM基线，在PESQ等感知指标上取得了显著提升（最高+0.4），证明了自监督特征对扩散语音增强的有效引导作用，但SI-SDR指标有轻微下降，计算开销略有增加。 ...

📄 Bridging the Age Gap: Towards Detecting Neural Audio Codec Synthesized Elderly Speech Deepfake #语音伪造检测 #多模态模型 #自监督学习 #数据集 8.6/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 🔥 8.6/10 | 前50% | #语音伪造检测 | #自监督学习 | #多模态模型 #数据集 | arxiv 👥 作者与机构 作者: Chetia Phukan, Mujtaba Akhtar, Orchid Girish, Mohd Lee, Chi-Chun Lee 机构: 1 BIIC Lab, NTHU, Taiwan, 2 UPES, India, 3 VBSPU, India 邮箱: orchidchetiaphukan1@gmail.com, cclee@ee.nthu.edu.tw ...

📄 CoughPhase-CLR: Designing an acoustics-informed foundation model for coughing sound classification #对比学习 #自监督学习 10/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.3/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 10/10 | 前10% | #对比学习 | #对比学习 | #自监督学习 | arxiv 👥 作者与机构 Marius Moldovan, Andreas Triantafyllopoulos, Anton Batliner, Björn W. Schuller: CHI – the Chair of Health Informatics at the TUM University Hospital, Munich, Germany; MCML – the Munich Center for Machine Learning and MDSI – the Munich Data Science Institute, Munich, Germany. Björn W. Schuller: GLAM – the Group on Language, Audio, & Music at Imperial College London, London, United Kingdom. Thomas M. Berghaus: University Hospital Augsburg at the University of Augsburg, Augsburg, Germany and Medical Faculty, Ludwig Maximilians University of Munich, Munich, Germany. 💡 毒舌点评 这篇论文像一个精心设计但规模有限的临床试验。想法不错——用咳嗽的“物理节奏”来教AI听咳嗽，比随机切片要合理。但现实很骨感：预训练数据量仅为OPERA的十分之一，在最重要的COPD诊断任务上，所有模型都像在扔硬币（最高57%），远低于语音方法的84%。作者很诚实地承认了问题，但“诚实”不能替代“解决”。私有COPD-DE数据集只有48个病人、166条录音，这样的结论在临床意义上非常脆弱。最终，论文更像是一次扎实的、关于“当前咳嗽声学分析天花板”的演示，而非一个能实际落地的诊断工具。代码和模型权重的开源是亮点，为后续研究铺了路，但路还很长。 ...

📄 ESPnet3: Infrastructure for Scalable Speech and Audio Research in the Foundation Model Era #语音识别 #语音合成 #语音增强 #说话人识别 #语音翻译 #语音分离 #语音编码 #自监督学习 #数据增强 #参数高效微调 #迁移学习 7.5/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前25% | #语音识别 | #自监督学习 | #语音合成 #语音增强 | arxiv 👥 作者与机构 Masao Someki (Carnegie Mellon University, Pittsburgh, USA) Alexander Polok (Brno University of Technology, Brno, Czechia) Carlos Carvalho (Instituto Superior Técnico, Lisbon, Portugal) Chyi-Jiunn Lin (Hanyang University, Seoul, South Korea) Da-Hee Yang (Hitachi Astemo, Tokyo, Japan) Jiatong Shi (Shanghai Jiao Tong University, Shanghai, China) Jinchuan Tian (Carnegie Mellon University, Pittsburgh, USA) Nelson Enrique Yalta Soplin (Carnegie Mellon University, Pittsburgh, USA) Samuele Cornell (Carnegie Mellon University, Pittsburgh, USA) Siddhant Arora (Carnegie Mellon University, Pittsburgh, USA) Francisco Teixeira (Instituto Superior Técnico, Lisbon, Portugal) Wei Wang (Shanghai Jiao Tong University, Shanghai, China) William Chen (Carnegie Mellon University, Pittsburgh, USA) Alberto Abad (Instituto Superior Técnico, Lisbon, Portugal) Chenda Li (Carnegie Mellon University, Pittsburgh, USA) Shinji Watanabe (Carnegie Mellon University, Pittsburgh, USA) Wangyou Zhang (Shanghai Jiao Tong University, Shanghai, China) ...

📄 How Well Do Self-Supervised Speech Models Encode Age and Gender in Children's Speech? A Layer-Wise Analysis Across Multiple Architectures #自监督学习 #迁移学习 9/10 | 创新 1.5/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 9/10 | 前50% | #自监督学习 | #自监督学习 | #迁移学习 | arxiv 👥 作者与机构 作者：Abhijit Sinha, Hemant Kumar Kathania, Mohit Joshi, Harishankar Kumar, Shrikanth Narayanan, Sudarsana Reddy Kadiri。 机构：印度锡金国立技术学院 (National Institute of Technology Sikkim)，美国南加州大学信号分析与解释实验室 (Signal Analysis and Interpretation Lab, University of Southern California)。 ...