语音识别

📄 Unified Audio Intelligence Without Regressing on Text Intelligence #音频理解 #语音识别 #语音翻译 #语音合成 #音频生成 #多模态模型 #强化学习 6.8/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 0.5/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.2/0.5 | 工程 1.3/1.5 ✅ 6.8/10 | 前50% | #音频交互 | #多模态模型 | #音频理解 #语音识别 | arxiv 👥 作者与机构 论文摘要中未提供作者列表，无法确定具体作者与所属机构。 💡 毒舌点评 亮点在于将统一音频智能锚定在 30B MoE 文本 LLM 上，并明确提出“不退化文本智能”这一核心目标。但摘要几乎全篇堆砌任务名称与数据规模，却未给出任何可验证的定量对比数字，这使得 SOTA 宣称显得空洞。这种“全功能宣传册”式的摘要削弱了技术报告的严谨感。 📌 核心摘要 本文提出 Audex，一个基于 30B MoE 文本 LLM（Nemotron-Cascade-2-30B-A3B）的统一音频-文本大语言模型。采用单一 Transformer 解码器统一处理音频与文本：音频输入经编码器提取特征，通过投影映射到文本嵌入空间；量化的离散音频输出 token 与文本 token 混合，一同送入自回归解码生成。训练包括三阶段：（1）在 curated 的音频-文本数据集（157.4B 音频 token + 320.5B 文本 token）上进行多阶段监督训练；（2）纯文本 Cascade RL，用于强化文本对齐与推理能力，防止文本退化；（3）多域 on-policy 蒸馏，稳定多模态表现。论文宣称模型在音频理解、语音识别/翻译、TTS、音频生成与语音到语音生成等任务上达到 SOTA，同时文本推理、对齐、知识、长上下文与智能体能力仅有微弱甚至零退化。模型权重已释放。 ...

📄 An Exterior Method for Nonnegative Matrix Factorization #语音识别 6.8/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.7/1 | 影响 0.3/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 6.8/10 | 前50% | #音频分类 | #语音识别 | arxiv 👥 作者与机构 第一作者：Qiujing Lu（UCLA ECE，共同一作） 第二作者：Tonmoy Monsoor（UCLA ECE，共同一作） 其他作者：Ehsan Ebrahimzadeh（eBay Search Science Team）、Kartik Sharma（UCLA ECE） 通讯作者：Vwani Roychowdhury（UCLA ECE，vwani@g.ucla.edu） 💡 毒舌点评 这篇论文提出了一个相当有趣的几何视角——将NMF问题从“在可行域内迭代”的内部方法，颠覆为“从无约束最优解外部逼近”的外部方法。在合成数据上展示出的“降维打击”式加速效果令人印象深刻。然而，作者过于沉醉于SVD与全局最优解之间“一步旋转”的几何洞察，却对真实高噪声、高稀疏场景下可行性修正阶段的脆弱性轻描淡写——该阶段本质上是一个对惩罚参数极其敏感的外罚函数法，且缺乏任何收敛性保证或灵敏度分析。写作上，主文对SOTA优势的强调显得有些急切，而大量关键实验细节、消融研究和超参数设置被沉入附录，组织结构有待优化。 📌 核心摘要 问题：论文试图解决非负矩阵分解（NMF）中，传统的“内部方法”（如乘性更新、HALS）在非凸目标地貌中从可行域内部出发，容易陷入次优局部最小值或收敛缓慢的问题。 方法核心：提出了外部方法eNMF。其核心思想是将NMF问题解耦为三个阶段：(i) 通过截断SVD高效计算无约束低秩分解的全局最优解；(ii) 在正交流形上寻找一个旋转矩阵，将无约束最优解“旋转”到最接近非负象限的外部点；(iii) 通过一个结合了行投影坐标下降（PBCD）和外罚函数法的可行性修正阶段，再使用HALS下降到满足KKT条件的局部极小值。 创新点：将NMF问题解耦为“低秩逼近”和“非负性约束满足”两个独立阶段。利用正交旋转矩阵显式地操作无约束最优解的等价流形，从外部直接瞄准潜在的最优非负解。这与所有在可行域内迭代的“内部方法”有根本性的思维差异。 主要实验结果： 在超过400次NMF实验中，eNMF在99%的情况下与其他基线算法收敛到置换或缩放等价的因子矩阵，仅发现4个非等价局部最小值的实例。 合成数据（SNR=20dB, r=500）：eNMF在106秒内达到全局最小值，而对比算法如HALS需约5595秒，AO-ADMM需约1865秒。 真实数据（Audio, Face, Verb）：在等时间预算下，eNMF的重构误差最低；在等误差目标下，eNMF实现最高约150%的加速。例如： Dataset r eNMF HALS AO-ADMM NeNMF FPGM Face 20 7234.27 7939.04 7960.50 7899.33 7936.88 Verb 100 8.97 9.74 9.77 9.70 9.70 Audio 40 8936.93 9290.37 9082.16 9066.1 9201.87 下游任务：在音频MNIST分类、人脸识别和电影推荐任务中，使用eNMF特征性能有显著提升。例如，在AudioMNIST (r=100)上，eNMF特征分类准确率为96.5%，远超基线NeNMF的84.0%。 实际意义：显著加速了NMF的收敛速度并提高了求解质量，其学习到的特征在下游任务中具有更好的判别性。对于依赖NMF进行特征提取的工业应用（如推荐系统、音频处理）有直接的效率提升和效果改进价值。 主要局限性：核心的可行性修正阶段（外罚函数法）缺乏理论收敛性保证；算法整体性能对最终解的质量高度敏感于SVD初始化是否接近真实解空间；在真实世界高稀疏、高噪声数据上“一步到位”的特性减弱；写作清晰度和技术细节呈现方面有提升空间（如附录组织稍显庞杂）。 🔗 开源详情 代码：https://github.com/roychowdhuryresearch/eNMF 模型权重：论文中未提及 数据集：使用了合成数据集及公开数据集（Verb, AudioMNIST, Yale Face Database B, MovieLens 1M），但未提供直接下载链接，需参考对应参考文献获取。 Demo：论文中未提及 复现材料：论文给出了算法伪代码及附录实验细节，但未提供独立的复现脚本或Docker环境。 🏗️ 方法概述和架构 eNMF的核心思想是将传统的约束优化问题分解为三个解耦的阶段：寻找无约束全局最优解 → 外部点逼近 → 可行域内局部下降。 ...

📄 BAT: Better Audio Transformer Guided by Convex Gated Probing #音频分类 #音频事件检测 #语音识别 #自监督学习 #Transformer 8.6/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 🔥 8.6/10 | 前25% | #音频分类 | #自监督学习 | #音频事件检测 #语音识别 | arxiv 👥 作者与机构 第一作者：Houtan Ghaffari（Ghent University）、Lukas Rauch（University of Kassel，现就职于 Earth Species Project）（并列一作） 通讯作者：Houtan Ghaffari（Ghent University）、Lukas Rauch（University of Kassel） 作者列表：Houtan Ghaffari（Ghent University）、Lukas Rauch（University of Kassel，现就职于 Earth Species Project）、Christoph Scholz（University of Kassel，Fraunhofer IEE）、Paul Devos（Ghent University） 发表于 ICML 2026，首尔，韩国 💡 毒舌点评 论文以鲜明的"探测优先于微调"的评估哲学切入，提出的 CGP 和 BAT 形成了一套从评估到模型设计的闭环，实验维度相当完整且可复现性意识强。不过，其 AS-2M 的最终微调性能未能超越已报告 SOTA（Reported SSLAM 50.2 vs BAT 48.85），且性能提升的来源存在一定"调参红利"嫌疑，部分结论的泛化性仍待更严格的跨框架验证。 ...

📄 Convex Low-resource Accent-Robust Language Detection in Speech Recognition #语音识别 #迁移学习 #低资源 #理论分析 6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 ✅ 6/10 | 前50% | #语音识别 | #迁移学习 | #低资源 #理论分析 | arxiv 👥 作者与机构 第一作者：Miria Feng（斯坦福大学电气工程系） 通讯作者：Miria Feng（miria00@stanford.edu） 作者列表：Miria Feng（斯坦福大学电气工程系）、William Tan（斯坦福大学计算机科学系）、Mert Pilanci（斯坦福大学电气工程系） 💡 毒舌点评 本文将凸神经网络的理论工具精准地“搬”进了语音识别语言检测任务，在极低资源下拿到了漂亮的一致性好成绩，理论与系统落地的结合点找得准，凸优化免调参的特性是实证亮点。但检测头只做语言分类，并未触碰 ASR 转录瓶颈本身；对比基线缺乏与主流 LID 专用模型的正面较量；且特征空间证书因缺乏编码器 Lipschitz 的精确估计而难以兑现为实用的音频空间鲁棒性保证，理论保证与工程实际之间存在明显落差。 📌 核心摘要 本文针对多方言口音环境下自动语音识别（ASR）语言检测错误频发、尤其低资源方言样本稀缺导致传统微调过拟合的问题，提出 Convex Language Detection (CLD) 框架。方法核心是利用两层 ReLU 网络的凸重构形式，将 ASR 编码器冻结，仅通过凸规划训练一个检测头；该凸程序用 ADMM 在 JAX 上多 GPU 求解，得到全局最优解，并基于 variation norm 推导出 Lipschitz 证明和可计算的 margin 稳定性证书。相比传统神经网络需要大量数据和超参调优，CLD 在低资源（100-10000 样本）场景下保持高语言检测准确率并显著降低 WER。主要实验分别在二分类（英语 vs 中文，各含5种口音）和多分类（5种语言，24种口音）上进行，使用 Whisper-Small、Whisper-Large-V3 和 MMS-1B 作为骨干编码器；CLD 在500样本二分类上达到96.95%准确率，远超微调Whisper的72.07%和普通NN的55.80%；多分类中 Whisper-Large-V3 配合 CLD 达到98.06%准确率，WER降至28.60；训练时间仅为普通NN的7.7%。该方法为低资源多方言场景提供了一种可即插即用的稳健语言检测模块，但仅改善语言识别错误，对同一语言内方言转录错误仍受限于原始解码器。 ...

📄 Hearing Without Noticing? Attention-Aware Stealthy Black-Box Adversarial Audio Attacks #语音识别 #音频生成 7.6/10 | 创新 1.4/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.7/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 7.6/10 | 前25% | #语音识别 | #音频生成 | arxiv 👥 作者与机构 第一作者：Tianyi Xu（中国科学院信息工程研究所，中国科学院大学网络空间安全学院） 通讯作者：Yue Zhao（中国科学院信息工程研究所），Kai Chen（中国科学院信息工程研究所） 作者列表：Tianyi Xu、Cheng’an Wei、Yue Zhao、Kai Chen（均来自中国科学院信息工程研究所 / 中国科学院大学网络空间安全学院） 💡 毒舌点评 本文巧妙利用“听觉不留意”的心理声学现象，将其建模为可优化的注意力稀释损失，在对抗音频隐蔽性上迈出了关键一步。200人用户研究中55.6%的不可察觉率远超前人，攻击成本仅0.43美元，成果说服力强。然而，方法深度依赖人工精选的42首音乐载体库和经典MPEG-1掩蔽模型，对长命令和稀疏音乐的泛化能力明显不足；防御实验仅测试了两种基础信号处理手段，面对现实世界中可能存在的说话人验证、音频取证等主动防御系统时，其攻击效力仍存疑，这削弱了其宣称的现实威胁等级。 📌 核心摘要 论文要解决的问题：在真实物理世界中对商用黑盒自动语音识别（ASR）系统发起隐蔽对抗攻击。现有方法仅关注压缩扰动幅度，忽视了人类选择性注意力机制，导致生成的对抗音频仍易被察觉（如Occam仅10.78%用户认为正常，Kenku有46%用户能识别嵌入的指令）。 方法核心是提出HWN（Hearing Without Noticing）框架，包含两个关键设计：基于心理声学掩蔽效应的注意力兼容载体选择算法（从候选音乐库中选出最能掩蔽目标命令的音乐片段）和基于结构-残差分解的注意力稀释损失函数（抑制频谱中易捕获注意力的突变成分）。 与已有方法相比，HWN的新颖之处在于显式建模“注意力”而非仅最小化信噪比，通过载体选择与频谱纹理平滑双重机制提升感知隐蔽性，将攻击从“小声”推向“不被注意”的层次。 ...

📄 Joint Enhancement and Classification using Coupled Diffusion Models of Signals and Logits #语音识别 #语音增强 #鲁棒性 #扩散模型 #多模态模型 9.3/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 🔥 9.3/10 | 前10% | #语音识别 | #扩散模型 | #语音增强 #鲁棒性 | arxiv 👥 作者与机构 第一作者：Gilad Nurko（Technion – Israel Institute of Technology） 通讯作者：Gilad Nurko（Technion – Israel Institute of Technology） 作者列表：Gilad Nurko（Technion – Israel Institute of Technology）、Roi Benita（Technion – Israel Institute of Technology）、Yehoshua Dissen（Technion – Israel Institute of Technology）、Tomohiro Nakatani（NTT, Inc., Japan）、Marc Delcroix（NTT, Inc., Japan）、Shoko Araki（NTT, Inc., Japan）、Joseph Keshet（Technion – Israel Institute of Technology） 💡 毒舌点评 信号与logits扩散的耦合想法聪明又实用，让增强和识别双向奔赴，确实比傻乎乎的“先增强后分类”高出几个段位。但计算开销是硬伤，Nested和Alternating策略的NFE（神经功能评估）倍数（10×和7×）让部署侧直呼受不了，且ASR实验一直抱着受限词表不放，似乎有点逃避大词汇量连续识别的hard mode。整体瑕不掩瑜，ICML的spotlight水平，但别想让审稿人给full oral。 ...

📄 NeuroCLUS: A Foundation Model with Functional Clustering for Intracranial Neural Decoding #语音识别 #自监督学习 #预训练 #图神经网络 #医疗音频 6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 0.5/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6/10 | 前50% | #语音识别 | #自监督学习 | #预训练 #图神经网络 | arxiv 👥 作者与机构 第一作者：Hui Zheng（Independent Researcher） 通讯作者：Hui Zheng（icml2026.neuroclus@gmail.com） 作者列表：Hui Zheng（Independent Researcher）、Hai-Teng Wang（Independent Researcher） 💡 毒舌点评 这项工作敏锐地捕捉到了现有iEEG基础模型在tokenization粒度上的核心矛盾——要么太细（单通道）要么太粗（全脑聚合），提出的两阶段功能聚类策略直击要害，在Du-IN语音生成任务上甚至大幅超越了专门的SOTA模型（65.92% vs 62.70%），这点值得称赞。然而，完全忽略解码任务中至关重要的时序动态聚类（即功能模块可能随时间漂移这一基本神经科学事实），仅用静态的功能依赖图指导token聚合，导致模型对复杂认知过程的适应性存疑；同时“独立研究者”的身份与高达10k小时的预训练数据和8张A100的算力需求存在一定张力，缺少代码和模型权重也使得“SOTA”声称暂时难以验证。 ...

📄 ProactiveLLM: Learning Active Interaction for Streaming Large Language Models #流式处理 #语音识别 #语音翻译 7.2/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 7.2/10 | 前50% | #语音识别 | #知识蒸馏 | #流式处理 #语音翻译 | arxiv 👥 作者与机构 第一作者：Junlong Tong（上海交通大学，Eastern Institute of Technology, Ningbo） 通讯作者：Xiaoyu Shen（Eastern Institute of Technology, Ningbo） 作者列表：Junlong Tong（上海交通大学，Eastern Institute of Technology, Ningbo）、Yao Zhang（Eastern Institute of Technology, Ningbo）、Anhao Zhao（Eastern Institute of Technology, Ningbo，香港理工大学）、Yingqi Fan（Eastern Institute of Technology, Ningbo）、Yunpu Ma（Munich Center for Machine Learning, LMU）、Xiaoyu Shen（Eastern Institute of Technology, Ningbo） 该论文发表于 ICML 2026（Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026） 💡 毒舌点评 该论文提出了一种巧妙的"内生信号驱动"范式，用自蒸馏和掩码训练替代外部对齐标注，让流式LLM学会"审时度势"，在非单调对齐任务（如QA）上展现了惊艳的上下文裁剪能力（如仅用78%上下文恢复97%性能）。然而，其决策头（熵/注意力驱动）的设计相对简单，本质上只是一个阈值触发器，远未触及学习型策略的上限。与强学习型基线的对比仅用了2000条数据，难以令人信服地论证内生策略的绝对优势。更令人担忧的是，在单调任务MT上，Proactive-Entr的延迟实际上高于Wait-9（AIL 8.36 vs 6.87），论文正文中"maintaining lower latency"的笼统宣称有过度包装之嫌——读者需仔细区分Proactive-Attn和Proactive-Entr的不同表现，不可被论文的修辞所误导。 ...

📄 Scaling Transformers for End-to-End Discrete Audio Tokenization #音频编码 #语音合成 #语音识别 #Transformer #自回归模型 #多任务学习 #流式处理 7.1/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.9/1.5 ✅ 7.1/10 | 前50% | #音频编码 | #Transformer | #语音合成 #语音识别 | arxiv 👥 作者与机构 第一作者：Yitian Gong（复旦大学、上海创新研究院、MOSI Intelligence） 通讯作者：Xipeng Qiu（复旦大学、上海创新研究院、MOSI Intelligence） 作者列表：Yitian Gong、Kuangwei Chen、Zhaoye Fei、Xiaogui Yang、Ke Chen、Yang Wang、Kexin Huang、Mingshu Chen、Ruixiao Li、Qinyuan Cheng、Shimin Li、Xipeng Qiu 💡 毒舌点评 TAC 把 ConvNet、预训练编码器、语义蒸馏这些被社区用了好几年的“拐杖”全扔掉，用一套纯因果 Transformer 从零开始联合优化所有模块，重建质量和下游任务效果确实能打。但“统一可扩展接口”的口号，在代码、模型、数据全部闭源面前，听起来更像是为自家闭源生态写的一份白皮书。另外，靠着碾压同行的内部数据量去比公开数据训出来的模型，然后说架构更好——这种“降维打击”，审稿人心里是不会给足创新分和公平性分的。 ...

📄 SPEAR: A Unified SSL Framework for Learning Speech and Audio Representations #音频理解 #语音识别 8.4/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.3/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 🔥 8.4/10 | 前25% | #音频理解 | #自监督学习 | #语音识别 | arxiv 👥 作者与机构 第一作者/通讯作者：Xiaoyu Yang（Department of Engineering, University of Cambridge） 作者列表：Xiaoyu Yang（University of Cambridge）、Yifan Yang（Shanghai Jiao Tong University）、Zengrui Jin（Tsinghua University）、Ziyun Cui（Tsinghua University, Shanghai Artificial Intelligence Laboratory）、Wen Wu（Shanghai Artificial Intelligence Laboratory）、Baoxiang Li（Shanghai Artificial Intelligence Laboratory）、Chao Zhang（Tsinghua University, Shanghai Artificial Intelligence Laboratory）、Phil Woodland（University of Cambridge） 💡 毒舌点评 SPEAR 用多码本矢量量化（MVQ）这把快刀，把语音和音频两个域的知识剁成离散 token，再让 Zipformer 用掩码预测全吞下去。思路直接有效，在 SUPERB 和 HEAR 上双线刷榜，token mixing 更是让分离任务表现惊艳。但整个框架的命门在于强依赖教师模型质量，训练 pipeline 重得像个工程怪兽，且音频数据仅 13k 小时，想在纯音乐或环境声上压制音频大模型还差火候。说是统一框架，但目前还是个理解专才，生成任务的门都没摸到。 ...

📄 WaveSSM: Multiscale State-Space Models for Non-stationary Signal Attention #音频分类 #语音识别 4.8/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 0.9/1.5 | 清晰 0.7/1 | 影响 0.5/1.5 | 开源 0.2/1.5 | 复现 0.2/0.5 | 工程 0.5/1.5 📝 4.8/10 | 后50% | #音频分类 | #语音识别 | arxiv 👥 作者与机构 第一作者：Ruben Solozabal (MBZUAI) 通讯作者：Ruben Solozabal (MBZUAI) 作者列表：Ruben Solozabal (MBZUAI)、Velibor Bojkovic (MBZUAI)、Hilal AlQuabeh (MBZUAI / RIKEN AIP)、Klea Ziu (MBZUAI)、Kentaro Inui (MBZUAI / RIKEN AIP)、Martin Takáč (MBZUAI) 💡 毒舌点评 将小波先验注入状态空间模型（SSM），理论上为模型带来了期望的时间和频率局部化能力，在合成任务上的地址able记忆也展示得漂亮。但亮点止步于此：在真实基准上的性能提升微弱到几乎可以归为噪声，而在需要真正长程建模能力的任务（PathX, Pathfinder）上却全面溃败。这种极端的任务偏好性，加上零开源和大量悬而未决的理论-实践差距，使论文看起来更像一个精致的初步探索，而非一项坚实的贡献。 ...

📄 An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation #语音合成 #语音识别 #多模态模型 6.8/10 | 创新 1/2 | 严谨 1/1.5 | 实验 0.5/1.5 | 清晰 0.7/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.5/1.5 ✅ 6.8/10 | 前50% | #语音合成 | #自回归模型 | #语音识别 #多模态模型 | arxiv 👥 作者与机构 第一作者：Haoran Wang（Carnegie Mellon University, Shanghai Jiao Tong University） 通讯作者：未说明 作者列表：Haoran Wang（Carnegie Mellon University, Shanghai Jiao Tong University）、Jinchuan Tian（Carnegie Mellon University）、Siddhant Arora（Carnegie Mellon University）、Shinji Watanabe（Carnegie Mellon University） 💡 毒舌点评 这篇文章为解决语音语言模型的高通量推理痛点提供了一个精巧的工程方案，尤其是 Paired Request Co-Scheduling 对 CFG 开销的消解颇具巧思，不是简单的“拼组件”。然而，实验对比维度过于单薄，仅与原始 PyTorch 串行推理比较，缺乏与 naive CFG 实现或其他推理框架的横向对打，让“80% 吞吐保持”这一核心卖点缺少足够的说服力。更关键的是，全文未提供任何延迟指标，对于实时语音交互场景而言，这几乎是不可接受的遗漏。 ...

📄 Beyond Words: Towards Effective Modeling of Non-Verbal Vocalizations in ASR #语音识别 6.4/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1.1/1.5 ✅ 6.4/10 | 前50% | #语音识别 | #课程学习 | arxiv 👥 作者与机构 第一作者：Gene Yang（Meta） 通讯作者：Haibin Wu（Meta） 作者列表：Gene Yang（Meta）、Haibin Wu（Meta）、Peng Su（Meta）、Ruizhe Huang（Meta）、Suwon Shon（Meta）、Bach Do（Meta）、Minxue Niu（Meta）、Zhaoheng Ni（Meta）、Shang-Wen Li（Meta）、Florian Metze（Meta）、Yossi Adi（Meta）、Ming Sun（Meta）、Yuzong Liu（Meta） 💡 毒舌点评 本文从实际痛点出发，将两阶段课程学习、跨类别声学知识迁移与语音转换增强巧妙组合，在内部数据上显著提升了稀缺非语言发声的检测性能，其“声学支架”的洞察有实用智慧。然而，所有实验基于两个不可公开的内部数据集，无任何代码、模型或数据开源承诺；唯一的系统级外部对比仅为一个Whisper‑D模型，且该比较存在规格不对等——Whisper‑D基于1.55B参数的Whisper‑v2‑large微调，而本文模型仅约200M参数，却未讨论该差异对结论的影响。关键训练超参数、架构细节和训练流程大面积留白，使得方法可复现性与泛化说服力大打折扣。整体而言是一份扎实的工业技术报告，但距顶会论文的开放性和严谨性标准仍有明显距离。 📌 核心摘要 本文旨在解决端到端ASR中稀疏、长尾的非语言发声（如笑声、呼吸、咳嗽、哭泣）检测问题。方法核心包含三个数据为中心的策略：（1）两阶段课程学习：Stage 1将所有NV事件映射为通用token <NV>，利用全部可用NV数据学习非语言声学基座，辅以帧级音素分类损失（所有NV帧统一映射为 SPN 标签）；Stage 2恢复细粒度标签，将Stage 1学得的 <NV> 嵌入直接复制初始化各NV token，再用少量类别特定标注进行专精微调；（2）跨类别声学知识迁移：利用高资源NV类别（如 <laugh>、<breath>）与低资源目标（如 <cry>）在呼吸和喉部发声机制上的共享生理声学特征，将大量高资源样本混入目标类别的训练mini‑batch，作为“声学支架”间接强化低资源token的表示学习；（3）类别平衡与语音转换协同：先通过基于类别的上采样（上限2–5倍）均衡训练信号，再使用零样本扩散语音转换Seed‑VC生成最多10倍说话人多样性的增强样本，二者必须配合使用——仅做VC增强而无类别平衡，在极端长尾下几乎无效。 ...

📄 From Monolingual to Multilingual: Evaluating Mamba for ASR in South African Languages #语音识别 #低资源 4.8/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 0/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.7/1.5 📝 4.8/10 | 后50% | #语音识别 | #端到端 | #低资源 | arxiv 👥 作者与机构 第一作者：Jesujoba O. Alabi（萨尔大学/DFG SFB 1102） 通讯作者：未说明 作者列表：Jesujoba O. Alabi（萨尔大学，DFG SFB 1102）、Julian Herreilers（未说明）、Badr M. Abdullah（萨尔大学，DFG SFB 1102）、Dietrich Klakow（萨尔大学） 💡 毒舌点评 在南非语言ASR的蛮荒之地上，这篇工作用Mamba立了一块"省时省显存"的路标，证明了SSM在此地跑得通。但整个研究本质上是一次对ConMamba的"加盟商复制"——把公开的Mamba-ASR配方（SpeechBrain模板）原样搬到七个南非语种上，加上几个教科书式的多语条件化trick，没有触及非洲语言形态复杂、语码混杂等本质痛点。更糟糕的是，全篇零代码、零模型、零数据承诺，连个README都没有，让后续研究者想复现都无从下手。 ...

📄 H-SAGE: Holistic Speaker-Aware Guided Experts for MoE-based Multi-Talker ASR #语音识别 #多任务学习 #LoRA #语音分离 6.9/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 0.5/1.5 ✅ 6.9/10 | 前50% | #语音识别 | #多任务学习 | #LoRA #语音分离 | arxiv 👥 作者与机构 第一作者：Yujie Guo（南开大学/NKU-HLT） 通讯作者：Yong Qin（南开大学/NKU-HLT） 作者列表：Yujie Guo（南开大学/NKU-HLT）、Jiaming Zhou（南开大学/NKU-HLT）、Yuhang Jia（南开大学/NKU-HLT）、Yang Chen（南开大学/NKU-HLT）、Yong Qin（南开大学/NKU-HLT） 💡 毒舌点评 论文靠显式重叠监督和整体门控给MoE路由强行灌输“场景认知”，消融实验干净利落，把自注意力全局编码和显式损失的必要性扒得很清楚。但性能提升相当温吞，尤其是重中之重的3-mix场景，OA-WER仅从GLAD的20.0%抠到19.8%，基本属于统计误差级别的进步，且低重叠区被SACTC反超，说明这套“显式建模”的优势极度依赖说话人高度纠缠的特定条件；只在讲卫生的LibriSpeechMix读书腔上跑分，放到真实鸡尾酒会里会不会露怯尚完全未知。 📌 核心摘要 针对多说话人语音识别中MoE路由普遍依赖帧独立投影、仅靠隐性ASR目标学习而导致时序短视和可解释性缺失的问题，本文提出H-SAGE。其核心是用Speaker-Aware Global Encoder（SA-Encoder）建模长程说话人活动状态，并配套Overlap-Aware Loss对帧级的重叠、单说话人、静音/填充三态施加显式交叉熵监督；在此之上设计了Holistic Gating Mechanism，将SA-Encoder跨层共享的全局上下文与当前层的局部特征拼合，学习动态融合权重以平衡全局与局部路由概率。在LibriSpeechMix基准上，H-SAGE在2-mix和3-mix的高重叠子集取得SOTA，并通过消融证实显式监督和整体门控各自均有实质性收益。该工作将MTASR的专家路由从“隐式+局部”打上了“显式+全局”的声学先验补丁，在高重叠场景下提升了鲁棒性。主要局限在于分离增益不够显著（3-mix客观指标近乎持平GLAD），且仅在人工合成、读书风格的LibriSpeechMix单基准上验证，对真实口语音素变化、噪声及跨语言泛化性未作评估。 ...

📄 NAVER LABS Europe Submission to the Instruction-following 2026 Short Track #语音识别 #语音翻译 #参数高效微调 #语音大模型 #低资源 6.2/10 | 创新 0.8/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0.3/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 ✅ 6.2/10 | 前50% | #语音翻译 | #参数高效微调 | #语音识别 #语音大模型 | arxiv 👥 作者与机构 第一作者：Marcely Zanon Boito（NAVER LABS Europe, France） 通讯作者：Marcely Zanon Boito（NAVER LABS Europe, France），邮箱 marcely.zanon-boito@naverlabs.com 作者列表：Marcely Zanon Boito（NAVER LABS Europe, France）、Hemant Yadav（IIIT Delhi, India）、Jean-Luc Meunier（NAVER LABS Europe, France）、Ioan Calapodescu（NAVER LABS Europe, France） 💡 毒舌点评 这篇系统报告本质上是一份竞赛技术报告，工程实现扎实，用更小的模型跑平了去年的SOTA。但学术贡献有限：改进的SpeechMapper不过是损失函数从MSE换成L1再拼上CTC的"四件套"，fakACL数据集是标准LLM生成套路的领域特化，毫无方法论创新。ASR和SQA的跷跷板效应只会摊手说"不可兼得"，却连个像样的帕累托分析都不做。MCIF一个验证集定生死，过拟合风险完全忽视。只能说竞赛第一，但科研价值嘛，别太当真。 ...

📄 Spatial Speech Perception Systems: A Survey of Sound Source Localization, Directional Enhancement, and Speech Recognition #空间音频 #声源定位 #语音增强 #语音识别 4.1/10 | 创新 0.8/2 | 严谨 0.6/1.5 | 实验 0.4/1.5 | 清晰 0.8/1 | 影响 0.7/1.5 | 开源 0/1.5 | 复现 0/0.5 | 工程 0.8/1.5 📝 4.1/10 | 后50% | #声源定位 | #空间音频 | #语音增强 #语音识别 | arxiv 👥 作者与机构 第一作者：Pengyuan Shao（University College London, Department of Computer Science） 通讯作者：未明确说明，根据作者顺序推断为 Dimitrios Kanoulas（University College London, Department of Computer Science） 作者列表：Pengyuan Shao（University College London, Department of Computer Science）、Dimitrios Kanoulas（University College London, Department of Computer Science） 💡 毒舌点评 这篇综述选题有现实意义，试图将空间语音感知系统的三大组件进行统一综述，但在顶会级别看来，其贡献仅停留在文献整理和概念归纳层面。全文没有任何定量元分析、方法对比实验或新基准/工具，不发布数据集也不开源代码。所谓的"系统级评价"、“语义可靠性"等概念始终停留在愿景，缺乏可操作的量化定义或评测方案。对于希望直接拿来评估或改进自己系统的研究者而言，这篇综述提供不了太多硬核见解。 ...

📄 NPUsper: Eliminating Redundant Computation for Real-Time Whisper on Mobile NPUs #语音识别 9/10 | 创新 1.4/2 | 严谨 1.4/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1.3/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 9/10 | 前10% | #语音识别 | #自回归模型 | arxiv 👥 作者与机构 第一作者：Sihyeon Lee（Korea University） 通讯作者：Suman Banerjee（University of Wisconsin–Madison）、Seyeon Kim（Korea University） 作者列表：Sihyeon Lee（Korea University）、Hojeong Lee（University of Wisconsin–Madison）、Sungwon Woo（Korea University）、Chengpo Yan（University of Wisconsin–Madison）、Suman Banerjee（University of Wisconsin–Madison）、Seyeon Kim（Korea University） 💡 毒舌点评 本文用交叉注意力的时序特性来无阈值检测幻觉，一举砍掉了流式Whisper中常年“标配��的低效音频填充，想法干净得让人嫉妒。工程上，面向NPU的受控展开解码也把静态图执行和动态自回归解码的矛盾调和得相当漂亮。但实验验证的骨架太细：主结果就靠两个长音频样本撑着，统计说服力基本没有，难以让人完全信服其在各种声学场景下的稳健性。幻觉检测虽称“无阈值”，但滤波窗口等超参依然需要手动选定，跨模型大小的泛化也只是做了初步验证，多少有点“按下葫芦浮起瓢”的意思。 ...

📄 Adapting Foundation ASR Models to Dysarthric Speech: A Case Study #语音识别 #自回归模型 #参数高效微调 #数据增强 6.2/10 ✅ 6.2/10 | 前50% | #语音识别 | #参数高效微调 | #自回归模型 #数据增强 | arxiv 👥 作者与机构 作者：Christian Huber, Laura Kernahan, Alexander Waibel 机构：卡尔·斯鲁普工业大学（KIT，德国）及其卡内基-梅隆大学（CMU，美国）的合作项目 💡 毒舌点评 说白了，这是一篇非常扎实的“工程应用报告”，但离顶会的“科研论文”标准还有不小的距离。优点很明显：选题刚需，流程完整，结果感人（从完全不能用到相当可用），还有真实的部署和用户反馈，这比很多只在数据集上刷分的工作要实在得多。但问题是，它的“学术味儿”太淡了。核心方法就是“拿Whisper微调”，这操作放在语音社区甚至不如“在LibriSpeech上微调”来得有新意。实验设计最大硬伤就是“单人验证”，这直接把结论的普遍性打入冷宫——你的LoRA不行、Qwen3-ASR不行，换个人可能就反过来了。分析也浮于表面，比如只说LoRA效果差是因为“失配”，却没动手验证这个猜想（比如调调rank试试？）。最可惜的是，它本可以提炼出一些关于“极端域下全量微调 vs 参数高效微调”的有趣规律，但论文满足于描述现象，没有深入机理。所以，它很好地解决了一个实际问题，但对科学共同体贡献的新知有限。更适合发表在应用类会议或期刊上。 📌 核心摘要 本文针对基础ASR模型在构音障碍语音上性能差的问题，提出了一个端到端的个性化适配与部署方案。核心工作是使用TEQST工具收集了单一说话者约92小时的朗读语音，并通过部署的移动应用收集了8.8小时的纠正数据。以Whisper (whisper-large-v3) 为基础模型，通过全量微调，仅用1.4小时数据就将WER从基线的128.4%降至15.8%，使用全部数据（含纠正）后达到最佳9.7%。作为对比，LoRA参数高效微调方法效果较差（相对下降15%-39%），而另一个基础模型Qwen3-ASR-1.7B在相同设置下的表现也不及Whisper。最终，微调后的模型被部署为iOS移动应用，提供多种录音模式和实时纠正功能，显著改善了用户的生活质量和沟通信心。论文指出，该工作成功证明了全量微调在应对巨大领域偏移时的有效性，并为解决实际无障碍通信问题提供了一个可行路径。 🔗 开源详情 代码：论文中未提及任何代码仓库链接。 模型权重：论文中未提供作者微调后的模型权重下载链接。论文使用了开源的Whisper (whisper-large-v3) 和 Qwen3-ASR-1.7B作为基础模型，但未提供最终的个性化模型。 数据集：论文中提及“The data set can be accessed here”，暗示数据集可通过链接访问，但在提供的论文全文中未显示具体的URL。数据集包含约100.8小时的构音障碍语音（训练集89.8小时，纠正数据8.8小时，开发集和测试集各1.1小时）。 Demo：论文中未提及在线演示链接或移动应用商店链接。 复现材料：论文中未提及具体的训练配置文件、检查点、环境依赖列表或附录等复现材料。 论文中引用的开源项目： TEQST：论文引用为[4]，用于数据收集，未提供具体链接。 Whisper：OpenAI的ASR模型，论文引用为[10]，未提供具体链接。 Qwen3-ASR：阿里云的ASR模型，论文引用为[11]，未提供具体链接。 Faster Whisper：论文引用为[13]，用于模型部署，未提供具体链接。 CTranslate2：论文引用为[5, 6]，作为Faster Whisper的实现基础，未提供具体链接。 LoRA：论文引用为[3]，参数高效微调方法，未提供具体链接。 补充链接（自动提取）： ...

📄 BEST-RQ-2: Contextualize-Then-Predict, a Two-Step Approach for Self-Supervised Audio Representations #自监督学习 #语音识别 #语音增强 #音频分类 6.9/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.4/1.5 | 复现 0.5/0.5 | 工程 0.4/1.5 ✅ 6.9/10 | 前50% | #语音识别 | #自监督学习 | #语音增强 #音频分类 | arxiv 👥 作者与机构 论文作者为Ludovic K. Tuncay, Etienne Labbé, Thomas Pellegrini。论文原文未提及作者所属的具体机构。 💡 毒舌点评 这篇工作是BEST-RQ的直接迭代，想法简单直接（两步走），效果有提升但谈不上惊艳。优点在于方法简洁，保持了BEST-RQ无需复杂目标建模的优点，并在推理效率上没有妥协。然而，论文的写作和实验报告存在明显短板：核心贡献（两步解耦）的机制分析非常薄弱，缺乏说服力；消融实验几乎为零，无法判断性能提升究竟源于“两步解耦”还是仅仅换了ViT；开源声明流于形式（只说可用，不给链接），这在顶会审稿中是重大减分项。整体来看，这是一篇合格的、incremental的工作，但距离一篇让人印象深刻的论文还有距离。 📌 核心摘要 本文提出了BEST-RQ-2，这是对BEST-RQ自监督音频表示学习方法的改进。核心思想是将预训练过程解耦为两步：首先，一个ViT编码器（上下文化器）仅处理输入频谱图中未被遮蔽的区域，生成上下文表征；然后，一个轻量级预测器利用这些上下文表征，去预测原始输入中被遮蔽区域对应的随机投影离散目标。预训练完成后，预测器被丢弃，仅保留编码器用于下游任务。这种“上下文化-然后-预测”的范式在X-ARES和XARES-LLM两个跨领域音频评估基准上，持续优于使用相同离散目标的单阶段预测基线。与原始BEST-RQ（使用Conformer编码器）相比，新方法在语音性能上略有损失，但在音乐和环境声性能上有所提升，整体平均性能持平。代码和模型检查点已公开（但未提供链接）。 🔗 开源详情 代码：论文声明“Code … are publicly available”，但未提供具体的GitHub或其他代码仓库URL链接。 模型权重：论文声明“model checkpoints are publicly available”，但未提供具体的模型权重下载地址（如HuggingFace Hub、ModelScope、Google Drive链接等）。 数据集：论文未提及是否开源了预训练所用的数据集，也未提供相关获取信息。评估基准X-ARES和XARES-LLM是公开的，但论文未说明是否提供了使用这些基准的评估脚本或数据划分。 Demo：论文未提及。 复现材料：论文未提及是否提供训练脚本、配置文件、超参数列表或环境依赖说明（如requirements.txt）等辅助复现的材料。 论文中引用的开源项目：论文正文未明确列出使用或引用的任何第三方开源工具、框架或代码库。 🏗️ 方法概述和架构 论文提出了一种两阶段预训练框架 BEST-RQ-2，其核心架构和流程如下（参考论文架构图）： ...