语音识别

📄 S-DiverSe: Spanish Diverse Speech #语音识别 #低资源 #参数高效微调 5.8/10 | 创新 0.9/2 | 严谨 0.8/1.5 | 实验 0.8/1.5 | 清晰 0.7/1 | 影响 0.5/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 5.8/10 | 前50% | #语音识别 | #参数高效微调 | #低资源 | arxiv 👥 作者与机构 第一作者：Fernando López（Scientific Research, Telefónica Innovación Digital, Spain） 通讯作者：论文中仅给出第一作者邮箱 fernando.lopez@telefonica.com，未明确标注通讯作者，故推断 Fernando López 同为通讯作者。 作者列表：Fernando López（Scientific Research, Telefónica Innovación Digital, Spain）、Fernando Ibañez（机构未在作者列表中明确说明，根据论文开头推断可能同属 Telefónica 或 UAM）、Ana Martínez（同前）、Iván Alonso（同前）、Pablo Gómez（同前）、Santosh Kesiraju（Brno University of Technology, Czech Republic）、Jordi Luque（论文开头列有 Universidad Autónoma de Madrid, Spain 和 Telefónica Innovación Digital, Spain，具体归属未按作者逐一说明，仅在首页底部笼统标注了三个机构）。 💡 毒舌点评 这篇论文做了一件对西班牙语病理语音社区来说"有总比没有强"的工作——构建了首个多疾病、真实场景（in-the-wild）的西班牙语病理语音数据集，并发现了一个有趣的反直觉结论：简单的规则后处理比昂贵的参数微调更鲁棒。然而，这3.2小时、22个说话人的袖珍语料库，无论作者如何辩解"与其他语料库规模相当"都显得苍白。实验部分对PD/ALS/中风三种疾病的对比分析严重缺位，中风数据仅占5.8%却撑起了"多疾病"的旗帜，Whisper微调后WER飙升至125%的灾难性结果也缺乏深入诊断和解释。更关键的是，“后处理优于微调"这一核心卖点，在如此小的数据规模下更像是对过拟合的另类证明，其可推广性值得打上一个大大的问号。 ...

📄 Unified Audio Intelligence Without Regressing on Text Intelligence #音频理解 #语音识别 #语音翻译 #语音合成 #音频生成 #多模态模型 #强化学习 6.8/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 0.5/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.2/0.5 | 工程 1.3/1.5 ✅ 6.8/10 | 前50% | #音频交互 | #多模态模型 | #音频理解 #语音识别 | arxiv 👥 作者与机构 论文摘要中未提供作者列表，无法确定具体作者与所属机构。 💡 毒舌点评 亮点在于将统一音频智能锚定在 30B MoE 文本 LLM 上，并明确提出“不退化文本智能”这一核心目标。但摘要几乎全篇堆砌任务名称与数据规模，却未给出任何可验证的定量对比数字，这使得 SOTA 宣称显得空洞。这种“全功能宣传册”式的摘要削弱了技术报告的严谨感。 📌 核心摘要 本文提出 Audex，一个基于 30B MoE 文本 LLM（Nemotron-Cascade-2-30B-A3B）的统一音频-文本大语言模型。采用单一 Transformer 解码器统一处理音频与文本：音频输入经编码器提取特征，通过投影映射到文本嵌入空间；量化的离散音频输出 token 与文本 token 混合，一同送入自回归解码生成。训练包括三阶段：（1）在 curated 的音频-文本数据集（157.4B 音频 token + 320.5B 文本 token）上进行多阶段监督训练；（2）纯文本 Cascade RL，用于强化文本对齐与推理能力，防止文本退化；（3）多域 on-policy 蒸馏，稳定多模态表现。论文宣称模型在音频理解、语音识别/翻译、TTS、音频生成与语音到语音生成等任务上达到 SOTA，同时文本推理、对齐、知识、长上下文与智能体能力仅有微弱甚至零退化。模型权重已释放。 ...

📄 An Exterior Method for Nonnegative Matrix Factorization #语音识别 6.8/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.7/1 | 影响 0.3/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 6.8/10 | 前50% | #音频分类 | #语音识别 | arxiv 👥 作者与机构 第一作者：Qiujing Lu（UCLA ECE，共同一作） 第二作者：Tonmoy Monsoor（UCLA ECE，共同一作） 其他作者：Ehsan Ebrahimzadeh（eBay Search Science Team）、Kartik Sharma（UCLA ECE） 通讯作者：Vwani Roychowdhury（UCLA ECE，vwani@g.ucla.edu） 💡 毒舌点评 这篇论文提出了一个相当有趣的几何视角——将NMF问题从“在可行域内迭代”的内部方法，颠覆为“从无约束最优解外部逼近”的外部方法。在合成数据上展示出的“降维打击”式加速效果令人印象深刻。然而，作者过于沉醉于SVD与全局最优解之间“一步旋转”的几何洞察，却对真实高噪声、高稀疏场景下可行性修正阶段的脆弱性轻描淡写——该阶段本质上是一个对惩罚参数极其敏感的外罚函数法，且缺乏任何收敛性保证或灵敏度分析。写作上，主文对SOTA优势的强调显得有些急切，而大量关键实验细节、消融研究和超参数设置被沉入附录，组织结构有待优化。 📌 核心摘要 问题：论文试图解决非负矩阵分解（NMF）中，传统的“内部方法”（如乘性更新、HALS）在非凸目标地貌中从可行域内部出发，容易陷入次优局部最小值或收敛缓慢的问题。 方法核心：提出了外部方法eNMF。其核心思想是将NMF问题解耦为三个阶段：(i) 通过截断SVD高效计算无约束低秩分解的全局最优解；(ii) 在正交流形上寻找一个旋转矩阵，将无约束最优解“旋转”到最接近非负象限的外部点；(iii) 通过一个结合了行投影坐标下降（PBCD）和外罚函数法的可行性修正阶段，再使用HALS下降到满足KKT条件的局部极小值。 创新点：将NMF问题解耦为“低秩逼近”和“非负性约束满足”两个独立阶段。利用正交旋转矩阵显式地操作无约束最优解的等价流形，从外部直接瞄准潜在的最优非负解。这与所有在可行域内迭代的“内部方法”有根本性的思维差异。 主要实验结果： 在超过400次NMF实验中，eNMF在99%的情况下与其他基线算法收敛到置换或缩放等价的因子矩阵，仅发现4个非等价局部最小值的实例。 合成数据（SNR=20dB, r=500）：eNMF在106秒内达到全局最小值，而对比算法如HALS需约5595秒，AO-ADMM需约1865秒。 真实数据（Audio, Face, Verb）：在等时间预算下，eNMF的重构误差最低；在等误差目标下，eNMF实现最高约150%的加速。例如： Dataset r eNMF HALS AO-ADMM NeNMF FPGM Face 20 7234.27 7939.04 7960.50 7899.33 7936.88 Verb 100 8.97 9.74 9.77 9.70 9.70 Audio 40 8936.93 9290.37 9082.16 9066.1 9201.87 下游任务：在音频MNIST分类、人脸识别和电影推荐任务中，使用eNMF特征性能有显著提升。例如，在AudioMNIST (r=100)上，eNMF特征分类准确率为96.5%，远超基线NeNMF的84.0%。 实际意义：显著加速了NMF的收敛速度并提高了求解质量，其学习到的特征在下游任务中具有更好的判别性。对于依赖NMF进行特征提取的工业应用（如推荐系统、音频处理）有直接的效率提升和效果改进价值。 主要局限性：核心的可行性修正阶段（外罚函数法）缺乏理论收敛性保证；算法整体性能对最终解的质量高度敏感于SVD初始化是否接近真实解空间；在真实世界高稀疏、高噪声数据上“一步到位”的特性减弱；写作清晰度和技术细节呈现方面有提升空间（如附录组织稍显庞杂）。 🔗 开源详情 代码：https://github.com/roychowdhuryresearch/eNMF 模型权重：论文中未提及 数据集：使用了合成数据集及公开数据集（Verb, AudioMNIST, Yale Face Database B, MovieLens 1M），但未提供直接下载链接，需参考对应参考文献获取。 Demo：论文中未提及 复现材料：论文给出了算法伪代码及附录实验细节，但未提供独立的复现脚本或Docker环境。 🏗️ 方法概述和架构 eNMF的核心思想是将传统的约束优化问题分解为三个解耦的阶段：寻找无约束全局最优解 → 外部点逼近 → 可行域内局部下降。 ...

📄 BAT: Better Audio Transformer Guided by Convex Gated Probing #音频分类 #音频事件检测 #语音识别 #自监督学习 #Transformer 8.6/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 🔥 8.6/10 | 前25% | #音频分类 | #自监督学习 | #音频事件检测 #语音识别 | arxiv 👥 作者与机构 第一作者：Houtan Ghaffari（Ghent University）、Lukas Rauch（University of Kassel，现就职于 Earth Species Project）（并列一作） 通讯作者：Houtan Ghaffari（Ghent University）、Lukas Rauch（University of Kassel） 作者列表：Houtan Ghaffari（Ghent University）、Lukas Rauch（University of Kassel，现就职于 Earth Species Project）、Christoph Scholz（University of Kassel，Fraunhofer IEE）、Paul Devos（Ghent University） 发表于 ICML 2026，首尔，韩国 💡 毒舌点评 论文以鲜明的"探测优先于微调"的评估哲学切入，提出的 CGP 和 BAT 形成了一套从评估到模型设计的闭环，实验维度相当完整且可复现性意识强。不过，其 AS-2M 的最终微调性能未能超越已报告 SOTA（Reported SSLAM 50.2 vs BAT 48.85），且性能提升的来源存在一定"调参红利"嫌疑，部分结论的泛化性仍待更严格的跨框架验证。 ...

📄 Convex Low-resource Accent-Robust Language Detection in Speech Recognition #语音识别 #迁移学习 #低资源 #理论分析 6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 ✅ 6/10 | 前50% | #语音识别 | #迁移学习 | #低资源 #理论分析 | arxiv 👥 作者与机构 第一作者：Miria Feng（斯坦福大学电气工程系） 通讯作者：Miria Feng（miria00@stanford.edu） 作者列表：Miria Feng（斯坦福大学电气工程系）、William Tan（斯坦福大学计算机科学系）、Mert Pilanci（斯坦福大学电气工程系） 💡 毒舌点评 本文将凸神经网络的理论工具精准地“搬”进了语音识别语言检测任务，在极低资源下拿到了漂亮的一致性好成绩，理论与系统落地的结合点找得准，凸优化免调参的特性是实证亮点。但检测头只做语言分类，并未触碰 ASR 转录瓶颈本身；对比基线缺乏与主流 LID 专用模型的正面较量；且特征空间证书因缺乏编码器 Lipschitz 的精确估计而难以兑现为实用的音频空间鲁棒性保证，理论保证与工程实际之间存在明显落差。 📌 核心摘要 本文针对多方言口音环境下自动语音识别（ASR）语言检测错误频发、尤其低资源方言样本稀缺导致传统微调过拟合的问题，提出 Convex Language Detection (CLD) 框架。方法核心是利用两层 ReLU 网络的凸重构形式，将 ASR 编码器冻结，仅通过凸规划训练一个检测头；该凸程序用 ADMM 在 JAX 上多 GPU 求解，得到全局最优解，并基于 variation norm 推导出 Lipschitz 证明和可计算的 margin 稳定性证书。相比传统神经网络需要大量数据和超参调优，CLD 在低资源（100-10000 样本）场景下保持高语言检测准确率并显著降低 WER。主要实验分别在二分类（英语 vs 中文，各含5种口音）和多分类（5种语言，24种口音）上进行，使用 Whisper-Small、Whisper-Large-V3 和 MMS-1B 作为骨干编码器；CLD 在500样本二分类上达到96.95%准确率，远超微调Whisper的72.07%和普通NN的55.80%；多分类中 Whisper-Large-V3 配合 CLD 达到98.06%准确率，WER降至28.60；训练时间仅为普通NN的7.7%。该方法为低资源多方言场景提供了一种可即插即用的稳健语言检测模块，但仅改善语言识别错误，对同一语言内方言转录错误仍受限于原始解码器。 ...

📄 Hearing Without Noticing? Attention-Aware Stealthy Black-Box Adversarial Audio Attacks #语音识别 #音频生成 7.6/10 | 创新 1.4/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.7/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 7.6/10 | 前25% | #语音识别 | #音频生成 | arxiv 👥 作者与机构 第一作者：Tianyi Xu（中国科学院信息工程研究所，中国科学院大学网络空间安全学院） 通讯作者：Yue Zhao（中国科学院信息工程研究所），Kai Chen（中国科学院信息工程研究所） 作者列表：Tianyi Xu、Cheng’an Wei、Yue Zhao、Kai Chen（均来自中国科学院信息工程研究所 / 中国科学院大学网络空间安全学院） 💡 毒舌点评 本文巧妙利用“听觉不留意”的心理声学现象，将其建模为可优化的注意力稀释损失，在对抗音频隐蔽性上迈出了关键一步。200人用户研究中55.6%的不可察觉率远超前人，攻击成本仅0.43美元，成果说服力强。然而，方法深度依赖人工精选的42首音乐载体库和经典MPEG-1掩蔽模型，对长命令和稀疏音乐的泛化能力明显不足；防御实验仅测试了两种基础信号处理手段，面对现实世界中可能存在的说话人验证、音频取证等主动防御系统时，其攻击效力仍存疑，这削弱了其宣称的现实威胁等级。 📌 核心摘要 论文要解决的问题：在真实物理世界中对商用黑盒自动语音识别（ASR）系统发起隐蔽对抗攻击。现有方法仅关注压缩扰动幅度，忽视了人类选择性注意力机制，导致生成的对抗音频仍易被察觉（如Occam仅10.78%用户认为正常，Kenku有46%用户能识别嵌入的指令）。 方法核心是提出HWN（Hearing Without Noticing）框架，包含两个关键设计：基于心理声学掩蔽效应的注意力兼容载体选择算法（从候选音乐库中选出最能掩蔽目标命令的音乐片段）和基于结构-残差分解的注意力稀释损失函数（抑制频谱中易捕获注意力的突变成分）。 与已有方法相比，HWN的新颖之处在于显式建模“注意力”而非仅最小化信噪比，通过载体选择与频谱纹理平滑双重机制提升感知隐蔽性，将攻击从“小声”推向“不被注意”的层次。 ...

📄 Joint Enhancement and Classification using Coupled Diffusion Models of Signals and Logits #语音识别 #语音增强 #鲁棒性 #扩散模型 #多模态模型 9.3/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5 🔥 9.3/10 | 前10% | #语音识别 | #扩散模型 | #语音增强 #鲁棒性 | arxiv 👥 作者与机构 第一作者：Gilad Nurko（Technion – Israel Institute of Technology） 通讯作者：Gilad Nurko（Technion – Israel Institute of Technology） 作者列表：Gilad Nurko（Technion – Israel Institute of Technology）、Roi Benita（Technion – Israel Institute of Technology）、Yehoshua Dissen（Technion – Israel Institute of Technology）、Tomohiro Nakatani（NTT, Inc., Japan）、Marc Delcroix（NTT, Inc., Japan）、Shoko Araki（NTT, Inc., Japan）、Joseph Keshet（Technion – Israel Institute of Technology） 💡 毒舌点评 信号与logits扩散的耦合想法聪明又实用，让增强和识别双向奔赴，确实比傻乎乎的“先增强后分类”高出几个段位。但计算开销是硬伤，Nested和Alternating策略的NFE（神经功能评估）倍数（10×和7×）让部署侧直呼受不了，且ASR实验一直抱着受限词表不放，似乎有点逃避大词汇量连续识别的hard mode。整体瑕不掩瑜，ICML的spotlight水平，但别想让审稿人给full oral。 ...

📄 NeuroCLUS: A Foundation Model with Functional Clustering for Intracranial Neural Decoding #语音识别 #自监督学习 #预训练 #图神经网络 #医疗音频 6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 0.5/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6/10 | 前50% | #语音识别 | #自监督学习 | #预训练 #图神经网络 | arxiv 👥 作者与机构 第一作者：Hui Zheng（Independent Researcher） 通讯作者：Hui Zheng（icml2026.neuroclus@gmail.com） 作者列表：Hui Zheng（Independent Researcher）、Hai-Teng Wang（Independent Researcher） 💡 毒舌点评 这项工作敏锐地捕捉到了现有iEEG基础模型在tokenization粒度上的核心矛盾——要么太细（单通道）要么太粗（全脑聚合），提出的两阶段功能聚类策略直击要害，在Du-IN语音生成任务上甚至大幅超越了专门的SOTA模型（65.92% vs 62.70%），这点值得称赞。然而，完全忽略解码任务中至关重要的时序动态聚类（即功能模块可能随时间漂移这一基本神经科学事实），仅用静态的功能依赖图指导token聚合，导致模型对复杂认知过程的适应性存疑；同时“独立研究者”的身份与高达10k小时的预训练数据和8张A100的算力需求存在一定张力，缺少代码和模型权重也使得“SOTA”声称暂时难以验证。 ...

📄 ProactiveLLM: Learning Active Interaction for Streaming Large Language Models #流式处理 #语音识别 #语音翻译 7.2/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 7.2/10 | 前50% | #语音识别 | #知识蒸馏 | #流式处理 #语音翻译 | arxiv 👥 作者与机构 第一作者：Junlong Tong（上海交通大学，Eastern Institute of Technology, Ningbo） 通讯作者：Xiaoyu Shen（Eastern Institute of Technology, Ningbo） 作者列表：Junlong Tong（上海交通大学，Eastern Institute of Technology, Ningbo）、Yao Zhang（Eastern Institute of Technology, Ningbo）、Anhao Zhao（Eastern Institute of Technology, Ningbo，香港理工大学）、Yingqi Fan（Eastern Institute of Technology, Ningbo）、Yunpu Ma（Munich Center for Machine Learning, LMU）、Xiaoyu Shen（Eastern Institute of Technology, Ningbo） 该论文发表于 ICML 2026（Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026） 💡 毒舌点评 该论文提出了一种巧妙的"内生信号驱动"范式，用自蒸馏和掩码训练替代外部对齐标注，让流式LLM学会"审时度势"，在非单调对齐任务（如QA）上展现了惊艳的上下文裁剪能力（如仅用78%上下文恢复97%性能）。然而，其决策头（熵/注意力驱动）的设计相对简单，本质上只是一个阈值触发器，远未触及学习型策略的上限。与强学习型基线的对比仅用了2000条数据，难以令人信服地论证内生策略的绝对优势。更令人担忧的是，在单调任务MT上，Proactive-Entr的延迟实际上高于Wait-9（AIL 8.36 vs 6.87），论文正文中"maintaining lower latency"的笼统宣称有过度包装之嫌——读者需仔细区分Proactive-Attn和Proactive-Entr的不同表现，不可被论文的修辞所误导。 ...

📄 Scaling Transformers for End-to-End Discrete Audio Tokenization #音频编码 #语音合成 #语音识别 #Transformer #自回归模型 #多任务学习 #流式处理 7.1/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.9/1.5 ✅ 7.1/10 | 前50% | #音频编码 | #Transformer | #语音合成 #语音识别 | arxiv 👥 作者与机构 第一作者：Yitian Gong（复旦大学、上海创新研究院、MOSI Intelligence） 通讯作者：Xipeng Qiu（复旦大学、上海创新研究院、MOSI Intelligence） 作者列表：Yitian Gong、Kuangwei Chen、Zhaoye Fei、Xiaogui Yang、Ke Chen、Yang Wang、Kexin Huang、Mingshu Chen、Ruixiao Li、Qinyuan Cheng、Shimin Li、Xipeng Qiu 💡 毒舌点评 TAC 把 ConvNet、预训练编码器、语义蒸馏这些被社区用了好几年的“拐杖”全扔掉，用一套纯因果 Transformer 从零开始联合优化所有模块，重建质量和下游任务效果确实能打。但“统一可扩展接口”的口号，在代码、模型、数据全部闭源面前，听起来更像是为自家闭源生态写的一份白皮书。另外，靠着碾压同行的内部数据量去比公开数据训出来的模型，然后说架构更好——这种“降维打击”，审稿人心里是不会给足创新分和公平性分的。 ...