语音识别

📄 When Audio-Language Models Fail to Leverage Multimodal Context for Dysarthric Speech Recognition #语音识别 #语音大模型 #病理语音 #基准测试 ✅ 7.5/10 | 前50% | #语音识别 | #语音大模型 | #病理语音 #基准测试 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：未说明（论文摘要未提供） 通讯作者：未说明（论文摘要未提供） 作者列表：Pehuén Moure（未说明）、Niclas Pokel（未说明）、Bilal Bounajma（未说明）、Yingqiang Gao（未说明）、Roman Boehringer（未说明）、Longbiao Cheng（未说明）、Shih-Chii Liu（未说明） 💡 毒舌点评 亮点在于作者敏锐地指出了一个关键问题：当前强大的音频语言模型在面对需要利用外部临床知识的病理语音识别任务时，其“上下文利用能力”似乎存在显著缺陷，并为此建立��一个有价值的诊断性基准。短板在于，论文的核心发现（“模型未能利用上下文”）更像是一个对现有模型能力边界的诊断报告，而非提出一种克服该局限的新方法或架构，因此创新深度有限。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及。 数据集：论文中提及使用了 Speech Accessibility Project (SAP) 数据集 来构建基准测试，但论文中未提供该数据集的获取链接或具体的开源协议信息。 Demo：论文中未提及。 复现材料：论文中未提及。 论文中引用的开源项目：未提及。 📌 核心摘要 解决的问题：自动语音识别（ASR）系统在处理构音障碍等非典型语音时性能脆弱。本文探讨近期音频语言模型是否能够通过在推理时引入临床诊断标签、言语评分或详细描述等额外上下文信息，来改善识别准确率。 方法核心：基于Speech Accessibility Project (SAP)数据集构建了一个基准测试，系统性地评估了9个模型在“零样本提示”和“上下文微调”两种设置下对不同层次临床上下文的利用效果。 新意：与之前主要关注模型本身改进的工作不同，本文的创新点在于诊断性地揭示了现有主流音频语言模型在利用外部结构化/非结构化上下文信息方面的普遍不足，并明确提出了一个用于量化评估该能力的基准。 主要实验结果： 提示工程无效：直接向模型提供诊断标签或详细的临床描述进行推理，对字错率（WER）的改善微乎其微，甚至常常导致性能下降。 微调有效：通过LoRA方法，使用混合临床提示格式对模型进行微调，将WER从冻结基线大幅降低52%，达到0.066。 分组分析：微调方法在唐氏综合征和轻度症状说话人子群体上取得了显著收益。 模型设置 关键指标 (WER) 相对变化 冻结基线 未提供具体数值 - LoRA微调后 0.066 -52% (相对) 实际意义：明确指出了当前音频语言模型在医疗辅助、包容性AI应用中的短板，为社区提供了衡量进步的基准，并验证了特定微调策略在小样本垂直领域的有效性。 主要局限性：论文主要评估和测试了已有的模型，未能提出一种能根本性解决“上下文利用失败”问题的新模型架构或训练范式；微调的成功依赖于特定的数据集和任务设置，泛化能力有待验证。 🏗️ 模型架构 论文中未提出一种新的模型架构。其研究对象是“现有的音频语言模型”（Audio-Language Models, ALMs），但未在摘要中说明具体测试了哪9个模型。分析集中在这些模型作为一个黑盒在不同提示或微调策略下的行为表现，而非其内部组件或数据流。因此，关于模型架构的详细信息，论文中未说明。 ...

📄 A Brain-Inspired Gating Mechanism Unlocks Robust Computation in Spiking Neural Networks #脉冲神经网络 #鲁棒性 #语音识别 #生物启发 #时序建模 ✅ 7.5/10 | 前25% | #语音识别 | #脉冲神经网络 | #鲁棒性 #生物启发 学术质量 7.5/7 | 选题价值 7.6/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Qianyi Bai（天津大学智能与计算学院/计算机科学与技术学院） 通讯作者：Qiang Yu（天津大学智能与计算学院） 作者列表：Qianyi Bai（天津大学智能与计算学院/计算机科学与技术学院）、Haiteng Wang（天津大学智能与计算学院/未来技术学院）、Qiang Yu（天津大学智能与计算学院） 💡 毒舌点评 论文的亮点在于为脉冲神经网络（SNN）引入了一个有扎实神经生物学背景的门控机制（动态电导），并通过理论分析和丰富的语音/时序任务实验，有力地证明了该机制对提升网络鲁棒性的显著效果，实验数据翔实。短板则在于，虽然方法有生物学启发，但实验评估高度集中在语音/音频时序任务，对于其在更广泛的视觉、多模态任务中的通用性和优势验证不足；此外，动态电导的引入增加了计算开销，论文对能效优势的分析略显单薄。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用了公开的Ti46Alpha， TIDIGITS， SHD， SSC数据集，论文未提及额外发布数据。 Demo：未提及。 复现材料：提供了详细的数学公式、伪代码（算法1）、网络架构描述、训练超参数（表5）和实验设置，复现指南较为充分。 论文中引用的开源项目：未明确引用。 📌 核心摘要 问题：现有的脉冲神经网络（SNN）由于神经元模型过于简化（如LIF），缺乏生物神经元中动态电导所体现的门控机制，导致其在应对噪声和时序变化时的鲁棒性不足。 方法核心：论文提出了动态门控神经元（DGN）。其核心是引入了与神经元活动相关的突触电导动态调节机制（公式3-8）。该机制根据输入脉冲历史自适应地调整膜电位衰减速率，实现了一种生物启发的“门控”功能，可选择性地过滤输入信息并抑制噪声。 创新点：与之前SNN中静态或工程化的门控（如GLIF）不同，DGN的门控源于动态电导这一生物学原理，在功能上与LSTM中的遗忘门和输入门有理论上的相似性。论文为该模型的噪声稳定性提供了基于随机微分方程的理论分析（公式13）。 实验结果：在多个语音识别基准测试中，DGN模型（无论是前馈还是循环版本）均取得了优异性能。例如，在TIDIGITS数据集上，前馈DGN达到98.59% 准确率，循环DGN达到99.10% 的SOTA水平。在抗噪和抗攻击实验中，DGN显著优于LIF、ALIF等传统神经元及LSTM。例如在TIDIGITS加性噪声（p=0.006）下，前馈DGN准确率（95.34%）比LIF（46.83%）高出约48个百分点。 实际意义：该工作为构建更鲁棒、更具生物合理性的SNN提供了新范式，有望提升神经形态芯片在嘈杂、非结构化环境（如边缘计算、语音交互）中的可靠性和适应性。 主要局限性：验证主要集中在语音/音频时序分类任务上；DGN相比标准LIF神经元增加了可学习参数（C_i）和计算步骤，会提升模型复杂度和推理开销；论文未提供与更先进、更复杂的SNN架构（如基于Transformer的SNN）的直接对比。 🏗️ 模型架构 论文的核心贡献是提出了一个新的神经元单元——动态门控神经元（DGN），并可将其组装成前馈或循环SNN。 ...

📄 A cross-species neural foundation model for end-to-end speech decoding #语音识别 #自监督学习 #跨模态 #端到端 ✅ 7.5/10 | 前25% | #语音识别 | #自监督学习 | #跨模态 #端到端 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Yizi Zhang（Columbia University）， Linyang He（Columbia University）（*表示共同第一作者） 通讯作者：未明确说明（论文中提供了通讯邮箱，但未明确标注“Corresponding Author”） 作者列表：Yizi Zhang（Columbia University）， Linyang He（Columbia University）， Chaofei Fan（Stanford University）， Tingkai Liu（Microsoft）， Han Yu（Columbia University）， Trung Le（University of Washington）， Jingyuan Li（Amazon）， Scott Linderman（Stanford University）， Lea Duncker（Columbia University）， Francis R Willett（Stanford University）， Nima Mesgarani（Columbia University）， Liam Paninski（Columbia University） 💡 毒舌点评 这篇论文堪称BCI语音解码领域的“系统集成大师”，它巧妙地将跨物种预训练、Transformer编码器和音频LLM这几个当前最时髦的模块组装成一个性能SOTA的端到端框架，展现了强大的工程整合能力和扎实的实验功底。然而，其核心创新更多在于“组合”而非“发明”，且最终端到端性能仍未超越精心调优的级联系统，这或许暗示了“神经信号直接生成文本”这条路还有很长的坡要爬。 ...

📄 Confident and Adaptive Generative Speech Recognition via Risk Control #语音识别 #大语言模型 #生成模型 #不确定性量化 ✅ 7.5/10 | 前25% | #语音识别 | #生成模型 | #大语言模型 #不确定性量化 学术质量 6.5/7 | 选题价值 0.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Amit Damri (特拉维夫大学电气与计算机工程学院) 通讯作者：Bracha Laufer-Goldshtein (特拉维夫大学电气与计算机工程学院) 作者列表：Amit Damri (特拉维夫大学电气与计算机工程学院)、Bracha Laufer-Goldshtein (特拉维夫大学电气与计算机工程学院) 💡 毒舌点评 这篇论文把“先学习后测试”这一风险控制工具玩明白了，用在ASR纠错里动态调整假设集大小，理论上很优雅，也确实省了不少计算。但它的“自适应”更像一个聪明的调参模块，而非解决语音识别核心难题的“银弹”，实际部署可能还得先过数据集校准这一关，通用性有待观察。 🔗 开源详情 代码：论文明确提供了代码仓库链接：https://github.com/amitdamritau/adaptive-ger。 模型权重：论文未提及公开模型权重。训练使用的是公开的LLaMA-2-7B/13B模型及LoRA微调，但未提供微调后的权重。 数据集：使用了公开的HyPoradise基准数据集（TedLium-3， CHiME-4， CommonVoice）和FLEURS数据集，论文说明了数据获取方式和划分。 Demo：论文中未提及在线演示。 复现材料：在附录C中提供了详细的LLM训练配置，包括超参数（学习率、batch size、LoRA设置）、提示模板、计算硬件要求。在附录A中提供了风险控制实现的详细算法和参数选择策略。提供了充分的复现信息。 论文中引用的开源项目：Whisper (Radford et al., 2023)， LLaMA-2 (Touvron et al., 2023)， PEFT库 (Mangrulkar et al., 2022)， evaluate库， HyPoradise基准 (Chen et al., 2023)， RobustGER (Hu et al., 2024a)， GenTranslate (Hu et al., 2024b)。 📌 核心摘要 要解决什么问题：现有的生成式语音识别纠错方法通常为所有输入使用固定数量的候选转录文本（N-best列表），这在简单输入上造成计算浪费，在复杂输入上可能引入低质量候选而降低纠错性能。同时，这些方法缺乏性能的理论保证。 方法核心是什么：提出一个自适应框架，利用ASR模型的置信度分数，动态决定每个音频输入应传递给LLM纠错模型的最优候选假设数量。核心是采用“学习后测试”框架，将候选集大小选择建模为风险控制问题，以可控的方式最小化相对于最佳可能性能（oracle）的预期性能退化。 与已有方法相比新在哪里：首次将无分布假设的风险控制理论（特别是LTT框架）应用于生成式ASR纠错。它从固定的N值选择转变为基于输入复杂度的自适应选择，并提供了预期性能退化有界的高概率理论保证。 主要实验结果如何：在HyPoradise基准的三个数据集（TedLium-3， CHiME-4， CommonVoice）上验证。结果表明，该方法平均可将假设集大小减少23%至52%，同时保持或略微提升（相对WER变化在-0.13%至+2.28%之间）纠错性能。风险控制成功率（超过理论最小值1-δ）得到实证验证。关键结果对比如下表所示： 测试集 GER基线 WER (%) 本文方法 Set Size 本文方法 WER (%) 相对大小减少 相对WER变化 TedLium-3 7.53 2.3 7.52 54% -0.13% CHiME-4 6.24 2.7 6.37 46% +2.06% CommonVoice 8.32 1.9 8.51 62% +2.28% 实际意义是什么：为LLM增强的ASR纠错系统提供了一种高效且可靠的部署策略。通过动态分配计算资源（假设集大小），可以在不损害（甚至可能提升）识别质量的前提下，显著降低推理成本，对实时或资源受限的应用场景有价值。 主要局限性是什么：框架的性能依赖于对分数归一化参数（γ， τ）的先验选择，虽然论文探索了基于熵的自动化选择和Pareto测试的多参数联合优化，但在完全未知的声学条件下部署仍需校准。此外，该方法优化的是假设集选择环节，其效果受限于底层ASR和LLM纠错模型的固有能力。 🏗️ 模型架构 本文提出的不是一个端到端的新模型，而是一个插件式的自适应选择框架，它作用于现有“ASR -> N-best列表 -> LLM纠错”流程中的第二步。 ...

📄 CTC-DRO: Robust Optimization for Reducing Language Disparities in Speech Recognition #语音识别 #鲁棒性 #多语言 #自监督学习 #基准测试 🔥 9.0/10 | 前25% | #语音识别 | #鲁棒性 | #多语言 #自监督学习 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Martijn Bartelds (斯坦福大学计算机科学系) & Ananjan Nandi (斯坦福大学计算机科学系)，并列第一作者 通讯作者：Martijn Bartelds (bartelds@stanford.edu) & Ananjan Nandi 作者列表：Martijn Bartelds (斯坦福大学计算机科学系)、Ananjan Nandi (斯坦福大学计算机科学系)、Moussa Koulako Bala Doumbouya (斯坦福大学计算机科学系)、Dan Jurafsky (斯坦福大学计算机科学系)、Tatsunori Hashimoto (斯坦福大学计算机科学系)、Karen Livescu (丰田技术学院芝加哥分校) 💡 毒舌点评 亮点：论文精准地戳中了将标准Group DRO应用于CTC损失时“损失值不可比”这一致命痛点，并设计了“长度匹配+平滑目标”这套组合拳来解决，理论分析扎实，实验结果显著（最差语言CER降低高达47.1%）。短板：方法虽然有效，但“平滑最大化目标”的启发式成分较重（α参数），其理论最优性证明有限；此外，“长度匹配”依赖一个目标时长的超参数，其敏感性分析在附录中，可能限制其在新场景的即插即用性。 ...

📄 DrVoice: Parallel Speech-Text Voice Conversation Model via Dual-Resolution Speech Representations #语音对话系统 #自回归模型 #多模态模型 #语音合成 #语音识别 🔥 9.5/10 | 前10% | #语音对话系统 | #自回归模型 | #多模态模型 #语音合成 学术质量 7.5/7 | 选题价值 2.0/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Chao-Hong Tan (Tongyi Fun Team, Alibaba Group) 通讯作者：未明确说明，根据邮箱推测为团队负责人（如tanchaohong.ch@alibaba-inc.com） 作者列表：Chao-Hong Tan, Qian Chen, Wen Wang, Chong Deng, Qinglin Zhang, Luyao Cheng, Hai Yu, Xin Zhang, Xiang Lv, Tianyu Zhao, Chong Zhang, Yukun Ma, Yafeng Chen, Hui Wang, Jiaqing Liu, Xiangang Li, Jieping Ye (所属机构均为 Tongyi Fun Team, Alibaba Group) 💡 毒舌点评 亮点：DrVoice的“双分辨率”设计堪称点睛之笔，通过一个简洁的分组/解分组机制，巧妙平衡了语音处理的计算效率（输入降至5Hz）与生成保真度（SRH在25Hz下精细化生成），在降低近半训练开销的同时性能不降反升，工程落地潜力巨大。 短板：论文专注于单向语音生成的对话模式，但真实的人机语音交互需要全双工能力（即能边听边说），作者在局限性中也承认了这一点。目前模型更像一个强大的“单口相声”演员，而非能自然打断和回应的真正对话伙伴。 ...

ICLR 2026 - 语音识别 共 9 篇论文 ← 返回 ICLR 2026 总览 排名 论文 评分 分档 🥇 CTC-DRO: Robust Optimization for Reducing Language Dispariti 9.0分 前25% 🥈 Scaling Speech Tokenizers with Diffusion Autoencoders 8.5分 前25% 🥉 StableToken: A Noise-Robust Semantic Speech Tokenizer for Re 8.0分 前25% 4. Pay Attention to CTC: Fast and Robust Pseudo-Labelling for U 8.0分 前10% 5. A Brain-Inspired Gating Mechanism Unlocks Robust Computation 7.5分 前25% 6. A cross-species neural foundation model for end-to-end speec 7.5分 前25% 7. Confident and Adaptive Generative Speech Recognition via Ris 7.5分 前25% 8. Speech-to-LaTeX: New Models and Datasets for Converting Spok 7.5分 前25% 9. SumRA: Parameter Efficient Fine-tuning with Singular Value D 7.5分 前25% 📋 论文详情 🥇 CTC-DRO: Robust Optimization for Reducing Language Disparities in Speech Recognition 🔥 9.0/10 | 前25% | #语音识别 | #鲁棒性 | #多语言 #自监督学习 ...

📄 Latent Speech-Text Transformer #语音识别 #语音合成 #语音大模型 #预训练 #自回归模型 ✅ 7.0/10 | 前25% | #语音识别 #语音合成 | #预训练 | #语音识别 #语音合成 学术质量 7.0/7 | 选题价值 1.8/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Yen-Ju Lu ( Johns Hopkins University, Center for Language and Speech Processing )，工作于 Meta 期间完成。 通讯作者：Srinivasan Iyer, Duc Le ( Meta Superintelligence Labs ) 作者列表： Yen-Ju Lu ( Johns Hopkins University, CLSP ) Yashesh Gaur ( Meta Superintelligence Labs ) Wei Zhou ( Meta Superintelligence Labs )，工作于 Meta 期间完成。 Benjamin Muller ( Meta Superintelligence Labs ) Jesus Villalba ( Johns Hopkins University, CLSP ) Najim Dehak ( Johns Hopkins University, CLSP ) Luke Zettlemoyer ( Meta Superintelligence Labs ) Gargi Ghosh ( Meta Superintelligence Labs ) Mike Lewis ( Meta Superintelligence Labs ) Srinivasan Iyer ( Meta Superintelligence Labs ) Duc Le ( Meta Superintelligence Labs ) 💡 毒舌点评 亮点在于精准识别了语音-文本模型因序列长度悬殊导致的“计算不公平”问题，并借鉴了文本领域的字节级Transformer思想，设计出一套从静态、对齐到课程学习的渐进式语音分块方案，有效提升了模型效率和跨模态性能。短板是部分最有效方案（如对齐分块）在推理时仍依赖外部对齐模型（Wav2Vec2+CTC），课程学习虽缓解了此问题，但完全无对齐依赖的端到端训练方案更具吸引力；此外，论文聚焦于预训练和补全任务，对更复杂的生成、理解或实时对话任务的探索尚待深入。 ...

📄 MCIF: Multimodal Crosslingual Instruction-Following Benchmark from Scientific Talks #基准测试 #多模态模型 #多语言 #大语言模型 #语音识别 🔥 8.5/10 | 前25% | #基准测试 | #多模态模型 | #多语言 #大语言模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Sara Papi（Fondazione Bruno Kessler (Italy)） 通讯作者：未说明（论文未明确指定通讯作者） 作者列表：Sara Papi (Fondazione Bruno Kessler)， Maike Züfle (Karlsruhe Institute of Technology)， Marco Gaido (Fondazione Bruno Kessler)， Beatrice Savoldi (Fondazione Bruno Kessler)， Danni Liu (Karlsruhe Institute of Technology)， Ioannis Douros (Fondazione Bruno Kessler)， Luisa Bentivogli (Fondazione Bruno Kessler)， Jan Niehues (Karlsruhe Institute of Technology) 💡 毒舌点评 亮点：论文填补了多模态、跨语言、长上下文指令跟随评测的关键空白，创建了一个系统对齐、人工标注的高质量基准，对推动通用多模态大模型发展有明确价值。 短板：论文的核心贡献是建立评测基准，而非提出新的建模方法，对现有模型“能力不足”的诊断虽清晰，但并未直接提供解决方案；评测模型均为已发表的开源或商用模型，缺乏对自身新方法的验证。 ...

📄 Pay Attention to CTC: Fast and Robust Pseudo-Labelling for Unified Speech Recognition #语音识别 #CTC #注意力机制 #半监督学习 #音视频 🔥 8.0/10 | 前10% | #语音识别 | #CTC #注意力机制 | #CTC #注意力机制 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Alexandros Haliassos（NatWest AI Research, Imperial College London） 通讯作者：未说明 作者列表：Alexandros Haliassos（NatWest AI Research, Imperial College London）， Rodrigo Mira（NatWest AI Research）， Stavros Petridis（NatWest AI Research, Imperial College London） 💡 毒舌点评 这篇论文通过巧妙地将CTC的快速鲁棒解码与Teacher Forcing结合，一举解决了原USR框架中自回归伪标签生成缓慢且易受分布偏移影响的痛点，同时通过混合采样策略平衡了训练与测试的差异，是典型的“工程智慧”推动方法进步的案例；但其核心贡献更偏向于训练策略的优化而非模型架构的根本性突破，且混合采样策略带来的增益在消融实验中并不总是显著。 ...