语音识别

📄 Grey-Box Prompt Tuning With Graph Alignment for Speech-Language Models #语音识别 #图神经网络 #提示调优 #语音大模型 🔥 8.0/10 | 前25% | #语音识别 | #图神经网络 | #提示调优 #语音大模型 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Yuhang Lu（广西师范大学，教育区块链与智能技术重点实验室） 通讯作者：Li-e Wang*（广西师范大学，教育区块链与智能技术重点实验室）；Linghui Meng†（东南大学，计算机科学与工程学院） 作者列表：Yuhang Lu（广西师范大学，教育区块链与智能技术重点实验室）、Li-e Wang*（广西师范大学，教育区块链与智能技术重点实验室）、Xianxian Li（广西师范大学，教育区块链与智能技术重点实验室）、Feng Yu（广西师范大学，教育区块链与智能技术重点实验室）、Linghui Meng†（东南大学，计算机科学与工程学院） 💡 毒舌点评 这篇论文的亮点在于其精巧的系统设计，将图神经网络用于声学-文本的细粒度对齐，并辅以复杂的无梯度优化策略，展现了扎实的工程创新和在“灰色盒”这一受限场景下解决实际问题的能力。但其优化策略（三重损失、Dirichlet先验、CMA-ES）的复杂度较高，且论文未提供任何开源代码，对于想快速复现或验证其优越性的读者而言，这无疑是一道高墙，使得漂亮的实验结果略显“空中楼阁”。 🔗 开源详情 根据论文内容，未提及任何开源计划。具体包括： 代码：论文中未提及代码仓库链接。 模型权重：未提及公开训练好的适配器或提示的权重。 数据集：使用了LLaSO语料子集，但未说明该子集是否公开及获取方式。 Demo：未提供在线演示。 复现材料：给出了部分超参数设置（表1），但缺失了大量关键细节（如CMA-ES参数、损失函数权重初始值、自适应调度具体公式等）。 引用的开源项目：论文中提及并依赖了Llama-3.2-3B-Instruct、HuBERT等开源模型/工具。 📌 核心摘要 本文旨在解决语音-语言模型（SLM）在灰色盒场景下（即模型参数冻结，仅有有限接口可注入提示）适配下游任务时面临的两大挑战：无梯度提示调优的低效不稳定，以及声学-文本对齐不足。为此，作者提出了一个轻量级的提示调优框架，其核心包含两个阶段：1) 图引导的跨模态对齐：利用图注意力网络（GAT）在联合表征空间中构建一个异构图，将声学节点和文本节点通过注意力边动态连接与聚合，实现鲁棒的跨模态对齐与融合，并通过一个对齐损失（公式10）进行监督。2) 渐进式无梯度优化策略：设计了一个两阶段优化目标（公式11），结合任务交叉熵、温度缩放蒸馏（公式12）和自适应高置信度一致性约束（公式14），并利用Dirichlet先验自适应调整各项权重，以稳定地优化提示。提示本身通过CMA-ES在低维子空间中联合生成声学和文本前缀。实验在LLaSO语料库的子集上进行，涉及语音识别（ASR）和多个副语言任务。结果显示，本方法在灰色盒约束下取得了优异性能（例如，ASR的WER为0.09，优于部分主流模型），同时在达到目标WER=0.15时，其时间-计算-内存开销优于基于强化学习的提示调优方法（RL-Prompt），并接近参数高效微调方法LoRA。消融实验证明了图对齐模块能有效提升语义级任务（如NER）的性能。本文的实际意义在于提供了一种在不修改主干参数的前提下，低成本、高效率适配语音-大语言模型的新范式。主要局限性在于优化策略的复杂性，以及论文未开源代码和详细复现信息。 🏗️ 模型架构 本文提出的“Grey-Box Prompt Tuning with Graph Alignment”框架旨在冻结的语音-语言模型（如Llama）中注入可学习的提示，以实现下游任务适配。其整体架构可分为图引导的跨模态对齐阶段和提示调优阶段。 ...

📄 How Far Do SSL Speech Models Listen for Tone? Temporal Focus of Tone Representation under Low-Resource Transfer #语音识别 #自监督学习 #迁移学习 #多语言 #低资源 ✅ 6.5/10 | 前50% | #语音识别 | #自监督学习 #迁移学习 | #自监督学习 #迁移学习 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Minu Kim（KAIST电气工程学院） 通讯作者：未说明 作者列表：Minu Kim（KAIST电气工程学院）、Ji Sub Um（KAIST电气工程学院）、Hoirin Kim（KAIST电气工程学院） 💡 毒舌点评 这篇论文系统性地分析了四种复杂声调语言在SSL模型中的表示，并创新性地使用梯度敏感性分析来量化“听”的时间范围，这是其最大的方法学亮点。但其核心贡献更偏向于现象观察与分析，而非提出一个新的、可直接用于提升性能的模型或算法，且实验部分仅限于分析现有模型，缺乏提出新方法或在标准benchmark上与SOTA对比，因此影响力受限。 🔗 开源详情 代码：论文中仅提及并引用了一个用于缅甸语文本到音素转换的开源工具（burmese-G2P）。未提及本论文核心实验（模型微调、梯度分析等）的代码仓库链接。 模型权重：未提及是否公开微调后的SSL模型权重。 数据集：使用的FLEURS, CommonVoice, RAVDESS, LibriSpeech, VoxCeleb1均为公开数据集，论文给出了引用。 Demo：未提及。 复现材料：未说明训练细节（如学习率、batch size）、硬件配置、完整的分析脚本或配置文件。仅提供了方法的大致描述和G2P工具链接。 论文中引用的开源项目：引用了 burmese-G2P（G2P工具）、Phonemizer [25]（文本转音素工具）。 整体开源情况：论文未提及完整的开源计划。仅部分依赖于已有的开源工具，核心研究内容的复现需要大量额外工作。 📌 核心摘要 问题：自监督学习（SSL）语音模型在表示词汇声调方面的能力，尤其是在普通话以外的复杂声调语言中尚未得到充分研究，其在低资源条件下的迁移机制也不明确。 方法核心：首先利用声学特征（log-Mel）和逻辑回归建立各语言声调识别所需的最佳时间跨度基线；然后，提出一种基于梯度的层间探测方法，通过分析SSL模型（如XLS-R）在微调后对声调分类的梯度能量分布，来量化模型对声调信息的时间关注范围（中心半径 r_com）。 新意：研究拓展了普通话以外的声调语言（缅甸语、泰语、老挝语、越南语），并首次系统分析了SSL模型对声调的“时间分辨率”以及不同微调任务（ASR、情绪识别、性别分类等）如何塑造这种分辨率。 主要实验结果：声学基线显示，缅甸语/泰语声调需约100ms时间窗口，老挝语/越南语需约180ms。梯度分析表明，在目标语言ASR微调后，SSL模型的梯度能量分布与这些语言特定的时间基线最为匹配（见图3，图5）。相比之下，基于语音韵律或说话人属性的微调任务导致模型关注的时间跨度过长，偏离声调本质。具体宏F1分数图表见图4，但论文未给出所有对比的精确数值。 实际意义：为低资源声调语言的语音技术（如ASR）提供了选择预训练模型和微调策略的指导，强调了微调任务与语言声调特性对齐的重要性。 主要局限性：研究仅限于分析现有模型，并未提出新的模型架构或训练目标；结论主要基于声调分类的探测任务，对实际ASR或TTS性能的提升效果未直接验证；所分析的模型和任务组合虽全面，但未与其他旨在提升声调表示的特定方法进行对比。 🏗️ 模型架构 本文并未提出新的模型架构，而是对现有的自监督语音表征模型进行分析。论文中分析的模型主要包括： ...

ICASSP 2026 - 语音识别 共 102 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 Towards Robust Dysarthric Speech Recognition: LLM-Agent Post 9.0分 前25% 🥈 Target-Speaker LLM-ASR with Speaker-Aware Speech Encoder 8.8分 前10% 🥉 SE-DiCoW: Self-Enrolled Diarization-Conditioned Whisper 8.5分 前25% 4. Scaling Multi-Talker ASR with Speaker-Agnostic Activity Stre 8.5分 前25% 5. Improving Contextual Asr Via Multi-Grained Fusion With Large 8.5分 前25% 6. OMNI-AVSR: Towards Unified Multimodal Speech Recognition Wit 8.5分 前10% 7. AISHELL6-Whisper: A Chinese Mandarin Audio-Visual Whisper Sp 8.3分 前25% 8. Polynomial Mixing for Efficient Self-Supervised Speech Encod 8.0分 前25% 9. GLoRIA: Gated Low-Rank Interpretable Adaptation for Dialecta 8.0分 前25% 10. Voting-Based Pitch Estimation with Temporal and Frequential 8.0分 前25% 11. Identifying the Minimal and Maximal Phonetic Subspace of Spe 8.0分 前25% 12. Lattice-Guided Consistency Regularization of Dual-Mode Trans 8.0分 前25% 13. BiRQ: Bi-Level Self-Labeling Random Quantization for Self-Su 8.0分 前25% 14. Synthetic Data Domain Adaptation for ASR via LLM-Based Text 8.0分 前25% 15. STACodec: Semantic Token Assignment for Balancing Acoustic F 8.0分 前25% 16. Language-Infused Retrieval-Augmented CTC with Adaptive Soft- 8.0分 前25% 17. Relative Time Intervals Representation For Word-Level Timest 8.0分 前25% 18. RLBR: Reinforcement Learning with Biasing Rewards for Contex 8.0分 前25% 19. Grey-Box Prompt Tuning With Graph Alignment for Speech-Langu 8.0分 前25% 20. Frontend Token Enhancement for Token-Based Speech Recognitio 8.0分 前25% 21. Noise-Robust AV-ASR Using Visual Features both in the Whispe 8.0分 前25% 22. Synthesized Data Selection via Score Distribution Matching f 8.0分 前25% 23. Bayesian Low-Rank Factorization for Robust Model Adaptation 8.0分 前25% 24. nGPT as a Scalable Architecture for Speech Recognition and T 7.5分 前25% 25. Input-Adaptive Differentiable Filterbanks via Hypernetworks 7.5分 前25% 26. A Study of Data Selection Strategies for Pre-Training Self-S 7.5分 前25% 27. K-Function: Joint Pronunciation Transcription and Feedback f 7.5分 前25% 28. Flexi-LoRA with Input-Adaptive Ranks: Efficient Finetuning f 7.5分 前25% 29. Adversarial Fine-Tuning on Speech Foundation Model with Vuln 7.5分 前25% 30. WAV2LEV: Predicting Levenshtein Edit Operation Sequences For 7.5分 前25% 31. LOTUSDIS: A Thai Far-Field Meeting Corpus for Robust Convers 7.5分 前25% 32. Whisper-FEST: Single-Channel Far-Field Enhanced Speech-to-te 7.5分 前50% 33. Production-Scale Dynamic Vocabulary ASR Biasing with Word-Le 7.5分 前25% 34. Do we really need self-attention for streaming automatic spe 7.5分 前25% 35. Advancing LLM-Based Multi-Channel Multi-Speaker Speech Recog 7.5分 前25% 36. Adapting Diarization-Conditioned Whisper for End-to-End Mult 7.5分 前25% 37. CALM: Joint Contextual Acoustic-Linguistic Modeling for Pers 7.5分 前25% 38. TTA: Transcribe, Translate and Alignment for Cross-Lingual S 7.5分 前25% 39. Emilia-NV: A Non-Verbal Speech Dataset with Word-Level Annot 7.5分 前25% 40. LLM-Based Post-ASR Error Correction for Disordered Speech 7.5分 前50% 41. Content-Preserving Speech Representation Learning Via Adapti 7.5分 前25% 42. Exploring SSL Discrete Tokens for Multilingual Automatic Spe 7.5分 前25% 43. TICL: Text-Embedding KNN for Speech in-Context Learning Unlo 7.5分 前25% 44. Purification Before Fusion: Toward Mask-Free Speech Enhancem 7.5分 前25% 45. Cross-Modal Bottleneck Fusion for Noise Robust Audio-Visual 7.5分 前25% 46. Inverse-Hessian Regularization for Continual Learning in ASR 7.5分 前25% 47. BEST-RQ-based Self-Supervised Learning for Whisper Domain Ad 7.5分 前25% 48. CCST: Cross-Modal and Consistency-Aware Self-Training for So 7.5分 前25% 49. Chunk-Wise Attention Transducers for Fast and Accurate Strea 7.5分 前25% 50. Chunkwise Aligners for Streaming Speech Recognition 7.5分 前25% 51. FinHuBERT: Hierarchical Feature Imitating Networks for Low-R 7.5分 前25% 52. UMA-SPLIT: Unimodal Aggregation for Both English and Mandari 7.5分 前25% 53. MNV-17: A High-Quality Performative Mandarin Dataset for Non 7.5分 前25% 54. Listen, But Don’t Leak: Sensitive Data Protection for Privac 7.5分 前25% 55. Confidence-Guided Error Correction for Disordered Speech Rec 7.5分 前25% 56. Advancing Semi-Supervised Child Speech Recognition with Omni 7.5分 前25% 57. Variational Low-Rank Adaptation for Personalized Impaired Sp 7.5分 前50% 58. Decoder-Only Conformer with Modality-Aware Sparse Mixtures o 7.5分 前25% 59. Cross-Cultural Bias in Mel-Scale Representations: Evidence a 7.0分 前25% 60. Bridging the Front-End and Back-End for Robust ASR via Cross 7.0分 前25% 61. TASU: Text-only Alignment for Speech Understanding 7.0分 前25% 62. Streaming Speech Recognition with Decoder-Only Large Languag 7.0分 前25% 63. Reducing Prompt Sensitivity in LLM-Based Speech Recognition 7.0分 前25% 64. PAC: Pronunciation-Aware Contextualized Large Language Model 7.0分 前25% 65. Investigating The Effect Of Sentence-Level Syntactic Structu 7.0分 前50% 66. SSVD-O: Parameter-Efficient Fine-Tuning with Structured SVD 7.0分 前25% 67. Three Seconds is Sufficient: A Multi-Pronged Framework for M 7.0分 前50% 68. In-Sync: Adaptation of Speech Aware Large Language Models fo 7.0分 前50% 69. AccLID: Accent-aware Language Identification for Robust Mult 7.0分 前25% 70. BBPE16: UTF-16-Based Byte-Level Byte-Pair Encoding for Impro 7.0分 前50% 71. Mixtures of Lightweight Articulatory Experts for Multilingua 7.0分 前25% 72. Towards Orthographically-Informed Evaluation of Speech Recog 7.0分 前25% 73. Contextual Biasing for ASR in Speech LLM with Common Word Cu 7.0分 前25% 74. Peeking Into the Future for Contextual Biasing 7.0分 前50% 75. SLM-TTA: A Framework for Test-Time Adaptation of Generative 7.0分 前50% 76. Tokenchain: A Discrete Speech Chain via Semantic Token Model 7.0分 前25% 77. Advanced modeling of interlanguage speech intelligibility be 7.0分 前25% 78. Leveraging Segment-Level Speech Representations for LLM-Base 7.0分 前50% 79. Mitigating Attention Sinks and Massive Activations in Audio- 7.0分 前25% 80. Teaching the Teachers: Boosting Unsupervised Domain Adaptati 7.0分 前25% 81. Attention2Probability: Attention-Driven Terminology Probabil 7.0分 前25% 82. Whisper-MLA: Reducing GPU Memory Consumption of ASR Models B 7.0分 前25% 83. Mind the Shift: Using Delta SSL Embeddings to Enhance Child 7.0分 前25% 84. PhoenixDSR: Phoneme-Guided and LLM-Enhanced Dysarthric Speec 7.0分 前50% 85. Audio-Conditioned Diffusion LLMs for ASR and Deliberation Pr 7.0分 前50% 86. Sequence-Level Unsupervised Training in Speech Recognition: 6.5分 前50% 87. Ara-BEST-RQ: Multi Dialectal Arabic SSL 6.5分 前50% 88. Medical ASR Enhancement by Domain-Specific Reinforcement Fin 6.5分 前25% 89. CTC-DID: CTC-Based Arabic Dialect Identification for Streami 6.5分 前50% 90. Towards Fair ASR for Second Language Speakers using Fairness 6.5分 前50% 91. Towards Building Speech Large Language Models for Multitask 6.5分 前25% 92. Whisper: Courtside Edition - Enhancing ASR Performance throu 6.5分 前50% 93. SED: Structural Entropy Based Speech Discretization for Disc 6.5分 前50% 94. Multilingual Supervised Pretraining with Lm-Assisted Decodin 6.5分 前50% 95. Improving Automatic Speech Recognition by Mitigating Distort 6.5分 前25% 96. Windowed SummaryMixing: An Efficient Fine-Tuning of Self-Sup 6.5分 前50% 97. Proficiency-Aware Adaptation and Data Augmentation for Robus 6.5分 前25% 98. Domain-Aware Scheduling for ASR Fine-Tuning 6.5分 前50% 99. Online Register For Dual-Mode Self-Supervised Speech Models: 6.5分 前50% 100. Learning to Align with Unbalanced Optimal Transport in Lingu 6.5分 前50% 101. How Far Do SSL Speech Models Listen for Tone? Temporal Focus 6.5分 前50% 102. Leveraging Audio-Visual Data to Reduce the Multilingual Gap 6.0分 前50% 📋 论文详情 🥇 Towards Robust Dysarthric Speech Recognition: LLM-Agent Post-ASR Correction Beyond WER 🔥 9.0/10 | 前25% | #语音识别 | #大语言模型 | #鲁棒性 #数据集 ...

📄 Identifying the Minimal and Maximal Phonetic Subspace of Speech Representations #自监督学习 #语音识别 #模型评估 #语音特征 🔥 8.0/10 | 前25% | #语音识别 | #自监督学习 | #模型评估 #语音特征 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xingwen Han（爱丁堡大学信息学院） 通讯作者：未说明 作者列表：Xingwen Han（爱丁堡大学信息学院）、Hao Tang（爱丁堡大学信息学院） 💡 毒舌点评 亮点：论文将NLP中“属性编码在低维子空间”的思路成功迁移到语音SSL模型分析，并提出了“最小/最大音素子空间”的互补定义，逻辑自洽且实验验证扎实，特别是发现最小音素子空间（~22维）与说话人子空间近乎正交，这为开发“说话人不变”的紧凑语音表示提供了理论依据。短板：研究的核心发现（如维度冗余、信息正交性）在先前对APC/CPC的分析中已有迹象，本文更多是定义、确认和量化这些现象在更大规模模型上的表现，突破性略显不足，且最大音素子空间的实验方法（PCA残差）存在已知局限（论文自身也提及）。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：使用公开的Hugging Face检查点：wav2vec2-base-960h, hubert-base-ls960, wavlm-base-plus。 数据集：使用公开的LibriSpeech数据集，并详细说明了划分方式（dev-clean的5:1:4划分及test-clean的用途）。 Demo：未提及。 复现材料：提供了充分的训练细节（优化器、学习率、早停策略）、关键超参数（维度范围、阈值α/β=0.5%）、模型层选择（Layer 9）和探测器架构说明，复现信息较充分。 论文中引用的开源项目：Hugging Face Transformers（用于加载模型）、Montreal Forced Aligner（用于生成音素标签）、LibriSpeech数据集。 📌 核心摘要 要解决什么问题：澄清自监督学习（SSL）语音模型（如wav2vec 2.0, HuBERT, wavLM）中音素信息编码的几何结构，特别是其所在的子空间维度下限（最小）和上限（最大）。 方法核心是什么：正式定义了“最小音素子空间”（在可容忍精度损失α内保持音素分类精度的最低维子空间）和“最大音素子空间”（其正交补中不包含音素信息的最低维子空间）。使用秩约束探测器、PCA、LDA等方法在LibriSpeech数据集上，针对模型第9层768维表示进行识别和分析。 与已有方法相比新在哪里：相比先前对APC/CPC模型的固定维度（39维）子空间分析，本文首次形式化定义了最小和最大子空间的概念，并系统性地在更复杂的SSL模型上扫描维度阈值、量化子空间重叠（通过CRV指标）和验证其与说话人子空间的正交性。 主要实验结果如何：(1) 最小音素子空间维度极低：wav2vec 2.0为21维，HuBERT和wavLM为22维，此时音素分类准确率与768维原始空间相当（约86.3%）。(2) 这些最小音素子空间非唯一，但彼此有约70%的方差重叠。(3) 最小音素子空间与说话人子空间近乎正交：在其上进行说话人探测，准确率接近随机水平（~5%）。(4) 最大音素子空间维度极高（>753），表明音素信息在表示空间中高度冗余。(5) 关键对比数据见下表： 子空间类型 维度 HuBERT音素准确率 wav2vec 2.0音素准确率 wavLM音素准确率 说明 原始空间 768 ~86.35% ~86.27% ~86.35% 基准 最小音素子空间（秩约束探测器） 22/21/22 86.29% 86.17% 86.17% 与原始空间性能相当 38维LDA子空间 38 83.41% 82.82% 82.87% 性能下降，优于PCA 39维PCA类中心子空间 39 79.43% 78.66% 78.45% 性能进一步下降 最小维度的随机子空间 22/21/22 27.93% 33.05% 29.61% 接近随机水平 实际意义是什：研究结论支持两个应用方向：(1) 开发更紧凑的语音表示（降至~22维）以降低下游计算成本；(2) 利用音素与说话人信息的正交性，设计更公平、说话人不变的语音处理系统。 主要局限性是什：(1) 最大音素子空间的定义和实验方法（PCA残差）可能高估其维度，论文指出其为上界。(2) 实验仅聚焦于英语（LibriSpeech）和模型的第9层，结论的普遍性有待验证。(3) 未探讨最小音素子空间在更复杂下游任务（如大词汇量ASR）中的有效性。 🏗️ 模型架构 本文并未提出新的神经网络模型，而是对三个已有的自监督学习（SSL）语音模型的中间表示进行分析。所分析的模型架构如下： ...

📄 Impact of Phonetics on Speaker Identity in Adversarial Voice Attack #说话人验证 #对抗样本 #语音识别 #音频安全 ✅ 7.0/10 | 前50% | #说话人验证 | #对抗样本 | #语音识别 #音频安全 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：未说明（论文中作者按字母顺序列出，未明确标注第一作者） 通讯作者：未说明（论文中未提供通讯作者信息） 作者列表：Daniyal Kabir Dar（密歇根州立大学计算机科学与工程系）、Qiben Yan（密歇根州立大学计算机科学与工程系）、Li Xiao（密歇根州立大学计算机科学与工程系）、Arun Ross（密歇根州立大学计算机科学与工程系） 💡 毒舌点评 亮点在于将对抗扰动的分析从单纯的转录错误（WER/CER）提升到了语音学特征（元音、辅音）和说话人身份表征的层面，提出了“身份漂移”这个直观且有意义的概念。短板是整个研究框架（白盒攻击+评估指标）相对常规，对“为什么某些语音结构更容易引发漂移”这一核心问题的分析深度有限，更多是相关性观察而非因果解释。 🔗 开源详情 代码：论文在结论部分提供了一个GitHub仓库链接（https://dantyalkabir.github.io/icassp-2026-results/），用于提供额外的图示和可视化结果。但未明确说明该仓库是否包含生成对抗样本、运行评估的完整可执行代码。 模型权重：未提及公开攻击生成的对抗样本权重或修改后的说话人模型权重。 数据集：实验使用公开数据集VCTK [31]。 Demo：未提供在线演示。 复现材料：论文详细描述了攻击框架、目标短语设计思路、评估指标，但缺少具体的训练/优化超参数（如迭代次数、步长、c值）、模型配置细节和完整的脚本，复现存在一定难度。 引用的开源项目：引用了DeepSpeech [2]、ECAPA-TDNN [3]等作为基线模型。 📌 核心摘要 本文研究了针对自动语音识别（ASR）系统的对抗性语音攻击，如何同时影响说话人身份验证。论文的核心问题是：这些旨在改变转录文本的微小扰动，是否会破坏用于区分说话人的声学指纹？方法上，作者以DeepSpeech为攻击目标，采用基于梯度的白盒攻击方法生成对抗样本，并创新性地从语音学角度（如元音中心化、辅音替换）分析扰动模式。与以往只关注转录准确率的工作不同，本文的核心贡献在于系统评估了对抗攻击对说话人验证系统（使用ECAPA-TDNN和ResNet模型）的影响，提出了“身份漂移”概念。实验结果显示，在VCTK数据集上，攻击的成功率与目标短语的语音复杂度和长度强相关：短元音丰富的短语（如“yes”）身份漂移很小（TMR=100%， d’≈9.6），而长且包含复杂辅音丛的短语（如pangrams）会导致严重的身份漂移（TMR低至44%， d’降至约3.0）。该研究的实际意义在于揭示了语音对抗攻击的双重危害，提示了未来防御系统需要同时考虑转录安全和身份安全。主要局限性在于研究仅限于理想化的白盒攻击设置，未探讨更现实的黑盒或过空气攻击场景。 🏗️ 模型架构 本文并未提出一个新的模型架构，而是分析现有系统在对抗攻击下的行为。整体攻击与分析框架如图1所示。 ...

📄 Improving Automatic Speech Recognition by Mitigating Distortions Introduced by Speech Enhancement Under Drone Noise #语音识别 #语音增强 #扩散模型 #鲁棒性 #无人机 ✅ 6.5/10 | 前25% | #语音识别 | #语音增强 #扩散模型 | #语音增强 #扩散模型 学术质量 4.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Ryusei Miura（东京科学大学 系统与控制工程系） 通讯作者：未说明 作者列表：Ryusei Miura（东京科学大学 系统与控制工程系），Takahiro Osaki（东京科学大学 系统与控制工程系），Benjamin Yen（东京科学大学 系统与控制工程系），Takeshi Ashizawa（东京科学大学 系统与控制工程系），Kazuhiro Nakadai（东京科学大学 系统与控制工程系） 💡 毒舌点评 亮点：论文针对“语音增强会扭曲语音”这个经典矛盾，提出了“动态融合增强中间结果”+“用噪声特征校正特征”的双模块轻量化解决方案，思路清晰且工程化味道浓。短板：在-10 dB信噪比下，所提系统性能雪崩式下降（CER平均92.4%），甚至远不如直接用ASR（81.6%），这暴露出方法在极端噪声下的脆弱性，也让其宣称的“鲁棒性”打了不少折扣。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用了公开的LibriSpeech语音集和三个无人机噪声数据集（Bebop, Mambo, MK-Quadro），论文中给出了引用。 Demo：未提供在线演示。 复现材料：论文提供了较为详细的实现细节（如模型维度、超参数、训练流程），但缺少完整的配置代码和预处理脚本。 论文中引用的开源项目：ESPnet工具包[24]。 总体情况：论文中未提及开源计划。 📌 核心摘要 解决的问题：在无人机噪声环境下，使用语音增强（SE）作为预处理会引入失真或信息丢失，导致后续自动语音识别（ASR）模型因声学失配而性能下降。 ...

📄 Improving Contextual Asr Via Multi-Grained Fusion With Large Language Models #语音识别 #多粒度融合 #大语言模型 #端到端 #多语言 🔥 8.5/10 | 前25% | #语音识别 | #多粒度融合 | #大语言模型 #端到端 学术质量 8.0/7 | 选题价值 1.8/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Shilin Zhou（苏州大学计算机科学与技术学院） 通讯作者：Zhenghua Li*（苏州大学计算机科学与技术学院） 作者列表：Shilin Zhou（苏州大学计算机科学与技术学院）、Zhenghua Li*（苏州大学计算机科学与技术学院）。论文中未提及其他作者。 💡 毒舌点评 该论文系统性地将上下文ASR中“逐token生成”和“整短语复制”这两种主流但互斥的策略融合进一个统一框架，并利用LLM提供强大的语义先验，在关键词识别上取得了显著提升（最高9.8%的召回率提升），证明了多粒度协同的有效性。然而，其效率提升（RTF）的评估相对初步，且在英文数据集上的绝对优势并不突出，框架的实时性与LLM引入的额外计算开销之间的平衡在工业级大规模部署中仍是潜在挑战。 🔗 开源详情 代码：论文中提供了代码仓库链接：https://github.com/zsLin177/MGF-ASR。 模型权重：论文提及“We will release the code and models”，但未提供具体的预训练模型下载链接或存储位置，状态为计划公开。 数据集：实验所用的Aishell、Slidespeech等为公开数据集。RWCS-NER由作者团队发布，论文中引用了相关论文。 Demo：未提及。 复现材料：论文提供了详细的架构图、算法公式和主要实验设置描述，但关键训练细节（如学习率、优化器、具体训练步数）未在正文中给出。依赖的开源项目包括Whisper、Qwen2、Phi-3.5等大模型。 引用的开源项目：论文明确使用了Whisper作为ASR骨干，Qwen2和Phi-3.5作为LLM组件。 📌 核心摘要 解决的问题：现有上下文语音识别方法通常在token级（细粒度控制，但易破坏关键词完整性）和phrase级（保持短语完整，但易损害非关键词识别）之间二选一，未能有效结合两者的互补优势。 方法核心：提出一个多粒度融合框架。该框架以CopyNE为基础，引入大型语言模型（LLM），并行运行两个分支：(1) Token级分支：基于ASR模型与LLM输出token概率的动态不确定性融合。(2) Phrase级分支：联合使用LLM的语义隐藏状态与ASR的声学状态，通过注意力机制选择关键词短语。最后，通过联合融合机制将两个分支的输出统一到一个概率空间进行解码。 创新点：首次在统一框架内系统地融合token级和phrase级方法；创新性地将LLM作为语义先验源，用于指导两个粒度的融合过程（token级提供概率，phrase级提供状态）；提出了基于ASR不确定性的自适应融合策略。 ...

📄 In-Sync: Adaptation of Speech Aware Large Language Models for ASR with Word level timestamp predictions #语音识别 #语音大模型 #多任务学习 #数据增强 ✅ 7.0/10 | 前50% | #语音识别 | #多任务学习 | #语音大模型 #数据增强 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Xulin Fan（University of Illinois Urbana-Champaign） 通讯作者：未说明 作者列表：Xulin Fan（University of Illinois Urbana-Champaign）、Vishal Sunder（IBM Research）、Samuel Thomas（IBM Research）、Mark Hasegawa-Johnson（University of Illinois Urbana-Champaign）、Brian Kingsbury（IBM Research）、George Saon（IBM Research） 💡 毒舌点评 亮点：论文提出的三个训练策略（长度增强、嵌入正则化、减少教师强制）逻辑清晰，且消融实验设计规范，清晰展示了每个模块的贡献与局限，为SpeechLLM的多任务适配提供了实用的工程经验。 短板：作为一篇ICASSP论文，其核心创新（尤其是高斯先验正则化）更像是一种“调参技巧”的系统化，而非算法层面的突破；此外，论文承认了正则化与减少教师强制“组合不佳”，这削弱了方法作为统一框架的完备性。 ...

📄 Input-Adaptive Differentiable Filterbanks via Hypernetworks for Robust Speech Processing #语音识别 #音频分类 #语音情感识别 #自监督学习 #时频分析 #鲁棒性 ✅ 7.5/10 | 前25% | #语音识别 | #自监督学习 | #音频分类 #语音情感识别 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Zikun Quan（University College London） 通讯作者：Gaoyuan Du（Amazon）、Weilin Zhou（Nanjing Tech University） 作者列表：Zikun Quan（University College London）、Weilin Zhou（Nanjing Tech University）、Gaoyuan Du（Amazon） 💡 毒舌点评 亮点：这篇论文的核心想法非常直观且有吸引力——让前端滤波器像人耳一样，根据听到的内容（比如是安静的语音还是嘈杂的街道）实时“拧动旋钮”调整自身参数，这比让上层网络费力适应固定前端要优雅得多。短板：虽然作者声称“实时”，但论文提供的延迟数据（48.5ms总延迟）和复杂的控制器架构暗示，在极低延迟的流式应用（如助听器）中，其计算开销和预测滞后可能成为瓶颈，且实验部分缺乏与更多前沿自适应方法（如神经音频编解码器或扩散模型中的适应性模块）的直接对比。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用了公开数据集（CHiME-4, LibriSpeech, IEMOCAP, FSD50K），但论文本身未提供新数据集。 Demo：未提及。 复现材料：提供了核心算法描述和损失函数公式，但缺少关键超参数（如滤波器组细节、控制器窗口大小）、训练设置（学习率、优化器、batch size）和硬件信息，不足以完全复现。 论文中引用的开源项目：未明确说明。 📌 核心摘要 问题：传统和现有的可学习音频前端（如MFCC, SincNet, LEAF）都使用静态滤波器组，无法适应真实世界中动态变化的声学环境（如突发噪声），导致下游任务性能下降。 方法核心：提出HyperFB，一个受超网络控制的自适应可微分滤波器组框架。它包含两个核心模块：一个轻量级的因果超网络控制器（H）实时分析输入音频上下文，生成一组控制点；这些控制点通过可微分插值，生成平滑的滤波器参数轨迹（中心频率、带宽），用于配置时变滤波器组操作符（F）对原始波形进行滤波。 创新点：首次将超网络用作“控制器”，直接在物理信号处理层（而非特征层或网络层）实时生成并调整滤波器的物理参数，实现了实例级（instance-wise）的自适应。并提出了基于“噪声到干净语音重建”的任务无关自监督预训练策略，以及高效的适配器微调范式。 主要实验结果：在CHiME-4（鲁棒语音识别）任务上，HyperFB的平均词错误率（WER）为20.3%，显著优于最强基线HuBERT（22.2%）和静态版本的Oracle（24.1%）。在数据效率上，在LibriSpeech-100h上优势明显。在跨任务泛化上，在情感识别（IEMOCAP， WAA 71.8%）和音频分类（FSD50K， mAP 0.482）上也表现优异。 实际意义：为构建真正鲁棒的音频处理系统提供了一条新路径，即让前端本身智能化、可调节，能有效应对非平稳噪声，适用于语音识别、情感分析、声学场景分类等多种任务，尤其在低资源场景下优势显著。 局限性：主要局限性在于引入的额外计算开销（相比静态前端），以及因果设计带来的固定延迟（48.5ms），可能限制其在某些超低延迟实时应用中的部署。此外，其自适应能力高度依赖控制器对声学场景的准确分析，对于极端未见过的噪声类型可能失效。 💡 核心创新点 物理层的实例级自适应滤波器：这是最核心的创新。以往的自适应方法（如注意力、动态卷积）作用于网络中间层特征，而HyperFB直接改变前端滤波器组的物理参数。这相当于让前端能够“物理上”重新配置自身的频谱分析方式，以匹配当前输入信号的特性。证据：图2和图3的可视化清晰展示了模型如何针对不同噪声（高频嘶声、低频隆隆声）重塑滤波器形状以抑制噪声、突出语音共振峰。 因果超网络控制器架构：设计了一个轻量、多尺度的因果网络来“理解”声学场景并生成滤波器参数轨迹。其注意力机制能根据输入动态调整对不同时间尺度的关注（图5），信息瓶颈则促进了鲁棒表示的形成。这是实现上述物理层自适应的“大脑”。 两阶段任务无关预训练与高效微调范式：提出了“噪声到干净语音重建”的自监督预训练任务（公式1），迫使控制器学习通用的声学场景分析能力，而非过拟合于特定下游任务。微调时，冻结大部分参数，仅在控制器的信息瓶颈处插入极轻量的适配器（更新<1%参数），实现了高效、鲁棒的跨任务迁移。 🔬 细节详述 训练数据： 预训练：使用LibriSpeech的无标签部分。方法：将干净音频 xc 与随机噪声 n 混合生成 xnoisy。 微调/评估： 鲁棒语音识别：CHiME-4（真实嘈杂环境，包含Bus, Cafe, Ped., Street四种场景）。 数据效率：LibriSpeech-100h/360h。 情感识别：IEMOCAP。 音频分类：FSD50K。 损失函数： 预训练损失 (Lpretrain)：E[ || D(F(xnoisy, H(xnoisy))) - Sc ||^2_2 ]。其中 D 是一个轻量辅助CNN解码器，目标是从自适应特征中重建干净语音的幅度谱 Sc。 下游微调损失 (Ltotal)：Ltask + λLreg。Ltask 是任务损失（如交叉熵）；Lreg 是结构正则化项，鼓励生成的滤波器轨迹在频域保持平滑分布，防止重叠或聚集。 训练策略：两阶段。 阶段一：自监督预训练。优化 Lpretrain，训练控制器H、操作符F和解码器D。 阶段二：下游微调。丢弃解码器D，冻结H和F的大部分参数。仅训练新插入的任务适配器（一个单层线性层）和下游任务模型。优化 Ltotal。 关键超参数： 控制器H：多尺度窗口长度（如80ms, 400ms, 1600ms）。 操作符F：滤波器数量 K，控制点数量 Nc。 微调适配器：嵌入维度（瓶颈维度）。 以上具体数值论文未说明。 训练硬件：论文未说明。 推理细节：采用分段时不变处理。每个音频帧（如25ms）使用该帧中心时刻查询到的瞬时滤波器参数进行独立滤波。这近似实现了参数连续变化的时变系统。 正则化/稳定训练技巧：使用了信息瓶颈原理强制学习压缩表示；在下游损失中加入了轨迹平滑正则项 Lreg。 📊 实验结果 表1. CHiME-4 Real Eval集上的词错误率(WER %↓) ...

📄 Inverse-Hessian Regularization for Continual Learning in ASR #语音识别 #持续学习 #正则化 #领域适应 ✅ 7.5/10 | 前25% | #语音识别 | #持续学习 #正则化 | #持续学习 #正则化 学术质量 6.8/7 | 选题价值 1.7/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Steven Vander Eeckt（KU Leuven, ESAT-PSI部门） 通讯作者：Hugo Van hamme（KU Leuven, ESAT-PSI部门） 作者列表：Steven Vander Eeckt（KU Leuven, ESAT-PSI部门）、Hugo Van hamme（KU Leuven, ESAT-PSI部门） 💡 毒舌点评 亮点在于优雅地将“往平坦方向走”的优化直觉转化为一个无需存储旧数据的实用合并步骤，并在实验中证明了其有效性，甚至超越了需要记忆库的方法。短板是其实验验证场景（两个小规模单语口音/麦克风适应任务）相对“温室”，离证明其在真实世界复杂、多语言、流式ASR系统中的鲁棒性还有距离。 🔗 开源详情 代码：论文明确提供了GitHub仓库链接：https://github.com/StevenVdEeckt/inverse-hessian-regularization。论文中写道“更多细节，包括代码和详细结果，可在我们的GitHub仓库中找到。” 模型权重：论文中未提及公开模型权重。 数据集：使用了Common Voice和LibriSpeech/Libri-Adapt等公开数据集。论文中未提及提供额外数据集。 Demo：论文中未提供在线演示。 复现材料：论文提供了方法算法伪代码（Algorithm 1）、关键超参数（τ值）、以及基于ESPnet2���架的实现环境。代码仓库预计包含更多训练细节。 论文中引用的开源项目：ESPnet2[17]（实验框架）、SentencePiece[24]（分词器）、Adam优化器[25]。 📌 核心摘要 问题：自动语音识别（ASR）系统在持续学习新领域（如新口音、方言、麦克风类型）时，会遭遇灾难性遗忘，即在新任务上学习后，性能在旧任务上急剧下降。现有的无记忆方法（如权重平均）是启发式的，忽略了任务损失曲面的几何信息，限制了适应性。 方法核心：提出逆Hessian正则化（IHR）。在模型于新任务上微调后，得到参数更新量Δθ。IHR不直接使用该更新量，而是将其乘以旧任务损失函数在旧参数处的逆Hessian矩阵（或近似），从而将更新方向调整到对旧任务不敏感（即位于旧任务低损失区域）的方向，再与旧参数合并得到最终模型。 创新与新意： 首次将逆Hessian信息应用于ASR持续学习的合并步骤：与在训练中加入正则化项不同，IHR将其作为后处理，计算量小。 轻量级分层实现：采用Kronecker分块对角近似，仅针对占模型绝大多数参数的线性层计算并应用逆Hessian更新，保持计算和存储开销恒定。 实证优势：在两个基准测试上显著优于现有无记忆方法，并在遗忘指标上优于需要存储旧数据的回放缓存（ER）方法。 主要实验结果： 实验1（Common Voice口音适应）：IHR的平均WER为13.32%，显著优于最强基线FTA（13.71%）和ER（13.97%）。BWT为-0.1（近乎零遗忘），而FTA为-0.3，Fine-Tuning为-3.6。 实验2（LibriSpeech → Libri-Adapt麦克风+口音适应）：IHR的平均WER为7.40%，优于FTA（8.97%）、UOE（12.10%）等基线，但略逊于ER（6.43%）。BWT为-1.4。 消融实验证实，仅使用最近任务的逆Hessian近似（而非所有历史任务之和）效果相当，且对剩余参数使用1/t平均能进一步减少遗忘。 实际意义：为ASR模型提供了一种无需存储历史数据、计算高效且原理更合理的持续适应方案，有助于部署能够安全、隐私地不断学习新用户特征的ASR服务。 主要局限性： 实验验证的场景相对简单，均为单一语言、小规模任务序列的领域适应。在任务差异更大、序列更长或更复杂的持续学习场景下的有效性有待验证。 方法依赖于对Hessian的近似（特别是忽略跨层交互），且仅应用于线性层，其近似效果在更大模型上的理论保证和实际影响未深入分析。 超参数τ需要针对不同场景调整。 🏗️ 模型架构 本文的核心贡献在于优化策略（持续学习方法），而非全新的ASR模型架构。ASR模型本身采用标准的编码器-解码器结构： ...