端到端

📄 HAVT-IVD: Heterogeneity-Aware Cross-Modal Network for Audio-Visual Surveillance: Idling Vehicles Detection with Multichannel Audio and Multiscale Visual Cues #音频事件检测 #多模态模型 #端到端 #麦克风阵列 🔥 8.0/10 | 前25% | #音频事件检测 | #多模态模型 | #端到端 #麦克风阵列 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xiwen Li（Scientific Computing and Imaging Institute, University of Utah） 通讯作者：Tolga Tasdizen（Scientific Computing and Imaging Institute, University of Utah; Department of Electrical and Computer Engineering, University of Utah） 作者列表：Xiwen Li（Scientific Computing and Imaging Institute, University of Utah）、Xiaoya Tang（Scientific Computing and Imaging Institute, University of Utah）、Tolga Tasdizen（Scientific Computing and Imaging Institute, University of Utah; Department of Electrical and Computer Engineering, University of Utah） 💡 毒舌点评 这篇论文的亮点在于其问题导向的系统设计，针对异质性模态融合、多尺度检测和训练不稳定这三个具体痛点，分别用Transformer、特征金字塔和解耦头给出了清晰的解决方案，实验增益显著。然而，其短板在于创新点的“组合”色彩较重，每个组件（如Transformer用于融合、FPN、解耦头）在其他视觉任务中已有广泛应用，论文的核心贡献更多是巧妙地将这些成熟模块应用于特定任务，而非提出根本性的新机制。 ...

📄 HCGAN: Harmonic-Coupled Generative Adversarial Network for Speech Super-Resolution in Low-Bandwidth Scenarios #语音增强 #生成模型 #端到端 #低资源 🔥 8.0/10 | 前50% | #语音增强 | #生成模型 | #端到端 #低资源 学术质量 5.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xin Wang（河海大学信息科学与工程学院） 通讯作者：Yibin Tang（河海大学信息科学与工程学院） 作者列表：Xin Wang（河海大学信息科学与工程学院）、Yuan Gao（河海大学信息科学与工程学院）、Xiaotong Wang（河海大学信息科学与工程学院）、Yibin Tang（河海大学信息科学与工程学院）、Aimin Jiang（河海大学信息科学与工程学院）、Ying Chen（常州大学微电子与控制工程学院） 💡 毒舌点评 亮点：该工作的双分支设计思路清晰，将语音的谱特征与谐波结构显式解耦并分别建模，对于解决4kHz这类谐波严重丢失的极窄带问题确有针对性，消融实验也证明了谐波分支的贡献。短板：作为2026年发表在ICASSP的工作，其网络架构（U-Net + GAN + Mamba）的集成缺乏更深入的原理性创新，更像是一个工程上的有效组合；且Mamba模块在消融实验中对核心指标PESQ的提升并不显著，其必要性有待更强论证。 🔗 开源详情 代码：论文提供了代码仓库链接：https://github.com/BiolabHHU/HCGAN。 模型权重：论文中未提及是否公开预训练模型权重。 数据集：使用VCTK公开数据集，论文中说明了数据集来源和处理方式，但未说明是否提供处理后的数据。 Demo：论文中未提及在线演示。 复现材料：提供了模型架构图、关键超参数（如损失权重、学习率、批次大小）、评估指标。代码仓库可能包含更多细节，但论文正文未说明。 引用的开源项目：在模型中引用了Mamba（[18]）和MelGAN（[19]）的判别器结构。 总结：论文中提及了代码仓库链接，但未说明开源计划的其他细节（如权重、详细配置文件）。 📌 核心摘要 问题：在低带宽场景（如采样率4kHz）下进行语音超分辨率时，输入信号的谐波信息严重丢失，现有方法难以恢复出自然清晰的高质量语音。 方法核心：提出谐波耦合生成对抗网络（HCGAN）。生成器采用双分支架构：谱分支通过U-Net和Mamba模块处理频谱图；谐波分支通过时谐模块从低频谐波矩阵估计高频谐波矩阵。两分支输出融合后生成最终频谱。 创新点：1）显式引入并建模语音的谐波结构，通过矩阵形式实现谐波从低频到高频的迁移；2）设计双分支架构，分别学习谱平滑性和谐波连续性，并进行特征融合；3）在U-Net瓶颈处集成轻量Mamba模块以降低计算复杂度。 主要结果：在8kHz->16kHz任务上，HCGAN的PESQ达到3.64，超越所有对比方法（最高为TUNet的3.50）。在更困难的4kHz->16kHz任务上，其PESQ为2.50，也优于AFiLM、NVSR等传统方法。消融实验证实了多尺度特征损失、Mamba模块和谐波提取（HE）模块的有效性。 表1：16 kHz高分辨率语音从8 kHz语音恢复对比 方法 LSD PESQ SNR (dB) Params (M) AFiLM [20] 0.74 3.02 20.0 134.7 NVSR [21] 0.78 3.09 17.4 99.0 TFiLM [12] 0.78 2.51 19.8 68.2 AERO [17] 0.77 3.01 22.5 36.3 Tramba [16] 0.82 3.23 23.2 5.2 TUNet [13] 1.36 3.50 17.4 2.9 HCGAN 0.78 3.64 19.8 4.7 表2：16 kHz高分辨率语音从4 kHz语音恢复对比 方法 LSD PESQ SNR (dB) Params (M) AFiLM [20] 1.00 1.88 15.4 134.7 NVSR [21] 0.95 2.03 11.7 99.0 TFiLM [12] 1.17 2.08 15.0 68.2 TFNet [11] 1.27 1.73 17.5 55.8 HCGAN 0.96 2.50 14.3 4.7 实际意义：HCGAN以仅4.7M的参数量，在关键的感知质量指标PESQ上表现优异，尤其适用于卫星通信、物联网等对模型大小敏感且带宽极度受限的语音通信增强场景。 局限性：当输入语音基频较高（>300Hz）时，低频谐波矩阵包含的信息不足，导致谐波分支的性能提升有限。此外，实验部分未提供语音增强后的MOS评分或主观听感测试，客观指标与主观感受的关联性有待进一步验证。 🏗️ 模型架构 HCGAN是一个在GAN框架下的双分支生成器模型，其整体架构如图1所示。其核心思想是分别建模语音的频谱特征和谐波结构，然后进行融合。 ...

📄 HVAC-EAR: Eavesdropping Human Speech Using HVAC Systems #音频安全 #时频分析 #端到端 #工业应用 #鲁棒性 🔥 8.5/10 | 前25% | #音频安全 | #时频分析 | #端到端 #工业应用 学术质量 6.2/7 | 选题价值 1.8/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Tarikul Islam Tamiti（George Mason University, 网络安全工程系） 通讯作者：未说明 作者列表：Tarikul Islam Tamiti（George Mason University, 网络安全工程系）、Biraj Joshi（George Mason University, 网络安全工程系）、Rida Hasan（George Mason University, 网络安全工程系）、Anomadarshi Barua（George Mason University, 网络安全工程系） 💡 毒舌点评 亮点：这是一篇视角独特的安全研究论文，揭示了HVAC系统这一庞大基础设施中潜在的、令人意想不到的语音窃听渠道，并给出了从低质量信号中恢复可理解语音的完整技术方案，具有很强的现实警示意义。短板：其威胁模型的通用性值得商榷，评估仅限于特定距离（0.5m训练，1.2m测试）、单一语言（英语）和受控环境，实际复杂场景（如多重噪声、多说话人）下的鲁棒性尚未验证，可能简化了现实世界的攻击难度。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：论文中提到“The dataset will be made open source after acceptance of the paper.”，即数据集计划在论文被接受后开源。 Demo：未提及。 复现材料：论文在附录或正文中提供了部分训练细节，如模型大小（61.6M）、损失函数的具体设计（复数多分辨率STFT损失，S=3，具体分辨率参数）、硬件（NVIDIA 4090 GPU）。但学习率、优化器、训练轮数等关键训练超参数未在提供的文本中说明。 论文中引用的开源项目：论文引用了多个作为基线的开源工作，包括NU-Wave [22]、AP-BWE [23]、AERO [24] 和 PHASEN [15]，但未提及使用了其他特定的开源代码库或工具。 总结：论文有明确的开源数据集计划，并提供了部分复现信息，但整体复现材料（尤其是代码和模型权重）不完整。 📌 核心摘要 本文旨在揭示并解决利用暖通空调（HVAC）系统中的差压传感器（DPS）进行语音窃听的新型隐私威胁。核心方法是提出了HVAC-EAR，一个基于复数域U-Net的语音重建模型，它能将低采样率（0.5-2 kHz）、高噪声的DPS压力数据，重构为采样率高达8 kHz的可理解语音。与之前仅能进行关键词检测或依赖特定振动传感器的工作相比，HVAC-EAR的新颖之处在于：（1）设计了复杂统一注意力模块（CUAB），能够捕捉时频谱图上的全局音素依赖关系；（2）采用复数多分辨率短时傅里叶变换（STFT）损失，联合重建幅度和相位，有效抑制了HVAC系统的瞬态噪声。主要实验结果表明，在真实HVAC设施中，HVAC-EAR在0.5m距离下训练的模型，能在1.2m距离内重构出具有显著可懂度的语音（以STOI、PESQ、NISQA-MOS等指标衡量），性能优于NU-Wave、AERO等基线模型。例如，在0.5 kHz → 8 kHz上采样任务中，其SI-SDR为8.88 dB，显著高于原始压力数据的4.24 dB。这项工作的实际意义是首次实证了HVAC DPS可能被用作窃听工具，对医院、洁净室等敏感环境的语音隐私构成了新威胁。主要局限性是其评估距离有限（超过1.2m性能急剧下降），且仅在英语数据集上进行验证。 ...

📄 HyFlowSE: Hybrid End-To-End Flow-Matching Speech Enhancement via Generative-Discriminative Learning #语音增强 #流匹配 #端到端 #轻量化模型 🔥 8.0/10 | 前25% | #语音增强 | #流匹配 | #端到端 #轻量化模型 学术质量 6.2/7 | 选题价值 1.6/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Yang Zhang（杭州电子科技大学 通信工程学院） 通讯作者：Wenbin Jiang（杭州电子科技大学 通信工程学院，邮箱：wbjiang@hdu.edu.cn） 作者列表：Yang Zhang（杭州电子科技大学 通信工程学院），Wenbin Jiang（杭州电子科技大学 通信工程学院），Zhen Wang（杭州电子科技大学 通信工程学院），KaiYing Wu（杭州电子科技大学 通信工程学院），Wen Zhang（杭州电子科技大学 通信工程学院），Fei Wen（上海交通大学 信息科学与电子工程学院） 💡 毒舌点评 亮点在于巧妙地利用可微分ODE这一技术“胶水”，将本应用于生成建模的流匹配与用于精细监督的判别损失无缝融合，以端到端方式显著提升了轻量级模型的性能，方案优雅且有效。短板在于其创新主要停留在训练策略的集成上，网络架构本身（NCSN++）并无新意，且论文缺乏对判别损失如何具体指导向量场学习这一内在机制的更深入剖析。 🔗 开源详情 代码：论文中提供了项目主页链接 https://zhangyang77.github.io/HyFlowSE/，可用于访问音频样本等材料。论文中未明确提及代码仓库链接。 模型权重：未提及是否公开预训练模型权重。 数据集：使用了公开数据集（VoiceBank+DEMAND, WSJ0, DEMAND, CHiME3），并说明了部分数据生成方式（使用StoRM开源代码）。未提及是否提供预处理后的数据。 Demo：项目主页提供了音频样本，可作为在线演示。 复现材料：论文给出了模型参数规模、损失函数权重（α, β, w值）、优化器及学习率。但缺少batch size、训练步数/轮数、数据预处理细节、硬件环境等关键复现信息。 论文中引用的开源项目：引用了用于生成WSJ0数据集的 StoRM 开源代码，以及用于可微分ODE求解的 torchdiffeq 库。 总结：论文提供了部分复现信息和展示页面，但未声明开源计划，也未提供完全复现所需的全部细节。 📌 核心摘要 解决的问题：纯生成式的流匹配语音增强模型在追求轻量化（参数少）和高效率（低NFE）时，性能会显著下降，而现有的级联或两阶段解决方案会引入额外的推理步骤，增加计算开销，违背了流匹配高效推理的初衷。 方法核心：提出HyFlowSE框架，其核心是将标准的条件流匹配（CFM）生成损失与一个由L1损失、多分辨率STFT谱收敛损失和对数STFT幅度损失组成的判别性损失相结合。通过利用可微分的神经常微分方程（Neural ODE）求解器，这两个损失可以在一次前向传播中计算，并实现端到端联合优化。 与已有方法的新颖之处：与需要级联多个流模型（如CasFlowSE）或依赖预训练判别模型的方法不同，HyFlowSE在单一模型和单次推理流程中集成了生成与判别目标，不增加推理时的NFE，实现了效率与性能的兼得。 主要实验结果：在VoiceBank+DEMAND数据集上，仅5.2M参数的HyFlowSE(T)模型在PESQ（3.21）上超过了65.6M参数的FlowSE（3.12）。在更具挑战性的WSJ0+CHiME3低信噪比（L）场景下，HyFlowSE(T)（5.2M）的PESQ达到3.09，大幅超越27.8M参数的FlowSE(M)（2.64）和CasFlowSE（2.64）。在混响条件下（WSJ0+Reverb），其PESQ（2.95）也优于FlowSE(M)（2.45）和CasFlowSE（2.80）。 实际意义：为在资源受限设备上部署高性能语音增强系统提供了新路径。它表明通过精心的训练目标设计，可以用更小的模型达到甚至超越大模型的性能，对降低算法落地成本和功耗有直接价值。 主要局限性：网络骨干（NCSN++）并非新颖设计，创新性集中在训练目标上。论文未详细分析混合损失中各项权重的敏感性及其背后的机理。实验未与更多非流匹配的轻量级判别模型（如DCCRN等）进行对比，难以全面评估其在轻量化模型谱系中的绝对位置。 🏗️ 模型架构 HyFlowSE是一个端到端的语音增强框架，其整体架构如图1所示。 ...

📄 Improving Contextual Asr Via Multi-Grained Fusion With Large Language Models #语音识别 #多粒度融合 #大语言模型 #端到端 #多语言 🔥 8.5/10 | 前25% | #语音识别 | #多粒度融合 | #大语言模型 #端到端 学术质量 8.0/7 | 选题价值 1.8/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Shilin Zhou（苏州大学计算机科学与技术学院） 通讯作者：Zhenghua Li*（苏州大学计算机科学与技术学院） 作者列表：Shilin Zhou（苏州大学计算机科学与技术学院）、Zhenghua Li*（苏州大学计算机科学与技术学院）。论文中未提及其他作者。 💡 毒舌点评 该论文系统性地将上下文ASR中“逐token生成”和“整短语复制”这两种主流但互斥的策略融合进一个统一框架，并利用LLM提供强大的语义先验，在关键词识别上取得了显著提升（最高9.8%的召回率提升），证明了多粒度协同的有效性。然而，其效率提升（RTF）的评估相对初步，且在英文数据集上的绝对优势并不突出，框架的实时性与LLM引入的额外计算开销之间的平衡在工业级大规模部署中仍是潜在挑战。 🔗 开源详情 代码：论文中提供了代码仓库链接：https://github.com/zsLin177/MGF-ASR。 模型权重：论文提及“We will release the code and models”，但未提供具体的预训练模型下载链接或存储位置，状态为计划公开。 数据集：实验所用的Aishell、Slidespeech等为公开数据集。RWCS-NER由作者团队发布，论文中引用了相关论文。 Demo：未提及。 复现材料：论文提供了详细的架构图、算法公式和主要实验设置描述，但关键训练细节（如学习率、优化器、具体训练步数）未在正文中给出。依赖的开源项目包括Whisper、Qwen2、Phi-3.5等大模型。 引用的开源项目：论文明确使用了Whisper作为ASR骨干，Qwen2和Phi-3.5作为LLM组件。 📌 核心摘要 解决的问题：现有上下文语音识别方法通常在token级（细粒度控制，但易破坏关键词完整性）和phrase级（保持短语完整，但易损害非关键词识别）之间二选一，未能有效结合两者的互补优势。 方法核心：提出一个多粒度融合框架。该框架以CopyNE为基础，引入大型语言模型（LLM），并行运行两个分支：(1) Token级分支：基于ASR模型与LLM输出token概率的动态不确定性融合。(2) Phrase级分支：联合使用LLM的语义隐藏状态与ASR的声学状态，通过注意力机制选择关键词短语。最后，通过联合融合机制将两个分支的输出统一到一个概率空间进行解码。 创新点：首次在统一框架内系统地融合token级和phrase级方法；创新性地将LLM作为语义先验源，用于指导两个粒度的融合过程（token级提供概率，phrase级提供状态）；提出了基于ASR不确定性的自适应融合策略。 ...

📄 Joint Autoregressive Modeling of Multi-Talker Overlapped Speech Recognition and Translation #语音识别 #语音翻译 #自回归模型 #多任务学习 #端到端 ✅ 7.0/10 | 前25% | #语音识别 #语音翻译 | #自回归模型 #多任务学习 | #语音识别 #语音翻译 学术质量 0.7/7 | 选题价值 0.75/2 | 复现加成 0.3 | 置信度 中 👥 作者与机构 第一作者：Tomohiro Tanaka（NTT, Inc., Human Informatics Laboratories） 通讯作者：未说明 作者列表：Tomohiro Tanaka（NTT, Inc., Human Informatics Laboratories）、Ryo Masumura（NTT, Inc., Human Informatics Laboratories）、Naoki Makishima（NTT, Inc., Human Informatics Laboratories）、Mana Ihori（NTT, Inc., Human Informatics Laboratories）、Naotaka Kawata（NTT, Inc., Human Informatics Laboratories）、Shota Orihashi（NTT, Inc., Human Informatics Laboratories）、Satoshi Suzuki（NTT, Inc., Human Informatics Laboratories）、Taiga Yamane（NTT, Inc., Human Informatics Laboratories） 💡 毒舌点评 这篇论文的核心贡献是清晰且务实的：将多说话人重叠语音的识别（ASR）和翻译（ST）从两个独立的模型合并为一个联合自回归模型，从而解决了输出时说话人数量不匹配和未对齐的痛点。其序列化输出训练（SOT）的扩展应用自然流畅，实验数据也支撑了方法的有效性。然而，论文最大的短板在于实验部分严重依赖通过混合单人语音合成的“多说话人”数据，这与真实世界中包含回声、不同混响、说话人重叠程度变化的会议或对话场景存在显著差距，削弱了其结论在实际应用中的说服力。 ...

📄 Joint Deep Secondary Path Estimation and Adaptive Control for Active Noise Cancellation #语音增强 #端到端 #实时处理 #深度学习 #信号处理 ✅ 7.5/10 | 前25% | #语音增强 | #端到端 | #实时处理 #深度学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Fareedha (National Institute of Technology, Warangal, Telangana, India) 通讯作者：未说明 作者列表：Fareedha (National Institute of Technology, Warangal, Telangana, India)、Vasundhara (National Institute of Technology, Warangal, Telangana, India)、Asutosh Kar (Birmingham City University, Birmingham, UK)、Mads Græsbøll Christensen (Aalborg University, Denmark) 💡 毒舌点评 论文将深度学习中的估计与控制模块“缝合”得相当流畅，消融实验做得很扎实，有力地证明了注意力机制和双向LSTM在其中的价值。然而，核心创新更多是工程层面的集成优化，而非方法论的革新；且实验场景（主要是飞机噪声）稍显单一，要宣称在“动态环境”下鲁棒，或许还应挑战更多极端的非平稳声学条件。 ...

📄 Joint Estimation of Piano Dynamics and Metrical Structure with a Multi-Task Multi-Scale Network #音乐理解 #多任务学习 #时频分析 #端到端 ✅ 7.5/10 | 前25% | #音乐理解 | #多任务学习 | #时频分析 #端到端 学术质量 7.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Zhanhong He（The University of Western Australia, Perth, Australia） 通讯作者：未说明（根据署名顺序，可能是Defeng (David) Huang或Roberto Togneri，但论文未明确指出） 作者列表：Zhanhong He（The University of Western Australia）、Hanyu Meng（The University of New South Wales）、Defeng (David) Huang（The University of Western Australia）、Roberto Togneri（The University of Western Australia） 💡 毒舌点评 亮点：将Bark尺度特征与多任务学习框架巧妙结合，把模型参数量从千万级压缩到50万，在保持竞争力的同时大幅提升了实用性，这种“螺蛳壳里做道场”的工程优化思维值得肯定。 短板：研究完全局限于肖邦玛祖卡这一特定音乐风格和单一数据集（MazurkaBL），其结论能否泛化到其他乐器、风格乃至更复杂的管弦乐场景，存疑。 ...

📄 K-Function: Joint Pronunciation Transcription and Feedback for Evaluating Kids Language Function #语音识别 #大语言模型 #领域适应 #端到端 ✅ 7.5/10 | 前25% | #语音识别 | #大语言模型 | #领域适应 #端到端 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Shuhe Li（浙江大学） 通讯作者：Jiachen Lian（UC Berkeley） 作者列表：Shuhe Li（浙江大学），Chenxu Guo（浙江大学），Jiachen Lian（UC Berkeley），Cheol Jun Cho（UC Berkeley），Wenshuo Zhao（浙江大学），Xiner Xu（浙江大学），Ruiyu Jin（浙江大学），Xiaoyu Shi（Duke University），Xuanru Zhou（浙江大学），Dingkun Zhou（华南理工大学），Sam Wang（UC Berkeley），Grace Wang（UC Berkeley），Jingze Yang（浙江大学），Jingyi Xu（浙江大学），Ruohan Bao（浙江大学），Xingrui Chen（TVT），Elise Brenner（UCSF），Brandon In（UCSF），Francesca Pei（UCSF），Maria Luisa Gorno-Tempini（UCSF），Gopala Anumanchipalli（UC Berkeley） 💡 毒舌点评 这篇论文为解决儿童语音识别这一“脏活累活”提供了扎实的技术方案，其K-WFST解码器巧妙融合了语音学先验，解释性强且有效，是传统WFST在特定场景下的成功应用。但其宣称的“联合框架”在实现上略显松散，LLM评分部分更像是一个独立的、调用上游转写结果的下游应用，与核心识别模块的“联合”深度不足，更像是一个串行流水线而非一个紧密耦合的整体系统。 ...

📄 Language-Infused Retrieval-Augmented CTC with Adaptive Soft-Hard Gating for Robust Code-Switching ASR #语音识别 #检索增强 #端到端 #零样本 #多语言 🔥 8.0/10 | 前25% | #语音识别 | #检索增强 | #端到端 #零样本 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.2 | 置信度 高 👥 作者与机构 第一作者：Zhichao Liang（香港中文大学（深圳）数据科学学院） 通讯作者：Satoshi Nakamura*（香港中文大学（深圳）数据科学学院与人工智能学院） 作者列表：Zhichao Liang（香港中文大学（深圳）数据科学学院）、Satoshi Nakamura（香港中文大学（深圳）数据科学学院与人工智能学院） 💡 毒舌点评 该工作巧妙地将语言后验信息“注入”kNN检索的查询空间，使检索过程本身具有语言意识，这是一个非常直观且有效的改进点。然而，实验仅局限于中英代码切换场景，且与更强或更新的基线（如基于大模型的零样本方法）对比不足，削弱了结论的普适性和说服力。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：使用的是公开的ASCEND数据集，但未提供获取方式链接（论文中引用了原始数据集论文）。 Demo：未提供在线演示。 复现材料：提供了部分实现细节（如使用WeNet和FAISS，关键超参数值），但不足以保证完整复现。 论文中引用的开源项目：WeNet [22]， FAISS [24]， Conformer [23]（作为基线模型）， Whisper [16]（在引言中提及）。 📌 核心摘要 解决的问题：针对代码切换自动语音识别中语言边界模糊和跨语言声学干扰的挑战，特别是现有门控检索增强CTC模型（如双单语数据存储）存在的边界决策不稳定和语言意识不足的问题。 方法核心：提出LIRA-CTC框架，通过将帧级语言后验概率与编码器特征拼接，形成“语言信息注入”的检索查询，使检索空间与语言身份对齐；并设计自适应软硬门控策略，在数据存储距离差大时硬选择，在距离差小时软插值。 与已有方法的创新：不同于先前仅使用编码器特征进行检索或在解码器端使用语言信息的方法，该工作将语言后验直接融入检索的“键/查询”构造中，并引入了平滑过渡的软硬混合门控机制。 主要实验结果：在ASCEND中文-英文数据集上的实验表明，LIRA-CTC相较于基线Conformer、kNN-CTC和门控kNN-CTC，在官方测试集（TEST）和混合训练集（SMIX）上均取得了更低的混合错误率（MER）。关键数据见下表： 方法 TEST MER (%) SMIX MER (%) RTF CTC 26.10 28.77 0.0139 kNN-CTC 25.49 27.24 0.0145 Gated kNN-CTC 24.97 26.33 0.0152 LIRA-CTC 23.60 24.98 0.0155 实际意义：为零样本代码切换ASR提供了一种有效且计算开销增加有限的新框架，通过增强检索过程的语言感知能力和决策稳定性，提升了模型对混合语言语音的识别鲁棒性。 主要局限性：实验仅验证于中英代码切换场景，其有效性是否能扩展至其他语言对或更复杂的多语言场景有待证明；与当前前沿的零样本ASR方法（如基于大型预训练模型的方法）对比不足。 🏗️ 模型架构 整体架构基于预训练的CTC ASR模型（Conformer编码器+Transformer解码器），核心扩展在于检索增强解码部分。 ...