注意力机制

📄 MSCT: Differential Cross-Modal Attention for Deepfake Detection #音频深度伪造检测 #注意力机制 #音视频 #多模态模型 ✅ 6.5/10 | 前10% | #音频深度伪造检测 | #注意力机制 | #音视频 #多模态模型 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -1.0 | 置信度 高 👥 作者与机构 第一作者：Fangda Wei（北京理工大学） 通讯作者：Shenghui Zhao（北京理工大学，有星号标记） 作者列表：Fangda Wei（北京理工大学），Miao Liu（北京理工大学），Yingxue Wang（中国电子技术标准化研究院），Jing Wang（北京理工大学），Shenghui Zhao（北京理工大学），Nan Li（中国电子技术标准化研究院） 💡 毒舌点评 论文提出的“差分跨模态注意力”（DCA）模块设计巧妙，其通过注意力矩阵相减来增强模型对伪造内容敏感性的思路，确实指出了传统注意力机制在伪造检测任务中可能存在的目标冲突问题，是一个不错的洞察。然而，如此强调性能提升的论文，却在开源复现信息上“一毛不拔”，连基础的代码仓库或超参数都不公开，这无异于在沙滩上画出宏伟蓝图却不提供任何工具，对推动整个领域的可复现进步毫无贡献。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及公开模型权重。 数据集：使用公开数据集FakeAVCeleb，但论文中未说明获取方式（通常可公开获取）。 Demo：未提供在线演示。 复现材料：未提供详细的训练配置、超参数、检查点或附录说明。 论文中引用的开源项目：引用了DLIB（用于人脸检测）、Res2Net、CBAM、Wavelet Convolution等工具或模型，但未说明是否基于其开源代码。 总体开源计划：论文中未提及任何开源计划。 📌 核心摘要 要解决的问题：现有音频-视觉深度伪造检测方法主要依赖跨模态对齐，但传统的跨模态注意力机制可能与对齐损失目标冲突（对伪造内容不敏感），且缺乏有效的多尺度时间特征提取。 方法核心：提出多尺度跨模态Transformer编码器（MSCT），包含两个核心模块：差分跨模态注意力（DCA） 和 多尺度自注意力（MSSA）。DCA通过计算自注意力矩阵与跨模态注意力矩阵的差值，增强对伪造线索的关注。MSSA使用不同尺度的卷积处理Key矩阵，以整合相邻嵌入的多尺度时间信息。 与已有方法相比新在哪里：与传统跨模态注意力相比，DCA能更好地适配基于对齐损失的伪造检测任务；与标准自注意力相比，MSSA提供了更丰富的时间尺度感知能力，弥补了帧级特征提取的不足。 主要实验结果：在FakeAVCeleb数据集上，该方法取得了98.75%的准确率（ACC） 和 98.83%的AUC，显著优于表1中列出的所有基线方法，包括ACC为94.05%的MRDF-CE和96.30%的BusterX。消融实验（表2）表明，DCA模块（+1.25% ACC）比MSSA模块（+0.25% ACC）带来更大的性能增益。T-SNE可视化（图5）显示，本方法能更好地区分类别。 实际意义：提升了音视频深度伪造检测的准确性和鲁棒性，为多媒体内容安全提供了更强大的技术工具。 主要局限性：实验仅在单一数据集FakeAVCeleb上进行，缺乏跨数据集泛化性验证；未提供代码和详细复现参数，可复现性极差；与最新方法BusterX的对比缺少AUC指标。 🏗️ 模型架构 本文提出的多尺度跨模态Transformer编码器（MSCT）框架如图2所示，包含单模态特征提取和多模态特征融合两大模块。 ...

📄 Musicdetr: A Position-Aware Spectral Note Detection Model for Singing Transcription #歌唱语音转录 #音乐信息检索 #对象检测 #注意力机制 #端到端 🔥 8.5/10 | 前10% | #歌唱语音转录 | #对象检测 | #音乐信息检索 #注意力机制 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Mengqiao Chen（华中科技大学电子信息与通信学院，湖北省智能互联网技术重点实验室） 通讯作者：Wei Xu（华中科技大学电子信息与通信学院，湖北省智能互联网技术重点实验室） 作者列表：Mengqiao Chen（华中科技大学电子信息与通信学院，湖北省智能互联网技术重点实验室）、Qikai He（华中科技大学电子信息与通信学院，湖北省智能互联网技术重点实验室）、Zhuoyuan Zhang（华中科技大学电子信息与通信学院，湖北省智能互联网技术重点实验室）、Wenqing Cheng（华中科技大学电子信息与通信学院，湖北省智能互联网技术重点实验室）、Wei Xu（华中科技大学电子信息与通信学院，湖北省智能互联网技术重点实验室） 💡 毒舌点评 亮点：首次将DETR引入歌声转录领域，并非简单套用，而是通过设计音符位置解码器、多目标单匹配策略和质量敏感损失函数三个针对性模块进行了深度改造，在多个基准上达到SOTA，证明了对象检测范式在AST中的有效性。 短板：论文计算复杂度（特别是引入额外解码器层）未作分析，在音符密集或快速演唱等复杂场景下的鲁棒性有待进一步验证；此外，部分训练细节（如具体优化器参数）的缺失略微影响了技术方案的完整透明度。 🔗 开源详情 代码：论文明确提供了代码仓库链接：https://github.com/ChenMengqiao/MusicDETR。 模型权重：论文未提及是否公开预训练模型权重。 数据集：论文扩展的SSVD3.0数据集公开可用，提供了下载链接 (https://github.com/hust-itec2/SSVD3.0)。MIR-ST500和ISMIR2014为公开数据集。 Demo：论文未提供在线演示链接。 复现材料：论文提供了代码仓库，但未详细列出训练配置文件、检查点或附录中的超参数设置。 引用的开源项目：论文未明确列出所有依赖的开源项目，但方法基于DETR框架，并使用了mir_eval库进行评估。 📌 核心摘要 问题：自动歌声转录（AST）旨在从歌声音频中推断音符的起始、结束时间和音高。传统方法或简单的帧级预测模型在准确性和端到端能力上仍有提升空间。 方法核心：本文提出了MusicDETR，一个基于Transformer的端到端AST模型。它将转录问题转化为频谱图上的音符对象检测问题，并首次在AST领域引入DETR框架。其核心创新在于设计了利用音符间位置关系的音符位置解码器、增加训练正样本的多目标单匹配（MTSM）策略以及对检测质量更敏感的质量敏感匹配损失（QML）。 创新点：a) 位置感知解码：通过量化音符在频谱图中的位置相关性（MC值接近0.8），并在解码器自注意力中显式融入音符间的相对位置关系编码。b) 训练策略优化：采用MTSM策略，通过复制目标图像来增加每个训练批次中的正样本数量，缓解O2O匹配导致的样本稀缺问题。c) 损失函数设计：提出QML损失，同时对预测框的IoU和分类分数敏感，避免因匹配错误导致的重叠检测和漏检。 ...

📄 QFOCUS: Controllable Synthesis for Automated Speech Stress Editing to Deliver Human-Like Emphatic Intent #语音合成 #端到端 #注意力机制 #少样本 ✅ 7.5/10 | 前50% | #语音合成 | #端到端 | #注意力机制 #少样本 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 请基于当前提供的论文内容尽量完整提取作者与机构信息，要求： 明确标注第一作者（如论文可判断），否则写“未说明” 明确标注通讯作者（如论文可判断），否则写“未说明” 列出能确认的作者姓名及其所属机构（大学、实验室、公司） 机构信息尽量具体到实验室或部门；如果文本里没有，就写到能确认的层级 禁止猜测机构信息；无法确认时明确写“未说明” 输出格式示例： 第一作者：张三（清华大学计算机系） 通讯作者：李四（Google DeepMind） 作者列表：张三（清华大学计算机系）、李四（Google DeepMind）、王五（未说明） 💡 毒舌点评 用 2-3 句话做有信息量的点评，必须同时包含至少 1 个亮点和 1 个短板。可以犀利，但不要空泛嘲讽，不要只喊“很强”或“很水”。 🔗 开源详情 请只根据论文内容或当前提供文本中的链接信息总结开源情况，禁止编造仓库、stars、平台热度。尽量覆盖： 代码：是否提供代码仓库链接；若无，写“论文中未提及代码链接” 模型权重：是否提到公开权重；若无，写“未提及” 数据集：是否公开、如何获取；若无，写“未提及” Demo：是否提供在线演示；若无，写“未提及” 复现材料：是否给出训练细节、配置、检查点、附录说明 论文中引用的开源项目：列出了哪些依赖的开源工具/模型？ 如果论文中未提及，明确说明“论文中未提及开源计划” 📌 核心摘要 用 5-8 句话总结这篇论文，必须覆盖： ...

📄 Spiking Attention Network: A Hybrid Neuromorphic Approach to Underwater Acoustic Localization and Zero-Shot Adaptation #声源定位 #脉冲神经网络 #注意力机制 #零样本 #鲁棒性 ✅ 7.0/10 | 前25% | #声源定位 | #脉冲神经网络 | #注意力机制 #零样本 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Quoc Thinh Vo (Drexel University, Department of Electrical and Computer Engineering) 通讯作者：David K. Han (Drexel University, Department of Electrical and Computer Engineering) 作者列表：Quoc Thinh Vo (Drexel University, Department of Electrical and Computer Engineering), David K. Han (Drexel University, Department of Electrical and Computer Engineering) 💡 毒舌点评 本文的亮点在于将生物启发的脉冲神经网络（SNN）与成熟的ResNet、Conformer架构混合，用于处理原始水声信号，避免了传统方法繁琐的特征预处理，并展示了在零样本设置下的出色泛化能力；但短板在于其核心的LIF神经元模型相对简化，且所有实验均基于单一数据集（SWellEx-96），在更多样、更复杂海洋环境下的普适性有待进一步验证。 ...

📄 TAG: Structured Temporal Audio Generation via LLM-Guided Manual Scription and Control #音频生成 #大语言模型 #扩散模型 #免训练方法 #注意力机制 ✅ 7.5/10 | 前25% | #音频生成 | #扩散模型 | #大语言模型 #免训练方法 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Hanwen Zhang（USC，美国） 通讯作者：Shuhui Wang（ICT, CAS，中国）；Wei Yang（HUST，中国） 作者列表： Hanwen Zhang（USC，美国） Jinshen Zhang（HUST，中国） Cong Zhang（UCAS，中国） Shuhui Wang（ICT, CAS，中国） Wei Yang（HUST，中国） 💡 毒舌点评 亮点：该工作最大的价值在于提出了一个“即插即用”的免训练框架，通过操纵已有音频生成模型的注意力图来实现精确的时间控制，巧妙地将语言理解的复杂性与生成模型的控制分离。短板：其性能高度依赖于作为“大脑”的LLM的指令遵循能力和基础生成模型的预训练质量，论文未能充分分析这种依赖性带来的边界情况或失效模式。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开的TAG框架自身或微调后的基础模型权重。 数据集：实验使用公开的Audiocaps和AudioCondition数据集，但论文未提供数据处理脚本或增强细节。 Demo：未提及在线演示。 复现材料：未提供详细的训练细节（针对基础模型）、配置文件、检查点或附录说明。 论文中引用的开源项目：引用了TANGO2, Stable Audio Open等基础模型，但未说明TAG框架如何具体集成这些模型的代码。 📌 核心摘要 本文针对现有文本到音频生成方法在生成具有复杂时间结构的音频时面临的挑战，提出了一种名为TAG的两阶段框架。问题：现有方法独立构建结构化信息，缺乏灵活性，且现有时间控制方法计算成本高或适应性有限。方法核心：第一阶段利用大语言模型作为推理器和规划器，将复杂文本提示解析为结构化的“音频生成手册”；第二阶段是一个免训练的生成框架，通过对扩散模型的交叉注意力图进行动态、自适应的调制，实现精确的时间控制。新意：相比独立于模型构建结构或需要重新训练的方法，TAG将LLM的语义规划能力与对现有模型注意力的无损操作相结合，且可轻松集成到各种基于注意力的扩散模型中（如UNet和DiT架构）。实验结果：在Audiocaps数据集上，TAG在保持或提升音频质量（FAD, CLAP）的同时，显著提升了文本-音频对齐度。在AudioCondition数据集上的时间控制评估表明，TAG在事件基指标（Eb）和宏观F1（At）上大幅超越了基线模型和先前的SOTA方法，例如，Stable Audio Open + TAG在Eb上达到47.21（基线8.13），At达到74.77（基线56.96）。实际意义：为可定制、时间结构精确的音频生成提供了一个高效、通用且易于部署的解决方案。局限性：方法的上限受限于基础生成模型的能力和LLM对复杂指令的解析精度；免训练的控制方式可能在某些极端场景下对原始生成分布造成干扰。 ...

📄 Time vs. Layer: Locating Predictive Cues for Dysarthric Speech Descriptors in Wav2vec 2.0 #语音质量评估 #注意力机制 #预训练模型 #病理语音 #数据集 ✅ 7.5/10 | 前50% | #语音质量评估 | #注意力机制 | #预训练模型 #病理语音 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Natalie Engert（Technische Hochschule Nürnberg Georg Simon Ohm, Germany） 通讯作者：未说明 作者列表：Natalie Engert（Technische Hochschule Nürnberg Georg Simon Ohm, Germany）、Dominik Wagner（Technische Hochschule Nürnberg Georg Simon Ohm, Germany）、Korbinian Riedhammer（Technische Hochschule Nürnberg Georg Simon Ohm, Germany）、Tobias Bocklet（Technische Hochschule Nürnberg Georg Simon Ohm, Germany） 💡 毒舌点评 亮点：研究设计非常系统，对“时间 vs. 层”这个核心问题的分析很到位，不仅给出了整体结论，还通过注意力权重可视化揭示了不同严重程度下层重要性的变化，这种临床视角下的可解释性分析是加分项。 短板：作为一篇发表在顶会的论文，方法上的创新显得有些“温和”，更像是对现有工具（Wav2vec 2.0 + ASP）的一次精心设计的应用研究，缺乏一个更强大的、统一的模型架构来同时建模时间与层信息（尽管结论中提到了这是未来工作）。 ...

📄 Toward Robust And Efficient Beat Tracking Via Beat-Aware Attention #音乐理解 #注意力机制 #端到端 #鲁棒性 🔥 8.5/10 | 前25% | #音乐理解 | #注意力机制 | #端到端 #鲁棒性 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Ganghui Ru（复旦大学计算机科学与人工智能学院） 通讯作者：Yi Yu（广岛大学大学院先进理工学研究科）， Wei Li（复旦大学计算机科学与人工智能学院，上海智能信息处理重点实验室） 作者列表：Ganghui Ru（复旦大学计算机科学与人工智能学院），Yi Yu（广岛大学大学院先进理工学研究科），Wei Li（复旦大学计算机科学与人工智能学院，上海智能信息处理重点实验室） 💡 毒舌点评 亮点： 巧妙地将音乐的周期与相位先验“硬编码”进注意力机制，从根源上解决了标准自注意力在节奏任务上注意力分散和计算冗余的问题，设计思路清晰且有效。 短板： 过度依赖周期性假设，对于实验中未充分覆盖的、节拍结构模糊或非周期性音乐（如某些现代或非西方音乐）的泛化能力存疑，且论文未提供代码，一定程度上影响了结论的可复现性。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及是否公开预训练模型权重。 数据集：使用的是公开的标准节拍跟踪数据集（Beatles, RWC Popular, Harmonix, Ballroom, Hainsworth, SMC, GTZAN），但论文未提供数据集本身的获取链接（这些均为领域内常用数据集）。 Demo：未提供在线演示。 复现材料：论文给出了相当充分的训练细节（优化器、学习率、批次大小、早停策略）和关键超参数（M, N, C），这为复现提供了基础。但缺少具体的模型权重初始化方法、更细致的FFN结构描述以及训练硬件信息。 论文中引用的开源项目：引用了多个基线方法（如[11] Beat Transformer, [14] Beat This），但未明确说明本模型实现依赖了哪些特定的开源代码库或工具。 总结：论文提供了较高的理论复现可能性，但缺少代码和预训练模型是主要的复现障碍。 📌 核心摘要 解决的问题： 现有的基于Transformer的节拍跟踪模型虽然性能强大，但标准自注意力机制缺乏对音乐节拍的周期性结构先验知识，导致注意力分散、关注无关信息，进而影响了模型的计算效率和对复杂音乐场景的鲁棒性。 方法核心： 提出了“节拍感知注意力”（Beat-Aware Attention, BAA）机制。该机制首先沿时间轴初始化一组均匀分布的参考点；然后，一个偏移网络根据输入特征和音乐周期与相位先验，预测每个参考点相对于理想节拍网格的偏移量；最后，仅在这些经过节拍对齐的、稀疏的位置上采样特征进行注意力计算，从而引导模型聚焦于节拍相关信息。 创新点： 与之前通用注意力机制不同，BAA是首个显式地将音乐周期（速度）和相位先验嵌入到注意力计算过程中的方法。基于此，构建了端到端的节拍感知Transformer（BAT）架构。 主要实验结果： 在GTZAN等基准数据集上取得了SOTA性能。例如，在GTZAN数据集上（见表1），BAT在节拍跟踪的CMLt指标上达到81.5%，AMLt达到93.8%，下拍跟踪的CMLt为67.3%，AMLt为85.7%，在关键的节奏一致性指标上显著优于基线。在SMC等复杂数据集上也表现出更强的鲁棒性（见表2）。消融实验证明BAA中先验与残差学习缺一不可（见表3）。 实际意义： 为音乐信息检索（如节拍与下拍检测）提供了一种更高效、更鲁棒的深度学习解决方案，其将领域知识（音乐周期性）融入模型设计的思想，对其他具有强结构先验的信号处理任务有借鉴意义。 主要局限性： 模型性能依赖于明确的周期性假设，在节拍结构微弱、自由节奏或节奏极其复杂的音乐上可能失效。此外，论文未开源代码，限制了即时的复现与验证。 🏗️ 模型架构 论文提出的节拍感知Transformer（BAT） 是一个端到端的音频到节拍/下拍概率的架构。其完整流程如下： ...

📄 Tri-Attention Fusion: Joint Temporal-Spectral and Bidirectional Modeling for Speech Spoofing Detection #语音伪造检测 #注意力机制 #状态空间模型 #端到端 #预训练 ✅ 7.0/10 | 前25% | #语音伪造检测 | #注意力机制 | #状态空间模型 #端到端 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Minjiao Yang（北京邮电大学网络空间安全学院） 通讯作者：Kangfeng Zheng（北京邮电大学网络空间安全学院，姓名后带星号*） 作者列表：Minjiao Yang（北京邮电大学网络空间安全学院）、Kangfeng Zheng（北京邮电大学网络空间安全学院）、Jujie Wang（北京邮电大学网络空间安全学院）、Xiaoyu Zhang（北京邮电大学网络空间安全学院）、Yaru Zhao（国际关系学院） 💡 毒舌点评 这篇论文在Mamba日益火热的语音防伪赛道上，为BiMamba-ST模型量身打造了一个结构精巧、消融实验扎实的融合模块，实验结果在多个公开基准上取得了稳定的提升，尤其是端到端方案在In-the-Wild数据集上的相对EER下降31%，显示了不错的泛化能力。然而，核心创新主要集中在对已有骨干网络输出端的信息整合方式，而非提出全新的检测范式或发现更本质的伪造痕迹，且缺乏代码和模型开源，限制了其在社区内被快速验证和应用的可能性。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：使用了公开的ASVspoof 2019/2021系列数据集和In-the-Wild数据集，但论文本身未公开额外数据集。 Demo：未提供在线演示。 复现材料：论文给出了较为详细的训练细节、超参数设置（学习率、批大小、优化器、训练轮数）、损失函数权重、数据增强算法选择以及硬件信息（单卡A800）。部分超参数（如Sinc卷积的具体参数、SE-Res2Net的内部结构）引用了先前工作[17, 19]，但未在附录中完整复述。 论文中引用的开源项目：论文引用了多个开源项目或其官方实现作为基线进行对比，如RawBMamba [19], BiCrossMamba-ST [14], AASIST [6], SE-Rawformer [9], XLSR-Mamba [10]等。 总体开源情况：论文中未提及开源计划（代码、模型）。 📌 核心摘要 这篇论文针对语音伪造检测任务中，需要同时建模时频域、短时与长时依赖关系的挑战，提出了一种名为“三重注意力融合”（Tri-Attention Fusion）的模块。该方法以BiMamba-ST（一种双向Mamba的时频双分支骨干网络）的输出为基础，通过三个子模块逐步整合信息：局部域注意力（LDA）在通道维度自适应融合前向和反向扫描得到的特征；跨域注意力（CDA）通过通道Gram矩阵在共享通道空间内实现时域与频域特征的交互；全局表示池化（GRP）将序列特征聚合为固定维度的嵌入。该模块被集成到端到端和预训练（XLSR）两种前端中进行评估。实验结果在ASVspoof 2019 LA、2021 LA、2021 DF以及In-the-Wild四个数据集上，均取得了与现有最佳方法持平或超越的性能。例如，在端到端前端下，其在In-the-Wild数据集上的EER为33.48%，相比基线RawBMamba（48.53%）有31%的相对下降。该工作的核心意义在于证明了一个设计良好的渐进式融合模块能显著提升Mamba类模型在复杂伪造检测任务中的特征建模能力。主要局限性在于其创新是模块级的，且未开源代码与模型，复现依赖论文中的细节描述。 ...

📄 Whisper-MLA: Reducing GPU Memory Consumption of ASR Models Based on MHA2MLA Conversion #语音识别 #语音大模型 #注意力机制 #模型优化 #推理优化 ✅ 7.0/10 | 前25% | #语音识别 | #注意力机制 | #语音大模型 #模型优化 学术质量 6.0/7 | 选题价值 0.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Sen Zhang（天津大学智能与计算学院） 通讯作者：Xianghu Yue（† 标注，天津大学智能与计算学院） 作者列表：Sen Zhang¹, Jianguo Wei¹, Wenhuan Lu¹, Xianghu Yue¹,†, Wei Li², Qiang Li², Pengcheng Zhao², Ming Cai², Luo Si²（¹天津大学智能与计算学院，²斑马网络技术有限公司） 💡 毒舌点评 这篇论文的亮点在于将复杂的MLA机制巧妙地“翻译”到了Whisper的绝对位置编码架构上，并通过实验精准地找到了最佳部署点（仅解码器自注意力），实现了显著的内存节省和可忽略的精度损失，实用性很强。短板在于其验证仅限于Whisper-small模型，缺乏在更大规模模型（如Whisper-large）上的数据来证明其普适性；同时，对于语音任务中至关重要的流式处理场景，论文未做任何分析和探讨。 🔗 开源详情 代码：论文提供了公开的代码仓库链接：https://github.com/sssssen/Whisper MLA。 模型权重：论文未提及是否公开转换后的Whisper-MLA模型权重。 数据集：使用的是公开的LibriSpeech数据集，论文中已说明。 Demo：未提及提供在线演示。 复现材料：提供了相当充分的复现信息，包括：转换方法（SVD细节）、微调数据集（LibriSpeech 960h）、训练超参数（3 epochs）、硬件环境（单卡RTX 4090）、批大小与梯度累积设置、转换与微调总时长（12小时）。 论文中引用的开源项目：主要依赖于OpenAI的Whisper模型作为基线和预训练源。 📌 核心摘要 本文旨在解决Whisper模型因Multi-Head Attention (MHA)机制中Key-Value (KV)缓存线性增长而导致的GPU内存消耗过高问题，该问题在长语音识别中尤为突出。核心方法是将Multi-Head Latent Attention (MLA)引入Whisper，并针对其绝对位置编码特性进行了适配。与已有工作相比，本文新在：1）提出了适配绝对位置编码的MLA架构，保留了原始模型的参数与能力；2）系统研究了MLA在编码器自注意力、解码器自注意力、解码器交叉注意力三种模块中的应用，发现仅应用于解码器自注意力（DSO）是性能与内存效率的最佳平衡点；3）开发了一种参数高效的转换策略，可从预训练Whisper模型快速转换而来。实验在LibriSpeech基准上表明，Whisper-MLA (DSO) 可将KV缓存大小减少高达87.5%，同时平均词错误率（WER）仅比微调后的Whisper基线高0.17%。该工作的实际意义在于，为在资源受限硬件上部署Whisper模型处理长音频提供了可行的内存优化方案。主要局限性在于仅在Whisper-small模型上进行了验证。 ...