相对位置注意力为什么慢?一种保持精确的分块核如何消除稠密偏置
论文解决加性相对位置项与 FlashAttention 式分块不兼容导致的二次方显存与重复计算问题,用可达范围投影、常数偏移复用与按偏移无原子累加实现精确加速,8K 长度下前向 1.8–6.4 倍、反向 2.0–21 倍加速并大幅降显存,但增益高度依赖偏移分布与注意力占比。
论文解决加性相对位置项与 FlashAttention 式分块不兼容导致的二次方显存与重复计算问题,用可达范围投影、常数偏移复用与按偏移无原子累加实现精确加速,8K 长度下前向 1.8–6.4 倍、反向 2.0–21 倍加速并大幅降显存,但增益高度依赖偏移分布与注意力占比。
本文针对固定阵列假设下区域提取难以换阵列使用的问题,提出随麦克风数量和位置变化的前端与重建辅助目标,在仿真上超过同类可变阵列基线并在四麦克风上接近专用模型,但边界区分仍依赖孔径条件。
SPATEX 针对多麦克风下既要提目标语音又要保留各通道空间关系、且麦克风数量与几何可变的问题,用几何感知的通道交换与共享时间注意力逐通道重建混响目标像,并以相位差与相干性约束通道间关系,在可变阵列与固定阵列上都报告了提取与空间保真度的提升。
论文把复调钢琴转谱做成每帧 88 个音高的多标签分类,用 252 维对数频率 CQT 做输入,以双向 LSTM 加前端改进多头注意力建模时间与频谱依赖,在 MAPS 与 MAESTRO 联合训练下最好达到 F1-score 88.20% 与准确率 78.90%,代价是 4.43M 参数与约 11.6 ms 帧分辨率等启发式后处理的局限。
Tap2Listen 把只处理混合音频的编码器与只受所选人脸控制的解码器分开,用分量损失训练,在 LRS3-2mix 上固定目标达 9.68 dB SI-SNRi 并在切换后首帧恢复,代价是 16 ms 算法延迟和单次重投影计算。
论文用配对音视频证据检验检索头的稀疏、跨模态共用与骨干保留,并用因果消融和排序训练证明这组小注意力头既能解释证据定位又能直接优化文档检索,但结论只在所测 18 个检查点与 MMDocIR 等评测条件下成立。
论文用先分 5 个粗类别再在类内细分 25 类的方法降低混淆,以 0.2004M 参数的 FTANet 在自建集粗分类达 95.45%、25 类任务从 71.32% 提升到 81.49%,代价是两阶段推理时间从 0.2170 s 增加到 1.2390 s。
针对多声源混合中弱声源在最后才分离时被压制的问题,论文用提前分出对象特征并逐层融合精炼的 PARASITE 分支解决,在 ASA2 上分离达到 14.24 dB SI-SDRi、SELD 分数 0.147,在 STARSS23 上 SELD 分数 0.240,代价是增加三层精炼分支的参数与计算量。
论文针对冻结 WavLM 做说话人确认时适配不足的问题,用分组混合残差和逐帧层加权两处小改动,在 VoxCeleb1-O 上把冻结基线相对降低约两成,而 WavLM 侧只增加约两三千个可训练参数。
SynerGest 针对双人对话手势生成,用双路音频条件、对比流匹配和脉冲-趋势解耦注意力,在两个公开数据集上取得更好的运动真实感和节拍对齐,但结论只在原文的数据处理和基线适配条件下成立,且加速主要来自 8 步 ODE 而非注意力本身变快。
针对全流式零样本语音合成在超过训练长度后发音和音色保持不住的问题,论文通过缩小注意力窗口并增强对声音提示的偏置,在不训练的情况下维持了长语音的稳定性和自然度,代价是发音准确率仍不及专门做长语音训练的模型。
论文要解决多人同框时把声音归属到正确人脸的在线判断问题,用当前帧跨人脸比较加单人历史因果建模实现零前视,在 MSDWild 多人验证集上把竞争性误报相对降低约三分之一,代价是每个块增加 1.57M 参数和跨人脸注意的平方计算量。
针对标题标签描述字段结构与噪声不同以及单标量融合不区分通道的问题,FAM-Gate 用音频引导的字段注意力先聚合元数据,再用以音频为先验的向量门按维度融合,在 BSD 与 FSD50K 的匹配五种子评测中提升层级与宏平均指标,代价是总参数增加约 0.19% 与每样本多编码三个文本视图。
GAMW 针对合成语音事后加水印易被复合处理抹除的问题,把内容自适应的多比特残差写进冻结 TTS 产生的梅尔谱再经冻结声码器发声,并用聚焦调节加动态逐比特加权学习解码,在两条 TTS 链路上保持语音质量的同时提升了单种与复合扰动下的解出率。
GeoMER 针对语音加文本情绪识别中细粒度跨模态对齐与抽象情绪结构难以兼顾的问题,用欧氏分支做词元级融合、用双曲几何核心路由组织抽象情绪表示,在 IEMOCAP 四分类上报告 83.54% 加权准确率和 83.35% 非加权准确率,代价是双分支与双曲运算带来的额外复杂度。
针对 MP3 低码率造成的带宽缺失与编码失真,MPASCNet 用幅度和包裹相位共同指导频点到紧凑 token 的自适应压缩与分支重建,在 MedleyDB 非重叠评测上以 6.49 M 参数取得整体 17.65 dB SDR 和 17.27 dB SI-SNR,但增益只在原文的混合训练与三类评测条件下成立。
针对仅用环境音频检测鼾声、低通气和阻塞性呼吸暂停并估计 AHI 的问题,论文提出把多分辨率自适应线增强器的置信图直接送入注意力偏置和特征调制,在 APSAA 上取得 Event-F1 0.7105 的最好结果,代价是三路滤波加双流建模带来额外计算和单中心小样本的适用限制。
X-AVDD 针对配对音频-视觉数据集蒸馏,用先训练带双向交叉注意力的教师模型再按类匹配交叉注意力后嵌入的方法合成每类少量样本,在四个音频-视觉事件识别基准上提高小数据训练精度,并把合成总耗时从 10 小时降到 1.3 小时。
针对合成语音破坏自然频谱-时间协同变化的问题,论文用频谱节点和时间节点之间的联合协方差建图并做多项式图滤波,再与图注意力分支互补融合,在 ASVspoof 与四个跨数据集上降低等错误率,代价是只增加约 4 至 8k 的后端可训练参数和高阶滤波可能引入冗余关系。
论文研究把前向仿真学到的传感器关系图用于稀疏源定位逆任务是否有效,通过定理证明边误差容忍条件并用氢气泄漏 CFD 与声学两类 180 场景实验证明满足边准确仍因任务目标错位而失效,且给出基于 Jaccard 重叠的轻量可迁移性检验及其代价。