相对位置注意力为什么慢?一种保持精确的分块核如何消除稠密偏置
论文解决加性相对位置项与 FlashAttention 式分块不兼容导致的二次方显存与重复计算问题,用可达范围投影、常数偏移复用与按偏移无原子累加实现精确加速,8K 长度下前向 1.8–6.4 倍、反向 2.0–21 倍加速并大幅降显存,但增益高度依赖偏移分布与注意力占比。
论文解决加性相对位置项与 FlashAttention 式分块不兼容导致的二次方显存与重复计算问题,用可达范围投影、常数偏移复用与按偏移无原子累加实现精确加速,8K 长度下前向 1.8–6.4 倍、反向 2.0–21 倍加速并大幅降显存,但增益高度依赖偏移分布与注意力占比。
本文诊断各模态嵌入研究在方法、综述与评测上相互隔离,提出以覆盖、可比、可组合三级能力衡量从转换到对齐再到联合嵌入的三条统一路径,并指出只有保留各模态特有结构并建立统一评测才能实现真正的全模态联合嵌入。
GDBack 用同一组二阶全通滤波对投毒语音做相位变换,在两数据集三模型上以 5% 投毒取得 94% 以上攻击成功率,同时保持正常识别与语音质量,其激活依赖中心频率等滤波参数且在强混响与部分防御下仍有局限。
针对方言标注语音稀缺但方言网络音频丰富的问题,论文用每方言约 60 小时人工标注训练偏向识别的自监督标注模型来转写方言匹配音频并经筛选与噪声学生精炼得到 39028 小时弱标注语料,独立训练的方言专用模型在 GigaSpeechBench 上达到 23.86% 平均词错误率并在外部语料上保持可迁移的提升,但多方言自动路由仍有可测量的误差代价。
GSLM2 针对语音单元语言质量不足和单流表示信息单一的问题,用 SpidR 2.0 在多个编码器层学习可微分的离散单元,再用多流语言模型联合建模这些单元,在 Libri-Light 三档规模和最大 6M 小时口语数据上持续提升词法句法语义得分,但推理计算量明显高于单流模型和文本模型。
带限语音缺失的高频需要补回但不能乱补,HFSWO 用幅度相位双流生成器加高频保护与加权评分配别管住高频能量出现频率和频谱形态,在英法数据上感知质量最好且参数比 AP-BWE 少约 74.6%,代价是训练更慢且部分波形指标并未全面占优。
论文把同一首马里奥曲子里的段落配成上下文与目标,用复合相似度打出高中低三档标签来微调 Moonbeam,让高相似请求在平均上更贴近原段,主要靠更多复述原旋律,但幅度远小于真实段落差异且听感实验未能检出单次差异。
论文以流式 Zipformer 编码器四个深度为轴,用加韵律的增量、从编码器重建韵律、逐特征增量三项检验说明手算韵律在原始输入上有大增益、进第一层后即塌缩,残余多为说话人层面的捷径而非边界定时。
InteractionBench 用同一套 221 项录制用户音频测七个实时语音系统在对话时机、口语任务、耳语与音量、二十多轮 groundedness 上的表现,发现全双工系统内时机与任务正相关而离线级联相反,且网络延迟显著抬高托管系统的客户端时机分。
论文把配音式翻译定义为在同一绝对时间轴上保住源端点和显著内部停顿,提出 TransDubber 用对齐目标波形做渐进监督加细粒度强化学习,在 4353 句英中测试上把 2% 时长符合率从 25.6% 提到 61.5%、停顿 F1 从 0.118 提到 0.550,代价是翻译质量仍略低于级联系统。
论文冻结 MiniCPM-o 4.5 只在它由听转说的时刻读隐藏状态拟合逻辑回归失败风险门控,内部 240 问上激进策略以 50% 上交率把准确率从 42.1% 提到 69.2%,同时比全部上交把平均服务器等待从 8.68 秒降到 5.95 秒,代价是仍需云端专家和转写合成开销且对多步执行失误几乎无效。
MedAstra 把冻结 WavLM 语音表示经轻量适配器映射到冻结 E5 文本空间做首轮语音稠密检索,再用文本证据与实体、诊断、关系启发做回答,报告的检索与问答数值只在输入来源与评测条件受限下成立。
MEX 把分散的音乐期望验证方法收成四个可重复任务,用音频直接算出的意外与不确定性去检验重复学习、分段边界、符号模型一致性和脑电预测能力,基线显示不同模型和噪声水平各有取舍且都受数据集与评价条件限制。
本文针对固定阵列假设下区域提取难以换阵列使用的问题,提出随麦克风数量和位置变化的前端与重建辅助目标,在仿真上超过同类可变阵列基线并在四麦克风上接近专用模型,但边界区分仍依赖孔径条件。
本文把冻结 OWSM-CTC 的 50002 维后验作为八语共享接口,对比真实后验、启发式模拟和学习型模拟器,证明文本初始化加九分之一配对语音可达 9.19% 混合词错误率,但模拟与真实后验的差距仍是主要限制。
Omni-Life 用 400 段视频考查助手能否在需要时及时说对、不需要时保持沉默,最好的 12 个配置也只有 4.48% 的视频完全做对,而反复提醒虽能提高覆盖却会带来每分钟数次的不必要打扰。
论文要解决音频监督稀疏且不稳定导致的联合音视频蒸馏失衡,用更干净的视觉条件、更多组采样和按失配程度加权来稳定音频学习,在 JavisBench 上保持音频质量的同时明显提升视频质量。
论文构造同时含口语主张与环境声证据的冲突音频,测五款音频语言模型能否坚持环境声答案,发现无语音时能听对不等于冲突时不跟错话语,而改提示词有时能拉回、有时只换错法。
论文针对依赖爆破音气流声的 VoicePop 活体检测,用 FastSpeech 2 加改过的 HiFi-GAN 在音素对齐位置注入局部低频突发并叠加噪声,在 20% 投毒和均衡训练条件下把准确率从 37.52% 拉低到 25.66%,代价是投毒强度弱于整段正弦波的 SyntheticPop,且双谱统计上更不像真人。
针对联合训练中强模态压制弱模态梯度的问题,论文用止梯度特征上的线性探针估计各模态表征质量并只放大弱编码器梯度,在高度不平衡的 CREMA-D 上与节流方法组合取得 71.45% 准确率,代价是约 1.6% 额外耗时和对工况条件的依赖。