留下过渡、删掉冗余:AudioTETRIS 如何压缩音频大模型的音频 Token
针对音频编码器产生过长音频 Token 序列导致解码器自注意力开销过大的问题,AudioTETRIS 用编码器隐状态的帧间变化构造音素过渡先验,再与随深度切换的解码器注意力分数相乘做逐层 top-k 剪枝,在 Qwen2-Audio 等三个模型上用 25% Token 保持接近未压缩精度,但高压缩下转写任务仍先退化且需一次校准确定交叉层。
针对音频编码器产生过长音频 Token 序列导致解码器自注意力开销过大的问题,AudioTETRIS 用编码器隐状态的帧间变化构造音素过渡先验,再与随深度切换的解码器注意力分数相乘做逐层 top-k 剪枝,在 Qwen2-Audio 等三个模型上用 25% Token 保持接近未压缩精度,但高压缩下转写任务仍先退化且需一次校准确定交叉层。
论文用带约束的强化学习结构搜索解决 22M 参数音视增强模型难以部署到手机等边缘设备的问题,以 35 次候选评估找到 2.9M 参数、14.5 dB SI-SNR 提升的模型,代价是比基线低 0.7 dB。
该文把空间语义分割拆成先标注后提取的两步,研究用卷积标注器与 SuDoRMRF 分离器替换大基线后在混合准确率与类感知信干比提升上的得失,并给出参数量与计算量的代价。
针对多语言混合语音中不同输入提取难度不同,该研究用样本级难度估计加共享多出口提取器做自适应路由,在 PolyExtract 上以 0.30 GFLOPs 达到 15.07 dB 宏平均 SI-SNRi 并把下游平均词错误率从 16.8% 降到 14.6%。
该文研究把多步扩散与流模型压缩到 4 次函数求值的问题,提出只做在轨速度回归并加上训练期残差代理与弱预测排斥的 SMD 框架,在图像、编辑、3D、视频与 33B 音频视频联合模型上验证了对齐与质量表现,但结论依赖同网格评测与原文报告的基线配置。
论文针对联合音画生成中多目标对齐需要大量模型评估的问题,提出先做方差引导的自适应粒子搜索再做短链局部修正的两阶段推理对齐方法,在匹配计算量下提升七个对齐指标并用图像实验验证分配策略的通用性,代价是需要维护在线调度参数和两阶段奖励设置。
论文把语音指令识别拆成一次编码得到固定记忆、多次共享循环读记忆并修正预测,在三个基准上用 0.16-0.17M 参数取得可比精度,早退能减少循环步数但总能耗节省有限。
针对全双工语音智能体每轮要做的多个封闭式小决策,DuplexJev 把语音编码器隐状态经小连接器送入冻结大模型并只读答案字母的下一个词分布,一次前向批量回答 80 个决策约 0.1 秒,内容理解接近读文本,而性别与情感需靠答案 token 监督才能从 55% 和 28% 提升到 90%,代价是情感数据会拉低部分内容问答。
针对音乐生成多人协调舞蹈时固定人数与身份混淆问题,ChainDance 把联合生成改写为沿舞者的条件链,用冻结单人扩散主干加两个轻量编码器与推理时噪声优化,在 AIOZ-GDance 三人组上报告 GMR 为 11.63 与 GMC 为 83.74,代价是全局优化把推理从 0:06 拉长到 0:15。
DriftTTS 针对少步声学模型依赖教师蒸馏和固定轨迹的问题,用梅尔域分布匹配漂移力加同策略展开训练四步解码器,在 LJSpeech 上以相近客观指标和盲听自然度接近基线,代价是推理步数不能超过训练深度且长时稳定性仍需更多验证。
DyRA 针对稠密矩阵乘法太贵的问题,在静态结构化权重近似之外增加随输入变化的低秩残差修正,在视觉、语音和语言模型上用同等计算预算保留更多输出精度,但其加速主要适用于矩阵-矩阵乘法充足的场景。
针对多模态推理中全量编码浪费算力的问题,SeMARC 用增量融合器 SeMA 逐个执行被选分支并给出前缀预测,再用控制器 ARC 决定下一个取哪个模态或停止,在六个分类数据集上以更少算力保持或提升宏 F1,但结论只在跨被试划分、批量为 1 和原文成本口径下成立。
EVA 针对连续序列的下一时刻多峰预测问题,用编码器、因果解码器和自回归潜变量预测器三部分学习与后验对齐的先验,在 ImageNet 上以更少推理参数和更快祖先采样达到与自回归扩散基线可比的生成质量。
GS-Codec 把编码器隐变量拟合成加权一维高斯基函数之和再做标量量化,用单检查点实现基元数与位深控制的码率调节,在 3 到 6 kbps 附近达到与 EnCodec 和 DAC 可比的重建质量,代价是迭代拟合的编码耗时需用预测网络摊销。
Lyric 针对小设备上音频采集与频谱特征计算开销大的问题,用五个无源声学共振通道加低速包络做输入,在说话人互斥的 AudioMNIST 实测中以 EdgeSpeechNet-A 达到 95.70% 准确率,代价是相对对数梅尔基线下降 3.58 个百分点并大幅降低处理器计算延迟。
SEAL 针对紧凑时频分离器在抵消频点估计受限和共享单元处处计算的问题,用混合闭合加性残差恢复抵消处的非零估计,用细化感知稀疏路由为每个时频令牌选一个残差专家,在 EchoSet 上以更少参数和运算量达到与 TIGER 相当或更好的分离质量。
论文针对传统 softmax 门控与脉冲计算不兼容以及多模态输入缺失时选路脆弱的问题,提出基于侧抑制与不应期的 k-WTA 路由器和两阶段缺失模态补全,在视觉、语言与情感分析任务上以较低理论能耗达到与人工网络可比的精度,但结论依赖特定编码器、缺失模拟方式与理论能耗估计。
针对高频重建局部难、平均型监督易漏掉稀疏失败的问题,该工作用 Swin-1D 格型生成器做幅度相位精修,并用三个轻量决策科学判别器补尾部与过亮监督,在 VCTK 与 MLS 法语上以更少参数取得更高的 NISQA-MOS,但 SI-SDR 等能量指标并未全面占优且实时因子略有增加。
该文针对 XLSR-AASIST 这类 3 亿参数量级检测器难以部署的问题,用跨域知识蒸馏补泛化监督、用移动分数引导结构化剪枝保关键结构,在 90% 稀疏度下做到 31.9M 参数和 23.3G FLOPs 且多数据集平均只上升 1.30% EER。
针对音频片段分类需要跨时间整合但加层代价大的问题,LAST 用 6 个共享块先做一次全量编码再只循环更新类别标记,在 AudioSet 上以 10 次通过达到 0.3450 mAP 并同时减少参数与计算量,代价是每轮通过数需单独训练且增益依赖只更新类别标记的设计。