预训练音频谱图 Transformer 遇到不同 STFT 前端怎么办
论文量化了预训练 AST 在窗口和跳长偏离预训练设置时分类性能大幅下降的问题,并用冻结主干加轻量 FiLM 条件调制在少数据下恢复未见配置上的性能且基本保持原配置性能。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文量化了预训练 AST 在窗口和跳长偏离预训练设置时分类性能大幅下降的问题,并用冻结主干加轻量 FiLM 条件调制在少数据下恢复未见配置上的性能且基本保持原配置性能。
共分析 80 篇语音/AI 论文
论文用 1383 段 coda 研究把点击间隔节奏和对数梅尔频谱分开编码再融合能否同时保留群体、类型和个体信息,主证据是随机划分下融合表示的宏 F1 为 0.901/0.865/0.597 而纯间隔特征在类型上仍高达 0.987,代价是按录音日期分组后性能明显下降且个体识别仍不如简单的间隔加时序梅尔拼接特征。
论文在统一流程下比较音频 Transformer 的剪枝与合并稀疏化,提出结合注意力与频域线索的谱平坦度方法,并在三个数据集上验证了频率感知策略在训练后稀疏化中的优势与计算节省。
共分析 58 篇语音/AI 论文
AD-Mamba 针对长而稀疏且有噪声的音频分类,用先 CNN 后 Transformer 的多阶段蒸馏把局部谱时纹理和全局语义判别能力转入 Mamba 主干,在 AudioSet 上以 30M 参数达到 50.3% mAP 并在长音频与噪声填充下保持更稳的精度,代价是三阶段共 400 轮蒸馏训练与对强教师的依赖。
针对设备与年份变化导致呼吸音分布漂移且历史数据不能回放的问题,APRIL 冻结 BEATs 主干并为每个域保留独立的 LoRA 专家,再用多层原型取出两个候选并结合路由后验与分类置信做选择,在 ICBHI 与 SPRSound 正反序上取得最高的最终会话平均 Score 且平均遗忘低于 1.0 个百分点,代价是专家库随域数增长且每次推理需评估两个专家。
针对复调音频中混合表示与成分表示关系未被显式约束的问题,MiCLA 用对数梅尔谱凸插值构造合成混合并做双向残差对齐,在 AS-20K 微调取得 43.2% mAP 且冻结探测下保持可检索的双成分信息,但结论只在 AudioSet 类分布与两源合成混合条件下成立。
针对声学响应随工况漂移而难以只看频谱判读空化强度的问题,论文提出把工况写入文本语义并与时频证据匹配、再用近邻工况先验做决策融合的方法,在三个 SAMSON 真实数据集上取得最高准确率,但结论只在给定传感器、工况范围和划分下成立。
共分析 34 篇语音/AI 论文
长音频会产生过密的音频令牌并推高解码代价,AudioScorer 用问题感知的打分器学习每个令牌的保留优先级并做 Top-K 剪枝,在 10% 保留率下保住了语音内容任务,额外打分开销约占预填充计算的 0.4 到 0.9%。
DF-PALM 针对少样本音频分类中同一事件录音差异大的问题,在冻结 PENGI 等编码器后对编码后类别表示做音频条件残差调节并用其精炼音频特征,在 11 个基准 16 样本主评测上平均准确率 80.69% 和宏平均 F1 值 80.32%,而 50 类时算子统计推理浮点运算量比 PALM 增加 0.39%。
论文在 16 个配对数据集和 144 个数据集-标注预算组合上比较三种可运行的组装策略,发现三者各胜约三分之一,预算、任务形式与单模态可分性决定偏好,而两步路由能提前选出较优范式,但智能体推理代价高出数百倍。
论文把应答机检测做成二分类,用冻结的 CNN6 输出 512 维嵌入再接轻量梯度提升机,在两个数据集上都拿到最高精确率并保持毫秒级延迟,代价是抗加性噪声较弱且结论依赖特定的数据划分与统计条件。
共分析 57 篇语音/AI 论文
CIIR 用 10 个地址和 128 维地址表示连接四个互不配对的数据集,新接收器达到 94.7% 宏平均地址实现准确率,冻结后接入 SVHN 仍保持 90.24% 与 82.29% 的端到端传输准确率,代价是依赖已知局部索引和人工指定的多地址编码。
论文把正常、爆裂音、哮鸣音、两者兼有四分类改写为爆裂音存在与哮鸣音存在两个二分类任务,用不同时间聚合分别处理短促瞬态与持续谐波证据,在 ICBHI 四分类 Score 达到 65.30%,代价是需要调两个分支阈值并依赖预训练 BEATs 编码器。
针对 Both 类同时含有爆裂音和哮鸣音造成的四分类困难 PAC-KD 用两个二分类病理专家分别学习两种事件存在性再蒸馏给四分类学生并按梯度一致性调节权重 在 ICBHI 和 SPRSound 上平均 Score 最高但特异度有所下降
共分析 25 篇语音/AI 论文
论文把水下识别从输出类别标签改为输出包含船名、工况、轴频、桨叶通过频率和机械线谱的结构化描述,用三路时频表示加四项物理任务训练的 UPT 编码器对接冻结的 Qwen3-4B-Instruct,在四船仿真数据的两个信噪比段上取得高分类精度和毫赫兹级频率误差,代价是结论只在仿真可追溯条件下成立且机械与信噪比估计对噪声更敏感。