音频检索

本文把冻结 backbone 后的输出域从单位球面换到概率单纯形，用轻量适配器加 softmax 与 Total Variation 相似度做对比学习，在五个音频文本与图文检索基准上把质心 l2 间隔缩小 97-99% 且保持 NDCG@10。

论文用统一框架 UniPRO 固定编码器和训练条件后比较融合顺序，发现逐个融合优于堆叠融合且顺序本身影响召回，并用缺失难度与查询相关信息保留来解释和预测顺序选择，但结论只在所测数据集与协议下成立。

论文针对昆曲演唱与念白缺少音节级时间边界和音韵属性关联的问题，建成 281 段录音共 482164 个音节标注的 KunSet 语料库，并用 251 段微调的对齐模型把总体边界误差降到 194.83 ms、用传统韵部监督把同韵检索 P@10 做到 17.16%，代价是昆曲唱段对齐误差仍明显高于念白且检索绝对精度仍然偏低。

论文用 11 种人声混音问题在多严重程度上的合成课程训练 MixJudge，使其能按语言指定的问题评价混音状态，并在 88 组真实人声菜单选择中更常挑出声学上更接近专业版的候选，代价是只覆盖单声道人声与伴奏关系且依赖合成课程。

针对复调音频中混合表示与成分表示关系未被显式约束的问题，MiCLA 用对数梅尔谱凸插值构造合成混合并做双向残差对齐，在 AS-20K 微调取得 43.2% mAP 且冻结探测下保持可检索的双成分信息，但结论只在 AudioSet 类分布与两源合成混合条件下成立。

论文把从多乐器混音中按提示抽出目标音色并合成新音高和力度作为新任务，用提示门控统计池化从混合中提取音色码再驱动音符合成器，在 27 个未见 NSynth 音色上文本提示达到 CLAP 0.706 并优于已测先分离再复刻流程，但音高信息仍有残留且同类多乐器点选仍待解决。

SSEmb 只用标准语音转写对训练轻量适配器，把冻结语音编码器接到冻结文本检索向量空间，实现直接语音查文本，在英文与多语言及口语文档检索上接近级联系统且时延更低。

论文针对融合模型从双模态到三模态时性能下降的模态抑制问题，提出先做小波分解提纯单模态再做结构感知图传播与交叉加权融合的 MMWave，并在四个数据集上以全排序检索验证效果与开销。

共分析 146 篇语音/AI 论文

论文针对逐查询指标和损失不管跨查询相似度是否可比的问题，提出把全部查询候选对放在一个全局排序里优化的平滑损失 gSAP，用去掉小负相似度的策略控制二次代价，在跨模态对齐、自监督预训练和度量学习中提升全局精度并改善单阈值下的判定。

论文要解决英文 CLAP 无法理解印度语言描述的问题，只训练一个基于 XLM-RoBERTa 的多语言文本编码器去对齐冻结的 CLAP 空间，最强证据是混合目标在 AudioCaps 检索上超过教师而翻译质量和模态间隙决定了结论成立的边界。

LeAVJEPA 用单个早期融合 Transformer 把音频、视频和联合输入映射到同一嵌入，以模态缺失局部视图匹配联合中心加 SIGReg 防坍缩，在冻结 AudioSet-20K 上得 36.0 mAP、ESC-50 上得 91.3%、微调 VGGSound 上得 61.1%，代价是冻结与检索仍落后于带显式对齐的最强基线。

PEACE 用 SLAP 配对音频编码器与两种 Faust 代码编码器，在 1-3 个效果串联的检索上打平并在外部混响库上远超已有音频表示，代价是长链泛化和弱效果上的不均衡。

针对图文音视频混合检索中通用语义与模态特性难分离的问题，Syn-Omni 用共享 LoRA 加模态专家 LoRA 与渐进路由在 81 个任务上整体更均衡，3B 整体 Hit@1 达 49.4%，代价是专家路径推理时不能合并带来延迟增加。

问题是扩展新模态时文本检索遗忘与模型膨胀，方法选择是冻结文本主干并以其自身对密集级联标题的嵌入为教师目标，只训练投影器与编码器 LoRA，最强证据是 0.9B 保持 49.57 文本分并覆盖五新增模态、2.3B 以 51.39 总体均值超过闭源对照 49.51，主要代价是 0.9B 在语音音频图像视频上落后于更大开放多模态基线。

论文固定 ReDimNet2 骨干，用七语料约 63934 说话人加编解码与波形增强、分阶段适配加大间隔微调，把本地 4 秒窗下混合 VoxCeleb1 EER 从 2.42% 降到 0.824%、26 条件压力 EER 从 7.21% 降到 1.99%，再用图重排把检索 Pr@kk 推到 0.7687，但多因素同时变化使单因素因果无法分离。

CORA 把同一音频固定在五种意图不变改写下做配对检索，用 66100 对实验显示秩降与文本位移弱相关而与目标对齐损失和边界余量退化强相关，但后者仍是诊断性关联且敏感性随模型与数据集变化。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对长时多事件空间音频中全局对比学习会平均掉局部语义的问题，CoSTALA 用解耦的语义与空间编码加时序编码器与四重多粒度损失建模顺序与位置组合，报告显示完整组合在全局时空检索上达到最高的召回而纯语义表示则大幅下降，代价是需要合成的空间化数据与多路编码推理流程。

论文报告 ELSI 已托管 40 余个儿童中心长时音频并用三角色分层隔离原始音频，但 10 个原住民社区语料的控制权仍集中在 3 名欧洲学术托管人手中，作者因此提出增设社区托管人并发出共同设计邀约。