音频检索

SSEmb 只用标准语音转写对训练轻量适配器，把冻结语音编码器接到冻结文本检索向量空间，实现直接语音查文本，在英文与多语言及口语文档检索上接近级联系统且时延更低。

论文针对融合模型从双模态到三模态时性能下降的模态抑制问题，提出先做小波分解提纯单模态再做结构感知图传播与交叉加权融合的 MMWave，并在四个数据集上以全排序检索验证效果与开销。

论文针对逐查询指标和损失不管跨查询相似度是否可比的问题，提出把全部查询候选对放在一个全局排序里优化的平滑损失 gSAP，用去掉小负相似度的策略控制二次代价，在跨模态对齐、自监督预训练和度量学习中提升全局精度并改善单阈值下的判定。

论文要解决英文 CLAP 无法理解印度语言描述的问题，只训练一个基于 XLM-RoBERTa 的多语言文本编码器去对齐冻结的 CLAP 空间，最强证据是混合目标在 AudioCaps 检索上超过教师而翻译质量和模态间隙决定了结论成立的边界。

LeAVJEPA 用单个早期融合 Transformer 把音频、视频和联合输入映射到同一嵌入，以模态缺失局部视图匹配联合中心加 SIGReg 防坍缩，在冻结 AudioSet-20K 上得 36.0 mAP、ESC-50 上得 91.3%、微调 VGGSound 上得 61.1%，代价是冻结与检索仍落后于带显式对齐的最强基线。

PEACE 用 SLAP 配对音频编码器与两种 Faust 代码编码器，在 1-3 个效果串联的检索上打平并在外部混响库上远超已有音频表示，代价是长链泛化和弱效果上的不均衡。

针对图文音视频混合检索中通用语义与模态特性难分离的问题，Syn-Omni 用共享 LoRA 加模态专家 LoRA 与渐进路由在 81 个任务上整体更均衡，3B 整体 Hit@1 达 49.4%，代价是专家路径推理时不能合并带来延迟增加。

问题是扩展新模态时文本检索遗忘与模型膨胀，方法选择是冻结文本主干并以其自身对密集级联标题的嵌入为教师目标，只训练投影器与编码器 LoRA，最强证据是 0.9B 保持 49.57 文本分并覆盖五新增模态、2.3B 以 51.39 总体均值超过闭源对照 49.51，主要代价是 0.9B 在语音音频图像视频上落后于更大开放多模态基线。

论文固定 ReDimNet2 骨干，用七语料约 63934 说话人加编解码与波形增强、分阶段适配加大间隔微调，把本地 4 秒窗下混合 VoxCeleb1 EER 从 2.42% 降到 0.824%、26 条件压力 EER 从 7.21% 降到 1.99%，再用图重排把检索 Pr@kk 推到 0.7687，但多因素同时变化使单因素因果无法分离。

CORA 把同一音频固定在五种意图不变改写下做配对检索，用 66100 对实验显示秩降与文本位移弱相关而与目标对齐损失和边界余量退化强相关，但后者仍是诊断性关联且敏感性随模型与数据集变化。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对长时多事件空间音频中全局对比学习会平均掉局部语义的问题，CoSTALA 用解耦的语义与空间编码加时序编码器与四重多粒度损失建模顺序与位置组合，报告显示完整组合在全局时空检索上达到最高的召回而纯语义表示则大幅下降，代价是需要合成的空间化数据与多路编码推理流程。

论文报告 ELSI 已托管 40 余个儿童中心长时音频并用三角色分层隔离原始音频，但 10 个原住民社区语料的控制权仍集中在 3 名欧洲学术托管人手中，作者因此提出增设社区托管人并发出共同设计邀约。

针对工具描述不规范叠加语音识别错误导致的检索失配，论文用离线大模型合成用户式查询做嵌入转向，在三数据集四检索器上一致提升，而噪声查询下绝对分数仍低且需离线生成成本。

针对无监督声脸关联中的跨视频假负冲突与模态私有噪声干扰，GMOD 用全局相似图挖掘多正样本做对比学习并用正交解耦分离共享身份特征，在 VoxCeleb1 上报告验证 AUC 为 87.73%，代价是每轮需重建全局图与调控邻居数 k。

针对批量内音频文本配对稀疏且跨模态一对一独热目标过硬的问题，该文用冻结编码器算出的文本间与音频间余弦相似度经混合作为跨模态软目标，并把交叉熵换成均方误差做回归，最强证据是小批量小数据条件下多任务检索与零样本分类累积排名超过基线，主要代价是不确定性估计与模态分类分支带来额外编码与调参负担。

论文把冻结说话人嵌入放到含大量干扰者的 1:N 检索中，测信道、噪声、语言、年龄四类失配，发现 ERes2Net 等多尺度监督模型抗滤波和老化但都过拟合英语语音，自适应对称归一化不改前端只校准分数即在电话到网络失配下带来普遍增益，但自监督跨语言骤降等短板仍在。

针对广播档案中目标可能只闻其声、只见其人或两者兼有的问题，该文用单模态 Top-n 检索集在另一模态下的打分一致性来判别活跃模态并切换融合权重，在 BBC Rewind 上以 94.2% P@1 超过单模态与固定融合，但仍距真值标签上界 96.6% 有差距。

针对文本查询同时检索语音库和文本库时分数不可比的问题，论文用 Z 分数归一加基础音频语言模型标注构造跨模态排序数据，再用 LoRA 微调音频语言模型做重排器，最强证据是混合域下重排显著超过 Z 分数基线，代价是对目标函数和音频切窗策略敏感且依赖合成语音数据。

针对综艺节目非写实、强喜剧与强同步音效需求，ARCHES 用规划-生成-检查-分派精修的多智能体循环结合检索增强与经验记忆，在 VSSE-Bench 上把 LSD 降到 0.77 dB、起音误差降到 0.048 秒，代价是依赖大模型判断与多轮迭代开销。