音频检索

针对大音频语言模型能描述声音却定不准起止时间的问题，论文用拼接合成的确定性边界数据 AudioGround-IT 和滑动窗口加绝对时间嵌入的轻量扩展做指令微调，在三个真实音频定位基准上零样本取得大音频语言模型中最好的召回率，代价是仍需 30 秒分块处理且与专用检索模型仍有差距。

论文把语音检索问题改为语音查询加自然语言指令共同决定相关性，用四个子集覆盖语义、说话人、风格、环境音及其组合，并用四类基线证明语义与声学能力目前分属不同路线且多属性组合仍很困难。

针对同一声音可被多种文本描述、同一文本可对应多种声音的多对多含糊性，MixProLAP 用波形叠加与文本拼接构造语义超集并施加多级包含损失，在 AudioCaps 与 ClothoV2 零样本检索上提升音频到文本召回，但文本到音频方向存在不对称与轻微代价。

针对音频与文本多对多、粗细粒度共存的问题，ProLAP 把每个输入表示为高斯分布并用包含损失约束层级，在保持音频文本检索的同时用音频遍历与包含测试证明层级建模更好，但遮挡构造与合成评测带来适用边界。

该文用冻结自监督表征做无标注音频到音频检索，在哼唱找歌上用嵌入加动态时间规整最强，在语音找例上用量化聚类加词频逆文档频率最强，而时间敏感性分析解释了为何两域需要相反策略。

论文把冻结编码器后的输出域从单位球面换到概率单纯形并用全变差打分，在五个音频文本与图文检索基准上把质心距离缩小 97 到 99% 且检索质量不下降，但线性加 Softmax 在部分相对间隙指标上仍有残留。

该工作用共享语音编码器加两条属性分支同时对齐语义教师与说话人教师，在多语言检索上接近单语义模型并在说话人验证上接近教师模型，代价是需要双教师监督与大规模多语言训练。

针对自由文本风格描述与语音对齐覆盖窄的问题，论文用内在与情境分训加统一模型的对比策略，在检索与分类上以专用模型取胜、在组合描述上以统一模型取胜，代价是推理时需选对专用变体且最优挑选带来线性推理开销。

针对示例查询语音词检测中变长发音的记号不一致问题，wav2tok 2.0 在 BEST-STD 骨干上先做对比学习与向量量化再加 CTC 与 DTW 帧级对齐，在 LibriSpeech 与 TIMIT 上一致提升检索一致性与 MAP/MRR，代价是两阶段训练与自适应加权维护。

该文把瓶颈适配器装进冻结解码器每一层并用输入成分做二进制门控，使旧模态走原计算图实现逐位不变，同时用对照实验显示音频检索提升与热成像包的可组合性，代价是新增模态的文本混排输入属于新行为且双门同开不在保证内。

论文把文本图像视频音频放进同一个共享主干做任意到任意检索，用四阶段对比训练与同源采样和蒸馏优化，在 MMEB-v3 等基准上取得领先，但多条件文本与记忆检索仍有短板且低维压缩在细粒度任务上损失更大。

针对低资源下语音文本对齐需要大编码器和大量平行数据的问题，该文把词级对齐建模为异构图上的链路预测，用 GraphSAGE 消息传递把固定文本表示传给语音节点，在 TIMIT 和 Yemba 上以轻量图训练达到可比 SAMU-XLSR 的富集与检索效果，代价是跨模态检索仍受初始声学质量制约且句子级与下游任务未验证。

该文把合成语音归属从闭集分类改写为音频对自然语言描述的跨模态检索，用冻结双编码器加小投影头在 MLAAD v9 上实现未见模型 58.4% 模型级 MRR，代价是闭集精度低于专用分类器且通用架构易混淆。

针对只检内容而忽略说话人的不足，论文用文本查内容加参考语音定说话人的混合查询，构建 VoiceTrace-Bench 并训练统一音频语言模型的两阶段检索重排框架，在语义基准和混合基准上报告了可复现的召回与排序提升，但重排带来额外推理开销且多说话人仍明显更难。

针对音频时刻检索中提议级置信度缺少全局竞争的问题，该文用半马尔可夫条件随机场对全部分割归一化并以片段边缘后验排序，在 CASTELLA 上报告 41.15% R1@0.7 和 34.68% mAP，代价是需做前向后向推理与非极大值抑制并保留双分支联合训练。

共收录 160 篇 nime-2026 会议论文的 Reader 深度解读

音频时刻检索要求在数分钟录音中按自由文本返回起止时间，基线用 MS-CLAP 加 QD-DETR 在开发测试集上 Recall1@0.7 为 13.56%，前三名以更强特征与检测网络加分数校准或多分辨率集成达到 48.59%，代价是更复杂的特征组合与后处理。

BioVITA 针对图像与分类文本已对齐但音频缺位的问题，用 130 万音频与 230 万图像的两阶段对比学习把音频接入 BioCLIP 2，并在六方向检索上报告平均 Top-1 为 71.7% 的结果，代价是科层级检索与哺乳类音频仍明显更难且项目页链接当前不可用。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读