音频检索

针对工具描述不规范叠加语音识别错误导致的检索失配，论文用离线大模型合成用户式查询做嵌入转向，在三数据集四检索器上一致提升，而噪声查询下绝对分数仍低且需离线生成成本。

针对无监督声脸关联中的跨视频假负冲突与模态私有噪声干扰，GMOD 用全局相似图挖掘多正样本做对比学习并用正交解耦分离共享身份特征，在 VoxCeleb1 上报告验证 AUC 为 87.73%，代价是每轮需重建全局图与调控邻居数 k。

针对批量内音频文本配对稀疏且跨模态一对一独热目标过硬的问题，该文用冻结编码器算出的文本间与音频间余弦相似度经混合作为跨模态软目标，并把交叉熵换成均方误差做回归，最强证据是小批量小数据条件下多任务检索与零样本分类累积排名超过基线，主要代价是不确定性估计与模态分类分支带来额外编码与调参负担。

论文把冻结说话人嵌入放到含大量干扰者的 1:N 检索中，测信道、噪声、语言、年龄四类失配，发现 ERes2Net 等多尺度监督模型抗滤波和老化但都过拟合英语语音，自适应对称归一化不改前端只校准分数即在电话到网络失配下带来普遍增益，但自监督跨语言骤降等短板仍在。

针对广播档案中目标可能只闻其声、只见其人或两者兼有的问题，该文用单模态 Top-n 检索集在另一模态下的打分一致性来判别活跃模态并切换融合权重，在 BBC Rewind 上以 94.2% P@1 超过单模态与固定融合，但仍距真值标签上界 96.6% 有差距。

针对文本查询同时检索语音库和文本库时分数不可比的问题，论文用 Z 分数归一加基础音频语言模型标注构造跨模态排序数据，再用 LoRA 微调音频语言模型做重排器，最强证据是混合域下重排显著超过 Z 分数基线，代价是对目标函数和音频切窗策略敏感且依赖合成语音数据。

针对综艺节目非写实、强喜剧与强同步音效需求，ARCHES 用规划-生成-检查-分派精修的多智能体循环结合检索增强与经验记忆，在 VSSE-Bench 上把 LSD 降到 0.77 dB、起音误差降到 0.048 秒，代价是依赖大模型判断与多轮迭代开销。

针对大音频语言模型能描述声音却定不准起止时间的问题，论文用拼接合成的确定性边界数据 AudioGround-IT 和滑动窗口加绝对时间嵌入的轻量扩展做指令微调，在三个真实音频定位基准上零样本取得大音频语言模型中最好的召回率，代价是仍需 30 秒分块处理且与专用检索模型仍有差距。

论文把语音检索问题改为语音查询加自然语言指令共同决定相关性，用四个子集覆盖语义、说话人、风格、环境音及其组合，并用四类基线证明语义与声学能力目前分属不同路线且多属性组合仍很困难。

针对同一声音可被多种文本描述、同一文本可对应多种声音的多对多含糊性，MixProLAP 用波形叠加与文本拼接构造语义超集并施加多级包含损失，在 AudioCaps 与 ClothoV2 零样本检索上提升音频到文本召回，但文本到音频方向存在不对称与轻微代价。

针对音频与文本多对多、粗细粒度共存的问题，ProLAP 把每个输入表示为高斯分布并用包含损失约束层级，在保持音频文本检索的同时用音频遍历与包含测试证明层级建模更好，但遮挡构造与合成评测带来适用边界。

该文用冻结自监督表征做无标注音频到音频检索，在哼唱找歌上用嵌入加动态时间规整最强，在语音找例上用量化聚类加词频逆文档频率最强，而时间敏感性分析解释了为何两域需要相反策略。

论文把冻结编码器后的输出域从单位球面换到概率单纯形并用全变差打分，在五个音频文本与图文检索基准上把质心距离缩小 97 到 99% 且检索质量不下降，但线性加 Softmax 在部分相对间隙指标上仍有残留。

该工作用共享语音编码器加两条属性分支同时对齐语义教师与说话人教师，在多语言检索上接近单语义模型并在说话人验证上接近教师模型，代价是需要双教师监督与大规模多语言训练。

针对自由文本风格描述与语音对齐覆盖窄的问题，论文用内在与情境分训加统一模型的对比策略，在检索与分类上以专用模型取胜、在组合描述上以统一模型取胜，代价是推理时需选对专用变体且最优挑选带来线性推理开销。

针对示例查询语音词检测中变长发音的记号不一致问题，wav2tok 2.0 在 BEST-STD 骨干上先做对比学习与向量量化再加 CTC 与 DTW 帧级对齐，在 LibriSpeech 与 TIMIT 上一致提升检索一致性与 MAP/MRR，代价是两阶段训练与自适应加权维护。

该文把瓶颈适配器装进冻结解码器每一层并用输入成分做二进制门控，使旧模态走原计算图实现逐位不变，同时用对照实验显示音频检索提升与热成像包的可组合性，代价是新增模态的文本混排输入属于新行为且双门同开不在保证内。

论文把文本图像视频音频放进同一个共享主干做任意到任意检索，用四阶段对比训练与同源采样和蒸馏优化，在 MMEB-v3 等基准上取得领先，但多条件文本与记忆检索仍有短板且低维压缩在细粒度任务上损失更大。

针对低资源下语音文本对齐需要大编码器和大量平行数据的问题，该文把词级对齐建模为异构图上的链路预测，用 GraphSAGE 消息传递把固定文本表示传给语音节点，在 TIMIT 和 Yemba 上以轻量图训练达到可比 SAMU-XLSR 的富集与检索效果，代价是跨模态检索仍受初始声学质量制约且句子级与下游任务未验证。

该文把合成语音归属从闭集分类改写为音频对自然语言描述的跨模态检索，用冻结双编码器加小投影头在 MLAAD v9 上实现未见模型 58.4% 模型级 MRR，代价是闭集精度低于专用分类器且通用架构易混淆。