英文题目：Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval
会议身份：
conference:acl:2026:conference-paper-id:2026.acl-long.1038
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#基准测试 #对比学习 #LoRA #鲁棒性 #音频检索
评分：6.9/10 | 创新 1.5/2 | 技术严谨 1.1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- HaeJun Yoo：机构信息未能从会议 PDF 纯文本可靠映射
- Yongseop Shin：机构信息未能从会议 PDF 纯文本可靠映射
- Insung Lee：机构信息未能从会议 PDF 纯文本可靠映射
- Myoung-Wan Koo：机构信息未能从会议 PDF 纯文本可靠映射
- Du-Seong Chang：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
音频文本检索需将口语化短查询、命令与否定表述映射到对应音频并输出跨模态排序，难点是训练用描述性字幕与真实查询平均仅1.8词的分布失配导致单格式基准高估能力。Omni-Embed-Audio先将16kHz单声道波形经原生音频处理器与文本查询经聊天模板加前后缀后送入同一共享Transformer主干统一编码。接着在注意力查询键值输出投影上以秩16低秩适配微调，并经模态专用无偏置线性层、层归一化与L2归一化投影到512维单位向量。然后以上一步输出的文本音频向量对用温度0.07的对称InfoNCE对比学习拉齐共享空间，并在UIQ五类查询与硬负挖掘管线上评测鲁棒性。与M2D-CLAP等双编码器对比语言音频预训练相比，关键差异是单共享大语言模型保留指令跟随与否定组合语义而非压缩为词袋式内容向量，因而无需显式UIQ训练即可提升细粒度语义区分。在MECAT文本到音频任务基准下，OEA-Qwen7B（+Cl）的指标R@1为7.02，低于OEA-Nemo3B（+Cl）的7.96。结论适用边界受限于字幕索引与命令排除式查询及无泄漏泛化，在域内字幕式文本到音频上仍落后且硬负集经特定模型过滤与单大模型生成可能遗漏真实声学混淆。推理开销与硬件方面，在A100上OEA-Nemo3B文本编码延迟为2.3 ms每查询而音频离线预计算，峰值显存11.5 GB且仅更新13.7M参数，边缘部署仍需量化或蒸馏。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，要解决的检索困难在哪里？
本文输入是自然语言查询与音频库，目标是从库中按语义找回匹配音频。初学者可把任务理解为声音版搜索引擎：用户说一句话，系统返回最相关的若干段录音。传统做法是对比语言音频预训练，即用一个文本编码器与一个音频编码器分别向量化，再拉近配对、推远非配对。论文指出当前评测多用与训练同分布的描述式标题，而真实查询更短、更多变，还包含否定。例如真实声音搜索引擎查询平均只有 1.8 个词，改写查询可导致约 20% 的效果下降。
也就是说，只看标题式查询会高估模型。输出是排序列表，常用前 1、前 5、前 10 召回率衡量是否命中。本文必须保留的关键信息是：方法只训练轻量适配器而非全模型，评测必须区分标题式、意图多样化与排除式 3 种条件，数据存在训练集污染问题。后续各节按先任务路线、再结构与训练、再评测条件与结果的顺序展开，每一步都可对应到复现动作。
同任务、同监督的已有路线如何对比？
在同输入同目标同监督下，主流路线是 CLAP 系列。LAION-CLAP 把规模做到 63 万音频文本对并做关键词到标题增强，MGA-CLAP 引入多粒度聚合改善对齐，CompA 用组合感知的硬负例处理组合推理，最新的 M2D-CLAP 把自监督掩码建模与 CLAP 结合，在标题式文本到音频上达到当时最强。另一条相关工作是查询鲁棒性：RobustCLAP 针对改写做鲁棒优化，在改写上有 0.8 到 13% 的提升；否定检索中的 NevIR 与 ExcluIR 显示神经检索器处理排除式查询时接近随机。
这些工作与本文运行阶段相同，都是离线建库加在线查询，但监督信号不同：CLAP 侧重描述性配对，鲁棒与否定工作侧重查询变体。本文的差异在于不另起独立文本编码器，而是复用带原生音频理解的多模态大模型做统一编码，并系统引入 5 种用户意图查询与硬负例区分指标。因此比较时不能把类别差异当成同条件胜负：标题式检索看跨模态对齐，意图查询看指令跟随与词汇鲁棒性，否定查询看组合语义。
为什么需要五种用户意图查询？
论文把评测缺口定义为查询类型鲁棒性。训练与评测都用完整陈述句描述声音，但用户会提问、会下命令、会只给关键词、会换说法、还会说不要什么。为此作者提出用户意图查询，分为 3 类 5 种。第一类是会话式，包含问题式与命令式，预期语音助手场景，例如问句找大厅中清晰的狗吠回声，命令式直接要求找出碎石路上的脚步声。第二类是改写式，包含关键词标签与改写描述，检验词汇失配，例如逗号分隔的小写标签与保持语义但换词汇的陈述句。
第 3 类是排除式，即否定查询，同时说明想要什么与明确排除什么，例如要金属表面的雨风声但不要雷声与引擎声。每个否定查询都绑定一个预先挖掘的目标与硬负例音频对，从而可以定量检验排除理解。
用户意图查询 × 描述式标题查询： 描述式标题查询指与训练分布一致的陈述性音频描述，用户意图查询指问题、命令、标签、改写与否定 5 种真实搜索形态；前者分工是提供受控基准，后者分工是检验口语化、简略化与排除式表达的鲁棒性，搭配后可判断模型是真理解意图还是只拟合标题风格。
OEA 如何让一个主干同时读文本和听声音？
OEA 的核心选择是用一个共享的 Transformer 主干处理两种模态，而不是文本音频各走独立编码器。沿一个样本走完全流程有助于理解：输入若是文本，先加 query 前缀并做分词；输入若是音频，先把 16 千赫单声道波形送入模型原生音频编码器得到音频特征，再加 passage 前缀。两路随后进入同一个多模态大模型主干，取最后一层隐状态做平均池化，再经各自模态的投影头映射到共享 512 维空间并做 L2 归一化，得到可直接余弦比对的检索向量。
在线检索时音频向量可离线预计算，每次查询只需编码文本。下面的架构图展示了这种双入口单主干再分头的布局，右侧还给出对比训练的配对矩阵示意，读图时注意可训练与冻结标记的区分。
看图路径： 1. 先沿底部文本查询与波形两条输入支路向上追踪汇合到同一主干的位置；2. 再看主干内部 LoRA 可训练标记与音频编码器冻结标记的区分；3. 接着看平均池化到投影层再分出文本与音频嵌入的出口；4. 最后对照右侧对比训练面板中对角线正样本与非对角线负样本的布局
论文图 2。原论文 Figure 2：“OEA architecture overview. A shared multimodal LLM backbone processes both text and audio inputs.”。
该图左侧为统一编码器结构，底部两路输入经或门进入同一多模态大模型主干，主干标注了 LoRA 适配器与冻结含义，顶部经平均池化与投影层输出文本或音频嵌入。右侧为对比训练，文本批与音频批经共享权重得到向量矩阵，对角线为正样本对，非对角线为负样本对。这种设计把语言理解与音频理解放在同一注意力机制下，目的是让音频表示受益于大模型的语言先验，同时保留组合结构以传递否定等线索。
哪些参数更新，哪些冻结，损失如何计算？
OEA 的参数安排是主干全部冻结，只训练注意力层的 LoRA 适配器与模态投影头。LoRA 配置为秩 16，缩放系数 32，丢弃率 0.05，作用于查询、键、值与输出投影。投影头是每个模态独立的无偏置线性层，把主干维度压缩到 512 维，再接丢弃率 0.1、层归一化与 L2 归一化，输出单位范数向量。可训练量约为 11 到 16M，仅占总参数的 0.29 到 0.36%。3 个实例化主干分别是约 3,000,000,000 参数的 Omni-Embed-Nemotron-3B、Qwen2.5-Omni-3B 与约 7,000,000,000 参数的 Qwen2.5-Omni-7B，都是带原生音频理解的多模态大模型。
统一编码器 × 双编码器： 统一编码器指文本与音频共用同一个 Transformer 主干处理，双编码器指文本与音频各用独立编码器再对齐；OEA 选择统一编码器的理由是让音频表示直接复用大模型的语言先验，组合后新增作用是缩小模态间隙，使命令式与否定式查询的语义结构在同一注意力机制下保留。
训练目标是对称对比学习的 InfoNCE 损失，温度系数为 0.07。符号含义是：t 为查询文本向量，a 为音频向量，sim 为余弦相似度，tau 控制分布锐度，Lt 到 a 表示以文本为锚点在批内区分正确音频，La 到 t 为反方向。优化时同时计算 2 个方向再平均，使配对相似度高于批内其他组合。原文实现细节在附录，报告了优化器与精度，但未给出完整批量大小与轮数，复现时需以代码为准。
\[2 (Lt→a + La→t)\]上式为总损失的一半加权形式，前半与后半分别对应两个检索方向。需要区分的是这是原始对比目标而非近似，文中未报告梯度截断或停止梯度，因此不猜测梯度路径。
LoRA 适配 × 投影头： LoRA 适配指只在注意力层的查询、键、值与输出投影上附加低秩可训练矩阵，投影头指各模态独立的线性加归一化映射；前者负责以极少参数调整语义理解，后者负责把不同模态的隐状态压缩到同一 512 维单位球面，二者搭配使主干冻结仍能做对比检索。
训练数据、污染处理与查询构造如何执行？
训练使用对称 InfoNCE，优化器为 AdamW，学习率为 3e-4 或 5e-4，采用分布式与半精度，按验证集前 10 召回率早停并分阶段进行。基座不同但训练范式一致，另有加 Clotho 训练的变体以检验数据适配。关键且易忽略的是数据泄露处理。WavCaps 汇聚了 AudioSet 强标注、Freesound、BBC 音效等，与评测集同源。作者的核查报告 AudioCaps 测试集中 17.7% 的片段出现在 WavCaps 子集，Clotho 评测集中 61.0% 的片段在 WavCaps 中有同名文件，因此训练时用黑名单排除污染样本，并引入源自网络视频、无重叠的 MECAT 作为无污染基准。
查询构造方面，4 种肯定类查询用 GPT-5.1 生成，要求复用原标题词汇并把长度控制在原标题正负 2 词内，以隔离句式影响；否定查询额外提供硬负例标题以写出精确排除。硬负例挖掘分 4 步：先用 MGA-CLAP 音频向量取每目标最相似的 20 个候选，再用声学阈值保留约 3 倍目标量，接着用 BGE 文本向量算语义差异，最后保留声学相似但语义不同的约 1 倍目标量，并经人工试听剔除不混淆的对子。
人工与大模型按 5 分制验证查询合理性，总体均值人类 4.15、大模型 4.43，否定类最低约 3.8，说明排除式查询本身更难写准。
在什么数据、基线与指标下比较才公平？
评测覆盖 AudioCaps、Clotho 与无污染的 MECAT 3 个库，指标方向都是越高越好，但含义不同。文本到音频与文本到文本用召回率，意图查询中会话与改写类用前 5 召回率，排除类用硬负例抑制率等区分指标。基线包括 4 个 CLAP 变体与未经检索训练的原生大模型，原生模型直接取最后一层平均池化加归一化，以隔离训练方法的贡献。OEA 有 6 个变体，覆盖 3 个主干与是否加 Clotho 训练。
比较公平性取决于是否同库同查询类型同指标：标题式比较看跨模态对齐，意图查询比较需注明查询生成受控长度，排除比较必须同时看标准召回与区分指标，否则会把找得到误当成排得对。硬件预算在 Clotho 的 1045 段上用单卡 A100 测得，音频编码可离线摊薄，在线只看文本编码延迟。下表先回答效率问题：在相近检索质量下，OEA 的在线延迟与可训练量是否仍实用。
| Model | Audio Encoding | Text Encoding | Peak GPU | Trainable Params |
|---|---|---|---|---|
| M2D-CLAP | 58.1 | 0.30 | 0.7 | 89 |
| OEA-Nemo3B | 163.8 | 2.30 | 11.5 | 13.7 |
| OEA-Qwen3B | 539.3 | 2.60 | 11.6 | 16.2 |
| OEA-Qwen7B | 666.8 | 4.86 | 18.3 | 17.2 |
上表为系统效率基准，音频编码为毫秒每段，文本编码为毫秒每查询，显存为峰值，参数为可训练量。OEA 文本编码为 2.3 到 4.86 毫秒每查询，满足交互搜索，但音频编码离线部分达 163.8 到 666.8 毫秒每段，且峰值显存达 11.5 到 18.3 吉字节，明显高于 CLAP 的 0.6 到 0.7 吉字节。Nemotron-3B 与 Qwen-3B 延迟差主要来自生成栈的内存带宽压力而非单纯参数规模，部署时可用 4 比特量化压缩。未胜出项是边缘部署：不经量化或蒸馏难以直接上端侧。
标题式检索与意图查询的主结果是什么？
先看总体性能对比图，该图以 OEA-Qwen7B 为代表，给出三库平均的前 5 召回率与硬负例指标，有助于 1 次看清互补格局。
看图路径： 1. 先看面板 a 中蓝色文本到音频与橙色文本到文本两组柱子的高度差；2. 再比较面板 b 会话式与面板 c 改写式中各模型的相对排序；3. 最后聚焦面板 d 硬负例抑制指标下 OEA 与 M2D-CLAP 柱子的高低反转
论文图 1。原论文 Figure 1：“Performance comparison using OEA-Qwen7B (+Cl) as representative model (mean R@5 across Audio- Caps, Clotho, and MECAT).”。
面板 a 显示文本到音频上 M2D-CLAP 领先但差距不大，OEA 紧随其后，而文本到文本上 OEA 明显更高。面板 b 会话式与面板 c 改写式中 M2D-CLAP 在问题、标签与改写上占优，OEA 在命令式上反超。面板 d 硬负例抑制上 OEA 高于 M2D-CLAP。像素上可执行观察是：对比蓝橙柱高差判断跨模态与纯文本两条路线的分工，再按面板核对 OEA 优势集中在命令与排除而非全部类型，避免把合成偏差误读为全面领先。
文本到音频的细化问题是：在域内标题与跨域无污染库上谁更稳。下表整理三库标题式文本到音频结果，保留 M2D-CLAP 与 OEA 可运行变体。
| 条件 | 指标 | M2D-CLAP | OEA 代表 | 比较说明 |
|---|---|---|---|---|
| AudioCaps 标题 | 前 5 召回率 | 77.13% | 72.64% | M2D-CLAP 域内最强 |
表后解释是：M2D-CLAP 在与训练分布对齐的 AudioCaps 上峰值最高，OEA 在 Clotho 与无污染 MECAT 上实现反超或持平，支持跨域泛化更强的判断，但限制是标题式总体接近，不能据此宣称全面替代。未经检索训练的原生大模型仅约 1% 前 5 召回率，证明适配必不可少。文本到文本的问题是：走先转写再文本检索的管线时，大模型编码是否仍有优势。下表给出对应数字。
| 条件 | 指标 | M2D-CLAP | OEA | 相对含义 |
|---|---|---|---|---|
| Clotho 文本到文本 | 前 1 召回率 | 55.85% | 64.52% | 高 8.67 个百分点 |
| MECAT 文本到文本 | 前 5 召回率 | 38.74% | 47.41% | 相对提升约 22% |
表后解释是：OEA 统一用大模型处理查询与标题，语义匹配更丰富，而 CLAP 文本编码器较轻且为对比对齐优化。代价是模型更大，收益集中在标题索引管线。意图查询中命令式是 OEA 最强的单点，OEA 达 49.87%，M2D-CLAP 为 44.74%，差距 5.13 个百分点，支持指令跟随预训练有助于解析动词命令的解释，但问题、标签与改写 3 类仍是 M2D-CLAP 平均更高，总体意图平均 OEA 略低约 0.58 个百分点，因此不能把单点胜利推广为全部查询类型。
文本到音频检索 × 文本到文本检索： 文本到音频检索指直接用查询向量比对音频向量，文本到文本检索指先把音频转写为标题再做文本间比对；前者考验跨模态对齐，后者考验纯文本语义匹配，OEA 统一用大模型处理两侧文本，因此在第二条路线上优势更大，二者共同决定部署时走直接检索还是先转写再检索。
否定查询为何要用区分指标而非只看召回？
排除式查询的核心困难是模型易把排除词当成肯定关键词。例如查询要金属屋顶雨声但不要雷声，标准召回只检查目标是否进前 k，即使硬负例雷声紧随其后也算命中。下图用目标与硬负例的排名间隔讲清 4 种新指标的分工，左侧好模型间隔大，右侧差模型间隔小。
看图路径： 1. 先读顶部示例查询中蓝色期望内容与黄色排除内容的颜色区分；2. 再对比左侧好模型与右侧差模型中目标与硬负例的排名间隔；3. 最后逐个核对底部四个指标定义中排名差与首位条件的差异
论文图 3。原论文 Figure 3：“Evaluation metrics for exclusionary queries.”。
该图顶部示例用颜色区分期望与排除内容，中间两列分别展示好模型中硬负例排到第 15 名、间隔 14，差模型中硬负例排第 3 名、间隔 2，底部给出排名差、抑制率、首位率与严格组合指标的定义。读图时先确认排名数字是原始名次而非相对改变量，再理解间隔越大越好，不能把右侧第 3 名直接误读为检索失败。
标准召回率 × 硬负例抑制率： 标准召回率只检查目标音频是否排进前 k，硬负例抑制率检查目标是否排在声学相似但语义不同的硬负例之前；前者分工是衡量找得到，后者分工是衡量排得对且能排除，组合后才能暴露否定查询下把排除词当成肯定词的失效模式。
否定查询的定量问题是：标准检索与区分能力是否分离。下表对比排除查询的两种视角，保留可运行的最强基线与 OEA 变体。
| 条件 | 指标 | M2D-CLAP | OEA 最佳 | 判断 |
|---|---|---|---|---|
| 严格首位排除 | TFR@10 | 7.5% | 10.1% | OEA 相对高约 34.7% |
表后解释是：标准召回上 M2D-CLAP 仍最佳，但区分指标上 OEA 全面反超，证明只看召回会掩盖排除理解差距。论文把原因归为大模型在指令预训练中见过更多否定模式且注意力保留组合结构，这属于有限解释而非因果证明，待验证的是是否换用显式否定训练后差距会缩小。未胜出项是 MGA-CLAP 在区分指标上最低，说明声学相似度高的候选若语义不同，纯声学驱动的挖掘与编码更易混淆。
哪些边界尚未验证，不能直接推广？
论文明确列出四点限制。第一，OEA 依赖带原生音频理解的多模态大模型，难以与纯文本大模型直接公平对比，未来需 hybrid 音频前端设计。第二，尽管在线文本延迟实用，峰值显存仍远高于紧凑 CLAP，端侧部署需量化或蒸馏。第三，硬负例先用 MGA-CLAP 与 BGE 过滤再人工核验，虽降低单模型偏差，但仍可能遗漏真实搜索日志中的其他混淆。第四，意图查询由单一 GPT-5.1 在受控词汇下生成，虽有人评与真实分布分析，但合成风格偏差未完全消除。
证据显示 OEA 并未在全部合成类型上占优，这支持优势来自指令与区分能力而非单纯拟合生成风格，但不能推广为覆盖全部真实口语。此外 7B 相对 3B 提升不一致，MECAT 上甚至略低于 Nemotron-3B，说明检索存在特有缩放规律，瓶颈更多在对比对齐与数据适配而非单纯参数量。相关性不等于因果，缺失的延迟、误判率与成本测量不能默认已改善。
复现应先做什么，需要哪些信息条件？
复现先做三件事。第一，按附录实现输入封装：文本加 query 前缀走对话模板，音频以 16 千赫单声道经原生处理器加 passage 前缀，两路统一平均池化后经独立投影到 512 维并归一化。第二，冻结主干，只训练 LoRA 与投影头，LoRA 秩 16、系数 32、丢弃 0.05 作用于注意力 4 组投影，温度 0.07，对称 InfoNCE 双向平均，用 AdamW 与半精度并按验证前 10 召回早停。第三，评测时严格分离标题式、5 种意图查询与否定区分指标，并在训练前用黑名单剔除与 AudioCaps、Clotho 重叠的 WavCaps 样本，同时加测无污染 MECAT。下表汇总污染核查与轻量训练的关键数字，便于核对数据清洗是否到位。
| 核查项 | 指标 | 数值 | 复现动作 |
|---|---|---|---|
| AudioCaps 重叠 | 占比 | 17.7% | 剔除对应 YouTube 标识 |
| Clotho 重叠 | 占比 | 61.0% | 剔除同名 Freesound 文件 |
| 文本编码延迟 | OEA-Nemo3B | 2.3 ms/query | 核对在线服务预算 |
| 可训练量 | OEA-Nemo3B | 13.7M parameters | 核对 LoRA 与投影头 |
表后说明是：若不剔除重叠，AudioCaps 与 Clotho 成绩会被高估；若只测标题式，会遗漏命令与否定上的分化。资源状态方面，本次未发现来源绑定且完成验证的开源代码与模型资源，因此不得声称代码模型已公开，复现需按论文文字与附录参数自行实现。统计方法上原文主要报告召回均值，未报告置信区间，比较时应保留百分点与相对百分比的区分。
何时值得尝试 OEA，何时仍选 CLAP？
综合判断是互补而非替代。当主要负载是域内标题式文本到音频且分布与训练一致时，M2D-CLAP 峰值更高且更轻，仍是实用选择。当管线是先自动转写再文本检索，或查询包含明确命令与排除语，或需跨域泛化到无污染新库时，OEA 更值得尝试，其文本到文本与硬负例抑制优势已有定量支持。教学上最易误解的是把大参数直接等同于检索更强，实际 7B 并未一致优于 3B，对比对齐质量与主干数据适配更关键。
另一个误解是把标准召回高当成理解否定，否定查询必须加看排名差与首位排除指标。未来验证应补大规模人工搜索日志与自然排除查询，以及量化后的延迟显存实测，方能回答端侧可部署收益。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses