📄 指令感知语音检索:让大音频语言模型按要求找录音
英文题目:Improving Large Audio-Language Model Embedding Baselines for Instruction-Aware Speech Retrieval
评分:7.8/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Chen-An Li:National Taiwan University
- Cheng-Han Chiang:National Taiwan University
- Hung-yi Lee:National Taiwan University;NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)
📌 核心摘要
指令感知的语音检索输入是一段语音查询加一条自然语言指令,输出是按相关性排序的语音文档集合,难点在于同一段查询在不同指令下对应不同的相关文档,而相关性要求同时满足内容、说话人、风格、环境声中的一项或多项。IRIS-Embed 用同一模型分别编码查询加指令和候选文档,再按余弦相似度排序。编码过程先从冻结音频编码器的预编码器输出和各层隐状态得到时间对齐的序列,再由指令决定的权重加权合并,然后经投射送入语言模型,取最后一个非填充位置的末层隐状态作为向量。训练用 InfoNCE 目标把查询向量拉向满足全部要求的正文档,推开批量内其余文档,并用低秩适配调整语言模型。在 INSPIRE 上 Qwen2.5-Omni-3B 版本的宏平均 Recall@50 为 62.92%,超过包含 ECAPA-TDNN 在内的最强比较基线的 45.15%。该结论适用于论文划分的对话延续、说话人匹配、风格匹配和合成多属性检索,对更大模型、更多语言和自然噪声的适用性尚未验证,原文未披露训练时长与推理延迟等完整开销。
🔗 开源与复现资源
代码相关资源:https://github.com/lca0503/IRIS — 链接可访问(HTTP 200)
第三方资源:https://huggingface.co/datasets/lca0503/INSPIRE — 链接可访问(HTTP 200)
数据相关资源:https://github.com/lca0503/IRIS — 链接可访问(HTTP 200)
第三方资源:https://huggingface.co/audeering/wav2vec2-large-robust-24-ft-age-gender — 链接可访问(HTTP 200)
第三方资源:https://huggingface.co/emotion2vec/emotion2vec_plus_large — 链接可访问(HTTP 200)
第三方资源:https://huggingface.co/datasets/sentence-transformers/msmarco-bm25 — 链接可访问(HTTP 200)
第三方资源:https://huggingface.co/cross-encoder/ms-marco-MiniLM-L6-v2 — 链接可访问(HTTP 200)
第三方资源:https://blog.google/innovation-and-ai/models-and-research/google-deepmind/gemini-2-5-native-audio/ — 链接可访问(HTTP 200)
第三方资源:https://ai.google.dev/gemini-api/docs/models/gemini-3.1-pro-preview → https://aistudio.google.com/docs/models/gemini-3.1-pro-preview — 链接可访问(HTTP 200)
第三方资源:https://www.anthropic.com/news/claude-opus-4-6 — 链接可访问(HTTP 200)
第三方资源:https://huggingface.co/Qwen/Qwen2.5-Omni-3B — 链接可访问(HTTP 200)
第三方资源:https://huggingface.co/google/gemma-4-E2B-it — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音检索为什么只给一段语音不够用
这篇论文研究的是语音文档检索。输入是一段口语查询和一批候选语音文档,目标是把与用户意图相关的文档排在前面。例如同样一句周末去哪玩,说得兴奋时可能想找活动推荐,也可能想找同一说话人的另一段录音,还可能想找情绪相似的语音。只听查询本身无法区分这 3 种目标。
指令感知语音检索为此增加一条文本指令。指令用自然语言写出对语音属性的要求,比如说话内容、说话人身份、说话风格、环境声等。相关文档必须满足指令中的每一条要求,与要求无关的属性则不影响相关性。评价时对每个查询指令对计算前 K 个结果中相关文档的占比,即 Recall@K,K 取 10、50、100,数值越高越好,再在多个子集上取宏平均。
口语查询 × 自然语言指令: 口语查询是待检索的语音片段,提供声音和内容线索但不说明检索目标;自然语言指令是文本语句,说明要匹配哪些语音属性以及取值来自查询还是直接指定。二者搭配后,查询提供参照信号,指令划定哪些属性必须相同,组合起来才能把找答案、找同一说话人、找相似情绪区分开。
已有路线在内容、说话人和指令上各解决了什么
口语内容检索路线主要解决按内容找文档的问题,包括关键词检测和口语问答的段落检索,输入是语音查询,输出是内容相关的语音,但不处理按说话人或情绪检索的切换。
文本与图像领域的指令检索已经用文本说明检索目标和相关性要求,INSPIRE 把这种思想搬到语音,提出同时涉及内容、说话人、风格等多属性的评测。本文工作正是在该基准上把大音频语言模型改成向量模型,而不是提出新的基准。
音频语言向量方面,已有工作多做音频与文本之间的跨模态检索或分类。本文不同之处是查询和文档都是语音,文本只作为指令出现,并且提出随指令变化的音频层加权,而不是固定使用最后一层。
任务的形式化定义与相关性判定
论文把每条录音表示为属性值集合,例如说话风格为开心记为 1 对属性与取值。指令表达的要求分成两类,一类要求与查询的某属性取值相同,另一类直接指定取值,两类使用的属性键不能冲突,避免又要求相同又要求指定。
一个文档相关当且仅当它的属性集合包含要求的全部属性值对。评分函数是查询指令向量与文档向量的余弦相似度,理想排序要求所有正文档得分高于所有负文档。这个定义把多属性合取要求讲得很死,实验中的正负文档划分和屏蔽同批假负例都围绕它展开。
IRIS-Embed 如何把同一模型用于编码查询和文档
IRIS-Embed 用同一个共享模型分别编码带指令的口语查询和不带指令的语音文档。查询支路同时把指令送给音频层加权模块和语言模型,文档支路使用固定提示,不加入指令。两边各自得到一个向量后按余弦相似度排序。
下面这张总览图展示了检索与训练共享参数的结构,以及音频层加权与向量计算的内部位置,适合先建立整体流程再看细节。
看图路径: 1. 先看 A 部分两条支路如何共享同一 IRIS-Embed 得到查询向量与文档向量;2. 再看 B 部分指令经句子编码器到 Softmax 形成层权重的路径;3. 注意音频多层隐状态在何处加权求和再进入语言模型
论文图 1。原论文 Figure 1::“IRIS-Embed overview. A: Retrieval and training with a shared model. B: Audio layer weighting and embedding computation. Inst.: instruction.”。
从图中可见,主路径是语音经音频编码器多层隐状态加权、池化、投影后与文本一起进入语言模型,最后取最后一个非填充词元的末层隐状态作为向量。训练时查询向量与正文档向量拉近、与同批其他文档推远,检索时同一套编码直接用于排序。文档统一使用固定层权重,保证候选库向量不受指令干扰。
大音频语言模型 × 向量模型: 大音频语言模型指连接音频编码器和语言模型的生成式模型,能同时处理语音和文本;向量模型指把输入映射为固定向量并用余弦相似度排序的检索模型。本文把前者改造成后者,保留其语音文本理解能力,但输出改为最后一个非填充词元的隐状态向量,直接用于排序,不再生成回答。
为什么不同检索目标需要不同的音频层
论文先做了一个动机实验。冻结音频编码器,对每一层隐状态按时间平均池化,直接用余弦相似度检索,不经过投影和语言模型。结果是不同任务的最优层不同,最后一层并非处处最好。对话延续和答案检索偏内容,相对依赖深层,说话人和风格匹配则在中间层更高。
请结合下图观察两款骨干上 4 类任务曲线随层数的分叉,这正是后文引入加权组合的依据。
看图路径: 1. 对比上下两幅图中不同任务曲线随层数变化的走向;2. 找出说话人曲线与内容曲线的峰值层是否相同;3. 观察最深层是否为所有任务的最优点
论文图 2。原论文 Figure 2::“Recall@50 across frozen audio-encoder layers. Layer 0 represents pre-encoder hidden states; layers 1 and above represent encoder hidden states.”。
上图 Qwen2.5-Omni-3B 部分说话人曲线在中间层明显隆起,而内容曲线更靠后;下图 Gemma-4-E2B-it 也有类似分离。这说明固定用最后一层会丢掉声学细节,固定用中间层又会削弱内容理解。加权组合的代价是增加一个句子编码器加线性层的权重预测器,但音频编码器本身保持冻结。
音频编码器 × 音频层加权: 音频编码器指把语音逐帧编码的多层网络,不同层保留内容、说话人、情绪等不同信息;音频层加权指根据指令预测一组权重,把预编码器与各编码器层的同一时刻隐状态加权求和。编码器提供多层候选表示,加权模块按指令挑选组合方式,组合后的表示再送入语言模型,使同一模型能兼顾内容型和声学型检索。
指令相关的层权重如何计算与合并
对每段录音,记预编码器隐状态和第 1 至 L 层编码器隐状态为不同层在同一时刻的表示。加权求和把同一时刻各层表示按标量权重相加,得到加权后的音频隐状态序列。
\[\widetilde{\mathbf{H}}=\sum_{\ell=0}^{L}w_{\ell}\mathbf{H}_{\ell},\]其中权重来自文本提示的函数经 Softmax 归一化,保证非负且和为 1。查询提示包含指令,文档提示固定,因此查询权重随指令变化,文档权重全库共享。
\[w_{\ell}=[\operatorname{softmax}(g(p))]_{\ell},\]这里函数由冻结的 all-MiniLM-L6-v2 句子编码器先对提示做平均池化,再经可学习的归一化和线性层输出每层得分。加权后的隐状态再经过原有的池化、投影和归一化送入语言模型。语言模型查询模板包含指令和语音标记,文档模板只包含语音标记,最终都取末层最后非填充词元隐状态为向量。
训练样本如何从真实与合成数据构造出来
训练数据构造是理解监督来源的关键。真实数据来自多个公开语音语料,覆盖说话风格、说话人、性别、口音、情感、对话和环境声等标注,并过滤无意义标签、过短过长录音和含语音的环境声类别。合成数据从 MS MARCO 困难三元组出发,用多种文本转语音模型合成不同说话人、10 种说话风格,并混入环境声。
下图概括了从过滤标注到配对构造再到指令生成的 3 级流水线,可以对照正文看每一步的输入输出。
看图路径: 1. 区分真实数据与合成数据各自提供什么标注与可控属性;2. 看配对构造如何保证正文档满足全部要求;3. 看指令生成如何覆盖短语式与完整句式并去重校验
论文图 3。原论文 Figure 3::“Overview of the data construction pipeline, combining real and synthetic data to create spoken query–document pairs and retrieval instructions.”。
配对构造时先从查询的属性中采样非空子集作为匹配查询的要求,再可选地为其他属性指定取值。说话人、对话和答案相关性只允许匹配查询,不允许直接指定。为得到难负例,优先选择违反要求条数更少的文档作负例。指令生成用大语言模型分别产生 2 到 6 词的短指令和完整句指令,并用 ROUGE-L 去重和校验是否覆盖全部要求。
正文档 × InfoNCE 损失: 正文档指满足指令全部属性要求的语音文档,负文档指至少违反一条要求的文档;InfoNCE 损失指把查询向量与同批文档池中正文档的相似度推高、与其他文档的相似度压低的对比目标。二者搭配时,文档对提供监督信号,损失函数把这种成对偏好转化为向量空间的相对距离,训练出指令敏感的排序能力。
对比目标如何处理同批中的额外相关文档
每个训练样本包含查询、指令、正文档和负文档。同批所有正负文档组成文档池,但其他样本的文档也可能恰好满足当前查询的要求,若直接当负例会引入假负例。论文用训练标签把这些额外相关文档从分母中屏蔽,只保留配对正文档。
\[\mathcal{L}=-\frac{1}{B}\sum_{i=1}^{B}\log\frac{\exp\bigl(f(d_{i}^{+}\mid q_{i},z_{i})/\tau\bigr)}{\sum_{d\in\mathcal{C}_{i}}\exp\bigl(f(d\mid q_{i},z_{i})/\tau\bigr)},\]该目标鼓励配对正文档的得分高于池中其余保留文档,温度系数控制分布尖锐程度。训练时冻结音频编码器和句子编码器,只更新语言模型的 LoRA 参数、音频投影以及权重预测器中的新增线性层。全局批量为 512,训练 2 个轮次。这一设计的含义是声学特征提取器不动,适配主要发生在如何组合声学层和如何用语言模型组织指令与语音。
在哪些数据与基线上比较才算公平
评测主要在 INSPIRE 4 个子集上进行。DailyTalk 以对话前半段作语音查询并检索其延续,VCTK 评测说话人匹配且负例内容相同但说话人不同,Expresso 评测说话人和说话风格的单独与联合匹配并含指令指定风格的情形,Synthetic 评测答案检索与说话人、说话风格、环境声的单属性和多属性组合,其中风格与环境声可匹配查询也可取指令指定值。指标为 Recall@10、50、100,对每个查询指令对计算前 K 结果中相关文档占比,再在全部查询指令对上等权平均后以百分比报告。
具体执行分工上,IRIS-Embed 用共享模型分别编码带指令的语音查询和不带指令的语音文档:查询提示同时用于音频层加权与语言模型编码并包含指令,文档则用固定提示且不含指令;取语言模型最后非填充输入词元的末层隐状态作为嵌入,再按余弦相似度对相应子集文档排序。训练在 Qwen2.5-Omni-3B 与 Gemma-4-E2B-it 两种骨干上进行,查询与文档提示模板固定,音频编码器冻结。
基线按原评测设置抽取向量以保证输入条件一致:WavLM-large 对末层隐状态按时间均值池化且不使用指令,ECAPA-TDNN 取说话人嵌入、emotion2vec 取情绪嵌入且均不使用指令,级联管线用 Whisper 生成转写、用问答字幕模型生成字幕再用文本嵌入模型编码并在查询端加入指令,多个大音频语言模型直接取最后非填充输入词元的末层隐状态。比较对象包括随机排序、WavLM-large 通用编码器、ECAPA-TDNN 说话人向量与 emotion2vec 情绪向量、Whisper 转写加字幕再用文本向量检索的级联管线,以及多个大音频语言模型直接取向量和 LCO-Embedding-Omni-3B。
对话延续 × 说话人匹配: 对话延续指用一段对话的前半段找回其后半段,考查内容连贯性;说话人匹配指找回同一说话人的另一段录音,内容可以不同。二者代表内容型与声学型检索的两个极端,放在同一基准下可以检验模型是否被指令正确切换,而不是只擅长其中一类。
主结果在什么条件下成立并带来多大提升
下图只展示 Qwen2.5-Omni-3B 这一个模型的绝对检索效果,颜色深浅表示 Recall@50,范围为 0 到 100。左右两个面板分别对应单属性与多属性,横轴均为评测需求,纵轴均为指令,橙色方框标示指令与评测需求一致的格子,读图时应先对准行列再看颜色深浅。
看图路径: 1. 先看左侧单属性矩阵对角线是否为每列最高值;2. 再看右侧多属性矩阵对角线是否同样占优;3. 注意换错指令时召回下降幅度最大的格子
论文图 5。原论文 Figure 5::“Recall@50 for IRIS-Embed with Qwen2.5-Omni-3B.”。
图中可见,在左侧单属性矩阵中,匹配指令的格子多为所在列最高值,例如答案检索列在答案指令下达到 90.3%,而在说话人指令下仅为 1.5%;右侧多属性矩阵的对角线同样占优,例如三属性联合需求在对应指令下达到 65.0%。这支持模型确实跟随指令切换目标,而不是只记住某种属性。DailyTalk 上个别内容型指令互相接近,说明回答问题与延续对话在内容表示上可能重叠,这是理解例外值的关键。
下表比较了不同音频层聚合方式在 4 个子集 Recall@50 上的表现,表中对比的是实际可运行的冻结与可训练策略,指标方向均为越高越好。
| Method | DailyTalk | VCTK | Synthetic | Avg. |
|---|---|---|---|---|
| Final Layer | 82.50 | 48.75 | 34.72 | 48.56 |
| Static Weight | 66.00 | 78.75 | 45.28 | 58.31 |
| Inst. Weight (Ours) | 77.50 | 85.00 | 44.17 | 62.92 |
表中指令加权在宏平均上达到 62.92%,高于仅用最后一层的 48.56%,高出 14.36 个百分点,在 VCTK、Expresso 和 Synthetic 上均优于最后一层。平均层和静态权重在 Synthetic 上略高,但在其余三子集落后,宏平均分别低 5.60 和 4.61 个百分点。微调音频编码器在 VCTK 上最高但对话延续大幅下降,说明单层或全量微调难以兼顾内容与声学。结论成立的前提是同一训练数据、同一 LoRA 设置和冻结编码器,只比较聚合方式。
跨任务泛化是否超出语音检索本身
论文还在 MAEB 的 15 个音频任务上评测,包括分类、聚类、配对分类、重排和检索,覆盖性别、口音等训练未直接覆盖的属性。IRIS-Embed 编码时除检索文档外均带任务指令,模型参数冻结,排除了训练语料来源的任务以避免泄漏。
Qwen 骨干的宏平均从基线 44.1 分提升到 53.5 分,Gemma 骨干从 33.1 分提升到 52.9 分,分别提升 9.4 和 19.8 分,接近 LCO-Embedding-Omni-3B 的 54.2 分。2 个模型在性别分类、性别聚类和口音配对分类上超过所有比较基线。这说明对比训练学到的指令跟随能力可以迁移到类别型任务,但分数仍是任务指令下的探针结果,不能直接等同于端到端部署精度。
层权重与投影训练各自起了什么作用
层权重分析显示,Qwen 骨干在 5 种短指令下第 13 层调整后权重最高,答案检索比说话人匹配更偏向最后一层。Gemma 骨干则以第 4 层为主,答案检索向最后一层偏移。权重已按各层隐状态均方根做尺度调整,仅用于分析,不参与计算,且论文明确指出这不代表因果贡献。
音频投影的对照显示,仅用最后一层时,可训练投影在 VCTK、Expresso 和 Synthetic 上一致优于冻结投影,覆盖多属性的全部 11 种指令类型。内容型任务上两骨干趋势相反,Qwen 的答案检索提升但对话延续下降,Gemma 则相反。在投影均可训练时,加权层仍优于最后一层,说明增益不只是投影训练带来的。
哪些限制决定了结论不能推广到哪里
论文明确只训练了两个较小骨干,未验证更大规模模型的可扩展性。音频表示完全依赖冻结预训练编码器保留的信息,未比较互补编码器。层权重可视化只描述加权后尺度,不能证明某一层对分数的因果贡献。
训练属性和取值受限于语料标注与分类器预测,配对构造与同批屏蔽可能受标注与分类误差影响。语言、声音、风格和环境声的多样性不及自然语音。级联基线只用了转写加字幕,未比较融合专用说话人向量或属性描述的更细级联方法。这些限制意味着跨语言、跨信道或强噪声下的表现尚未评测,不能把现有数字直接推广。
复现第一步需要准备什么数据与代码
复现应先按附录排除评测集的方式划分数据,避免 INSPIRE 测试录音和 MAEB 相关语料泄漏,并保持同一查询的样本在同一划分内。训练样本总数约 90 万,真实约 80 万,合成约 10 万,验证集约 1 万,来源与数量见下表。
以下 4 张表分别说明层聚合结果、合成语音来源、合成风格提示与指令示例,复现时可据此核对数据构造与评测条件。
| TTS model | Voice names |
|---|---|
| Gemini | Achernar, Achird, Algenib, Algieba, Alnilam, Aoede, Autonoe, Callirrhoe, Charon, Despina, Enceladus, Erinome, Fenrir, Gacrux, Iapetus, Kore, Laomedeia, Leda, Orus, Puck, Pulcherrima, Rasalgethi, Sadachbia, Sadaltager, Schedar, Sulafat, Umbriel, Vindemiatrix, Zephyr, Zubenelgenubi |
| Qwen3 TTS | Ryan, Aiden |
上表列出合成语音使用的语音名,Gemini 共享 30 个语音,Qwen3 文本转语音使用另外两个语音。复现时需注意不同子集的语音集合、文本转语音模型与指令生成模型均与 INSPIRE 合成子集不同,否则会引入分布重叠的误判。
| Style | Prompt |
|---|---|
| Happy | Voice: bright, cheerful, and upbeat, as if you are smiling while you speak. Tone: warm, joyful, and openly affectionate. Pacing: lively and energetic, with buoyant rhythm. Emotion: genuinely delighted and optimistic, emphasizing key words with an uplifted intonation. |
| Sad | Voice: soft, low, and melancholic, with a gentle tremor. Tone: heavy, sorrowful, and subdued, as if holding back tears. Pacing: slow and drawn out, with thoughtful pauses. Emotion: deep sadness and quiet grief, letting the weight of the words settle. |
| Angry | Voice: sharp, intense, and forceful, with hard consonants. Tone: confrontational, tense, and biting. Pacing: clipped and driving, with emphatic stress on charged words. Emotion: strong anger held just under control, barely restrained frustration. |
上表给出 10 种说话风格的合成提示,每种从音色、语气、节奏和情感四方面描述。按原文逐字使用这些提示才能复现风格分布,自行改写会改变难度。环境声混合需按 5、10、15 分贝信噪比均匀采样,并按重叠区间能量缩放。
| Requirements | Short instruction | Full-sentence instruction |
|---|---|---|
| Same speaker | identical voice | Fetch another clip of the speaker from this audio clip. |
| Same environmental sound | matching ambiance | Find audio that matches the background sound environment of this recording. |
| Same speaker, angry speaking style | anger, same voice | Search for an angry version of this person’s voice. |
上表展示同一要求下的短指令与完整句指令写法。短指令多为 2 到 6 词的片段,完整句需指明哪些属性匹配查询、哪些取指定值。复现评测时查询提示必须包含指令,文档提示固定不变,向量均取末层最后非填充词元隐状态。作者资源当前可在公开仓库获取代码与数据,第三方语料与模型需各自遵守许可。
什么时候值得尝试以及还缺哪项验证
当检索目标需要在内容、说话人、风格、环境声之间切换,且查询和文档都是语音时,该方法值得尝试。它的价值在于用一个向量模型同时处理多种属性要求,并能通过改指令切换目标,在多属性合取要求上相对基线提升明显。
复现第一步是先跑通冻结编码器加指令加权的编码流程,确认不同指令确实改变层权重与排序,再进行对比训练。关键信息条件是批量 512、温度 0.03、LoRA 秩 64,以及查询带指令而文档不带指令的模板。
仍需补充的验证包括更大骨干、更多语言与噪声条件、误判率与延迟成本,以及与更强级联方法的公平比较。在此之前,不应把宏平均提升理解为所有场景可用,也不应把层权重高低直接解读为该层决定了检索成功。
📎 论文与评分元数据
排名:前25% | 文档类型:方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses