沃洛夫语音查法语文本：把语音拼进冻结文本检索模型为何更稳

英文题目：Cross-lingual Matryoshka Representation Learning across Speech and Text

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.1710

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#模型压缩 #高效推理 #跨语言 #语音 #音频检索

评分：6.4/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Yaya SY：机构信息未能从会议 PDF 纯文本可靠映射
• Dioula Doucouré：机构信息未能从会议 PDF 纯文本可靠映射
• Christophe Cerisara：机构信息未能从会议 PDF 纯文本可靠映射
• Irina Illina：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务以沃洛夫语口语语音查询为输入、以法语文本档为输出，实际难点在于沃洛夫语以口语为主而相关知识多为法语文本，级联识别翻译链路成本高且误差累积。方法链分三步：先从原始播客广播经声源分离与语音活动检测过滤得到语音查询并转写翻译成法语，再用Gemini合成故事、对话与博客三类文档从而构成1176908对沃洛夫语查询到法语文档训练对，接着在该文本对上微调Qwen3嵌入模型获得跨语言检索能力。最后冻结文本主干，仅训练卷积降采样与映射层，把HuBERT语音特征拼接到提示后送入同一大模型统一编码。与双编码器对比学习的关键机制差异在于复用冻结大模型的深层上下文与提示路由做融合，而非对语音做浅层池化对齐，因而更适合语义密集的文档检索。在Kallaama-Retrieval-Eval评测任务下，Late-Fusion模型的指标nDCG@5为69.85，高于流水线基线的57.09。该结论适用边界受限于沃洛夫语到法语、短语音查询与合成主导文档分布，朗读式低质量语音与更长文档外推尚未验证。文本微调阶段训练成本约为8卡A100上2小时约22.4美元，语音适配硬件为单卡H100约8小时，推理开销与完整部署成本原文披露不全。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要保留哪些可核对信息？

本文的输入是沃洛夫语语音或文本查询，目标是从法语文本库中找出语义相关的文档。论文反复强调两个障碍，一是语言障碍，即有用信息多为法语文本而提问者常用沃洛夫语口语，二是模态障碍，即检索系统默认文本查询而该语言高度口头化。传统做法是先做语音识别再翻译再检索，链条长且误差会累积，本文要做的是直接的跨语言语音到文本检索，并且向量要支持按维度截断以换取成本。

为让研究生能复述方法，阅读时必须保留 4 类信息。第一是数据构造条件，包括原始语音规模、过滤后规模、纯文本对规模与评测集规模。第二是模型计算路径，包括语音走不走大模型、训练时谁冻结谁更新、提示放在哪里。第三是实验条件，包括基线是否可运行、指标方向、维度如何取值。第四是成本与局限，包括训练硬件时间与合成数据的依赖。本文不承诺代码模型数据当前可用，原文资源状态为未发现可验证的公开资源，因此复现应按论文文字条件重建而非假设可下载。

后文按学习依赖展开，先讲任务与相关路线，再讲方法全景与组件计算，然后讲训练构造与推理，接着讲实验条件、结果与反证，最后讲复现与收束。教学举例会明确标为例子，不引入无源数值。

已有路线在同输入同目标下能做什么，不能做什么？

第一条相关路线是给大语言模型加语音理解能力。白话说就是在文本大模型旁边接一个语音编码器，让模型能听懂语音。这类工作多做生成式问答，本文把它搬到嵌入模型上，做的是检索向量而非生成答案。区别在于检索要求查询与文档向量可比且支持批量索引，生成只要求输出一段文字。

第二条路线是套娃表示学习。白话说就是训练一个长向量，使它的前一小段本身也是可用的短向量。已有工作把它用于视觉语言与音视频大模型的序列压缩，本文的新意是把它用于跨语言语音文本检索，并分析不同维度与秩上的信息分布。理解时不要把套娃当成训练后截断，它是训练时对多个维度同时算损失，推理时才选维度。

第三条路线是多语言表示模型与大规模翻译编码器。白话说就是用覆盖两百多种语言的翻译模型加指令模型做文本向量。论文以此类模型为文本基线，指出它参数大且维度固定，而本文模型更小且维度可调，还要额外支持语音。第 4 条路线是双编码器对比学习，例如图像文本与音频文本的对比模型。白话说就是两个编码器各管一种模态，用对比损失拉齐。论文报告这类结构在转写找回等语义要求低的任务上可用，但在跨语言语音到文档这种语义要求高的任务上吃力，这为后文晚融合与双编码器的对照埋下伏笔。

为什么选沃洛夫语查法语？查询与文档如何定义？

论文选择沃洛夫语与法语作为有社会依据的案例。沃洛夫语主要在塞内加尔使用且高度口头化，而行政教育信息多为法语文本，许多沃洛夫语使用者法语读写有限。于是自然的查询模态是沃洛夫语音，需要命中的文档模态是法语文本。这不是一般的语音识别问题，因为目标不是把语音逐字写出来，而是找到语义相关的法语长文档。

论文对查询有明确定义，查询可以是语音也可以是文本，可以是问题也可以不是问题，只要是用来检索的那段输入都叫查询。举例来说，教学例子，一段沃洛夫语口语讲述农事经验是查询，对应的法语农业博客是文档，另一段同一语音的转写文本也可以是查询，这取决于任务提示指向哪个库。这种定义直接决定后文多任务训练的设计，即同一语音可能对应转写、翻译或文档 3 种目标。

评测因此分为两套。第一套基于朗读语音构建，文本主题多样但口语自然度存疑，第二套基于自然对话语音构建，查询信息密度更高。论文后文用语速与音量等可测量量解释两套集上的性能差异，而不是简单归因于模型好坏。

两条语音接入路线共用哪些部件，又在何处分叉？

先沿一个样本走完流程。输入是一段沃洛夫语音查询与 1 篇法语候选文档。文档侧在两条路线中完全相同，都由文本套娃嵌入大模型单独编码，得到可截断的文档向量。查询侧分叉，晚融合把语音特征降采样投影后与提示词向量拼接，再送入同一个文本大模型得到查询向量，双编码器则把语音特征池化投影为向量，不经过大模型。检索时计算查询向量与文档向量的相似度排序，维度取前若干维。

下图是理解分叉的关键，左侧晚融合保留了大模型的变换层参与，右侧双编码器只靠语音侧小模块对齐，文档侧共享文本模型保证可比性。

看图路径： 1. 先看左侧晚融合支路中查询语音经过语音编码器与降采样再与提示拼接进入大模型；2. 再看右侧双编码器支路中语音只经池化与投影不进入大模型；3. 对比上下两路文档侧都单独走文本大模型；4. 注意底部嵌套维度示意表示各维度共享前部向量

论文图 2。原论文 Figure 2：“Late-Fusion vs. Dual architectures. In the Late-Fusion approach, speech is encoded with HuBERT, then the sequence is downsampled by a CNN (x2), pro- jected to the LLM embedding…”。

该图显示晚融合的语音先经语音编码器与卷积降采样再经矩阵投影后与提示一起进入大模型，而双编码器经池化与分维度投影直接输出向量。文档在两侧都走大模型。教学上可以这样记，晚融合用大模型做跨模态语义桥，双编码器把跨模态压力全压在语音小模块上。论文的建模假设是文本检索已经可用，若语音能对齐到转写语义，则语音到法语文档可间接打通，但双编码器容量是否足够需要实验检验。

晚融合 × 双编码器： 晚融合负责把语音特征转换为文本词向量空间的序列并送入冻结的大模型做深度上下文建模，双编码器负责把语音整句池化为单个向量再与文本向量直接对齐，二者搭配比较的理由是验证是否需要大模型的变换层参与跨模态语义映射，组合意义在于论文用同一语音编码器与同一文本文档编码器控制变量，只改变语音是否经过大模型。

文本套娃模型、语音编码器与对齐层各自算什么？

文本侧起点是可输出多维度的嵌入大模型。白话说嵌入模型就是把一段文本变成一个向量，相似语义的向量距离近。套娃表示学习就是让 1024 维向量的前 512 维、前 256 维、前 128 维各自也能检索。原文为控制多维度联合训练的求和开销，只用 128、256、512、1024 这 4 个维度做联合检索损失，而非该基座原本支持的全部 6 档。先在纯文本数据上微调该模型，学习沃洛夫语与法语之间的跨语言可比性，这是后文冻结文本模型的前提。

语音侧编码器采用继续预训练的沃洛夫语语音模型。晚融合不只取最后一层，而是拼接全部 12 层特征，再经卷积做 2 倍降采样缩短序列，经一个投影矩阵映射到大模型词向量空间。降采样的作用是减少语音帧数以适配大模型长度，投影的作用是把声学维度翻译成文本词向量维度。双编码器则需要把变长语音序列变成单个向量，采用带可学习查询的注意力池化，再对每个套娃维度用各自的投影矩阵输出向量。

套娃表示学习 × 切片： 套娃表示学习负责在一个向量中同时训练多个嵌套维度以便推理时灵活截断，切片负责按前 128、256、512、1024 维取出子向量并各自计算检索损失，二者搭配的原因是低维推理省显存省时间但需要训练时保留可截断结构，组合意义是联合损失迫使前部维度优先承载可检索信息。

损失侧以批内 InfoNCE 为检索目标。白话说就是同 batch 中配对文档为正例，其他文档为负例。套娃做法是对每个选用维度分别算 1 次该损失再求和。需要区分的是原始目标是多维度同时可用，近似是只选 4 个维度而非全部维度，优化步骤是端到端更新对齐层而冻结大部件。原文未给出梯度在语音编码器各层的逐层路径细节，复现时只能按冻结与更新声明实现，不从模型名推定内部结构。

批内负例 × InfoNCE 检索损失： 批内负例负责把同批次中其他文档当作负例而无需额外采样，InfoNCE 检索损失负责拉近正确查询文档对并推远查询与 batch 内其他文档，二者搭配的原因是检索训练需要大量负例而显存有限，组合意义是用 1 次前向同时提供正例监督与多负例对比信号。

训练数据如何从原始语音一步步变为可训练对？

纯文本训练数据来自 3 类来源，一是法语排序数据的查询被译为沃洛夫语，二是塞内加尔法语网页先合成法语查询再译为沃洛夫语，三是法语问答数据的提问被译为沃洛夫语，另加沃洛夫法语翻译对做跨语言迁移。原文报告纯文本训练总量大，文档词元规模也大，具体数字见本节后表。这 1 阶段先让文本模型学会跨语言检索。

语音侧从约 1.4TB 原始语音起步，强调人工搜集自然自发语音并排除朗读书籍。过滤流水线依次做源分离去杂音、说话人切分、语音活动检测保留有话段，最后保留时长与质量达标的片段，得到约 860 小时高质量查询语音。下图展示了该流水线的主路径与丢弃分支，以及后续转写过滤翻译与 3 类文档生成的走向。

看图路径： 1. 从左上原始音频沿箭头依次经过分离与切分模块；2. 观察语音活动检测后分出丢弃分支与保留分支；3. 看右下保留语音量级标注再到转写与过滤环节；4. 跟踪翻译后分叉为故事对话与博客三类文档

论文图 1。原论文 Figure 1：“Speech data pipeline. Raw data is filtered via Source Separation, Diarization, VAD, and Quality Filtering.”。

该图从左上原始库沿箭头经分离、切分、检测后向下汇聚为保留语音库，质量过滤分出丢弃桶，保留部分经转写与坏转写过滤后再翻译并分叉为故事、对话、博客。原文还说明仅约 1/4 转写因困惑度与词汇多样性过滤被保留，保留的转写被译为法语再用生成模型合成 3 类文档。另有指令跟随多任务数据，把同一语音分别指向文档、翻译、转写 3 个目标，训练时在查询侧加任务说明，推理时用提示切换目标。

指令跟随嵌入 × 任务提示： 指令跟随嵌入负责让同一个查询向量根据任务说明指向不同目标库，任务提示负责在查询侧拼接一段说明要找转写还是翻译还是文档，二者搭配的理由是真实库是异构的而语音查询形式相同，组合意义是晚融合保留文本提示通道而纯语音双编码器无法处理文本提示。

下表把分散在正文中的规模数字收拢为可核对的一览，比较问题是训练与评测的数据量级是否匹配，公平条件是均按原文划分与定义计数，指标方向是数量越大通常覆盖越广但合成比例也需注意。

表后解释如下。纯文本对规模最大，支撑跨语言文本检索先行；语音经严格过滤后仍有数百小时量级，但合成文档依赖可用的语音识别与翻译系统，低资源语言未必具备该前提，这是论文局限中明确承认的。两套评测规模均为百量级，前者文档为原样网页更贴近部署，后者查询更自然但文档为合成，比较结果时需同时考虑查询自然度与文档真实性两项代价。未胜出项是朗读语音集上的绝对分数整体偏低，后文用语速音量分析给出有限解释而非模型定论。

测什么、与谁比、条件是否一致、指标方向如何？

实验按问题组织为 3 组。第一组测跨语言语音到文档检索，在两套检索评测集上用排序质量指标比较，指标越大表示前列命中越准。比较对象包括可运行的晚融合语音模型、双编码器检索训练、双编码器查询对齐、流水线先转写再用文本模型检索，以及参数大一个数量级且维度固定的多语言文本基线。第二组测语音关键词检出，本质是语音找转写，语义要求低于找文档，用于检验双编码器是否在简单任务上可用。第 3 组测未见过的语音意图分类，用零样本相似度与少样本 2 阶段微调检验泛化。

一致性条件需要仔细核对。文本侧文档编码器在各语音方法中共享同一冻结文本模型，晚融合与双编码器用同一语音数据但提示处理不同，双编码器因语音编码器无法处理文本而去掉提示。训练超参数统一为单轮、批量 16、最大长度 2048 与给定学习率，文本微调用多卡短时完成，语音对齐用单卡较长时间完成，具体数字见本节后表。评测实现基于常用嵌入与检索评估库，排序指标取前 5 与前 10 两档。

下表收拢训练与算力条件，比较问题是复现需要多少预算，公平条件是按原文硬件与时长原样记录，指标方向是时间与费用越低越易复现。

表后解释如下。主要收益是语音阶段冻结大模型后只需训练小模块，单卡可完成；具体代价是仍需先完成文本微调阶段，且合成文档依赖外部生成模型。未评测边界包括未报告多次随机种子的方差、未报告端到端延迟与误判率，比较时不能把排序指标提升直接等同于部署体验提升。原文对资源链接的表述为将来发布，本次按不可用处理，复现应先重建数据流水线而非等待下载。

主结果在什么条件下成立，反例与代价是什么？

主结果的报告口径是晚融合在两套文档检索集上优于流水线与双编码器，并以更小参数与更短维度超过大多语言文本基线。论文的支持性解释是直接利用语音特征减少了转写误差累积，而双编码器缺乏大模型变换层的上下文建模且容量较小。需要加限定的是该判断依赖自然口语查询与给定文档分布，若语音质量下降，高维度更占优，低维差距会拉大。

成本与维度的关系是第二条主线。原文用开源检索库以半精度嵌入测量磁盘占用、索引速度与查询速度，结论是增大维度带来边际精度增益但存储与计算开销上升，小维度检索更快而索引加速较慢。下图把精度与 3 组开销放在同一视野下，便于按任务选维度。

看图路径： 1. 先看横轴分别为磁盘占用索引速度与检索速度三组面板；2. 再看每个面板内从小维度到大维度的连线走向；3. 对比大维度在纵轴召回上的增量是否变平；4. 注意小维度在速度与存储端的相对位置

论文图 6。原论文 Figure 6：“Costs across Matryoshka dimensions.”。

该图包含磁盘占用、索引速度、检索速度 3 个面板，每个面板内按维度连线，纵轴为召回类精度，横轴为开销类速度或占用。可见从小维度到大维度的精度曲线逐渐变平，而开销持续增加，说明存在收益递减。结合后文少样本意图实验，小维度可通过更多训练数据追赶大维度，因此若推理预算紧张，可用训练成本换推理成本，但原文未给出每步延迟的精确数值，像素过小处不硬读。

下表用原文连续句可覆盖的数字呈现两类特有细节，一是意图泛化从随机水平到少样本的爬升，二是两套语音在语速上的差异，比较问题是泛化是否真实发生，公平条件是同一晚融合模型与同一维度，指标方向是分数越高越好、语速差异用于解释而非评价模型。

表后解释如下。主要收益是仅为检索训练的模型在未见意图任务上随样本增加明显超过随机，支持学到通用语义表示的有限解释；具体代价是小维度需要更多样本才能追上，大维度在少样本下适应更快。反例是双编码器在文档检索上未胜出，但在关键词检出等低语义任务上相对可用，且查询对齐目标在该简单任务上反而优于检索目标，说明目标难度需与编码器容量匹配。未评测边界是意图实验仅覆盖 10 类银行业务，推广到开放意图仍待验证。

去掉提示还成立吗？维度与秩说明了什么？

第一个反证是晚融合的优势是否只是占了提示的便宜。论文训练了无提示的晚融合与无提示的双编码器做检索对照，报告晚融合仍明显占优，因此提示不是唯一原因。更根本的差异在于语音是否经过大模型变换层，双编码器把全部跨模态压力放在小语音模块上。另一个对照是双编码器的两种目标，直接做文档检索优于只对齐到转写，说明在该容量下直接语义监督仍有价值，但在更简单的转写找回上结论反转，目标选择需按任务难度调整。

第二个分析是语音质量。论文报告朗读集每秒字符数远低于自然对话集，平均音量也更低，支持朗读不自然、有迟疑、音量小的判断。这属于有限解释而非因果证明，但能解释为何同一模型在朗读集上绝对分数更低且维度差距更大。复现时应同时记录语速音量与文本长度，避免把数据集差异误读为模型差异。

查询对齐蒸馏 × 文档检索训练： 查询对齐蒸馏负责把沃洛夫语音向量向其转写文本向量靠拢只学声文对齐，文档检索训练负责直接把沃洛夫语音推向法语文档学习跨语言语义，二者搭配比较的理由是检验小语音编码器能否跳过困难语义直接借用文本检索能力，组合意义在于论文为双编码器设置了由易到难的两档目标。

第 3 个分析是套娃维度的秩。白话说秩反映信息分散程度，若能量集中在少数特征方向则为低秩。论文在测试集上算协方差特征值的累计能量比，能量比越快接近全部，说明越少维度即可代表全部信息。下图比较不同套娃维度的能量曲线。

看图路径： 1. 先确认横轴为所需维度百分比纵轴为能量比；2. 再比较不同维度曲线上升到高能量比的快慢；3. 观察大维度曲线是否更早贴近顶部；4. 结合正文理解低秩含义而非直接读出精确数值

论文图 3。原论文 Figure 3：“Percentage of dimensions needed to represent a given energy ratio.”。

该图横轴为所需维度 100 分比，纵轴为能量比，4 条曲线分别对应不同套娃维度，大维度曲线更早爬升贴顶，表明高维向量实际是低秩的，只需一小部分即承载大部分能量。矛盾在于低维仍追不上高维性能，论文据此推测刚性切片与联合训练丢掉了关键信息，压缩并非最优。表达上用可能与待验证，因为原文引用外部工作解释梯度方差，具体机制未在本研究中直接测量。文档与查询的秩对比还显示文档秩更高，低维对文档信息可能欠表示，这与低维检索偏弱一致。

哪些结论不能推广，缺了哪些验证？

合成数据是首要局限。多数训练文档由转写翻译再生成得到，虽能解决低资源冷启动，但未必覆盖真实文档的多样性与噪声，且该链条假设已有可用的语音识别与翻译系统，许多语言并不具备。部署时若文档为原样网页，合成训练与真实检索之间存在分布差，论文用一组原样网页评测部分缓解，但规模仅百量级。

压缩方法的局限是第二点。秩分析显示信息集中在少数分量，说明当前套娃训练的压缩次优，未来可探索更细粒度的结构化稀疏等替代方案。本文未比较这些替代方案，也未测量误判率、端到端延迟与不同硬件下的实际吞吐之外的细项，因此不能承诺小维度在所有任务与硬件上都更优。

伦理与许可方面，语音来自多源且部分许可受限，原文计划以非商业研究许可发布。按本次资源核验状态，不得声称已可下载。相关性不等于因果，例如语速音量与检索分数相关，但未证明迟疑直接导致排序失败。缺失证据不是技术错误，复现时应补做多次种子、显著性与按查询长度分桶分析。

要复现应先做什么，需要保留哪些超参数与信息条件？

先重建文本跨语言检索。按原文用可变维度的嵌入基座，只取 4 个维度做联合批内对比训练，数据为法语文档配沃洛夫查询的百万量级对，批量与轮数长度学习率按原文记录实现。确认文本查询到法语文档可用后，再接入语音。若直接复现晚融合，应冻结语音编码器与大模型，只训练卷积降采样与投影矩阵，并保留任务提示通道；若复现双编码器，则解冻语音编码器、冻结文本侧，并为每个维度设独立投影，池化用可学习查询的注意力池化。

再重建语音数据流水线。按分离、切分、语音活动检测、质量过滤的顺序实现，保留时长与质量阈值，转写后按困惑度与词多样性过滤，仅保留约 1/4 再翻译生成 3 类文档。评测需同时准备自然网页文档集与自然口语合成文档集，分别记录查询时长、语速与音量，避免单集结论推广。意图泛化按 2 阶段少样本流程实现，先对比微调表示再在冻结模型上训逻辑回归头，样本数取小样本多档以观察大小维度的追赶曲线。

信息条件方面，保留批量 16、单轮、最大长度 2048 与给定学习率，硬件按文本阶段多卡短时、语音阶段单卡数小时规划。区分代码开源、权重下载与系统可运行 3 件事，本文按当前不可用处理。还需补的验证包括多种子方差、不同信噪比下的维度选择、以及真实网页库规模下的索引检索实测。

何时值得尝试这种做法，如何一句话记住它？

当查询多为口语低资源语言而文档多为高资源语言文本，且链式语音识别翻译成本高或误差大时，值得尝试冻结文本套娃模型加小语音对齐器的晚融合路线。它用最小的可训练部件借用文本检索的语义能力，同时保留推理时按维度截断的灵活性。若任务只是关键词或转写找回且预算极紧，可考虑更简单的双编码器，但跨语言文档检索应优先晚融合。

一句话记住，语音是否经过大模型是分水岭，维度大小是成本旋钮，数据自然度是解释性能差的第一检查项。后续工作可沿 2 个方向走，一是改进套娃之外的压缩以减少信息丢失，二是用更大规模真实文档与更严格的统计验证替代小规模合成评测。在动手前先回答 3 个问题，目标库是否异构到需要提示，查询质量是否支持低维推理，未见任务是否有少样本预算，答案决定了维度与训练目标的选择。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 acl-2026 论文汇总