📄 当语音和文本各说各话，重排器如何当翻译官？
英文题目：A Reranker for Orchestrating Heterogeneous Speech and Text Retrievers
一句话：面对语音与文本检索分数不可比的模态鸿沟，STeReO 用 Z-score 归一化加音频大模型统一标注构建跨模态排序监督，再以 Yes/No 词元差值做统一打分，用 pointwise 微调在混合池上把 Spoken SQuAD 的 Hit@1 从 0.527 拉到 0.763 并带动问答 EM 提升约 12 个点，代价是验证仍局限于 TTS 合成的小规模混合库。
标签：#参数高效微调 #多模态模型 #语音大模型
评分：5.8/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 0.8/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.9/1.5
👥 作者与机构
- Inho Kim：机构信息未在 arXiv HTML 中可靠披露
- Sumyeong Ahn：机构信息未在 arXiv HTML 中可靠披露
💬 毒舌点评
亮点在于直面异构检索分数不可比的模态鸿沟，用 Z-score 归一化加音频大模型（Audio Language Model, ALM）统一标注来构建跨模态排序监督，思路务实且工程链路完整；短板是评估完全依赖文本合成语音（Text-to-Speech, TTS）生成的 Spoken SQuAD 与文本库的简单拼接，缺乏真实自发语音与更强的跨模态基线，所谓超越单模态 reranker 的结论在真实场景中的可信度有限。
📌 核心摘要
异构检索增强生成（Retrieval-Augmented Generation, RAG）需同时从语音与文本库中召回证据，但独立检索器分数尺度割裂与联合嵌入的模态偏差导致融合失效。论文提出 STeReO（Speech and Text Reranking Orchestrator），先用模态内 Z-score 归一化融合候选以降低标注成本，再以 gpt-4o-audio-preview 作为统一评估器对混合候选打分构建跨模态排序数据，进而用低秩适配（Low-Rank Adaptation, LoRA）微调解码式 ALM 作为跨模态重排器，通过 Yes/No 词元 logit 差输出相关性分数并支持 pointwise / pairwise / listwise 目标。相较于共享嵌入空间与单模态 listwise 重排器，该方法将重排阶段显式解耦为异构候选的统一排序问题，并提供了可切换优化目标的训练框架。在 Spoken SQuAD 与 MS MARCO 构成的混合池上，pointwise 训练的 Qwen2-Audio 变体在混合场景下达到更优的重排精度并带动下游问答精确匹配（Exact Match, EM）提升约 12.3 个百分点，同时在单模态场景保持稳定。该工作为语音原生 RAG 提供了可复用的 late fusion 范式，但当前验证局限于 TTS 语音与 2.8K / 9.1K 规模的小型混合库，对自然口语、噪声及长时语音的泛化仍待检验。
🔗 开源与复现资源
- 代码：论文中未提及代码链接
- 模型权重：论文中未提及独立的模型权重发布链接，论文仅说明训练基于 3 个 Audio Language Model 骨干进行 LoRA 微调，分别为 Ultravox、Qwen-Audio-Chat、Qwen2-Audio，未提供 HuggingFace 或 ModelScope 权重链接
- 数据集：论文中未提及数据集公开下载链接，论文说明自建跨模态重排序数据集包含 55K 训练样本和 11K 评估样本，评估基于 Spoken SQuAD 约 13K 查询和 MS MARCO 8.7K 查询构建的混合模态基准，标注使用 gpt-4o-audio-preview 和 gpt-4o 完成，未提供开源协议或获取链接
- Demo：论文中未提及
- 复现材料：论文提供了部分训练配置，具体为 LoRA r = 16、alpha = 32、dropout 概率 0.05，训练 3 个 epoch，使用 AdamW 优化器，学习率 2×10-4，权重衰减 1×10-2，10% 线性 warmup，梯度累积因子 2，音频窗口划分为 30 秒 × 4 窗口共 120 秒预算，推理阶段通过 mean 或 max 聚合窗口分数，支持 Pointwise、Pairwise、Listwise 3 种目标函数，未提及检查点发布位置
- 论文中引用的开源项目：论文提及以下第三方项目但未在正文中提供具体 URL 链接，分别为 e5-mistral-7b-instruct 用于文本检索、HuBERT-based SpeechRAG 用于语音检索、Ultravox、Qwen2-Audio、Qwen-Audio-Chat、gpt-4o-audio-preview 和 gpt-4o 用于标注与生成，均未提供可点击链接
🧭 深度解读
为什么给大模型加一个语音库，比加一个文本库难得多？
想象你在做一个会议助手，用户用文字提问：“上周产品会上谁反对了延期方案？”答案可能藏在两处：一份文字版会议纪要，一段 1 小时的录音。最省事的做法是先把录音转成文字，再用同一个文本检索器去查。但转写会丢掉语气、重叠发言，也会把人名、术语转错，错误会一路传到最后的答案里。
于是更自然的想法是让语音和文本各用各的检索器：文本用擅长语义匹配的稠密检索器，语音用直接对齐语音表征的检索器，各自召回最像的几条证据，再一起交给生成模型。但这里立刻出现一个尴尬：两个检索器吐出的分数根本不在一个尺度上。文本检索器可能给出 0.82、0.79，语音检索器给出 -1.2、-0.8，你无法直接说谁更相关。如果粗暴地把两份榜单拼在一起，往往一侧会彻底淹没另一侧。
这就是异构检索增强生成（Retrieval-Augmented Generation, RAG）里最现实的 late fusion 难题：单域召回质量要保住，跨域比较又必须公平。论文要解决的正是重排阶段的这个“翻译官”角色——如何把两套不同语言的分数，翻译成一套可比的相关性排序。
已有路线为何走不通：共享嵌入与单模态重排的盲区
在 STeReO 之前，处理多模态库主要有两条路。第一条是共享嵌入，像 WavRAG 或音频-文本对比模型 CLAP 那样，把语音和文本一起投到同一个向量空间，再用余弦相似度统一检索。想法很优雅，但实践中存在著名的模态鸿沟（modality gap）：即使语义相同，语音向量和文本向量在空间中仍系统性地偏向各自的簇，导致分数天然不平衡，一侧模态会无故占优。
第二条是各查各的，再做融合。语音侧用 VoxRAG、SpeechRAG 这类免转写的语音检索，文本侧用 e5-mistral 这类文本检索，检索阶段互不干扰。问题被推迟到了重排阶段：现有的 listwise 重排器大多是为纯文本设计的，基于交叉编码器或 Fusion-in-Decoder，输入假设是同质的文本段落，无法同时理解一段 30 秒的语音和一段网页文本，更缺乏跨模态的成对标注来学习“这段语音 vs 那段文本，谁更相关”。
STeReO 的位置很清晰：它不去强行统一嵌入空间，而是保留模态专用检索器以保证单域召回的上限，把所有跨模态比较的压力集中到一个可训练的重排器上。为此必须先解决数据问题——没有人给过“同一个问题下，语音候选 A 和文本候选 B 的相对相关性”这种标签。
任务到底在比什么：从查询到混合证据的排序
形式化一下。给定一个文本查询 q，背后有两类知识库：文本库 D_text 和语音库 D_speech。每个库配一个专用检索器 R^m，各自返回候选集 C^m，大小为 k。重排器 R 的职责是把并集 C_text ∪ C_speech 排成一个统一的有序列表 C*，再把排好序的前几条喂给音频语言模型（Audio Language Model, ALM）生成答案 a = ALM(C*, q)。
评价这件事有两个层次。第一层是重排本身准不准：用 Hit@1、平均倒数排名（Mean Reciprocal Rank, MRR）、NDCG@5 看正确答案是否被排到最前。数值越大越好。第二层是下游问答有没有变好：用精确匹配（Exact Match, EM，基于子串匹配）看生成答案是否包含标准答案。
论文刻意设置了两种考核场景来暴露问题。Single 场景只在单模态池内重排，检验重排器有没有把单域能力弄丢；Mixed 场景把语音和文本候选混在一起重排，检验它是否真的学会了跨模态比较。很多方法在 Single 上很好，一到 Mixed 就塌，就是因为没解决分数不可比。
STeReO 的全景：三段流水线如何分工
论文把整个系统画成 3 段流水线，对应图 2 的 3 个子图。图 1 先让你看懂 3 种 RAG 的差异：(a) 纯文本、(b) 纯语音、(c) 异构混合，重点是(c) 里两条独立检索支路汇合到重排器的那条线。图 2 则把 STeReO 拆开：(a) 构建跨模态重排数据集，(b) 训练重排器，(c) 推理时复用同样的检索与重排链路去服务问答。读者看图时应盯住分数的流向：原始分数 r_i 在哪里被归一，统一标签 y_i 在哪里产生，标量分数 s_i 又在哪里被学习。
Phase 1 负责造数据，解决无监督信号的瓶颈。Phase 2 负责训模型，把数据变成一个可泛化的打分函数。推理时不再需要昂贵的标注模型，只需用训好的轻量重排器对新查询的混合候选打分排序。
这种解耦的好处是工程上可复用：你可以随时换更强的文本或语音检索器，只要重排器学会了“跨模态比较”这件事，就能继续当好翻译官。
数据如何造出来：归一化、融合与统一标注
Phase 1 分 3 步走。第一步是领域专用召回（Domain-specific Retrieving）。输入是文本查询 q，输出是各模态的 top-k 候选及其原始分数 r_i。文本侧用 e5-mistral-7b-instruct，语音侧用基于 HuBERT 的 SpeechRAG，各自在自己最擅长的空间里找证据，目的是不让共享嵌入的偏差在源头就污染召回质量。
第二步是归一化与融合（Normalization and Fusion）。这是把标注成本从全库压缩到小子集的关键。论文对每个查询、每个模态单独计算均值 μ_m 和标准差 σ_m，做 Z-score 归一化：
\[\tilde{r}_{i}=\frac{r_{i}-\mu_{m}}{\sigma_{m}}\quad\text{for}\quad m\in M,\]其中 r_i 是原始分数，\tilde{r}_i 是归一后分数，M={text, speech}。直观理解是把两套不同量纲的分数各自拉到零均值、单位方差，再按 \tilde{r}_i 合并取 top-k 构成待标注集 L。如果不做这步，论文统计显示在 Spoken SQuAD 上语音候选在 top-5 中仅占 4.0%，几乎被文本淹没；归一后回升到 45.2%，才有了值得标注的混合分布。
第 3 步是跨模态标注（Cross-modal Labeling via Foundation ALM）。把 L 中 k 个候选连同语音与文本上下文一起喂给基础 ALM——含音频的用 gpt-4o-audio-preview，纯文本的回退到 gpt-4o，采用确定性解码与结构化输出，为每个候选打出统一相关分 y_i，形成三元组 (q, c_i, y_i)。在 5 千候选上这套标注达到 F1 0.700、Matthews Correlation Coefficient 0.614，在 1 千查询上 Hit@1 0.652，比 Z-score 基线的 0.578 高出 0.074，说明统一评估器确实提供了比简单归一更强的排序信号。
论文图 1。这张图来自原论文 Figure 1:，图示内容为“Comparison of three RAG systems: (a) Text-based, (b) Speech-based, and (c) Text+Speech-based RAG.”。请结合“数据如何造出来：归一化、融合与统一标注”的正文，按图例、坐标轴或模块连线核对；图中没有呈现的内容不作外推。
重排器如何学会打分：统一打分头与三种目标
Phase 2 的重排器骨干是解码式 ALM，可选 Ultravox、Qwen-Audio-Chat、Qwen2-Audio，均用低秩适配（Low-Rank Adaptation, LoRA，r=16, α=32, dropout=0.05）做参数高效微调。核心技巧是自回归相关性打分：把“查询+ 候选”拼成一条指令输入，让模型在最后位置比较 Yes 和 No 两个词元的对数几率（logit）差：
\[s_{i}=\text{logit}(\texttt{Yes})-\text{logit}(\texttt{No}).\]s_i 就是模态无关的标量相关分，不需要额外加回归头，语音和文本用同一把尺子。
有了 s_i 和监督 y_i，论文把训练目标做成可插拔的 3 种形式。Pointwise 是带 sigmoid 的二元交叉熵：
\[\mathcal{L}_{\text{point}}=-\frac{1}{|\mathcal{C}^{\star}|}\sum_{i}\bigl[y_{i}\log\sigma(s_{i})+(1{-}y_{i})\log(1{-}\sigma(s_{i}))\bigr]\]把每个候选当独立二分类。Pairwise 是 RankNet 风格的成对 logistic 损失：
\[\mathcal{L}_{\text{pair}}=\frac{1}{|\mathcal{P}|}\sum_{(i,j)\in\mathcal{P}(q)}\log\left(1+\exp\left(-\delta_{ij}\cdot(s_{i}-s_{j})\right)\right)\]其中 δ_ij = sign(y_i - y_j)，只在标签不同的对上拉开分数差。Listwise 是可微排序近似的 ApproxNDCG：
\[\mathcal{L}_{\text{list}}=1-\frac{1}{\mathrm{IDCG}}\sum_{i}\frac{2^{y_{i}}-1}{\log_{2}(1+\hat{r}_{i})}\quad\text{where}\quad\hat{r}_{i}=1+\sum_{j\neq i}\sigma\left(\tau(s_{j}-s_{i})\right)\]τ 设为 10，用 sigmoid 平滑近似排名 \hat{r}_i，直接优化 NDCG。
另一个工程细节是音频窗口化。长音频会被切成 W 个固定时长窗口，训练时随机采样 1 个窗口当作随机正则，推理时对各窗口独立打分再用 mean 或 max 聚合成段落级分数。实验固定总预算 120 秒，比较 120 秒×1、60 秒×2、30 秒×4 3 种切法，以适配音频编码器的最大序列长度并提升证据定位能力。
在什么数据与协议上验证：小而干净的混合池
要读懂结果，先看实验台是怎么搭的。论文用两个公开集拼成一个异构池：Spoken SQuAD 提供文本查询配 TTS 合成的语音段落，MS MARCO 提供文本网页段落。段落不重叠，查询重叠极小，天然构成跨域、跨模态的挑战。
根据论文正文整理的数据与协议如下：
| 数据集/划分 | 构成与规模 | 采样与标注 | 用途 |
|---|---|---|---|
| Spoken SQuAD | 文本查询 + TTS 音频段落，池中约 2.8K 音频段落 | 检索用 e5-mistral 与 HuBERT SpeechRAG 各召回 top-k，Z-score 融合后取 top-5 待标注 | 语音密集场景主测 |
| MS MARCO | 文本网页段落，池中约 9.1K 文本段落 | 同上 | 文本密集场景主测 |
| 训练集 | 自建跨模态重排数据 55K 样本 | 标注模型 gpt-4o-audio-preview（纯文本回退 gpt-4o），确定性解码 | LoRA 微调重排器 |
| 评估集 | Spoken SQuAD 约 13K 查询，MS MARCO 约 8.7K 查询 | 固定 top-k=5，报告 Hit@1/MRR/NDCG@5，方向均为越大越好；下游 QA 用 EM 子串匹配 | Single 与 Mixed 双场景对比 |
训练配置披露得较细：LoRA r=16、α=32、dropout 0.05，AdamW 优化器，学习率 2×10^-4，权重衰减 1×10^-2，10% 线性 warmup，梯度累积因子 2，训练 3 轮，音频窗口 30 秒×4。未披露 GPU 型号、数量与训练时长，也未发布代码、权重与数据集链接，复现需自行拼装检索与标注链路。
基线选的是 Z-score 融合本身，以及不同骨干与目标的重排变体。没有与 WavRAG、CLAP 等联合嵌入方法或现代文本重排器做直接对比，这是理解 SOTA 声明边界的关键。
主结果在说什么：混合池上拉开差距，单域上不掉链子
论文最想回答的是：重排器能否在保住单域精度的同时，在混合池里真正分清跨模态的相关性。按问题组织结果，而不是按表格顺序翻译，更容易看清因果。
根据论文正文与表 2、表 4 报告值整理：
| 比较或条件 | 指标 | 明确报告值 | 这项数字支持什么 |
|---|---|---|---|
| Mixed Spoken SQuAD, Z-score vs Ultravox pointwise | Hit@1 | 0.5273 → 0.7630 | 重排器在语音密集混合场景大幅缓解模态坍缩 |
| Mixed Spoken SQuAD, 同上 | MRR | 0.6408 → 0.7892 | 不仅首位命中，整体排序也更稳 |
| Mixed MS MARCO, 同上 | Hit@1 | 0.6621 → 0.6977 | 文本密集场景仍有 3-4 个点增益，未牺牲文本侧 |
| Single Spoken SQuAD, Z-score vs Ultravox pointwise | Hit@1 | 0.6927 → 0.7834 | 单域能力保持且提升，说明统一打分头未引入负迁移 |
| 下游 QA Mixed Spoken SQuAD, Ultravox 生成器 | EM | 0.3565 → 0.4796 | 重排精度传导到生成，减少幻觉 |
| 下游 QA Mixed Spoken SQuAD, GPT-4o-Audio-Preview 生成器 | EM | 0.4960 → 0.6350 | 更强生成器下增益更大，约 12-13 个点 |
| Mixed MS MARCO, Qwen2-Audio pairwise vs pointwise | Hit@1 | 0.7164 vs 0.6997 | pairwise 在文本侧略优，说明目标选择与数据分布相关 |
数字背后的机制是 Z-score 先让语音被看见，再让 ALM 重排器学会比较。未归一时语音在 top-5 仅 4.0%，归一后 45.2%，重排器才有机会学到跨模态的相对顺序。但也要看到边界：混合池仅 2.8K 音频 +9.1K 文本，规模小且语音全为 TTS，SOTA 仅相对于 Z-score 与单模态重排变体成立，不能直接外推到大规模、含噪声的自发语音库。
论文图 2。这张图来自原论文 Figure 2:，图示内容为“Overview of the proposed framework STeReO.”。请结合“主结果在说什么：混合池上拉开差距，单域上不掉链子”的正文，按图例、坐标轴或模块连线核对；图中没有呈现的内容不作外推。
哪些设计真的有用，哪些不稳定：窗口与目标的反证
论文做了两组直接消融来验证工程选择。第一组是推理时窗口聚合的 mean vs max。在 MS MARCO 这种文本占优的池子里，两者差距很小；但在 Spoken SQuAD 这种语音密集池子里，max 一致优于 mean（Ultravox 上 MRR 0.7892 vs 0.7460，Qwen2-Audio 上 0.7872 vs 0.7468）。这符合直觉：语音段落里证据往往集中在某个 30 秒窗口，取最大值更能抓住峰值证据，而 mean 会被静音或无关段落稀释。
第二组是窗口粒度的切分。在总预算 120 秒不变的前提下，30 秒×4 在 Spoken SQuAD 上 Hit@1 0.7584，优于 120 秒×1 的 0.7509 和 60 秒×2 的 0.7515。更细的切分在不截断的前提下覆盖更长时序，也让随机单窗口训练的正则更有效。MS MARCO 上差距则很小，因为音频候选本身就少。
负结果同样重要。Listwise 目标在 Ultravox 上于 MS MARCO 混合场景 MRR 骤降 0.257（从 pointwise 的 0.7755 掉到 0.3737），在 Qwen2-Audio 上也出现类似波动。论文承认 listwise 在异构噪声下不稳定，而 pointwise 最稳健。这提醒初学者：更复杂的列表级优化不一定在跨模态、标签噪声更大的场景下更优，简单、鲁棒的逐点分类有时是更好的起点。
这篇工作的边界在哪里：TTS、规模与标注噪声
作者在结论中明确承认，评估语音来自 TTS 合成的 Spoken SQuAD，不是真实自发的口语，未来需要在自然语音上验证。这是最大的外部效度缺口：自发语音含口吃、重叠、口音、背景噪声，TTS 的干净分布可能高估了语音检索与重排的上限。
审稿视角还指出几个未被充分讨论的点。混合池仅 2.8K 音频与 9.1K 文本，规模与多样性不足，难以反映大规模 RAG 中的分布偏移与长尾。未与 WavRAG、CLAP 等联合嵌入基线做公平对比，SOTA 声明的参照系较弱。标注依赖 gpt-4o-audio-preview，存在模型偏好与成本可复现性问题，且未分析标注噪声如何影响不同目标的稳定性。
另外，Z-score 按查询统计均值方差，在候选数少或分数方差很小时会不稳定，论文未讨论替代归一化。窗口化仅在固定 120 秒预算下测试，未评估更长真实语音的截断与信息丢失。下游 EM 仅基于子串匹配，未报告幻觉率或人工评估。这些都不是推翻贡献的理由，但决定了你把这个方法搬到自己场景时，需要补哪些对照与测量。
如果要复现：能拿到什么，还缺什么
从可复现性看，论文给了较完整的训练配方：LoRA r=16、α=32、dropout 0.05，AdamW 学习率 2×10^-4、权重衰减 1×10^-2、10% 线性 warmup、梯度累积 2、训练 3 轮，音频窗口 30 秒×4，推理用 mean 或 max 聚合，支持 pointwise/pairwise/listwise 三目标，解码式打分取末位 Yes/No logit 差。这些足以在 Ultravox、Qwen-Audio-Chat、Qwen2-Audio 上复刻训练逻辑。
缺的部分也很具体：未提供代码链接、模型权重、数据集下载与标注提示的完整细节，未披露 GPU 型号、数量、训练时长与检查点位置。标注阶段依赖闭源的 gpt-4o-audio-preview 与 gpt-4o，成本与可复现性受限，且论文未开源 55K 训练与 11K 评估的自建跨模态排序数据。引用的第三方项目如 e5-mistral-7b-instruct、HuBERT SpeechRAG 等也未在正文中给出可点击链接。
工程价值在于它提供了一条可复用的 late fusion 流水线：模态专用检索→Z-score 融合→ALM 统一标注→LoRA 微调→窗口化推理。即使不完全复现标注，你也可以用自己的标注器或人工标注替换 Phase 1，保留 Phase 2 的统一打分头与多目标框架，这是最值得带走的实践模板。
给研究生的带走清单：何时用它，何时别迷信它
回到最初的问题：为什么异构 RAG 需要一个专门的重排器？因为检索阶段的“各查各的”保住了单域上限，却把“如何比较”这个最难的问题留到了最后。STeReO 的回答是：先用统计归一让两套分数站在同一起跑线，再用一个能同时听懂语音和文本的大模型来产生可比的监督，最后用一个轻量的统一打分头把这种比较能力蒸馏进可部署的重排器。
对刚入行的你，这篇论文有三点可直接借鉴。第一，late fusion 不等于简单拼接，归一化是让重排器看见少数模态的前提；第二，Yes/No logit 差这种无额外参数的打分头，在跨模态场景下比另起回归头更稳；第三，pointwise 在噪声更大的异构数据上往往比 listwise 更鲁棒，不要一上来就追求最复杂的列表损失。
同时也要清醒：TTS 与小池子的验证意味着它更像一个原理验证而非生产级基准。下一步值得做的，是在真实会议录音、带噪长语音上检验窗口策略与归一化的稳定性，补上与联合嵌入基线的公平对比，并用更严格的生成评估去度量幻觉的真实下降。把这些边界补齐，STeReO 的 late fusion 范式才会从“在小池子里赢了 Z-score”走向“在真实语音 RAG 里可信”。
📎 论文与评分元数据
标签：#参数高效微调 #多模态模型 #语音大模型
5.8/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 0.8/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.9/1.5
📝 5.8/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #LoRA | #多模态模型 | #参数高效微调 #语音大模型 | arxiv
⚖️ 评分依据与证据（展开查看）
逐维得分、全文证据与扣分边界
创新性 (1.3/2)：提出 Z-score 归一化融合加 gpt-4o-audio-preview 统一标注构建跨模态排序监督，并以 Yes 与 No logit 差作为模态无关打分头支持 pointwise / pairwise / listwise 切换，将异构 RAG 重排显式解耦为 late fusion 统一排序问题，组合具有可复用性但单点均为已知技术演进。
技术严谨性 (1.0/1.5)：给出 Z-score 归一化公式与 3 种损失的完整定义及窗口化聚合逻辑，推导自洽且与实现一致；承认 listwise 在异构场景不稳定且 Z-score 按查询统计在方差小时的稳定性未作边界分析，但未出现推导错误或算法逻辑漏洞。
实验充分性 (0.8/1.5)：在 Spoken SQuAD 与 MS MARCO 上对比 Z-score 基线并完成 pooling 与 30 秒 x 4 窗口等直接消融，混合场景 Hit@1 提升约 23 个百分点；但混合池仅 2.8K 音频与 9.1K 文本且语音为 TTS 合成，未与 WavRAG 与 CLAP 等联合嵌入基线对比且无统计检验，SOTA 声明支撑不足。
清晰度 (0.7/1)：三段式流水线与 Phase 1 与 Phase 2 划分清晰，公式与符号定义完整；表格区分 Single 与 Mixed 并报告 Hit@1 与 MRR 与 NDCG@5，但部分超参数与标注提示细节分散于正文与补充材料，阅读需跨节对照。
影响力 (0.8/1.5)：为语音原生 RAG 提供可复用的 late fusion 重排范式并带动下游 EM 提升约 12.3 个百分点，对语音与音频读者有直接参考价值；但验证局限于 TTS 语音与小规模混合库，未验证自然口语与噪声泛化，短期内难以形成跨领域基准影响。
开源 (0.0/1.5)：论文未发布核心代码、模型权重或数据资源，也未给出明确的后续开源承诺。
可复现性 (0.3/0.5)：已披露 LoRA r 为 16 与 alpha 为 32 与 dropout 为 0.05、AdamW 学习率 2x10-4 与权重衰减 1x10-2、10% 线性 warmup 与训练 3 轮及 30 秒 x 4 窗口等关键配置；但未披露 GPU 型号与数量与训练时长及检查点位置，复现仍有少量缺失。
工程/实践价值 (0.9/1.5)：给出可复用的三段式工程流水线，包含模态专用检索、Z-score 融合、ALM 统一标注、LoRA 微调与训练随机单窗口及推理 mean 与 max 聚合的完整链路；但未报告真实延迟与吞吐与资源占用等部署测量，亦无公开产物可直接复用。