泰卢固语先出声再作答：VākQA 如何把语音、转写与评测分开检验

英文题目：VākQA: A Benchmark and Evaluation Study for Telugu Spoken Factoid Question Answering

标签：#音频问答 | #基准设计 | #基准测试 | #低资源 | #人类参与评测

评分：7.6/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Bhavana Akkiraju：机构信息未在 arXiv HTML 中可靠披露
• Ravi Sastry Kolluru：机构信息未在 arXiv HTML 中可靠披露
• Sri Charan D：机构信息未在 arXiv HTML 中可靠披露
• Srihari Bandarupalli：机构信息未在 arXiv HTML 中可靠披露
• Santosh Kesiraju：机构信息未在 arXiv HTML 中可靠披露
• Anil Vuppala：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

泰卢固语口语事实问答（Spoken Question Answering，SQA）以原始语音为输入并要求直接输出简短事实答案，难点在于口语声学变异、低资源识别错误与双语转写歧义会同时污染问题理解与答案判定。本文构建可复用的基准研究形态，先从问答类视频抽取语音片段并转写合并，再用大模型抽取候选问答并做词级对齐切分，最后由母语者校验音频文本一致性并翻译为英文形成双语对照。与已有合成语音或段落抽取式口语问答不同，该链条保留真实 quiz 交互的发音混淆与文化特指，并把评测可靠性本身作为研究对象。在人类评分为金的对照下，Gemini 作为评判（LLM-as-a-judge）与人类平均分的相关性达到 Spearman 相关 0.86，显著高于词重叠与嵌入基线，而口语输入相对纯净文本仍造成可观退化。结论仅适用于2001对简短事实型问答与六个知识域，未验证长答案推理、多方言与噪声场景的外推。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 数据相关资源：https://hf.co/datasets/Bhavanaakkiraju/VakQA → https://huggingface.co/datasets/Bhavanaakkiraju/VakQA — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么要做泰卢固语语音问答？

这篇论文的输入是泰卢固语语音提问，一段几秒钟的 quiz 风格朗读，系统要直接给出简短的事实性答案，不依赖给定段落做抽取。目标是建立第一个可复用的泰卢固语语音事实问答基准，并先把评测方法本身校准，再比较不同模型、语言与模态下的表现。必须保留的信息包括数据规模与来源、转写与翻译如何产生、评测用的人类量表与自动指标、以及各输入条件下可运行模型的得分与代价。输出是 1 篇能复述方法的解读，不做超出证据的推广。

对于刚进入语音与语言交叉方向的研究生，关键是理解语音问答比文本问答多了一层不确定性。文本问答的问题是确定的字符串，错误主要来自知识缺失或推理失败。语音问答的问题先经过发音、信道与说话人变体，模型可能听错关键词，从而回答了另一个问题。低资源语言又缺少标注语音，识别器本身误差更大，下游问答会被连带拖累。论文因此把任务拆成两步检验，先问自动打分是否可信，再问问答模型在语音、转写文本与翻译文本下各损失多少。

论文报告的基准名为 VākQA，包含 2001 对事实性问答与 2.53 小时语音，覆盖常识、科学、地理、历史、政治与文化 6 个域，提供泰卢固语原始转写与英语翻译以及人工核对的参考答案。数据集当前已公开，地址为 Hugging Face 上的 VakQA 页面，本次资源检查显示可用。后续所有结论都建立在同一批问题、同一评分量表与同一裁判配置上，比较时需要同时核对输入模态、输入语言、问答模型与裁判模型 4 个条件，否则数值不可直接对比。

已有路线做了什么，VākQA 与它们有何不同？

英语问答先有 SQuAD 与 Natural Questions 等基准，随后出现 XQuAD、MLQA、MKQA 等多语言版本，多依赖英语翻译。TyDi QA 则由 11 种语言的母语者直接书写问题，更贴近原生信息需求。印度语言问答近年也在增长，泰卢固语已有 TeQuAD 这样规模可观的文本问答数据，但不包含语音变体。

语音问答方面，已有工作展示了不同构造选择的影响。Spoken SQuAD 用语音合成在 SQuAD 段落上加音频，ODSQA 构建中文朗读式开放域资源但仍是抽取式，SD-QA 扩展到 5 种语言 24 种方言但仍需要段落支撑，SpokenNativQA 采集阿拉伯语与英语真人录制查询以摆脱合成与英语中心，ViSQA 把合成思路用于越南语。论文指出，这些工作在音频采集方式、是否需要段落、转写如何处理上各不相同，而这些选择会塑造模型犯错的方式。

VākQA 的差异在于问题直接来自泰卢固语 quiz 视频中的口语互动，不是翻译也不是合成，同时提供原始转写与英语翻译。更重要的是，它把输入语言、输入模态、级联识别加翻译误差与裁判可靠性放在同一基准下系统测量，而此前工作没有同时完成这组对照。评测方面，精确匹配与词级别 F1 对改写脆弱，尤其在识别错误与双语转写下会把正确答案判错，英语上训练的语义指标不能直接搬到泰卢固语，论文因此把可行选项收敛到大模型裁判与多语言嵌入指标，并量化它们与人类判断的一致性。

要测什么问题，什么算答对？

论文把问题限定为事实型问答，答案平均只有 2.4 个词，问题平均泰卢固语 7.2 词、英语 9.9 词，音频平均 4.55 秒。这意味着答案多为实体、日期、名称或简短术语，评测核心是正确性而非流畅性。例子是教学用的示意，不代表整体难度分布。

答对的标准由人类量表定义，1 分为完全离题，2 分为切题但有重大错误，3 分为部分正确但缺关键细节，4 分为基本正确仅有小遗漏，5 分为完全正确。自动评测要复现这个 5 级判断，而不是只看字符串是否相同。论文用 100 道泰卢固语文本问题，分别取 4 个问答模型的候选答案，组成 400 个三元组，由 5 名泰卢固语母语者打分，剔除 20 个分歧跨越 1 至 5 全范围的异常项后 Krippendorff 系数达到 0.836，支持人类标注可靠。

需要区分的失败模式有 3 种。第一是模型根本不知道答案，换语言也答错。第二是模型知道但在某一语言下取不出来，换语言就能答对。第三是输入被听错或译错，问题本身已改变，模型针对错误问题给出合理但不符合参考的答案。VākQA 通过固定问题而切换输入语言与模态，来分离这 3 类失败，这是理解后文所有对照的前提。

基准从语音到可用问答对经历了哪几步？

整体流程可概括为收集与切分、半自动抽取、人工核对与翻译 3 段。先从泰卢固语 quiz 与选择题风格的 YouTube 频道收集视频，要求问题与答案在音频上可分段，并覆盖 6 个域。再用语音活动检测切块并转写合并，最后用模型逐字抽取问答并对齐回音频边界。人工环节核对转写与音频是否一致，并把全部泰卢固语问答译为英语，形成双语问题与答案。

这个安排的理由是兼顾规模与保真。纯人工听写 2000 条语音成本高，纯自动抽取又会引入切分与转写错误，因此用自动流程提候选、人工做最终裁决。翻译要求忠实于转写而不是改写澄清，这保留了口语中的指代模糊，后文英语 scope 变模糊的例子正源于此。理解该取舍很重要，否则会误把翻译模糊当作模型缺陷的全部原因。

复现时要保留的关键信息条件是音频切分的原始时间戳、词级时间戳来源、模糊匹配阈值，以及人工核对是否听音频而非只看文本。论文明确给出语音活动检测分块为 7 秒块加 2 秒重叠，词级对齐用模糊匹配 Levenshtein 比率不低于 85%。这些阈值决定了问答音频边界的精度，直接影响语音输入评测的可比性。

语音切块、转写与问答对齐如何具体执行？

第一步是把长视频变成可处理的短块。Pyannote 语音活动检测先找到非静音区，再切成 7 秒窗口、相邻窗口重叠 2 秒，并保留原始时间戳。重叠的目的是避免问题在切分点被截断，长问题可以跨块保留上下文。每个块用微调后的 Seamless-large-v2 泰卢固语识别模型转写，该模型在约 900 小时数据上训练，来源包括 IndicVoices、Kathbath、FLEURS、SyspIn TTS 与 IndicTTS 资源。块级转写再合并成完整段落。

第二步是从合并文本中抽取问答。论文用 Gemini 按原文逐字抽取候选问答，避免模型改写。然后另用带时间戳的 Whisper 与 IndicWhisper 计算词级时间戳，再把抽取文本与词级识别输出做模糊匹配，比率达到 85% 才认为对齐成功，据此微调问答音频的起止边界。沿一个样本走一遍就是视频长音频进入切块，转写文本进入抽取，抽取文本再经模糊匹配找回音频位置，最终输出问题音频、问题文本与答案文本三者对齐。

语音问答 × 文本问答： 语音问答负责把声学信号先变成可理解的问题再给出答案，文本问答只负责从已确定的文字得出答案，二者搭配的理由是只有对照同一问题的语音输入与标准文本输入，才能把识别错误与知识缺失分开，组合意义在于定位失败发生在听错还是答错。

该组件的局限也要记下。识别模型本身有约三成词错误率，合并与抽取会继承这些错误，模糊匹配阈值过低会错配边界，过高会丢样本。论文保留了 6 条泰卢固语与 8 条英语长描述答案，不为迎合精确匹配而删除，这意味着词重叠指标天然吃亏，后文用大模型裁判正是对此的回应。

人工核对与翻译做了什么，为什么影响结论？

5 名标注者逐条检查问题与答案转写是否与音频片段一致，不一致则修正或剔除。然后人工把全部泰卢固语问答译为英语，得到双语对照。最终 2001 条语音问题总长 2.53 小时，域分布为科学 27%、常识 23%、政治 16%、历史 13%、文化 12%、地理 10%。下表把规模与分布整理为可核对的形式，数值与单位均来自原文连续句。

表前说明：该表回答基准有多大、语音有多长、各域占比如何，公平条件是同一批 2001 题在双语下完全对应，指标方向是规模越大覆盖越广但不代表难度均衡。

表后解释：规模支持按域切分分析，但域不均衡意味着小域的平均分方差更大，比较域间高低时要看样本量。文化虽只占 12% 却是检验翻译损失的关键域，地理虽最小但专有名词跨语言稳定，后文域差异要在该前提下理解。未胜出项是该表不含说话人、信噪比与口音分布，无法据此判断声学多样性是否充分。

自动语音识别 × 机器翻译： 自动语音识别负责把泰卢固语语音转写为泰卢固语文本，机器翻译负责把该转写文本再译为英语文本，搭配理由是级联链条可以复用只接受文本的问答模型，组合意义在于转写误差会被翻译放大并在问答阶段继续传播，需要分段测量。

翻译忠实而非澄清的原则导致英语问题保留了泰卢固语的模糊指代，例如 mana 在泰卢固语中隐含指印度，译为 our country 后在英语中 scope 变大。这是后文语言对照中模型把 Aryabhata 答成 Sputnik 的根因之一，复现时若改写翻译会抹掉该现象。

本研究训练了什么，没有训练什么？

本研究没有训练新的问答模型，也没有为泰卢固语微调新的裁判模型。唯一的训练动作是基准构造中使用的泰卢固语识别模型 Seamless FT，它已在约 900 小时多源数据上微调完成，论文直接调用其转写能力，不报告该次训练的学习率、优化器与轮数缺项。问答与裁判阶段均为调用既有模型做推理，包括 Gemini-2.5-Flash、Gemma-3 系列、Llama-3.1、Hex-1、Sarvam-m 与 Qwen-3-4B，不更新参数，不涉及梯度路径与冻结层说明。

真实计算过程是流水线式推理。语音直接输入时把原始泰卢固语音频送给 Gemini。文本输入时把标准文本、识别转写文本或翻译后英语文本送给各问答模型。裁判时把问题、参考答案与候选答案连同 5 级量表提示送给裁判模型，得到 1 至 5 分。嵌入指标 BLASER-2.0 计算句级语义相似度，同样给出 1 至 5 分。词汇指标计算精确匹配与词重叠。

没有训练不等于输出确定。即使参数冻结，生成式模型的采样、提示措辞与语音解码仍会带来波动，论文用均值加标准差报告 1 至 5 分分布，并用成对比较看每题变好、变差与不变的比例，正是为了避免只看平均分掩盖不稳定。复现时应固定解码与提示版本，多次运行或至少报告方差，不能把单次分数当作确定性结论。

评测与问答的实验条件如何设置？

评测可靠性实验用 400 个三元组比较自动方法与人类平均分，指标为 Spearman 相关、Kendall 相关、平均误差与平均绝对误差。相关越高越好，平均误差接近零越好，平均绝对误差越小越好。问答基准实验固定用 Gemini 做裁判，在 1 至 5 分上比较不同问答模型与输入配置。输入配置包括语音直接输入、标准泰卢固语文本、标准英语文本、两种识别器转写文本，以及识别加翻译的 4 种级联组合。

人类量表是所有自动方法对照的金标准，具体定义如下表所示，该表直接选用原文表格以保留措辞。

表前说明：该表回答什么算 1 至 5 分，公平条件是人类与大模型裁判使用同一量表与同一提示逻辑，指标方向是分数越高表示越正确。

表后解释：量表的价值在于容忍改写，参考答东海岸而候选列出四邦仍可给高分，而精确匹配会判零分。该量表依赖母语者对泰卢固语同义与缩写的判断，小模型裁判恰在数字与拼写变体上失效。未评测边界是该量表未度量流畅性与幻觉细节定位，只反映整体正确性。

大模型裁判 × 人工评分： 人工评分负责按 1 至 5 分量表给出正确性金标准，大模型裁判负责对照问题与参考答案给出同量表分数，搭配理由是人工量小但可信而自动量大但需校准，组合意义在于用相关性与偏差验证自动裁判能否替代人工做大规模比较。

问答模型分为能听泰卢固语音的专有模型与只接受文本的开放权重模型，论文明确指出当时没有可用的开放泰卢固语语音大模型，因此语音直接输入只测 Gemini，开放模型只测文本与翻译链条。这一不对称是设计约束，比较专有与开放时必须注明模态是否一致，否则会把模态缺失误读为能力差距。

自动评测哪种更接近人类，偏差在哪里？

论文报告 Gemini 裁判相关最高，开放裁判中 Gemma-12B 与 27B 明显好于 4B，词汇与嵌入指标相关均低于 0.5。下表把相关性结论整理为可核对形式，数字与表述均来自原文连续句，列数满足宽表要求。

表前说明：该表回答哪种自动方法更接近人类平均分，公平条件是同一 400 三元组与同一 5 级量表，指标方向是相关越高越好、误差越小越好。

表后解释：主要收益是确认 Gemini 可作为后续大规模比较的主裁判，但代价是非均匀严格，平均误差为负且在低分段偏宽容、高分段偏严格。一致性图显示其一致界最窄而开放裁判区间更宽，小模型对泰卢固语表面形式敏感，例如把 March 23 与拼写出的三月二十三判为不等。未胜出项是精确匹配与 F1 在 E1 例子中把更详细的正确答案判零分，说明词汇指标不适合作为主指标。

下图为 4 种裁判与人类平均分的差异分析，横轴是人类平均分，纵轴是裁判减人类的差值，虚线为平均误差与正负 1.96 倍标准差。导读：先看横轴从低到高人类质量的变化，再看纵轴零线上下偏置，最后比较 4 个面板的区间宽度即可判断谁更稳定。

看图路径： 1. 先看横轴人类平均分从 1 到 5 的分布，再看纵轴裁判减人类差值的零线位置；2. 比较左上 Gemini 面板与右下 Gemma-4B 面板的虚线区间宽度与散点离散程度；3. 观察每个面板中标注的平均误差与正负 1.96 倍标准差线的数值

论文图 1。原论文 Fig. 2:：“Analysis comparing human average scores with LLM-as-judge scores.”。

解释该图可见内容：左上 Gemini 面板散点围绕零线最紧，标注平均误差为负且上下界最窄。右上 Gemma-12B 平均误差为正，区间明显更宽。左下 Gemma-27B 平均误差接近零但上下界仍宽于 Gemini。右下 Gemma-4B 上下界最宽，低分段高估点突出。像素可辨的数值为各面板标注的平均误差与界线，具体数值以原文正文为准，趋势支持大模型裁判更可靠但均非完美替代。

标准文本输入 × 语音直接输入： 标准文本输入负责提供无识别噪声的问题以测量问答上限，语音直接输入负责保留发音混淆与口语变体以测量真实语音条件，搭配理由是同一模型在两种输入下的差值即为模态代价，组合意义在于区分模型不懂还是没有听清。

问答模型在标准文本与语音下各得多少分？

主结果在标准泰卢固语文本下达到上限，Gemini 明显高于开放模型，转写与翻译逐步拉低分数。下表整理可运行策略的均值与关键对照，数字来自原文连续句。

表前说明：该表回答不同输入下谁答得更好，公平条件是同一 2001 题与同一 Gemini 裁判，指标方向是 1 至 5 分越高越好，括号内为标准差。

表后解释：主要收益是 Gemini 在各条件下保持领先且标准文本上限最高，代价是语音直接输入低于标准文本，说明声学混淆真实存在。开放模型中大参数优于小参数，但即使 Gemma-27B 也落后 Gemini 约 1 分。未胜出项是 Llama、Hex-1 与 Qwen 等在泰卢固语下多低于 1.5 分，反映低资源语言可及性不足。翻译链条上开放模型差距缩小，但这是整体分数被压低后的相对收敛，不能解读为开放模型翻译更强。

模态与语言的成对比较进一步显示，相对标准文本，语音使约两成问题变差、一成多变好，其余不变。语言切换使约 18.8% 变差、16.5% 变好。例子上，文本问泰伦加纳邦果得到芒果，语音把 pandu 听成近音的 panduga 而答出邦节 Bathukamma。语言上泰卢固语 mana 隐含印度而译后 scope 扩大，导致把 Aryabhata 答成 Sputnik。这些例子支持听错会改变题意、译错会改变范围，但属于个案解释而非全量因果证明。

级联误差如何逐段放大，域差异说明了什么？

级联分析固定标准文本为基线，依次引入识别与翻译。成对比例显示识别转写使 11.9% 问题变差、仅 4.8% 变好。翻译与级联使分数进一步走低，完整识别加翻译链条落在 2.44 至 2.80 区间。下表把变好、不变与变差比例整理为可核对形式。

表前说明：该表回答换裁判、换语言、换模态与换转写各有多大比例受影响，公平条件均以标准泰卢固语文本加 Gemini 问答为基线，指标方向是变差比例越小越好。

表后解释：主要发现是裁判切换带来的波动最大，近半数答案变差，说明裁判选择本身即是实验变量。模态与语言切换各影响约三成问题，转写影响约一成多但几乎只带来损失。反例是仍有少数问题在语音或翻译下变好，可能因英语表述更规范或语音绕开转写错误，不能把平均下降推广为每题必降。未评测边界是不同识别器与翻译器组合未穷尽，硬件延迟与成本也未测量。

泰卢固语表述 × 英语译文表述： 泰卢固语表述负责保留指代范围与文化专有细节，英语译文表述负责检验知识能否跨语言被调用，搭配理由是同一问题在两种语言下对照可以分离语言可及性与知识有无，组合意义在于发现翻译引入的 scope 模糊与文化信息丢失。

域分析在标准泰卢固语与翻译英语下分别画出六域雷达。导读：先确认六轴与 1 至 5 分半径，再比较外圈与内圈包络，最后看文化与科学两轴在两种输入下的移动。

看图路径： 1. 先确认六个轴分别为文化、常识、地理、历史、政治与科学，半径为 1 至 5 分；2. 比较最外层蓝色 Gemini 多边形与内层红色与紫色小模型多边形的包络大小；3. 观察文化轴上各模型顶点的相对远近与科学轴上的相对位置变化

论文图 2。原论文 Fig. 3:：“Domain-wise average answer correctness scores for various QA models with oracle Telugu text as input (O1).”。

解释标准泰卢固语输入的雷达可见内容：蓝色 Gemini 包络最外且各域相对均衡，文化轴为相对高点，科学与政治略低。绿色 Gemma-27B 居中，橙色 Gemma-12B 更内，红色与紫色小模型贴近中心。文化在泰卢固语下保留线索而得分较好，科学因 pedology 与 geology 等术语易混而偏低，该判断有 E6 与 E7 例子支持但需更多术语对照验证。

翻译英语输入的雷达导读：同样先看包络整体位置，再看文化轴回落幅度，最后看科学与地理轴是否相对凸起。

看图路径： 1. 先确认该图与上一图坐标与图例一致但输入已换为机器翻译英语；2. 比较蓝色 Gemini 包络整体向内收缩的幅度，特别看文化轴的回落；3. 观察科学轴是否成为相对高点以及各模型曲线是否比上一图更靠近

论文图 3。原论文 Fig. 4:：“Domain-wise average answer correctness scores for various QA models with machine translated English text as input (O3).”。

解释翻译英语输入的雷达可见内容：各模型包络整体向内收缩且彼此靠近，Gemini 在文化轴回落最大，科学与地理成为相对高点。例子上 Rigveda 的 Kulapa 在翻译后答错，而土壤学问题在英语下反而答对 pedology，地名类问题因专有名词稳定而迁移较好。这支持文化最怕翻译、科学与地理更易跨语言迁移，但原文也指出部分参考答案本身用英语音译，裁判对音译与本土词是否一致尚未评估，因此不能断言所有跨语言差异都源于模型。

哪些结论有限，哪些不能推广？

论文明确列出三项局限。第一，YouTube 来源要求忠实翻译而非澄清改写， scope 模糊被保留，语言对照中的部分失败来自翻译原则而非模型知识。第二，Gemini 裁判非均匀严格，细粒度比较受限，大分差可信而小分差需谨慎。第三，部分科学与地理参考答案用英语音译，裁判对音译与泰卢固语等价形式的一致性未测量。

方法上的缺项也需记下。识别与翻译的超参数、提示迭代细节、问答解码采样设置与运行成本未完整报告，无法据此估算延迟与预算。语音直接输入仅覆盖 Gemini，开放语音模型缺失使专有与开放的模态比较不对称。人类校准仅用 100 题 400 三元组，外推到 2001 题时需假设分布一致，该假设未单独验证。

表达上要区分 3 层。直接报告的是各配置均值、相关系数与成对比例。有限解释的是声学混淆、翻译模糊与术语不稳对失败的说明，每个都有例子支持但未做全量归因。未验证推测是更大开放模型或更好翻译必然解决文化损失，这需要补实验才能确认，当前只能说可能与待验证。

要复现先做什么，需要哪些条件？

先获取已公开的 VakQA 数据，包括 2001 条问题音频、泰卢固语转写、英语翻译与参考答案，核对总时长 2.53 小时与六域分布是否一致。再固定评测协议，复用 1 至 5 分量表与同一裁判提示，先在 100 题子集上复现人类与自动裁判的相关性，确认 Gemini 相关最高且开放小裁判对表面形式敏感，再把主裁判锁定为 Gemini。

问答复现按基线到变体顺序推进。先跑标准泰卢固语文本得到上限，再跑两种识别器转写文本，再跑标准文本经两种翻译器的英语，最后跑完整识别加翻译 4 种组合与语音直接输入。每步记录均值、标准差与相对基线的变好、不变、变差比例，保留模型版本与解码设置。识别侧记录词错误率与字错误率，翻译侧记录 BLEU 与 ChrF++，以便把问答下降与上游误差对应。

还需补的验证包括扩大人类校准样本、测试音译与本土词的裁判一致性、报告多次运行方差与推理成本。代码开源与权重下载是两回事，论文公开的是基准数据而非全部模型权重，复现开放模型需自行下载对应版本，专有模型需注意版本漂移，同一模型名在不同时间可能行为不同。

何时值得尝试这个基准，核心 takeaway 是什么？

当研究涉及低资源语音问答、跨语言知识调用或级联语音翻译链条时，VākQA 值得作为起点，因为它把语音、转写、翻译与裁判放在同一批真人口语问题下，可直接分离听错、译错与不会 3 类失败。当只需要文本问答或高资源语言时，该基准的针对性不强，不必强行套用。

核心结论是泰卢固语表述保留的文化与指代信息在翻译中易丢失，语音近音词会改变题意，识别加翻译误差逐段复合，开放模型在文化域最弱而科学与地理更易迁移。评测上词汇指标不可做主指标，小裁判会因表面形式误判正确答案，即使最优的 Gemini 裁判也有非均匀偏差。

对初学者的实践建议是先做小规模人类校准再跑大规模自动比较，任何跨模型胜负都要注明问答模型、输入模态、输入语言与裁判模型四元组。遇到语音变差先听音频核对转写，遇到翻译变差先对比双语问题 scope，再决定是补声学、补翻译还是补知识，避免把流水线误差全部归为模型不懂。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-18 语音/音乐/音频论文速递