总体第一不等于处处第一：印度语 TTS 偏好由表达力和可懂度驱动

英文题目：Preferences of a Voice-First Nation: Large-Scale Pairwise Evaluation and Preference Analysis for TTS in Indian Languages

会议身份：conference:interspeech:2026:conference-paper-id:anand26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #众包评测 #多语言 #文本到语音

评分：6.7/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Srija Anand：机构信息未能从会议 PDF 纯文本可靠映射
• Ashwin Sankar：机构信息未能从会议 PDF 纯文本可靠映射
• Ishvinder Sethi：机构信息未能从会议 PDF 纯文本可靠映射
• Aaditya Pareek：机构信息未能从会议 PDF 纯文本可靠映射
• Kartik Rajput：机构信息未能从会议 PDF 纯文本可靠映射
• Gaurav Yadav：机构信息未能从会议 PDF 纯文本可靠映射
• Nikhil Narasimhan：机构信息未能从会议 PDF 纯文本可靠映射
• Adish Pandya：机构信息未能从会议 PDF 纯文本可靠映射
• Deepon Halder：机构信息未能从会议 PDF 纯文本可靠映射
• Mohammed Safi Ur Rahman Khan：机构信息未能从会议 PDF 纯文本可靠映射
• Praveen Srinivasa Varadhan：机构信息未能从会议 PDF 纯文本可靠映射
• Shobhit Banga：机构信息未能从会议 PDF 纯文本可靠映射
• Mitesh M Khapra：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

印度语音优先场景的任务输入是含语码混合、领域词汇与数字符号的多语言朗读文本，输出是相应语音，其实际难点在于语言多样性与表达力、可懂度等多维感知的交织使绝对打分校准敏感且诊断性弱。方法先按领域与压力类型策划跨语言语句并经母语专家质检形成基准，其输出作为统一文本提示进入成对合成环节以控制语言变异。接着招募母语评测者实施两阶段盲听，先锁定整体偏好后独立标注六个感知轴，前阶段锁定结果作为后阶段归因的锚点以减少合理化偏差。最后用布拉德利-特里模型拟合排序并用自助法给出置信区间，与平均意见分及多刺激隐藏参考相比以直接比较替代绝对打分并将选择与归因分离，具有可扩展的可解释性。在代码混合基准条件下，GEMINI 2.5 PRO TTS的Bradley-Terry得分为1135.45，高于ELEVEN LABS V3的Bradley-Terry得分1054.00。粒度轴构成的分类器在留出语言上预测整体偏好准确率达86.1%，可解释分析显示表达力与可懂度贡献最大。结论仅适用于所测7个系统与印度语言朗读场景，外推至对话交互或未覆盖语言尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本解读保留什么？

本解读的输入是印度多语言语音合成评价问题，目标是让刚进入语音领域的研究生能复述该论文的方法和实验条件。论文面对的现实是印度语音优先，大量用户通过语音使用数字服务，真实文本常带有中英混用、数字、缩写、领域术语和情感表达。研究要回答的是如何在 10 种印度语言上对 7 个现代 TTS 系统做可扩展、可解释、可复核的排序。

本解读必须保留的信息包括基准规模与构成、评委招募与两步标注流程、6 个感知维度的定义、Bradley-Terry 排序与自助法不确定度、总体与分语言分领域结果、轴级预测与 SHAP 归因、评委数与句子数的可靠性分析。所有数字沿用原文写法，不做四舍五入或单位改写。凡是教学举例会明确标为例子，不作为论文证据。

后文按学习依赖展开，先讲传统评价为何不够，再讲受控多维成对框架的全景，然后拆开基准、标注、排序 3 个组件，说明本研究没有训练声学模型而是做基准构造与大规模人评，接着交代实验条件、主结果、反证与可靠性边界，最后给出复现清单。读者读完应能说出每个样本经历了什么处理，每个数字是在什么条件下得到的。

传统听感评价走到哪里，为何需要成对比较？

传统 TTS 主观评价常用平均意见分、比较平均意见分和多刺激评价。它们的做法是让听众给单个样本打绝对分或在多个样本间打分。论文指出这类方法在现代多语言 TTS 下暴露出局限，绝对分容易受评委个人校准影响，汇总平均分又会掩盖发音、韵律、音质等不同因素的贡献。多维扩展虽然能记录更丰富的感知信号，但评价复杂度上升，难以扩展到多系统多语言。

成对偏好评价是另一条路线，每次只比较两个样本谁更好，再用 Bradley-Terry 或 Thurstone 等概率排序模型得到排行榜。这种方法在语言模型和语音合成的竞技场式评价中已被采用，优点是直接记录相对判断并给出统计基础。但论文强调把它搬到语音合成需要控制语言可变性，否则文本难度、领域和说话人差异会淹没系统差异，而且只记录总体偏好无法回答评委为什么偏好某个系统。

印度语 TTS 此前的评价多用中小规模的平均意见分或比较平均意见分协议，语言覆盖和诊断深度有限。跨印度语言的大规模多语言评价仍然较少。因此本研究的定位不是提出新的声学模型，而是补上受控基准、母语评委规模、多维归因和可靠性分析 4 个环节。

要测的困难具体长什么样？

论文把困难拆成 3 类。第一类是语言与输入多样性，10 种语言包括孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、奥里亚语、泰米尔语、泰卢固语和乌尔都语，句子覆盖 16 个部署相关领域，还包括舌头绕口令、极端重复、密集理工内容和 100 句表达性语句。真实部署文本不是干净的书面语，而是混有英文插入、音译混合、混写脚本、数字方程和缩写。

第二类是感知多维性，听众的喜欢是多个线索合成的结果。论文固定 6 个轴，可懂度管发音清晰正确，表达力管韵律语调情感是否得体，音质管自然度和音色瑕疵，活泼度管能量和节奏是否单调，幻觉管是否忠实原文有无跳词添音，噪声管背景嘶声咔哒声等失真。后两个轴分数越高表示伪影越少、音频越干净。

第 3 类是评价可靠性，评委多了、句子多了、比较多了之后排序是否稳定。如果只报告名次而不报告不确定度，相邻系统的微小分差容易被过度解读。论文因此把问题定义为在受控文本下收集足够多母语判断，用统计模型给出名次与置信区间，并量化多少评委和多少句子才能让排序稳定。

受控多维成对框架的全景是什么？

跟着一个样本走完全程有助于建立整体感。假设有一句印地语混入英文产品名的客服语句，它首先进入 5357 句基准中的某一子集，可能是归一化子集、符号保留子集或代码混合子集。然后 7 个系统在相同文本提示、无风格条件、推荐默认音色、非流式一致推理设置下各自生成音频，若有多音色则成对比较限定同性别音色之间进行，避免性别感知混淆。

接着该文本与两个匿名随机排序的音频一起呈现给 1 位母语评委。评委必须先听完两个样本并提交总体偏好，选项为模型 A 好、模型 B 好、都好、都差，提交后锁定，再进入第二阶段对同一对音频在 6 个轴上用相同量表打分。这种两步流程的安排理由是减轻认知负荷并防止事后合理化，让总体选择反映即时听感，让轴级评分提供独立诊断。

最后所有总体偏好汇入最大似然 Bradley-Terry 模型，得到潜在分数并映射到类 Elo 量表，再用 500 次自助重采样拟合得到 95% 置信区间。排序采用保守的显著性准则，只有当一个系统的置信区间完全位于另一个系统之上时才判为严格更好。轴级数据另作两用，一是计算各轴平均胜率，二是训练分类器预测总体偏好并做 SHAP 归因。

基准如何构造，评委如何筛选？

基准构造分为收集、生成、质检 3 步。收集来自公开来源并参考已有方法覆盖 16 个领域，生成部分用大语言模型补充绕口令、重复和密集理工等压力类别，再加入表达性测试集语句。句子或为原生收集或为翻译得到，全部经过内部母语专家按语言准确性、流畅度和领域术语进行接受、修正或丢弃。最终形成 3 个结构化子集，归一化子集把数字方程缩写展开为完整口语形式，符号子集保留原始数字公式运算符以考验原生处理，代码混合子集包含句内英文插入、音译混合和混写脚本。语句长短覆盖短中长，以同时考验发音准确性和长程韵律连贯性。

评委招募采用多阶段筛选。候选人先做听觉筛查，在明显退化与干净录音之间选出高质量样本，通过后再用本研究的感知标准解释选择理由，随后接受指南、平台和质量期望培训。所有参与者知情同意，协议经过内部伦理审查并按行业标准付酬。最终评委池超过 1900 人，覆盖 22 个邦，年龄以 18 至 40 岁为主，女性多于男性。每位评委随机评 150 句，这是控制工作量和保证覆盖的折中。

成对偏好评价 × Bradley-Terry 模型： 成对偏好评价负责收集相对判断，让评委每次只听两个匿名样本并选出更喜欢的一方，避免绝对打分的校准漂移；Bradley-Terry 模型负责把大量胜负关系换算为每个系统的潜在分数并映射到类 Elo 量表，二者搭配的理由是前者提供可扩展的比较数据，后者提供统计可比的排序和自助法置信区间，组合后新增的作用是能判断相邻名次差异是否显著可分。

两步标注与排序计算如何执行？

标注执行的关键是顺序锁定。第一阶段界面只显示文本和两个音频，评委听完才能选总体偏好；第二阶段界面才揭示 6 个轴，评委对同一对音频逐轴比较。这种设计让总体偏好不受轴级清单的引导，而轴级评分又能事后分解总体偏好的来源。每个比较样本因此产生一个总体标签和 6 个轴级标签，为后续建模提供二值特征，比如在某轴上 A 不差于 B 记为 1，否则记为 0。

排序计算的关键是不确定度。Bradley-Terry 把每次比较看作两个系统潜在分数差的函数，用最大似然估计求出最能解释全部胜负的分数。为避免只看点估计，论文对偏好数据做 500 次自助重采样，每次重拟合得到分数分布，由此得到 95% 置信区间并换算为类 Elo 分。相邻分差是否超过自助置信区间成为判断可分性的依据，这比只看胜率更能反映统计显著性。

总体偏好 × 6 维感知轴： 总体偏好负责记录评委听完 1 对样本后的第一印象选择，选项为 A 好、B 好、都好、都差且一旦提交即锁定；6 维感知轴负责在第二步独立诊断可懂度、表达力、音质、活泼度、幻觉和噪声，二者搭配的理由是防止评委先想理由再选结果，第一步保真，第二步可解释，组合后新增的作用是可以用轴级胜负向量重构和解释总体选择。

代码混合 × 符号保留子集： 代码混合负责模拟印度日常话语中句内插入英文、 transliteration 混合和混写脚本的现象；符号保留子集负责保留数字、公式和运算符的原始文本以考验文本归一化能力，二者分工分别是测多语言真实输入和测结构化表达处理，搭配理由是部署中两类困难经常同时出现，组合后可以区分系统是靠归一化取胜还是靠多语言发音取胜。

本研究训练了什么，没有训练什么？

本研究没有训练任何 TTS 声学模型，也没有更新被评 7 个系统的参数，不存在梯度路径、优化器、冻结层或重置时机的报告。7 个系统包括商用生产接口、开源系统和印度语专用模型，论文以调用方式按统一条件生成音频，不做风格条件和流式改动。唯一涉及机器学习训练的是解释性分析中的 XGBoost 分类器，它用轴级二值特征预测总体偏好，标签为是否选择模型 A。

该分类器的真实计算过程是跨语言泛化检验，在部分语言上训练，在孟加拉语、卡纳达语、马拉雅拉姆语、马拉地语和乌尔都语上测试，目的是验证评委是否在不同语言下使用稳定可迁移的感知标准。SHAP 分析则计算每个轴对预测的平均绝对贡献，用于排序各维度的重要性。论文未报告该分类器的超参数搜索细节和训练资源消耗，因此复现时应把重点放在特征构造方式和跨语言划分上，而不是默认某种参数必然最优。

比较条件是否一致，指标方向如何读？

比较的公平条件在原文交代得较细。文本提示完全相同，无风格条件，各系统用推荐默认音色，非流式一致推理，多音色时限定同性别比较。被评系统为 7 个，覆盖 10 种语言中的各自支持语言数，比较次数从数千到数万不等。指标方向需要分清，BT 分数和胜率越高越好，轴级胜率越高越好，其中幻觉和噪声轴的高分代表伪影少而非问题多。SHAP 值越大表示该轴对预测总体偏好的贡献越大。排序一致性用 Spearman 系数，越高表示与全量榜越一致，置信区间宽度越小表示分数估计越精确。

数据规模方面，基准共 5357 句，其中符号句 1752 句，代码混合句 4164 句，3 类子集划分允许按输入类型分别计算 BT 分。人力规模为 1915 名评委、12 万余次成对比较，每人评 150 句随机采样。聚合口径是先在全量数据上拟合总体榜，再分别按语言、领域和输入子集拟合分榜。统计方法为 500 次自助重采样的 95% 区间加保守排序准则。硬件预算和推理延迟在原文未报告，不能从榜单推定成本或速度优劣。

资源可用性方面，原文称基准与偏好数据位于公开数据集链接，但本次收到的资源状态中没有完成 HTTPS 验证的绑定资源，因此本解读不得声称代码、模型或数据当前已公开或可用，只能说原文给出了数据集地址，读者需自行核验可达性。

总体与分语言结果显示了什么？

总体榜基于 12 万余次比较，Gemini 2.5 Pro TTS 以 1128.53 左右居首，其次是 ElevenLabs v3 和 Sonic 3，后两者统计上难以区分，Bulbul v3 Beta 居中，Speech 2.8 HD 和 GPT-4o-mini TTS 靠后，开源的 Indic F5 尽管覆盖 10 种语言和 4 万余次比较仍居末位，与商用系统差距大。多数相邻分差超过自助置信区间，说明评价量级足以分辨多数性能差异，但接近的系统仍应谨慎解读小分差。

为理解总体分从何而来，先看分语言证据。以下导读帮你读懂按语言拆分的 BT 分数图，该图横轴为 10 个语言代码，纵轴为 BT 分数，每个语言下有 7 个系统的散点与误差线。

看图路径： 1. 先看横轴 10 个语言代码与纵轴 BT 分数，确认每个语言下 7 个系统的相对高低；2. 再找蓝色圆点代表的 Gemini 2.5 Pro TTS 是否在多数语言中位于最上方；3. 对比橙色三角代表的 Indic F5 是否在多数语言中明显偏低；4. 观察中间三个系统在不同语言上交叉换位，理解总体第二名之外存在语言相关波动

论文图 2。原论文 Figure 1：“Language-wise rankings of evaluated TTS systems based on Bradley–Terry (BT) scores with bootstrap confidence intervals. Languages are represented using ISO-639-2 codes.”。

该图显示 Gemini 2.5 Pro TTS 在 9 种语言中第一，仅在马拉地语与 ElevenLabs v3 接近持平。ElevenLabs v3、Sonic 3 和 Bulbul v3 Beta 在不同语言间互有换位但差距较小，Indic F5 在多数语言中位于底部。举例来说，古吉拉特语和乌尔都语下 Indic F5 的点位明显更低，说明其短板不是单一语言偶然失手。这支持总体榜的判断，同时提醒总体平均会掩盖语言相关波动。

下表把总体榜的关键信息整理为可复述的比较，比较问题是相同文本和相同标注流程下谁更受母语听众偏好，公平条件是同文本、无风格条件、同性别音色比较，指标方向为 BT 分数越高越好。

表后需要说明主要收益与代价。Gemini 的收益是一致性强，语言和输入子集下均居首，但代价是不能从本表读出其在各感知轴上的具体短长，也不能推定其推理成本更低。未胜出项方面，Indic F5 提供了反例，即大覆盖和大比较量并不自动换来高偏好，其在多数轴上偏低，说明开源与商用之间存在可测差距。Bulbul 等中间系统的名次会随语言变化，说明只看总体名次会忽略适用边界。

领域与输入类型是否改变排序？

领域拆分进一步考验总体榜的稳健性。以下导读帮你读懂按领域着色的名次热力图，行是系统，列是 16 个领域，格内数字为该领域内名次，颜色越绿名次越靠前。

看图路径： 1. 先看行是 7 个系统、列是 16 个领域加压力测试等，格内数字为该领域内名次；2. 再看首行是否整行都是 1，确认其跨领域一致性；3. 对比中间三行在不同列的颜色和数字变化，找出各自擅长和下滑的领域；4. 重点看 Stress Test 和 Tongue Twisters 两列的例外名次

论文图 1。原论文 Figure 2：“System ranks shift across benchmark domains.”。

该图显示首行在全部 16 个领域均为第 1，表明其优势跨领域成立。中间三行的颜色随列变化，ElevenLabs v3、Sonic 3 和 Bulbul v3 Beta 在不同领域互有升降，部分领域偏离总体顺序。两个例外值得记住，Speech 2.8 HD 在压力测试类别中居首，多系统在绕口令类别中打成平手，Indic F5 在几乎所有领域接近底部。像素上可以执行观察，先横扫首行确认全 1，再纵向比较每一列的 2 至 4 名归属，就能复述领域敏感性的含义。

输入类型拆分包括代码混合、归一化和符号 3 种条件。论文报告 Gemini 在 3 种条件下均第一，总体排序变化不大，但 Bulbul 在符号输入下相对更好。这些子集反映部署中的真实挑战，包括结构化表达归一化和多语言文本处理。条件级评价的价值在于揭示互补长短，而不是否定总体榜，教学例子是把同一句话分别以展开读法和保留符号读法输入，观察系统处理差异，但这只是理解子集含义的例子，不代表论文测试过该具体句子。

哪些感知维度真正驱动总体选择，可靠性需要多少样本？

轴级平均胜率显示 Gemini 在表达力、可懂度、活泼度、音质和鲁棒性上均衡较强，ElevenLabs、Sonic 和 Bulbul 在可懂度和鲁棒性上尚可但表达力和活泼度相对低，Speech 和 GPT-mini across 维度更不均衡，Indic F5 在多数轴上靠后。以下导读帮你读懂六轴雷达图，每个顶点为一个感知轴，包络越大表示该轴胜率越高。

看图路径： 1. 先确认雷达图六个顶点分别为噪声、可懂度、幻觉、表达力、音质和活泼度；2. 再比较最外圈绿色多边形与其他虚线多边形的包络面积差异；3. 观察中间红色小多边形在各轴上是否全面收缩；4. 结合图例中平均胜率数值理解各系统综合位置

论文图 3。原论文 Figure 3：“Multi-dimensional perceptual performance of TTS systems measured by average win rates across six axes.”。

该图最外圈绿色包络对应总体胜率约 0.79 的系统，中间橙蓝紫包络对应 0.60 至 0.65 区间的 3 个系统，中心红色小包络对应约 0.22 的系统。可以看到外圈系统在各轴全面外扩，而中心系统全面收缩，中间系统在噪声和幻觉轴上差距小于在表达力轴上的差距。这支持论文的判断，即鲁棒性达标后，区分度主要来自表达类维度。

为验证轴级判断能否重构总体偏好，论文用轴级二值特征训练 XGBoost 并做跨语言测试。下表整理该验证的可复述条件，比较问题是轴级评价是否足以预测总体选择，公平条件是在部分语言训练、在 5 种未见语言测试，指标方向为准确率越高越好。

表后解释是 86.1% 的准确率且各语言在 83.6% 至 91.0% 之间，支持评委使用稳定可迁移的感知标准，但这只是相关性证据，不是因果证明，也未测量误判率随阈值的变化。未胜出项是噪声和幻觉轴贡献小，论文明确指出这不代表鲁棒性不重要，而是多数被评系统在这些轴上已较强、变异有限。

表达力 × 可懂度： 表达力负责评价韵律、语调和情感传递是否得体；可懂度负责评价发音清晰正确程度，包括本土词和混入英文词的正确性，二者搭配的理由是听众既要听清内容又要感到自然投入，SHAP 分析显示二者是对总体偏好贡献最大的两个维度，组合意义是一旦噪声和幻觉等鲁棒性达标，系统间的胜负主要由这两者决定。

可靠性分析回答评委数和句子数各需多少。以下导读帮你读懂四面板曲线，上排为排序一致性随样本量上升，下排为置信区间宽度随样本量下降，左列横轴为评委数，右列横轴为句子数。

看图路径： 1. 先看上排两图纵轴为平均 Spearman 相关系数，横轴分别为评委数和句子数；2. 再看下排两图纵轴为平均置信区间宽度随样本量下降的速度；3. 对比 3 个、5 个、7 个系统三条曲线的爬升快慢差异；4. 找到 0.95 参考线附近曲线变平的位置，理解继续加样本主要减小不确定度

论文图 4。原论文 Figure 5：“Rank consistency (Spearman’s ρ) and BT uncertainty as the number of raters increases (left) and as the number of sentences increases with 200 raters fixed (right).”。

像素上可以看到曲线先陡升陡降后变平，0.95 参考线附近是拐点区。论文以 0.95 为可靠性目标，5 个系统约需 200 名评委，对应平均区间宽度 17.36，7 个系统约需 100 名评委，对应 21.47，固定 200 名评委时 5 系统和 7 系统约需 1000 句，3 系统约需 500 句。超过该点后加样本主要减小分数不确定度，对排序提升有限。这意味着排序稳定出现得早，精确估计小分差出现得晚。

下表把可靠性门槛整理为可执行的规划参考，比较问题是达到稳定排序的最小样本量，公平条件是分层覆盖多语言，指标方向为相关系数越高越好、区间宽度越小越好。

表后需强调代价与限制。评委数门槛依赖比较系统数和句子覆盖，不能推广为任何 TTS 评价都只需 100 人。句子采样采用分层保证语言均衡，若只采单一语言或单一领域，所需量会不同。置信区间在门槛处仍不可忽略，因此相邻系统的微小分差应表述为待验证而非定论。

排序一致性 × 置信区间宽度： 排序一致性用与全量评估排行榜的 Spearman 相关系数衡量顺序是否稳定；置信区间宽度用 500 次自助重采样的平均区间宽度衡量分数估计是否精确，二者分工分别是回答顺序可不可信和分数差值能不能细读，搭配理由是顺序稳定出现得早而分数精确出现得晚，组合后新增的作用是指导在评委数和句子数之间做样本效率权衡。

哪些结论不能从本研究推出？

首先，本研究未测量延迟、成本、输出帧率和实际部署开销，榜单高低不能推定推理更快或更便宜。其次，SHAP 排序显示表达力和可懂度贡献大，但这是基于当前 7 个系统分布的解释，若未来系统在噪声和幻觉上分化更大，驱动因素可能变化，因此相关性不等于因果。第三，总体榜掩盖语言和领域波动，中间系统的换位说明总体第 2 名之外存在适用边界，不能把末步结果推广到所有输入。

其次，比较公平性仍有边界。多音色时限定同性别比较减少了混淆，但不同系统的默认音色本身音质不同，音色偏好可能部分混入系统偏好。文本全部经过专家质检，真实用户输入的噪声文本可能带来更大挑战。评委以年轻群体为主，年龄和地域分布不完全代表全印度听众。

最后，统计口径需要正确理解。自助法区间和保守排序准则能控制过度解读，但不同语言和领域的样本量不均，分榜的不确定度大于总体榜。原文表头与正文若出现数字口径差异，应以连续原句为准并标注冲突，本解读对无法逐字核验的比较次数等细节未做差值计算和百分比换算，避免引入 2 次误差。

复现应先做什么，需要补哪些验证？

若要复现排序，先按原文重建 3 个子集，归一化子集展开数字方程缩写，符号子集保留原始符号，代码混合子集保留句内英文插入和混写脚本，并请母语者按语言准确性、流畅度和领域术语做接受修正或丢弃。然后用相同文本、无风格条件、推荐默认音色、非流式设置调用各系统，多音色时只做同性别配对。每位评委随机分配 150 句，先锁总体偏好再评六轴，选项保持四选一。最后用最大似然 Bradley-Terry 拟合并做 500 次自助重采样得到 95% 区间，只有区间完全分离才判严格更好。

解释性复现时，对每次比较构造 6 维二值特征，1 表示 A 不差于 B，0 表示更差或都差，训练 XGBoost 预测是否选 A，并在未见语言上测试是否保持在 80% 以上且跨语言区间稳定，再做 SHAP 排序。若要验证样本效率，可固定句子数逐步增加评委数，或固定 200 评委逐步增加分层句子数，观察与全量榜的 Spearman 系数何时越过 0.95 以及平均区间宽度下降何处变平。

还需补的验证包括报告各分榜样本量与区间宽度、公开标注界面与指南以检验两步流程的效果、补充延迟成本等部署指标、扩大年长评委和低资源口音覆盖。资源方面，原文给出数据集地址但本次未能验证可达，不应默认链接当前可用，复现前需先确认数据与代码的实际获取路径。

何时值得用这套方法，如何一句话记住它？

当你的任务是多语言、多系统、多领域且真实输入混杂时，这套受控多维成对方法值得尝试。它用受控文本减少语言噪声，用成对比较减少校准噪声，用两步标注分离即时偏好与诊断理由，用 Bradley-Terry 加自助法给出可比分数与不确定度，用轴级预测和 SHAP 回答偏好从何而来，用评委数与句子数曲线回答做到什么规模才够。

一句话记住它是先锁总体选择再做 6 维分解，用统计区间约束名次解读。实践中应先保证句子分层覆盖语言和输入类型，再招募 100 名量级母语评委，最后才细读相邻系统的分差。对于刚入门的研究生，建议从复述一个样本的完整旅程开始，输入文本如何分子集，音频如何同条件生成，评委如何两步打分，分数如何换算为带区间的名次，轴级特征如何预测总体选择，这样就能把论文的方法真正讲清楚。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总