英文题目：SEA-SpeechBench: A Large-Scale Multitask Benchmark for Speech Understanding Across Southeast Asia
标签：#音频理解 | #基准设计 | #多语言 | #基准测试 | #语音
评分：7.4/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Jingyi Liao：Institute of Advanced Intelligence and Computing, A*STAR
- Wenyu Zhang：Center for AI Safety
- Zhuohan Liu：Institute of Advanced Intelligence and Computing, A*STAR
- Yingxu He：Institute of Advanced Intelligence and Computing, A*STAR
- Geyu Lin：Institute of Advanced Intelligence and Computing, A*STAR
- Xunlong Zou：Institute of Advanced Intelligence and Computing, A*STAR
- Shuo Sun：Institute of Advanced Intelligence and Computing, A*STAR
- Syed Ali Redha Alsagoff：机构信息未在 arXiv HTML 中可靠披露
- Ai Ti Aw：Institute of Advanced Intelligence and Computing, A*STAR
📌 核心摘要
该基准以语音波形加英语或母语文本指令为输入，要求模型输出转写文本、英译文本、问答答案、情感年龄性别等属性标签或时间区间，难点在于东南亚声调语言与多文字转写评分、低资源语料稀缺以及最长180秒长音频的时间定位与内容抽取导航。构建链条第一步按九类任务筛选源语料并统一重采样为16千赫兹单声道标准化音频与并行提示模板，输出规范化评测三元组进入过滤环节。第二步用CTC强制对齐置信度、语种识别匹配与说话人隔离配对进行质量过滤并按数据集定额采样，输出干净均衡的候选集进入合成环节。第三步对缺失的问答与时间推理任务基于清洗转写用GPT-4.1生成问答对与时间查询并经母语者抽检，输出完整九任务九万余样本评测套件进入双语评测。与既有英语中心基准的关键机制差异是引入时间到内容与内容到时间双向时间推理任务并采用英语与母语提示并行评测，使提示语言敏感性可直接度量而非仅测转写精度。在ASR基准评测下，Gemini 2.5 Flash的平均WER/CER为0.14，低于MERaLiON-2 10B的0.27。该结论适用边界受限于官方语言朗读与YouTube式录音语料，方言口音、自发对话与强噪声场景的失败条件尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，读完要能复述什么？
本文的输入是东南亚多语言语音评测问题：现有音频大模型评测以英文为中心，东南亚语言覆盖不足且缺乏统一任务定义、提示与归一化。目标是建立一个可复现的多任务基准，直接评测语音理解模型在给定音频与文本指令后输出文本答案的能力。读完本文你应能复述三件事：基准包含哪些任务与语言、数据如何从已有语料筛选与合成为统一三元组、评测在什么提示语言与指标下比较了哪些模型并得到什么限制。
论文报告基准覆盖 11 种东南亚语言，包含 97,194 样本、99 个评测集合与 597 小时整理后音频。任务分为语音处理、副语言分析与时间推理 3 类共 9 项。所有任务都要求模型根据音频输入与文本查询产生文本回答。资源状态方面，本次收到的证据中没有完成网络可达验证的资源绑定，因此不能声称代码、模型或数据当前已公开，只能按论文正文记录其发布计划与重建方式。
已有路线解决了什么，还缺哪一块？
已有音频语言模型路线主要把语音编码器通过轻量适配器接到大语言模型，或共享语音文本词表空间，或加强多模态与时间建模，代表系统包括 Phi-4、Qwen2.5-Omni、Voxtral、GPT-4o 与 Gemini 等。评测路线从语音识别扩展到指令跟随与推理，出现了 SUPERB、AudioBench、AirBench、MMAU、MMAU-Pro 等基准。论文指出这些模型与基准仍以英文为中心，对东南亚语言覆盖有限。区域性工作如面向新加坡多语环境的 MERaLiON、面向泰语的 Typhoon2-Audio、面向部分东南亚语言的 SeaLLMs-Audio 开始构建通用语音语言模型，但语言覆盖与系统评测框架不完整。
同时分散的数据收集产生了异构的东南亚数据集，但没有统一的任务定义、提示与归一化，难以做标准化比较。本文的定位不是提出新模型，而是补上统一的评测框架：在同一提示与归一化下比较开源与商用系统。
要评的 9 个任务具体让模型做什么？
语音处理包含三项基础能力。自动语音识别（白话：听写，英文 Automatic Speech Recognition，简称 ASR）要求转写语音内容。语音翻译（英文 Speech Translation，简称 ST）要求把东南亚语言语音翻译为英文文本。口语问答（英文 Spoken Question Answering，简称 SQA）要求根据东南亚语音输入回答问题。副语言分析关注语言内容之外的声音线索，包括情感识别（英文 Emotion Recognition，简称 ER）、性别识别（英文 Gender Recognition，简称 GR）、年龄识别（英文 Age Recognition，简称 AgeR）与说话人识别（英文 Speaker Recognition，简称 SpkR）。
其中情感是封闭 9 类集合，年龄分为青少年、成人与老年三档，说话人识别判断两段音频是否同一人。时间推理把音频看作可搜索的时间空间，包含时间戳内容查询（英文 Timestamped Content Query，简称 TCQ）与时间定位（英文 Temporal Localization，简称 TLoc）。前者给定区间提取该窗口内容，后者给定文本查询预测其出现的时间跨度。前两类使用不超过 30 秒的短片段以适配多数模型输入限制，时间推理则使用最长 3 分钟的扩展序列，检验长程记忆与边界定位。
基准全景：一个样本如何走完评测流水线？
每个评测样本都被统一为三元组：音频上下文、文本指令与文本答案，并附带配对的音频与文本字段。拿一个中文时间戳查询样本为例，输入是 16 kHz 单声道峰值归一化后的音频片段加上请转写 00:04 到 00:07 之间语音的指令，模型应输出该窗口的转写文本，评测再用词错率或字错率与参考转写比较。
沿输入到表示到组件到目标再到输出的路径是：原始多源音频先做下混、重采样、幅度归一化与容器统一，再按任务筛选标注并切分采样，接着用英文与母语两套平行提示分别提问，最后按任务指标或外部裁判打分。短音频覆盖传统任务，长音频通过对长形语料的策略性切分形成 30 到 60 秒、60 到 120 秒与 120 到 180 秒的分层时长段，用于时间理解评测。
以下导读帮助初学者把九任务 1 次看全，重点是 3 类颜色分组与输入输出方向，图中所有提问与答案示例均为教学示意而非性能结论。
看图路径： 1. 先看中间输入东南亚语言音频片段与波形，再看三排任务卡片的颜色分组；2. 对照上排语音处理三卡的提问与答案语言是否一致；3. 对照中排时间定位与时间戳查询的输入输出方向是否互逆；4. 再看下排四个副语言任务的输出是否为封闭类别判断
论文图 1。原论文 Figure 1:：“Overview of SEA-SpeechBench task suite. The suite covers nine tasks in three categories. Speech processing, Paralinguistic, and Temporal reasoning.”。
上图中央是输入的东南亚语言音频片段与波形，周围三排卡片对应 3 类任务。上排 3 张为语音处理，依次是听写、翻译成英文与按语音回答问题。中排两张为时间推理，左侧时间定位输出起止秒数，右侧时间戳查询输出区间内转写，二者方向互逆。下排 4 张为副语言判断，输出年龄段、男女、情感标签或两段是否同一人。复述时应记住每类输出形态不同：转写与翻译是开放文本，副语言多为封闭类别，时间定位输出时间跨度。
组件如何分工：数据、提示、指标与裁判？
数据组件负责来源选择与质量过滤。ASR 与 ST 只保留具有可靠 utterance 级转写或翻译参考的短片段来源，长形视频来源只用于 SQA、TCQ 与 TLoc 构建而不作为 ASR 金标准。年龄、性别、情感与说话人任务只使用来源自带元数据，不做事后推断，说话人标签还用于保证说话人不相交划分并构造相同与不同说话人对。SQA、TCQ 与 TLoc 要求段落级转写与时间戳或对齐信息。提示组件提供母语与英文平行模板，附录给出各任务多语言示例，评测时同一音频分别用 2 种提示提问。
指标组件按输出形态区分：ASR 与 TCQ 用词错率与字错率，ST 用 BLEU 与 chrF，TLoc 用预测与参考时间戳的重叠 F1，性别、说话人与年龄用经双语标签词表确定性字符串匹配归一化后的宏平均 F1，SQA 与 ER 因自由输出难以可靠归一化而采用外部模型裁判。
自动语音识别 × 语音翻译： 自动语音识别的分工是把输入语音逐字转写为同语种文本，语音翻译的分工是把东南亚语言语音转写为英文文本，二者搭配理由是共用短片段输入与转写参考但目标语言不同，组合意义在于区分声学转写错误与跨语言语义损失。
口语问答 × 模型裁判打分： 口语问答的分工是根据语音内容生成简短文本答案，模型裁判打分的分工是用外部大模型按 0-5 量表比对参考答案再线性放缩，搭配理由是自由回答难以用字符串匹配判定，组合意义是把语义正确性转化为可比较的数值分数。
时间戳内容查询 × 时间定位： 时间戳内容查询的分工是给定时间区间提取该窗口内语音内容，时间定位的分工是给定文本查询预测其起止时间戳，搭配理由是二者互为时间到内容与内容到时间的逆映射，组合意义是同时检验局部检索与边界定位能力。
裁判选择经过与母语标注者的一致性检验。论文在英文与东南亚语言提示下各抽样比较 Qwen3-Omni、Gemma-3 与 GPT-4.1 共 3 位候选裁判，用情感任务的 Matthews 相关与问答任务的 Spearman 等级相关衡量与人工的一致性。结果是情感任务中 Gemma 与 GPT-4.1 相当，问答任务中 GPT-4.1 在东南亚提示下更高，因此最终采用混合策略：GPT-4.1 判 SQA，Gemma-3-27B 判 ER。为检验生成器与裁判重叠的影响，论文还用另一裁判重排 SQA 模型顺序并报告高等级相关，说明总体排序对裁判选择相对稳健，但 GPT-4o 的具体名次在不同裁判下有波动。
本研究训练了什么，没有训练什么？
本研究没有训练新的语音模型，也没有报告梯度更新、参数冻结或优化器配置。真实计算过程是基准构造与评测执行：音频标准化、CTC 对齐过滤、语言识别过滤、去重、采样、问答对生成与人工审计，以及调用已有开源与商用模型检查点按官方推荐配置推理。SQA 问答对先用 CTC 强制对齐分数、语言精确匹配与不当内容过滤清洗转写，再用 GPT-4.1 生成问答，随后按事实 grounding、答案正确性与问题类型多样性做人工抽检与提示修订，直到抽检通过率达到 90% 才用收敛后提示生成最终批次。
TCQ 选取 CTC 对数概率高于阈值的 utterance 并记录起止时间戳，要求模型转写指定区间；TLoc 用同样预处理，要求模型预测指定 utterance 的起止时间。年龄等分类任务采用类别平衡采样，每语言每时长段固定随机种子采样至多 1000 条，并强制说话人不相交。
以下 4 条是原文用于量化类别平衡与提示效应的关键定义，先解释符号再看计算目标。归一化熵衡量每数据集标签分布均匀程度，提示优势分数衡量母语提示相对英文提示的方向与强度。
\[\tilde{H}=\frac{H}{\log K}\in[0,1],\]\[d_{M,T,L}=\frac{\bigl|\,s_{\text{SEA}}-s_{\text{EN}}\,\bigr|}{\tfrac{|s_{\text{SEA}}|+|s_{\text{EN}}|}{2}+\varepsilon},\]\[\mathrm{PAS}_{T,L}=\bigl(2(w_{T,L}-0.5)\bigr)\cdot\tilde{d}_{T,L},\]\[\mathrm{PAS}_{L}=\frac{1}{|\mathcal{T}(L)|}\sum_{T\in\mathcal{T}(L)}\mathrm{PAS}_{T,L}.\]第一式中 H 为经验标签熵，K 为类别数，越接近 1 越均匀。第二式中 sSEA 与 sEN 分别为母语与英文提示得分，分母加小量避免除零，得到对称相对差异。第三式用跨模型中位数聚合幅度，再乘以母语胜率转换的方向项，正值偏向母语，负值偏向英文。第四式在语言覆盖的任务上平均得到语言级分数。对于 ASR 与 TCQ 这类越低越好的指标，先做倒数变换映射到越高越好再计算，保证正负号含义统一。原文未给出这些分数的梯度路径，不涉及优化步骤。
评测条件：比谁、用什么提示、指标方向是什么？
被测对象包括多档开源音频与多模态大模型，参数从 2B 到 30B，含 MERaLiON-2、SeaLLMs-Audio、Phi-4-multimodal-instruct、Qwen2-Audio-Instruct、Qwen2.5-Omni、Gemma-3n-it、Voxtral、Kimi-Audio 与 Qwen3-Omni 及其思考模型，另在翻译任务上评测 Whisper-large-v3-turbo 级联 Qwen3.6 的级联设置。商用基线为 Gemini 2.5 Flash 与 GPT-4o，其中 GPT-4o 在 ASR 用专用转写接口、其他任务用通用音频理解模型。所有模型用官方发布检查点与推荐推理配置。每个任务同时用英文与母语提示评测，以反映真实交互。指标方向为：词错率与字错率越低越好，BLEU、chrF、SQA 放缩裁判分、宏平均 F1、情感裁判准确率与时间定位 F1 越高越好。
文本归一化分 3 个阶段：Unicode 与大小写统一、非语言标记与填充词去除及数字与缩写规范、再经母语者校验的语言特定增强。情感标签先映射为英文中间标签再统一小写与形容词化，形成 9 类闭集。论文同时报告发布计划为评测基准形式：固定采样为官方测试集并用唯一标识回溯源数据，允许源许可时提供处理后音频，否则只提供清单、脚本与重建说明。
主结果：哪些任务偏低，哪些语言差距最大？
总体判断是时间理解、情感识别与语音翻译表现不足，低资源语言母语提示落后英文最多可达数十个百分点。ASR 方面 Gemini 总体最好，开源中 MERaLiON-2 最好，Qwen3-Omni 指令版在越南语、印尼语与泰语等语言上有竞争力，但泰米尔语与缅甸语的最优水平仍偏低。翻译方面开源上限与商用仍有差距，且 BLEU 与 chrF 总体排序一致但个别模型出现字符级保留而词级偏离的分歧。副语言中情感尤其困难，除 Kimi 外多数模型偏低。时间任务随音频变长普遍下降，且只有部分模型能覆盖全部时长段。
以下导读先看纵轴零线含义，再按语言从左到右比较柱高，重点是低资源尾部而非单柱精确复算。
看图路径： 1. 先确认纵轴为提示优势分数且零线为中英文持平；2. 再从左到右读各语言柱状高度与标注数值；3. 区分接近零的中文英文印尼语与大幅为负的缅甸语泰米尔语高棉语
论文图 3。原论文 Figure 3:：“Cross-linguistic prompt sensitivity measured by Prompt Advantage Score (PAS).”。
上图纵轴为提示优势分数，正值偏向母语提示，负值偏向英文提示。中文、英文与印尼语接近零，提示语言选择基本中性。菲律宾语、越南语、马来语、老挝语与泰语呈现中等英文优势，缅甸语、泰米尔语与高棉语呈现严重英文优势。像素可辨认的标注从左到右约为中文 0.2、英文 0.0、印尼语 -0.3，直至缅甸语 -19.5、泰米尔语 -36.8、高棉语 -41.2。复述时应强调这不是单任务单模型结果，而是跨模型跨任务聚合后的语言级分数。
母语提示 × 英文提示： 母语提示的分工是用东南亚语言书写任务指令，英文提示的分工是用英文书写同一任务指令，搭配理由是模拟真实用户与音频语言模型交互的两种方式，组合意义是暴露跨模态指令跟随是否依赖英文。
下面 4 张表分别承担宽表要求，每表前后均有独立的比较问题与解释段。先看基准规模表，它回答基准是否达到声称的大规模与多任务。
| 基准维度 | 统计口径 | 论文报告值 | 覆盖含义 | 可复述结论 |
|---|---|---|---|---|
| 语言数 | 东南亚官方语言 | 11 种语言 | 覆盖新加坡至越南多国官方语 | 多语言而非单语 |
| 评测集合数 | 按语言子集分别计数 | 99 个评测集合 | 9 任务拆分为语言子集 | 多任务多语言矩阵 |
| 样本量 | 整理后音频样本 | 97,194 样本 | 超过 97,000 样本 | 大规模评测 |
| 音频时长 | 整理后总时长 | 597 小时 | 含短片段与长序列 | 兼顾短长音频 |
| 任务数 | 3 类任务 | 9 项任务 | 语音处理副语言时间推理 | 非单一转写基准 |
上表把分散在摘要与正文的规模数字集中呈现，便于核对是否同时满足语言数、任务数、样本量与时长 4 个维度。代价是该表未展开每任务每语言的细粒度分布，低资源语言的样本稀疏问题仍需看附录的源数据与时长分解。未胜出项是部分方言与任务类别因高质量标注稀缺而覆盖有限，论文在局限中明确承认。
再看语音处理结果表，它回答转写与翻译在什么指标下谁更强，指标方向需先记住：错率越低越好，BLEU 与 chrF 越高越好。
| 评测条件 | 指标与方向 | 开源上限报告 | 商用表现报告 | 原文指出的反例 |
|---|---|---|---|---|
| ASR 多语言平均 | WER/CER 越低越好 | MERaLiON-2 开源最好 | Gemini 2.5 Flash 总体最好 | Tamil 与 Burmese 最优仍超 0.25 |
| ST 词级 | BLEU 越高越好 | 开源上限 21 BLEU | 商用 48-54 chrF 对应 BLEU 更高 | Gemini SEA 提示仅 18.89 BLEU |
| ST 字符级 | chrF 越高越好 | 开源上限 45-47 chrF | 商用 48-54 chrF | Gemini SEA 提示达 53.94 chrF |
| ST 分歧案例 | BLEU 低但 chrF 高 | 词面选择偏离参考 | 字符内容仍保留 | 不能只看单一翻译指标 |
| ASR 低资源 | WER/CER 越低越好 | 多模型偏高 | 商用相对更低但仍有限 | 低资源瓶颈未消除 |
上表的主要收益是区分声学转写与跨语言语义两个瓶颈：ASR 低资源语言错误率高，翻译则出现词级与字符级不一致。具体代价是 Gemini 的例子显示高 chrF 不等于高 BLEU，若只报告其一会误判翻译质量。未胜出项包括多数开源模型在翻译上落后商用，且部分大参数模型在特定低资源语言上反而更差，说明参数量不是充分条件。
再看副语言与问答裁判表，它回答自由输出如何保证裁判可信，比较条件是同一裁判下英文与母语提示分别打分。
| 评测条件 | 指标与方向 | 论文报告的上限 | 裁判一致性证据 | 限制与反例 |
|---|---|---|---|---|
| ER 情感识别 | 裁判准确率越高越好 | 除 Kimi 外不超 25 且 Kimi 不超 50 | Gemma 与 GPT-4.1 英文下高度一致 | 字符串匹配不可靠故用裁判 |
| SQA 口语问答 | 放缩裁判分越高越好 | 商用高于开源 | GPT-4.1 在 SEA 提示下相关 0.76 超 Gemma 的 0.66 | GPT-4o 名次随裁判在第二与第四间波动 |
| 年龄性别说话人 | 宏平均 F1 越高越好 | 性别部分模型超 90 但说话人普遍偏低 | 年龄分布偏斜故用宏平均 | 年龄保留源分布未强制均衡 |
| ER 标签分布 | 归一化熵接近 1 为均匀 | ER 接近均匀 | 准确率与宏平均近等价 | 仍选裁判因表述分级与复合 |
上表说明用裁判不是为了抬高分数，而是因为情感表述常带程度副词或复合情绪，硬匹配噪声大。收益是双裁判排序相关高，支持主要结论对裁判选择稳健。代价是 GPT-4o 的具体名次对裁判敏感，复述时不能把第 2 名当作绝对顺序。未评测边界是裁判本身的语言覆盖与成本权衡，论文因此采用混合裁判以平衡性能与计算开销。
失败条件：长音频、提示语言与拒答如何改变结论？
时间推理按 0 到 30 秒、30 到 60 秒、60 到 120 秒与 120 到 180 秒四档控制搜索空间，时长越长候选边界越多且长程记忆要求越高。论文报告 TCQ 与 TLoc 都随 duration 增加而下降，表现为边界漂移与截断。Qwen3-Omni 指令版在 TCQ 的错率上显著低于其他模型，但 TLoc 的 F1 仍偏低。多数模型出现系统性过度覆盖：TCQ 输出超出查询窗口，TLoc 的覆盖率持续高于纯度，说明模型偏向更长跨度以换取召回，牺牲精度。音频长度约束方面只有部分模型能完成全部时长段推理，短音频可用的模型在长音频直接缺失。提示语言方面母语理解检查显示 MERaLiON-2 在纯文本翻译与复述上全对，但年龄任务英文仍优于母语，支持差距来自跨模态指令跟随而非纯文本不懂母语。
以下导读聚焦拒答而非错误分类，重点是左侧与右侧两类输出的比例含义。
看图路径： 1. 先看顶部绿色提示框确认任务是判断哔声两侧是否为同一人；2. 再比较左侧蓝色拒答框与右侧粉色作答框的文字表述；3. 注意底部虚线框标注的 89.5% 与 10.5% 两组比例
论文图 4。原论文 Figure 4:：“Speaker recognition failure examples in GPT-4o responses.”。
上图顶部为说话人识别提示，确认两段音频被哔声分隔并询问是否为同一人。左侧蓝色框列出 3 种无法判断的表述，底部标注拒答占 89.5%。右侧粉色框给出判断为相同或不同的表述并打勾，底部标注正确作答占 10.5%。论文报告 GPT-4o 在该自建说话人集合上总体仅 14.49%，但非拒答部分准确率为 100%，因此低分主要来自策略性弃答而非理解错误。相比之下 Qwen2.5-Omni 也有频繁拒答，但接受部分的回答仍有实质错误，指向校准与标签 grounding 较弱。
说话人识别 × 拒答行为： 说话人识别的分工是判断哔声分隔的两段是否同一说话人，拒答行为的分工是模型因安全策略输出无法判断而非给出标签，搭配理由是低分可能来自错误也可能来自主动弃答，组合意义是必须区分能力缺失与策略性拒绝才能解释分数。
最后看提示与拒答的量化对照表，它回答差距有多大且低分是否等于能力差。
| 对照维度 | 指标与方向 | 英文提示表现 | 母语提示表现 | 原文报告的差距含义 |
|---|---|---|---|---|
| 中英印尼提示敏感度 | PAS 正偏母语负偏英文 | 基准零线 | +0.2 与 0.0 与 -0.3 | 提示选择基本中性 |
| 菲越马老泰提示敏感度 | PAS 负值越大越偏英文 | 英文更优 | -1.9 至 -9.0 | 中度英文优势 |
| 缅泰米尔高棉提示敏感度 | PAS 负值越大越偏英文 | 英文更优 | -19.5 至 -41.2 | 重度英文优势低资源落后可达 41 百分点 |
| 说话人 GPT-4o 总体 | 宏平均 F1 越高越好 | 14.49% 总体 | 拒答 89.5% 作答 10.5% | 低分主要来自拒答 |
| 说话人 GPT-4o 非拒答 | 准确率越高越好 | 非拒答 100% 正确 | 仍拒答多数查询 | 弃答而非不懂任务 |
上表的主要收益是把语言不公平具体化为三档：中性、中度与重度英文优势，低资源尾部差距最大。代价是若把拒答直接当错误，会低估 GPT-4o 在愿意作答子集上的判断能力，同时高估其部署可用性，因为 89.5% 拒答本身就是可用性缺口。未胜出项是 Qwen2.5-Omni 的拒答伴随实质错误，不能用同一安全策略解释，需分别讨论校准问题。
哪些结论不能推广，缺了哪些验证？
论文明确承认数据可用性是主要局限：尽管从公共与社区语料广泛收集，某些方言与任务类别因高质量标注稀缺而覆盖有限，未来需数据高效学习、弱监督或合成数据与协作收集来扩展。测试集污染风险是另一局限：多数被测模型训练数据与流程未公开，难以控制是否见过源数据。相关性不等于因果：提示语言差距与长音频下降是报告的现象，纯文本检查支持跨模态对齐假设，但未验证具体架构修改必然消除差距。
未测量的量不能承诺改善：论文未系统测量误判率之外的延迟、推理开销与输出帧率，总体趋势也不等于每组每步成立。情感等任务的标签经统一为 9 类闭集，保留了源标注的细粒度差异而非粗糙合并，但不同源的标注标准本身可能不一致，归一化不能消除原始标注噪声。
要复现应先固定什么，再跑什么？
先固定数据划分与采样：优先采用来源官方测试划分，否则用固定随机种子按语言与时长段采样至多 1000 条，分类任务做类别平衡，强制说话人不相交，同一说话人只出现在单一划分。再固定音频处理：需要时下混为单声道，重采样到 16 kHz，做峰值归一化并存为 OGG 与 OPUS 容器以保证解码一致。长形片段按同一录音内连续语音构建， utterance 间隙至多 5 秒，超目标时长、间隙超限或 CTC 对数概率低于负 2 则截断，再做语速密度过滤、模板短语去除、CTC 置信度与 Lingua 语言识别过滤并按转写去重。
接着固定提示与归一化：用附录平行模板分别跑英文与母语提示，转写先做 NFC 与小写、保留有语言意义的连字符与撇号、去除说话人标签与填充词，中文与泰语等按需处理字符间距并经母语者校验。最后固定指标与裁判：ASR 与 TCQ 看错率越低越好，翻译同时看 BLEU 与 chrF，性别年龄说话人用宏平均 F1，SQA 用 GPT-4.1 裁判的放缩分，ER 用 Gemma-3-27B 裁判的准确率，时间定位用跨度重叠 F1 并同时检查覆盖与纯度以发现过度覆盖。
商用模型需注意转写专用接口与通用理解模型的调用差异，以及说话人任务可能触发拒答，复现时应分别记录拒答率与非拒答准确率。
何时值得用这个基准，还需补哪项验证？
当你的目标是面向东南亚多语言的语音助手、转写无障碍或长录音检索时，该基准值得作为第一轮体检：它同时检验短片段转写翻译、声音属性判断与长音频时间导航，并用双语提示暴露英文依赖。若只做英文或单一短转写任务，则该基准的大部分价值用不上。复述方法时应抓住三句话：统一三元组与双语提示保证可比，CTC 与语言过滤加人工审计保证长任务可用，混合裁判加覆盖纯度分析避免单指标误导。
还需补的验证包括：在自有长录音上复测时间定位的边界漂移是否同样随 duration 增大，用母语提示重跑低资源语言以确认 41 百分点量级的差距是否在你的模型上复现，以及单独统计说话人任务的拒答率以免把安全拒绝误读为识别错误。资源方面本次未能确认可达，不应写成已公开可用，需要时按论文的清单加脚本从源提供方获取后本地重建。
📎 论文与评分元数据
排名：前50% | 文档类型：数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses