听懂东南亚语音：SEABED 用六类可听推理把答对和讲对分开查

英文题目：SEABED: SouthEast Asian Benchmark for Evaluating Audio Reasoning

标签：#音频问答 | #基准设计 | #多语言 | #语音

评分：8.5/10 | 创新 1.7/2 | 技术严谨 1/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

👥 作者与机构

• Harshit Rajgarhia：Centific AI Research
• Asif Shaik：Centific AI Research
• Rachuri Lokesh：Centific AI Research
• Sushanta Kumar Pani：Centific AI Research
• Abhishek Mukherji：Centific AI Research

📌 核心摘要

东南亚语音推理要求模型仅凭音频回答问题，输入为印尼语、泰语和马来语真实录音，输出为选择或开放答案，难点在于转录会抹掉决定含义的音高、停顿、方言音系和情感韵律。构建链先从10个开放语料筛选结构与情感片段并统一重采样至16 kHz，再按四类固定金标任务用模板与受控干扰项实例化题目，接着对两类无现成标注任务用音频条件大模型生成内容问题，最后经泄漏检查、答案位置去偏和跨家族裁判完成评分。相对既有英语推理基准与东南亚识别类套件的机制差异在于干扰项锚定可听混淆而非话题，审计直接判定陈述推理是否被音频证据支撑。在SEABED基准下，Gemini 3.5 Flash的加权平均准确率为50.3%，高于MERaLiON-3-10B的加权平均准确率29.4%。结论仅适用于3个语言的6类任务与短至长时录音混合条件，尚未验证向千余种东南亚语言的外推能力。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 数据相关资源：https://huggingface.co/datasets/CentificAIResearch/SEABED — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，读完要能复述什么？

这篇解读的输入是论文原文证据和本次收到的官方原图像素，目标是让刚进入语音与音频语言模型的研究生能复述做法。需要保留的信息包括任务定义、数据来源、题目生成两条路线、评测条件、主结果数字、推理接地审计和 5 个对照实验，输出是按学习依赖展开的中文技术说明。

东南亚基准的全称是 SouthEast Asian Benchmark for Evaluating Audio Reasoning，测试对象是东南亚语音上的音频推理。论文强调的矛盾是现有东南亚评测多为识别、翻译和副语言分类，只能证明模型听见了东南亚语音，不能证明模型能从怎么说中推出文字给不了的结论。

东南亚有超过 600000000 人口和上 1000 种本土语言，许多语言是声调语言，音高曲线本身可以区分词义，方言连续体拼写相近但身份、语域和含义活在韵律里。初学者要先建立的直觉是转写会抹掉关键信息，例如同样的词序在不同停顿和重音下句法不同，同意与拒绝在文字相同时语气不同，情感在词不点名时藏在语速和能量里。

论文因此提出 4 个构造原则，测试时模型只收到音频和问题，转写与标签只用于造题，每道题要求转写 alone 无法 settled 的推理，全部音频来自已有公开授权语料并重采样到 16 kHz，选择题用最多 10 个基于可听混淆的选项并对金答案位置去偏。读完本文应能复述 6 个任务各测什么现象、问答如何按任务和题型分配、6 个被测模型是谁、开放作答谁来判分、推理审计谁来分类。

所有数字保留原文写法，不做四舍五入，教学用的例子会明确标为例子。数据集当前可用性以资源状态为准，本次收到的资源状态显示数据集链接可用，状态码为二百，地址为 Hugging Face 上的公开数据集，写作时可写当前可用或已公开。

附：关键术语速查与口径提醒

音频优先指测试只给音频和问题，转写标签仅用于造题。真实音频推理指正确且理由引用具体可听内容，幸运猜测指正确但理由空泛或矛盾。韵律歧义消解指靠停顿重音分组选句法，方言言语理解指在方言音系下还原指称。

长音频推理指跨远距离合并证据导出音频中未直说的值。情感识别是十选一，情感解释是效价加唤醒 2 维全对。口径提醒是百分点与相对百分比不同，不同指标差值不混放，加权平均按样本聚合，数字保留原文精度与千分位写法。

本节为速查性质，不引入新的实验结论，后文所有术语均按此处口径使用。初学者遇到缩写时回到本节核对，避免把识别分数与推理分数混为一谈。

已有路线测了什么，为什么还要另起一套？

第一条路线是从音频识别到音频推理。先有宽泛的音频理解与指令跟随基准，随后出现多技能、多层问题、语言学理论接地和野外音频等推理基准，特点是多跳题目、精心设计的干扰项和选择加开放混合格式。东南亚基准沿用了这些设计价值，但把语言设为受控变量，专门放在东南亚语言上。

初学者容易误以为把英文题翻译成印尼语或泰语就行，论文的反驳是翻译不改变现象，英文通用音频默认的是一般域推理，而东南亚语音把推理压力放在音高、方言音系和韵律句法上。翻译只能换词，不能造出声调与方言连续体带来的可听歧义。

第二条路线追问模型到底有没有用音频。论文引用前人发现，通用推理基准近半数题目在音频静音后仅靠文本也能答对，因此只看准确率不能证明在听。东南亚基准从基准侧应对，干扰项锚定可听混淆而非话题，并增加推理接地审计，把每条陈述理由分为有依据、部分有依据、无依据和矛盾 4 类。

另一条相关工作是前沿与区域音频大模型并存，区域模型覆盖印尼语泰语越南语或面向新加坡多语，东南亚基准把两类模型放在同一套题上，检验区域专门化是否买到了区域听力。第三条路线是东南亚语音资源与评测，语音资源多为识别与合成原料，天然是识别原料而非推理原料。

已有东南亚评测增加了语言覆盖但仍按识别翻译副语言分类组织题目。论文认为这只能显示欠表现，不能测试推理。与情感任务最接近的是带人工核验的上下文副语言问答，东南亚基准把它的做法搬到东南亚语言并执行严格的音频优先协议。每道题都要求东南亚语音使其可听的推断，例如纯靠发音的方言身份、只有韵律能定的句子读法、标准转写会抹平的方言语音。

附：与同输入同目标工作的对照定位

同输入同目标下，东南亚已有语音基准同为东南亚语音但目标多为识别分类，本基准目标是推理。同监督下，英文推理基准监督来自通用音频，本基准监督来自东南亚现象与来源金标签。同运行阶段下，前沿与区域模型同为推理调用，本基准同条件比较而非跨条件胜负。

上下文副语言问答同为情感推理，本基准将其设计搬到东南亚并加音频优先与接地审计。类别差异不作同条件胜负，例如识别高分不能直接对比推理低分。初学者应先分清任务目标，再比较数字，否则会把听见误认为听懂。

这种定位的意义是明确增量：不是多测了几个语言，而是把语言、现象和证据三者同时受控。对照时只比较相同目标下的可运行策略，避免用事后最优或不同指标代替部署收益。

六个任务各要解决哪一个可听问题？

方言与语言辨别任务每次拼接 4 个话段，按随机顺序加静音间隔，例如印尼语的多种地方口音与标准音，泰语的中部、北部、东北和南部口音。印尼语一半内容平行，泰语各腔不共享句子，因此不能靠内容猜，只能靠音系。题目有 4 种问法，问某一段是什么腔、恢复完整顺序、定位某腔在第几段、比较查询，正确需要对音频时间线做关系推理而非单标签分类。

韵律歧义消解任务每题都是印尼语结构歧义句，文字有两种合法读法，说话人按指令实现其中一种，录制时即固定意图。单句消解、同一说话人两种读法各说一遍并按顺序辨别、在同一音频中有词完全相同的竞争读法时锁定目标读法，形成推理深度台阶。方言言语理解任务在泰语地区方言上问内容，非标准音系、缩减形式和地区词会遮蔽标准音下简单的内容，要求从部分声学证据还原数字、人物亲属指称等。

长音频推理任务听整段 7 到 23 分钟的自发多说话人对话，包括泰语办公室会议和印尼语马来语电话对话，答案从不在单个片段中直接说出，必须跨远距离定位合并证据，覆盖长程回忆、跨段整合、多跳、基于内容的说话人归因和隐含推断，且不问韵律和时间戳。情感识别任务从 10 类固定情感中选一类，词很少点名感受，必须从语气语速能量推断。

情感解释任务要求在环形情感模型上同时判断效价与唤醒，2 维都对才算对，4 个实际格数量平衡，是结构化情感推理而非单标签。作为例子，方言题如问第三段是什么口音，歧义题如问说话人描述什么为大，长音频如在 3 分钟片段上做稀疏细节检索，这些例子仅说明题面样式。

从真实语料到可评分题目的总流程怎么走？

先看总览图再走细节。以下导读针对本次实际收到像素的构造管线图，帮助把 5 步与两条生成路线对上，图中从左到右依次是数据收集、任务设计、问答生成、预测评测与基准定稿。

看图路径： 1. 沿从左到右五步箭头走一遍数据收集到基准定稿的主路径；2. 对比第三步模板生成与大模型生成两个分支的标注位置；3. 确认第四步同时标注六个模型与两种答题格式

论文图 2。原论文 Figure 2:：“SEABED construction and evaluation pipeline.”。

这张管线图从左到右是真实公开东南亚语料经 16 kHz 处理，进入 6 个音频推理任务设计，再分模板生成与大模型生成两路，所有答案都锚定数据集标准答案，接着 6 个音频模型做选择加开放预测，最后定稿为音频优先问答。教学上要抓住两点，一是没有任何新录制和合成语音，二是问答生成不是自由创作，固定标准答案任务由模型永不撰写答案，大模型撰写任务也要锚定实际说出的内容并接受跨家族判分。

音频优先 × 文本消融： 音频优先指测试时模型只能听到音频和问题，看不到转写、元数据和标签；文本消融指把同一题的音频换成标准转写再测 1 次，看分数掉多少。两者搭配的原因是只有先封住文本捷径，再用替换实验量化音频的必要性，才能判断模型是真在听还是靠文字先验猜，组合意义是把听的必要性变成可复述的对照操作。

再看六任务一览图，把每类题的问法和答案形态具体化。以下导读针对本次实际收到像素的任务示例图，6 张卡片分别对应方言辨别、歧义查询、方言理解、长音频理解、情感识别和情感解释。

看图路径： 1. 先看六张卡片各对应一个任务，区分右下角选择与开放作答标记；2. 再看每卡的播放条时长，确认长音频任务与其他短句任务的数量级差异；3. 最后看中间总量与两种题型各半的设计标注

论文图 1。原论文 Figure 1:：“SEABED at a glance: one example item per task (question, options, gold answer).”。

这张一览图每任务一张卡片，给出问题、选项和标准答案，例如方言辨别问第三段口音，歧义问说话人描述什么为大，方言理解问谁有茶，长音频在 3 分钟片段上做稀疏细节检索，情感识别问感受，情感解释问效价加能量。中间标注六任务、总量、16 kHz、真实东南亚音频，以及选择与开放各半且每题只能从音频回答。例子仅用于理解题面样式，不代表基准难度分布。

10 个来源语料按语言与任务分工明确，结构与理解任务用四口音平行新闻朗读、泰方言语料、按指令读出的结构歧义句、多分钟自发多方对话，情感任务用泰语印尼语情感语料。5 个常规任务题量相同，长音频因长录音稀缺只做较少题，总计且每任务内选择与开放恰好各半。比较问题是总量如何分配、长音频为何较少，公平条件是同一全集，指标是题量与音频时长，下表用原文逐字写法整理构成。

上表说明总量与结构，长音频题少是长公开录音稀缺所致，不是采样失误。代价是长音频审计样本每模型仅数十条，区域模型正确仅两条，细粒度结论不稳。未胜出项是两个区域开源模型整体落后，说明区域训练尚未带来区域推理。

题目与干扰项如何做到猜不出来但听得出？

固定标准答案的 4 个任务走确定性路线。方言、歧义、情感识别和情感解释的标准答案来自来源语料的口音标签、说话人被指令实现的读法、规范情感标签和效价唤醒格，模型从不撰写答案。问题来自模板或在固定标准答案约束下由大模型起草，选项工程是关键，同语近邻腔和同族情感做近邻干扰，顺序题加排列与精确逆序陷阱。

并设置永不正确的稳妥弃答选项以钓住喜欢保守回答的模型，选项洗牌且金答案位置去偏。初学者要理解干扰项不是话题相关即可，而是可听混淆，只有真听才能排除。

韵律歧义消解 × 方言言语理解： 韵律歧义消解负责处理文字有两种合法句法、只能靠停顿重音和短语分组选一种的句子；方言言语理解负责在非标准发音、缩减形式和地区词下听懂内容。两者分工不同但都要求超越转写，前者靠超音段线索做句法推理，后者靠部分声学证据做指称还原，搭配在一起可以区分耳朵没听清和听清了但理解错。

生成器撰写的 2 个任务走锚定路线。方言理解与长音频由大模型在音频加对齐标准转写与元数据条件下撰写，每题锚定实际说出的内容，生成的问题不得引用、翻译或紧密改写转写，长音频还要求答案是跨远距离推导出的值而非音频中说出的原话，干扰项用真实说过的值做错误绑定，同一主题家族、等细节预算、最小对差异，目标是让单段查找、关键词匹配和世界知识落到干扰项。

开放作答的长音频答案必须是可判分的具体导出值，判分由跨家族的判分器承担，避免自己给自己判分。全构建过程过自动化检查，包括题量、语言性别平衡、选项完整性、纯文本可答性，所有采样加种子以便确定性再生。论文明确说明以来源接地与自动化检查贯穿构造，系统性人工验证仍是未来工作方向，复述时不能把自动化检查说成人工逐题核验。

言语情感识别 × 言语情感解释： 言语情感识别要求从 10 类离散情感中选一类，依据是语气语速能量而非情感词；言语情感解释要求同时判断效价和唤醒两个维度且 2 维都对才算对。两者分工是标签式感知与结构化分解，搭配原因是都占用音高通道，正好可以检验声调语言是否干扰情感判断，组合后形成从分类到 2 维推理的台阶。

这意味着猜测空间被压缩到可听细节上。作为例子，长音频正确答案从不是某句原话，而是多段组合才能导出的关系值，例子仅说明构造逻辑。组件分工至此闭环：现象决定任务，任务决定金答案来源，金答案决定干扰项做法。

本研究训练了什么，没有训练什么，真实计算在哪里？

本研究没有训练任何被测模型，这是一个纯评测工作。6 个被测音频大模型是直接调用，前沿托管四家与区域开源两家，区域两家为本地运行。题目生成调用大模型预览版，开放作答判分调用跨家族的判分器，推理痕迹审计分类调用同样不在被测家族的分类器。论文用跨家族设计避免直接自评，但也声明这不能替代系统性人工验证。

真实音频推理 × 幸运猜测： 真实音频推理指回答正确且陈述的理由引用了与参考转写一致的具体可听内容；幸运猜测指回答正确但理由空泛、只做选项排除或与自己给的答案矛盾。两者都是审计对正确回答的分类，分工是把答对拆成有依据和无依据，搭配理由是只看准确率会高估听力，组合后才能同时报告答对率和讲对率。

真实计算发生在三处。一是评测推理，所有音频以 16 kHz 呈现，选择题按洗牌后金选项精确匹配计分，开放作答多数任务二值对错，情感解释要求 2 维全对，长音频用零到一的 3 维加权计分再判定，报告每任务每格式准确率和全题样本加权平均。二是审计分类，对 3 个家族各一代表做每任务分层抽样，分类器读陈述理由对照参考转写与标准元数据打接地标签，错答再打失败类型。

三是 5 个对照实验的重复推理，包括音频换转写、问题译为母语、选项从十减到四、声调混淆控制、选择对开放对比。论文未报告梯度路径、参数冻结与训练资源，因为本研究不做训练，复述时应指出这些缺项而不从模型名推定实现，也不能把无训练说成确定性求解。审计标签只描述陈述理由的接地，不证明音频因果决定了预测。

评测条件如何保证公平，指标方向怎么读？

公平条件有 4 层。音频呈现一致，均为 16 kHz，测试时无转写。问题语言默认英语，但在对照中译为音频母语以检验是否扭曲分数。选项条件一致，均为最多十选项且金位置去偏，对照中再做四七十的缩减。判分家族隔离，生成、判分、审计分属不同家族，被测家族不给自己判分。指标方向都是准确率越高越好，加权平均为全题样本加权而非任务平均，长音频题少但每题权重按样本计。

多项选择 × 开放作答： 多项选择提供最多 10 个易混淆选项并做金答案位置去偏，考查在限定候选中辨别；开放作答只给一个标准答案，由跨模型判分器判对错，考查无提示生成。两者分工是控制选项带来的提示量，搭配原因是选项越多猜中越难，组合意义是用同一任务的两种格式量化选项膨胀了多少分。

开放作答判分提示按任务分别写，方言辨别要求顺序全对才给分，歧义要求传达同一读法且对双话段顺序敏感，方言理解做语言无关的指称判断并接受拼写音译差异，长音频按正确性相关性完整性加权且遗漏封顶，情感识别宽松判情感，情感解释必须两轴全对。审计标签定义固定，接地轴标每条回答，失败类型轴只标错答，正确且有依据记为真实音频推理，正确但无依据或矛盾记为幸运猜测。

论文声明这些标签描述陈述理由的接地，不证明音频因果决定了预测，初学者不能把有依据读成因果证明。以下比较问题统领后文数字表：在相同音频与相同计分下，前沿与区域模型的差距有多大，哪些任务最难，开放格式比选择难多少。公平条件是全基准同一音频、同一题目、同一判分器，加权平均按样本聚合。

附：实验资源与数据可用性说明

被测 6 模型分前沿托管与区域本地两类，生成判分审计三角色分属不同家族以避免直接自评。数据总量选择开放各半，长音频来自百余段对话。音频总量按任务分别为方言 1 小时余、歧义 2 小时余、方言理解 1 小时余、长音频十余小时、情感识别与情感解释各 1 小时余。情感标签分布与声调对照的标签控制已在正文交代。

本次收到的资源状态为可用，状态码二百，可写数据集当前已公开，复现时仍应以链接实时可达为准。初学者复现时先核对语料授权与采样率，再核对题型划分，避免把样本量不同的任务直接平均。硬件预算方面论文未报告训练开销，因为本研究只做推理评测，推理开销与延迟也未系统测量，不做承诺。

主结果显示谁最好，哪里最难，开放格式掉了多少？

主结果要回答 3 个问题：最好能到多少，任务难度如何分层，去掉选项会掉多少。比较问题是 6 模型在任务格式格上谁领先，公平条件是同一音频同一判分，加权平均按样本聚合，指标方向为准确率越高越好。下表用整理写法呈现 headline，最好的系统仅答对约一半，区域两家落后较多。

上表的主要收益是确立基准很难且前沿领先，代价是方言辨别所有模型最难，长音频与方言理解对前沿相对可解但对区域模型仍难。反例是区域模型长音频崩塌，论文归因于其训练音频上限约 5 分钟而本题 7 到 23 分钟，不是单纯推理失败。未胜出项是更大规模的前沿模型反而落后更新的轻量调优版本，说明新近程度与音频调优重于规模。

选择与开放的对比需要看像素。以下导读针对本次实际收到像素的题型对比图，图中按任务 pooled 6 模型全基准准确率，蓝色为选择，橙色为开放。

看图路径： 1. 先按图例确认蓝色为选择题、橙色为开放作答；2. 逐个任务比较两根柱子的高低，找出唯一橙色反超的情感识别；3. 注意方言辨别两根柱子都最低且差距最小

论文图 4。原论文 Figure 4:：“Multiple-choice versus open-ended accuracy by task, pooled over all six models on the full benchmark. Open-ended is lower on every task except speech emotion recognition.”。

这张图按任务 pooled 6 模型全基准准确率，蓝色选择高于橙色开放几乎处处成立，方言理解落差最大，长音频也有明显落差，唯一例外是情感识别开放略高于选择。解释是去掉选项后无法靠排除猜测，开放是更严的度量，但 6 模型在两种格式下排名顺序完全一致，因此比较不是格式 artefact。例子仅用于理解落差方向，具体落差以论文表格数字为准。总体趋势不等于每组都成立，情感识别例外提醒不能把开放必难当成定理。

去掉音频、减少选项、换问题语言会发生什么？

这节按问题组织 5 个对照，每个对照说明测什么、条件是否一致、支持什么判断与限制。首先是音频对转写，测题目是否必须听，条件是同一题仅把音频换成标准转写。在 4 个内容任务上音频优于转写，加权掉多个点，韵律歧义音频优势最大，证明基准需要音频而非文字。两个诚实反转是某前沿模型在方言理解上转写反而更高，说明难度在方言声学本身而非泄露，某区域模型在长音频上转写更高，原因是其音频上下文上限较短。比较问题是音频相对转写的增益是否跨任务成立，公平条件是全基准两种格式 pooled。下表用原文逐字写法整理差值与声调对照。

上表的主要收益是确立音频必要性，具体代价是方言理解与长音频各有一处转写反超，不能说成所有格音频必胜。反例已在段首解释，一个是干净转写绕过方言声学，一个是上下文上限。报告显示支持基准成立，可能待验证的是换更长上下文能否追上，论文未做断言。

其次是推理接地审计，测答对是否讲对。比较问题是正确中多少有依据，公平条件是同一样本同分类器，指标为占正确的份额。下表用原文逐字写法整理三家审计 headline，总体仅约四分之三正确属于真实音频推理。

上表说明答对不等于讲对，代价是审计用单一大模型加作者小样本抽查，无系统性人工验证。未胜出项是方言辨别即使前沿也近半猜测，韵律歧义前沿正确时几乎全为真实，说明猜测集中在特定任务。失败以理解为主，方言理解例外转为感知为主，长音频错答弃答与推理偏高。

剩下 3 个对照放在一段。选项缩减从十到四使所有模型膨胀，但最强涨得少，弱者涨得多，且膨胀大的模型幸运猜测率更高，证明十选项是承重设计。问题译为母语在样本总体只动数点以内，英语默认不扭曲总体，但个别格波动大，逐格母语稳健仍不均。声调混淆在标签控制下无惩罚，但因果分离需纯韵律条件，论文留作未来工作。以下像素图即该对照的可视化，左组情感识别两柱接近，右组情感解释声调更高。

看图路径： 1. 确认蓝色为印尼语非声调、橙色为泰语声调；2. 比较情感识别两柱几乎持平，解释为无声调惩罚；3. 比较情感解释右侧橙柱明显更高，结合误差线判断差距方向

论文图 5。原论文 Figure 5:：“Tonal vs non-tonal language: accuracy on speech emotion recognition and speech-affective interpretation, pooled over all six models and both QA formats (full audio), with 95%…”。

这张图左组情感识别两柱接近，右组情感解释泰语明显更高，误差线为置信区间，标签构成已控制，情感识别只比两语共有标签，情感解释四格天然相同。因此结论是声调未使情感评测吃亏，不能读成声调帮助情感，右组差距可能含语料与标签以外的混淆，论文未做因果断言。初学者应区分报告与推测：无惩罚是报告，因果是待验证。

哪些结论不能下，哪些边界尚未评测？

论文用报告、支持、可能 3 级措辞，直接报告的是数字，支持的是机制解释，可能的是待验证推测。已明确的限制包括纯评测无系统性人工验证与人类基线，六任务只覆盖 3 种语言且集中在前两者，两任务问答由某家族模型生成而被测多为同家族故可能有自偏好，虽用跨家族判分与分家族报告缓解但未消除。

审计用单一大模型仅经作者小样本抽查，开放作答除长音频外二值计分，审计只评估陈述理由的接地而不证明音频因果决定预测。未评测边界包括不确定性估计、静音或错配音频等反事实控制、把接地审计用作训练信号，均列为未来工作。复述时要区分缺失证据与技术错误，缺失不是错误，相关不是因果。

未测量误判率延迟成本时不承诺这些改善，训练资源推理开销输出帧率与实际延迟分开讨论。总体趋势不等于每组每步成立，例如开放低于选择总体成立但情感识别例外，音频优于转写总体成立但两格反转，问题语言总体稳定但个别格大波动。另一个常见误解是把区域模型长音频崩塌读成推理不行。

论文证据支持的是能力包络，区域模型作者评测音频上限较短，而本题更长，转写反而更高，长音频错答弃答偏高，这些共同支持上下文管理缺口，但不等同于证明换更长上下文就一定追上前沿，仍需待验证。初学者应保留这种谨慎，避免把相关性写成因果。

要复现这套基准，先做什么，需要什么条件？

先按依赖顺序准备。第一步拿数据，10 个公开语料按附录来源找齐并重采样到 16 kHz，核对语言划分与长对话总量。第二步按任务重建音频，方言任务拼 4 段加静音间隔并随机顺序，歧义任务保留单句、双读、同句双说加目标锁定三变体，方言理解锚定方言转写，长音频保留整段多分钟不切，情感任务保留规范标签与效价唤醒格。

第三步走两条问答路线，固定标准答案四任务用模板或在固定金答案下起草并做十选项近邻干扰与位置去偏，生成器两任务用音频加对齐转写锚定实际说出内容并禁引用改写，长音频答案必须是跨远距离导出的值。判分与审计条件要原样保留。选择精确匹配洗牌后金选项，开放调用与生成不同家族的判分器，审计调用不在被测家族的分类器并用同一标签定义。

报告时同时给每任务每格式准确率与全题样本加权平均，审计同时给真实部分幸运占比与失败类型分布。对照至少重做音频换转写与十改四选项，因为这两项决定基准是否听与是否猜。问题语言翻译与声调控制可后做，但逐格数字要保留以免总体掩盖局部不稳。值得尝试的时机是研究东南亚方言音系、韵律句法、长对话整合或情感韵律，且需要证明模型真听而非靠文本先验。

还需补的验证是系统性人工核验与人类基线、不确定性区间、静音错配反事实、声调与情感因果分离的声码器条件。代码权重与系统可运行要区分，论文开源的是评测数据样本，模型权重分属各自发布方，不能把数据可用说成全系统可一键运行。复现时保留关键超参数和信息条件，区分代码开源、权重下载和系统可运行。

一句话收束：什么成立，什么代价，下一步看哪里？

成立的是东南亚音频推理远未解决，最好仅约一半且答对中仍有无依据，音频换转写掉多个点，十选项、开放格式与接地审计共同防止把猜测当听力。代价是方言辨别最难且猜测最多，区域模型整体落后且长音频受上下文上限拖累，审计与判分依赖大模型而缺系统性人工验证。

下一步看人类基线、更多语言任务、反事实控制与不确定性报告，以及接地审计能否从诊断变为训练信号。初学者复述时抓住一条样本路径即可：一段 16 kHz 真实东南亚音频进入任务，模板或锚定生成产生问题与金答案，模型只听音频作答，判分器按格式计分，审计分类器再查理由是否引用具体可听内容，最后用 5 个对照排除文本、选项、语言与声调的影响。

这条路径走通后，再展开到六任务与 6 模型的完整矩阵，才能把准确率与接地质量分开理解。教学目标不是记住每个数字，而是能说清每个数字在什么条件下测得、能支持什么判断、还有什么边界尚未评测。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-22 语音/音乐/音频论文速递