听出言外之意：粤语语音语用基准如何让韵律参与推理

英文题目：YUE-PUB-Speech: A Speech-based Pragmatic Understanding Benchmark for Cantonese

会议身份：conference:interspeech:2026:conference-paper-id:wen26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #基准设计 #低资源 #语音 #音频问答

评分：6.2/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Yajie Wen：机构信息未能从会议 PDF 纯文本可靠映射
• Ziwei Gong：机构信息未能从会议 PDF 纯文本可靠映射
• Chengyan Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Xiyun Gong：机构信息未能从会议 PDF 纯文本可靠映射
• Yun Xue：机构信息未能从会议 PDF 纯文本可靠映射
• Julia Hirschberg：机构信息未能从会议 PDF 纯文本可靠映射
• Bolei Ma：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语用理解需从对话推断言外之意、预设与指称，输入为粤语对话语音与文本、输出为统一选择题答案，难点在于低资源下韵律与语境推理缺乏配对检验且易被词汇主导掩盖。该链条先以英文PUB为源经任务模板统一为选择题，再用Gemini译为粤语并经两名母语者两轮修订及词典规范，修订后文本直接进入录制环节。接着由两男两女母语者在吸音静音间用独立麦克风录制并质检，得到1680条对话约10.87小时的文本语音对齐语料，录制产物再进入同一选题下的纯文本、纯语音与融合对比。相对纯文本评测与副语言分类，该基准强制同一题目比较不同模态，以分离词汇主导与语音增益，检验韵律何时改善推理。在YUE-PUB-Speech基准五折交叉验证任务下，文本语音拼接方法的平均准确率为77.62%，高于Gemini-2.5-Pro零样本的平均准确率75.42%。该结论的适用边界受限于朗读式安静录音与三类现象，实验硬件为2×NVIDIA A6000各48GB显存。结论仅适用于朗读式、安静录音与三类语用现象，不能外推到自发对话、噪声与更多说话人风格。原文未披露训练时长与部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：为什么纯文本会漏掉言外之意？

这篇解读的输入是论文原文提供的构建流程、数据统计和 3 类基线实验，目标是让刚进入语音或语言方向的研究生能复述该基准怎么做、什么条件下语音有帮助、复现时要固定哪些做法。必须保留的信息包括任务定义、粤语数据规模与说话人安排、翻译质检做法、3 种建模范式、硬件与微调配置以及主结果数字，输出是 1 篇可核对的方法讲解。论文研究的任务是语音语用理解，也就是听者要从对话语境中推断说话人意图，而不是只做字面匹配。

作者强调日常会话依赖会话含义、预设、指称消解和比喻等现象，而语调、重音、节奏和停顿常常决定一句话到底暗示什么。举例来说，同样一句回答，用不同重音和拖长可能在直接回答与间接回答之间摇摆，这就是教学例子，不是论文报告的新数值。纯文本基准把这些线索抹掉了，模型容易走捷径，只靠词面语义猜对，这被作者称为词汇主导。语音社区虽有丰富的副语言资源，但多是识别情绪或声音状态，不是围绕语境推理设置监督。

于是缺的是一块同时有语用监督和配对语音的评测板，尤其对粤语这类标注少、文化习惯难以从高资源语言迁移的语言更是如此。

语用理解 × 计算副语言学： 语用理解负责推断字面之外的说话人意图和语境含义，承担是什么含义的推理分工；计算副语言学负责刻画伴随语音的非词 lexical 之外的声音信号如情感、韵律和音质，承担声音怎么送达的分工；二者搭配的理由是同一句话的语调、重音和停顿会改变隐含意义而不只是改变表达方式，组合意义在于把声学建模接到语境推理上，让评测同时检验说什么和怎么说。

理解了这一点，就能明白作者为什么不满足于再做一个粤语语音识别集，而是要把语用问答搬到口语里。后续所有构建动作都是为了让文本内容与语音线索可以对照比较，看清语音在何时真正补上文本的缺口。

补充：如何向同学复述而不引入无源数字？

复述时坚持只讲原文实际给出的安排与已验证对照。遇到数字先问它属于哪个数据集、哪个模型、哪个阶段、哪个指标和哪种聚合，不要把词数、时长、翻译分和推理分混在一起。可以这样讲，先说总集规模与 3 类划分，再说翻译如何保证语用结构不变，最后说 3 种范式在相同条件下的排序。教学例子要明确标为例子，不编造效果数值。

比喻确有帮助时才用，例如把拼接比作给判卷人同时递上卷面和朗读录音，随后必须对应到真实组件，也就是语音编码器提供声学向量，语言模型负责联合判定。若同学追问代码是否可跑，回答应区分文本中提到的链接字样与本次未能确认可达的状态，不承诺已公开或可下载。

相关路线在同输入同目标下差在哪里？

第一条路线是纯文本语用基准，以论文所基于的英文统一问答资源为代表。它把多个专家标注数据集整理成带选项的选择题，输入是文本，目标是检验语用推理，监督来自人工标注的语用标签。它的优点是格式统一、便于比较不同语用类别，但在同样目标下运行阶段缺少声音，无法检验模型是否会用声学证据。第二条路线是语音推理与副语言基准，包括对话行为、声学状态检测以及近期指出的语音推理差距研究。

它们的输入是语音，目标多是较低层的识别或多步程序性推理，监督不是围绕含义推断设计的。论文引用这些工作说明能转写不等于能听懂意图，转写准的模型仍可能在口语推理中掉链。第三条路线是粤语大模型评测，考察句法语义和文化知识，输入多为文本，运行阶段也不配对语音。对比下来，只有本文路线同时满足同输入为对话语境加问题、同目标为选择正确语用解释、同监督为语用标签、同运行阶段可分别跑纯文本、纯语音和多模态。

因此不能把类别差异直接当成同条件胜负，例如用文本大模型的分数去否定语音编码器的价值，因为二者输入证据不同。作者的定位是把统一问答的语用评估搬到粤语口语中，用配对录音支撑受控比较。

要解决的问题与三类语用现象如何划分？

论文要解决的是低资源口语条件下的语用能力评测缺失。形式化地说，每个样本是一段粤语对话语境加一个问题和若干选项，模型要选出符合语用规范的答案，评测指标是准确率，方向是越高越好。数据被组织成 14 个任务，来自 7 个高质量源数据集，覆盖 3 类现象。含义类任务最多，检验从字面之外补出意图的能力，对话从一两轮的短交换到十余轮的多轮话语都有。预设类任务检验对未明说但被假定为真的背景假设的把握，论文报告这类任务逻辑要求深，是 3 类中最难的。指称类任务检验代词和转喻在长短对话中的落地，既有平均二十余轮的长对话，也有只有两轮的短对话。

会话含义 × 预设： 会话含义指说话人借助共享语境和会话规范传达的超出字面的信息，承担从简短问答中补出言外之意的分工；预设指说话人假定为真或已被听者接受的背景假设且在否定下保持稳定，承担检验深层逻辑假设的分工；二者搭配的理由是基准需要同时覆盖短时推理和长语境依赖，组合意义在于区分哪类语用更依赖语音，哪类更依赖逻辑演绎。

这种划分不是随意分组，而是对应不同的对话长度和说话人配置。含义类多为双人对话，预设和指称类涉及 4 人配置和更复杂的轮次结构。理解划分后，才能读懂后文为什么说预设分数系统性偏低，以及为什么长对话任务对跨轮记忆提出更高要求。

再确认：任务输入输出与成功标准是什么？

输入是粤语对话语境加问题，输出是从选项中选出一个答案，成功标准是准确率高。难点在于正确答案往往不在字面上，需要结合语境、背景假设和指代关系，有时还要借助重音和停顿。与之相关的路线在输入、目标、监督和运行阶段上各缺一块，纯文本缺声音，副语言缺语用监督，粤语评测缺配对语音。正因为如此，论文的贡献不是提出新模型，而是提供一块能公平比较纯文本、纯语音和多模态的板子。读结果时要带着条件读，看到提升先看比较对象是否可运行，看到最优值先看是微调得到的还是零样本得到的，看到总体平均先看 3 类各自的表现，避免把某一类的峰值当成全程的保证。

方法全景：一个样本如何从英文题变成粤语语音题？

整体流程分 3 段，先做文本收集与统一格式，再做翻译与人工校验，最后录音并做质检。沿一个样本走一遍会更清楚。输入是一道英文语用题，包含背景、问题、回答和选项。第一步用任务专用模板把它改写成统一的问答形式，使不同来源的蕴涵、分类等格式都能用同一选择题接口评测。第二步用大模型把背景、问题和选项译成粤语，要求保留语用上的微妙差别。

第三步由母语者做两轮校验，第一轮改直译错误并调成自然粤语表达，第二轮统一全集的用词，拿不准时查现代粤语词典，文化上对不上的样本直接删掉。拿到定稿的粤语脚本后，按协议录音。说话人先通读整段对话，再以自然但不夸张的方式读出该语用现象许可的韵律对比，录音环境固定，质检不过就重录，发音不一致时同样查词典统一。这样每个样本最终是 1 对配对的文本与语音，都指向同一个语用判断，支持纯文本、纯语音和多模态的对照。

下面这张图展示的正是从英文框经翻译提示到粤语框再到多模态数据的回环，值得对照文字细看。

本小节图前导读已经说明了从英文问答到粤语脚本再到配对录音的主路径，读者可按焦点顺序观察提示语、译文框与回环箭头的对应关系，为理解后文录音分工打下基础。

看图路径： 1. 先找到上方英文原文框，确认上下文、问题、回答和选项是如何组织成统一问答格式的；2. 再看红色翻译提示框如何要求只输出粤语译文，并对照下方粤语背景问答框检查含义是否对应；3. 最后沿灰色回环箭头理解文本脚本如何流向多模态数据录制，再回到评测环节

论文图 1。原论文 Figure 1：“The overall construction pipeline of YUE-PUB-Speech with an example instance.”。

图中可见上方英文框完整保留了背景、提问、回答、选项和正确答案字段，红色提示要求只输出译文不做分析，下方粤语框把同一结构转写为自然粤语表达，灰色箭头把文本脚本与波形图标连成回环，直观对应正文所说的模板统一、自动翻译加人工校验、再按一致协议录音的 3 段式安排，例子中直接回答与间接回答的选项划分也与正文的统一问答设计一致。

组件分工：文本、语音编码器与拼接如何配合？

基准的评测组件有 3 组。第一组是单模态，纯文本用问答文本驱动语言模型，纯语音只给原始语音，用多模态模型的语音通道作答，用来估计各自单独能走多远。第二组是文本语音特征拼接，用不同语音编码器抽声学表示，连到文本输入后面，再用同一语言模型做监督微调。这样在相同语言模型和相同监督下，能隔离编码器的影响。编码器覆盖手工声学特征、通用自监督编码器以及侧重中文声学表示的模型。第 3 组是端到端音频语言模型，同时吃语音和文本，在零样本下作答，用来检验当前通用多模态能力，不做任务专用训练。

文本语音拼接 × 语音编码器： 语音编码器负责把原始录音转成可供语言模型使用的声学表示，承担听见什么的分工；文本语音拼接负责把该声学表示与文本输入连在一起送入同一大语言模型，承担让两种证据联合判定的分工；搭配理由是在同一语言模型和同一监督下隔离不同声学表示的效果，组合意义是检验手工特征与自监督表示谁更能补上文本缺失的语用线索。

沿样本看数据流，粤语对话文本进入语言模型的词表示分支，同一段对话的录音进入语音编码器变成声学向量，两路在输入层拼接后联合决定选哪个选项。论文特别提到简单拼接中手工特征在含义类上表现突出，这提示在数据量有限时，紧凑且可解释的韵律特征可能比大而通用的表示更易学到语用对比，但这只是报告的现象，还需更多消融才能确定因果。

构造与训练：哪些参数在动，哪些流程在保证质量？

这项工作没有训练新的语音编码器或从零训练大模型，它的训练含义是两部分，一是数据集的构造流程，二是基线评测中的监督微调。构造侧没有梯度更新，计算过程是模板改写、机器翻译、两轮人工修订和录音质检。翻译质量用两种方式检查，一是把粤语译文回译成英文再与原文比词汇和语义相似度，报告平均语义分数在 94 分以上，二是请 4 位母语者在语法、流利度、充分性和地道性上按 5 分制打分，平均都在 3.9 以上，地道性接近 3.96。这些数字说明译文保留了语用逻辑，但它们是翻译质量指标，不能直接当成语用推理准确率。

零样本推理 × 监督微调： 零样本推理指不做任务专用训练而直接用音频语言模型同时读语音和文本作答，承担检验通用多模态能力的分工；监督微调用带标注的粤语问答对更新语言模型适配器，承担学习本地会话准则和任务格式的分工；搭配理由是低资源粤语下通用模型可能不熟悉本地表达，组合意义在于比较通用能力与专用适配各自的上限和代价。

评测侧的监督微调只更新语言模型的低秩适配器，原文明确给出秩为 8，缩放系数为 16，丢弃率为 0.05，采用五折交叉验证，每折内按 4 比 1 划分训练与测试。论文未报告编码器是否冻结、学习率和训练步数等细节，这些是具体缺项，复现时不应从模型名字推定实现。零样本分支则不做任何任务训练，直接调用开源与闭源音频语言模型作答，采样配置为核采样阈值 1.0 和温度 0.2。录音侧固定 4 位 20 岁出头的母语大学生，2 男 2 女，单人样本均分背景与问题，多人对话轮流换角以平衡身份，录音在铺设吸音棉的安静棚内用专用麦克风加防喷罩完成。

实验条件：数据划分、指标与硬件如何固定？

数据协议方面，总集包含 1680 段粤语对话，录音时长约 11 小时，其中含义类占 1200 段，预设和指称各 240 段，共 14 个任务。任务类型覆盖回答分类、含义恢复、比喻理解、蕴涵判断、预设判断和指代问答等。对话长度差异大，短的平均一两轮，长指代任务平均二十余轮，平均词数从二十余词到近 300 词，对话时长从约 9 秒到约 75 秒。单人与多人配置按任务类型安排，单人时男女各录一半背景和一半问题，多人时交替出场并系统交换角色。

指标方面，主指标是所有任务上的准确率，翻译质检另用词汇重叠与语义相似度加人工 5 分制，不应混为同一列比较。聚合口径是先按 3 类现象分别平均，再报全任务总体平均。硬件与运行条件为两块 48 吉显存的显卡，生成用上述采样配置，监督微调统一用低秩适配器与五折验证，保证不同编码器之间的比较条件一致。

指称消解 × 转回翻译评估： 指称消解负责在长短不一的对话中确定代词和转喻指向谁或什么，承担检验跨轮指代的分工；转回翻译评估负责把粤语译文再翻回英文并与原文比较，承担检验翻译是否保留语用逻辑的分工；搭配理由是录音前的文本必须先保证语用结构不变，否则语音实验的比较就不公平，组合意义是用自动语义相似度和人工流利度双重把关后再谈语音是否有增益。

需要特别核对的是数据集、模型、阶段、指标和聚合对象五件事。同样是 80% 左右的数字，出现在翻译语义分、人工评分和推理准确率里含义完全不同，百分点提升与相对百分比提升也不能混用。原文若出现表头与正文措辞不一致，应以正文明确的任务划分和聚合说明为准，不自行编造划分口径。

主结果：语音在什么条件下带来增益？

比较的问题是，在固定语言模型和监督的条件下，加入语音是否稳定优于纯文本，以及纯语音单独能走多远。公平条件是拼接分支共用同一语言模型与五折微调，只有编码器不同，零样本分支不做任务训练。指标方向是准确率越高越好。下表把论文正文连续句子中实际出现的规模与关键结果数字整理成可核对的形式，宽表用于同时对照数据规模与可运行策略的报告值，阅读时先看现象类别与任务范围，再看对话数量与报告结论，避免把翻译质量分误读为推理分。

表后解释需要同时讲收益与代价。论文报告，监督微调后的纯文本明显高于零样本纯文本，在含义类上提升近 10 个百分点，说明适配对粤语会话准则有帮助。加入语音后，拼接分支一致优于纯文本基线，而纯语音单独落后，支持该任务既要语言内容也要声音线索的判断。在简单拼接中，手工声学特征达到最高的 80.33% 总体准确率，超过更大的通用音频语言模型。在推理密集的预设与指称上，闭源端到端模型的优势更大，在指称上达到 82.50%。

限制是这些都是在固定录音棚、少量说话人和选择题格式下测得的，不能推广到噪声、口音和开放生成的每一步都成立。未胜出的项也要看到，纯语音零样本整体最低，说明只听声音不看文本不足以完成语用判断。

表后小结需要把第二张表的对照落到适用边界上。拼接增益与纯语音落后的并存说明声音线索须与文本内容结合解读，预设类绝对值偏低与棚录选择题设置共同限定了结论范围，硬件与微调配置仅视为可复现条件而不直接解释效果来源。

消融与反证：换编码器与换范式说明什么？

论文的消融不是删模块，而是换语音表示与换建模范式。编码器维度比较了手工特征、通用自监督表示和中文侧重表示，结果是手工特征在含义类上最有效，作者将其解读为在低资源下紧凑特征更易捕捉韵律对比，但这属于有限解释，还需验证是否只是选择题格式或特定任务分布带来的。范式维度比较了微调拼接与零样本端到端，结果是微调拼接在总体上占优，而端到端大模型在需要逻辑演绎的预设和指称上更强。

这支持两者各有所长的判断，也说明简单拼接尚未充分挖掘跨模态交互。失败条件方面，纯语音零样本明显落后，证明词面内容不可缺。另一类反证是预设在所有架构下都偏低，说明仅靠加入语音不能解决深层假设推理。论文没有报告去掉文本只留韵律、或打乱语调再测的对照，也没有测量误判率、延迟和推理开销，因此不能从准确率提升推定系统更快或更便宜。

复现时应保留同一语言模型、同一划分和同一聚合口径，否则编码器之间的差异会被训练条件差异淹没。

边界与缺项：哪些结论还不能下？

首先是说话人与场景边界。录音来自 4 位年龄相近的大学生，在安静吸音环境下按脚本朗读，要求自然但不夸张。这保证了可控性，但覆盖的年龄、口音、自发重叠和噪声都有限，不能把棚录选择题的增益直接推广到真实对话。其次是方法边界。评估用的是相对简单的基线设置，没有探索更先进的多模态融合，拼接只是把声学向量连到文本后面，端到端模型也只在零样本下测试，因此不能说已探到数据集上限。

第三是证据缺项。原文未给出编码器冻结状态、学习率、训练轮数和统计显著性，也未测量延迟、成本和误判分布，相关性不等于因果，总体趋势不等于每组任务都成立。资源方面，正文虽写有数据集链接字样，但本次没有获得可验证的可用资源绑定，因此不能声称数据、代码或模型当前已公开或可下载，复现前需自行确认可达性。最后是指标边界。翻译的自动分数和人工评分只证明文本保真，不能替代语用推理分，不同指标的差值不能放在同一模型列下比较。

复现先做什么：按什么顺序固定条件？

第一步先复刻数据理解。按 3 类现象清点任务来源与对话数量，核对单人与多人录音分工，确认问题格式都是带选项的选择题，指标是准确率且先按类别平均再报总体。第二步固定文本基线。用同一语言模型分别跑零样本与监督微调，微调采用低秩适配器秩 8、缩放 16、丢弃 0.05，五折验证且每折 4 比 1 划分，采样阈值 1.0、温度 0.2，硬件参照两块 48 吉显存显卡。第三步再加语音。

在不换语言模型和划分的前提下，逐个替换语音编码器做拼接微调，记录 3 类现象各自的分数，不要只看总体。第四步跑零样本端到端模型，不做任务训练，直接同时给语音和文本作答。整个过程要分开记录翻译质量分与推理准确率，前者用回译相似度和人工 5 分制，后者用选择题准确率。若要补验证，优先补三项，一是打乱或剥离韵律的对照以检验增益是否真来自语用韵律，二是留出说话人的交叉验证以检验泛化，三是报告多次运行的波动与显著性。

何时值得尝试这个路线，当你的任务是低资源语言的口语意图判断，且怀疑纯文本已触及词汇捷径天花板时，配对录音加拼接微调是成本较低的起点。

收束：这篇工作留下了什么可用的判断？

回到中心矛盾，低资源粤语既缺语用标注，又难以从高资源语言迁移习惯，而纯文本评测还会掩盖语音特有的失败。论文用配对录音把语用问答搬到口语里，报告显示文本加语音稳定优于纯文本，纯语音单独不够，简单拼接在有限数据下反而能超过通用大模型，但在预设这类逻辑密集任务上大模型的端到端优势仍在。教学上要记住，韵律改变的是含义而不只是送达方式，评估时必须同时固定数据集、模型、阶段、指标和聚合对象。

对研究生而言，可复用的动作是先统一问答格式，再做机器翻译加两轮母语校验并删除文化错位样本，最后按固定协议录音质检。未验证的推测应以可能或待验证表达，例如手工特征为何在含义类上最强，还需更细的韵律对照才能确定因果。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总