一次输出五种标签加解释：联合多粒度评分如何兼顾整体与细节

英文题目：A Finetuned SpeechLLM for Joint Multi-Granular L2 Assessment and Natural-Language Rationales

会议身份：conference:interspeech:2026:conference-paper-id:parikh26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#偏好优化 #音频大模型 #可解释性 #语音 #语音属性识别

评分：6.0/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Aditya Kamlesh Parikh：机构信息未能从会议 PDF 纯文本可靠映射
• Cristian Tejedor-Garcia：机构信息未能从会议 PDF 纯文本可靠映射
• Catia Cucchiarini：机构信息未能从会议 PDF 纯文本可靠映射
• Helmer Strik：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作处理二语朗读发音评估，输入为语音波形加正字法转写与目标音素序列，输出为句级准确度与流利度与韵律三方面等级加词级与音素级准确度序列标签及一段自由文本依据，难点在于标签严重偏向高分且细粒度错误稀少而主观依据难验证。方法链分三步推进：先以 rubric 提示词将五维标签与依据统一为固定格式单遍生成，使细粒度目标为句级判断提供接地；再以监督微调学习格式与基本映射；最后以有界直接偏好优化 Bounded Direct Preference Optimization 在正负标签对上强化 rubric 一致性并限制对近 miss 拒绝项的过度压低。与级联ASR再评分基线相比，该方法以冻结Qwen2-Audio-7B-Instruct骨干加LoRA适配单遍联合建模多粒度标签并附带依据，其细粒度错误定位能力尚未验证，训练在单块RTX A6000硬件上完成因而推理开销受限于大模型解码。在SpeechOcean762测试集下，多粒度模型BDPO-M的PCC为0.73，高于单粒度模型的PCC为0.72。依据分析显示句级情感自洽但词与音素提及稀疏且与人工标签弱对齐，表明细粒度可信度尚未成立。原文未披露训练时长、推理采样与部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先把任务边界讲清

这篇解读的输入是论文正文提供的确定性证据，目标是让刚进入语音与语言学习方向的研究生能够复述方法与实验条件。需要保留的信息包括研究对象、模型基座、训练目标构造方式、数据划分与指标定义、主要数字结果以及解释可靠性分析的结论。输出是 1 篇按学习依赖展开的中文技术说明，不做超出证据的推断。

论文研究的任务是自动化的第二语言口语评估。输入是一段朗读语音，同时附带这句话的文字记录和期望发出的音素序列。输出不是单一分数，而是 5 个维度的等级标签：句子级的准确度、流利度、韵律，以及词级准确度和音素级准确度，每个维度都取优秀、良好、一般、差、最差 5 个有序等级，最后再附带一段自由文本解释，说明为什么给出这些等级。白话说，模型既要当评委打分，又要当老师写评语，而且评语要和分数对得上。

为什么这个任务不只是把声音丢给模型就结束。早期的发音评估往往只输出数值或词音素对错，学习者难以据此改进。多粒度评估要求同时看到整体是否流畅自然，以及具体哪个词哪个音发错。论文进一步要求解释必须同时满足两点：与模型自己的预测自洽，与人工标注在粗细两个层次上一致。如果解释只是听起来合理但点名的位置与分数不符，就不能用于教学反馈。这是全文反复检验的核心矛盾。

已有路线走到哪里，本文补哪一块

可以把已有工作按输入、目标、监督和运行阶段对照。第一条路线是传统发音好坏度量与自监督语音表示，例如基于隐马尔可夫的音素打分以及后来的语音自监督模型，用于误发音检测和可懂度打分。这类方法输入是语音，目标多为局部检出或数值分数，优点是与声学联系紧密，缺点是输出往往是难以行动的数字或 token 级标签，缺少教学可读性。

第二条路线是多粒度多方面评估框架，同时处理句子、词、音素级别。例如基于变换器的多方面多粒度评估模型，在同一语料上给出多层分数。这类工作已经证明联合建模的价值，但通常不生成连贯的自然语言解释，学习者仍然需要自行理解分数含义。

第三条路线是级联的语音转写加文本大模型。先用识别模型把语音转成文字，再让文本大模型打分并写解释。这种做法能写出流畅的解释，但解释没有直接利用声学信号，难以保证评价扎根于实际发音证据。端到端语音大模型把声学编码与语言模型结合，指令微调后能更好地遵循复杂格式要求，是本文选择的技术起点。

本文补的位置是端到端、规则引导、1 次输出多粒度标签加解释。相关证据指出零样本的规则引导语音大模型存在讨好偏差，倾向于高估分数。监督微调可以缓解这种偏差，而面向不平衡数据的简单偏好优化有助于扩展到多方面评估。本文沿着这一思路，用监督微调加有界偏好优化来处理有序等级与严重不平衡，并系统检验解释在句子级与词音素级的可信程度。

中心问题是什么，难在哪里

论文提出的中心问题是：端到端语音大模型能在多大程度上 1 次预测多方面多粒度的第二语言标签，并生成与自身预测和人工判断一致的解释。这个问题包含 3 个具体困难。第一是联合建模困难，以往系统要么只做句子级整体打分，要么只做词音素局部诊断，很少在 1 次端到端流程中同时做好两者。第二是标签严重不平衡，训练数据中超过八成标签集中在良好和优秀，最低等级几乎没有样本，模型容易学到一律给高分的捷径。第三是解释可靠性不明，模型可以生成表面合理的解释，但未必忠实于所打标签，特别是在需要精确定位的词音素层次。

举例说明有助于理解，但例子不是论文数据。假设目标句包含多个词，句子整体听起来流畅但其中一个词的元音明显偏离，理想输出应是句子流利度仍较高而该词准确度较低，并在解释中准确点名该词。如果模型为了整体高分而把该词也评为优秀，或解释中点名了另一个并没有错的词，就分别违反了多粒度准确性和解释忠实性。论文的实验设计正是围绕这类一致性展开。

方法全景：一个样本如何走完输入到输出

先沿一个样本走完全程。输入包括三部分：待评估的语音文件、该句的文字记录、目标音素序列。提示模板把评分规则、文字记录和目标音素序列拼在一起，指示模型按固定格式输出。模型先听语音并结合文字与音素参照，依次给出句子准确度、流利度、韵律 3 个标签，再给出与词序列对齐的词级标签序列和与音素序列对齐的音素级标签序列，最后写一段自由文本解释。输出解析时按行提取标签并映射为整数编号，用于计算相关与误差指标。

下面这张图是论文给出的系统提示模板的实际像素，值得逐行对照阅读，它规定了模型 1 次要完成的全部任务与输出顺序。

看图路径： 1. 先从顶部任务说明往下读，确认句子级三方面与词级音素级两任务是否并列；2. 再看输入部分列出的正字法文本与目标音素序列如何作为评分参照；3. 最后对照输出格式，数清三行句子标签加词序列加音素序列加解释的固定顺序

论文图 1。原论文 Figure 1：“1”。

从图中可见，模板顶部明确要求基于规则全面评估语音，第一部分是句子级三项指标并为每个等级提供规则描述，第二部分要求对每个词内联评级，第三部分要求对每个音素内联评级。输入部分只给文字记录和目标音素序列，输出格式固定为准确度、流利度、韵律各一行，随后是词与标签交替的序列、音素与标签交替的序列，最后是解释。这种单提示联合 elicitation 的设计意图是减少多次提示带来的不一致，促使句子判断受到细粒度语音词汇目标的约束。教学上可以把该图当作复现时检查输出解析的依据：凡是不符合该顺序的生成都应视为格式错误，而不是直接参与指标计算。

基座与高效微调：冻住什么，更新什么

基座模型是问答与音频理解能力较强的 7000000000 参数量级的指令型语音大模型。白话说，基座已经会听声音并按指令生成文本，本文不重新训练整个模型，而是保留其声学表示能力，只做小幅适配。具体做法是把基座权重在四比特量化下冻结，冻结就是前向参与计算但反向不更新。然后在解码器层的查询、键值之外的特定投影模块中插入低秩适配器。低秩适配就是用两个小矩阵的乘积来近似大权重更新，从而大幅减少可训练参数。论文报告的配置是秩为 64，缩放系数为 128，丢弃率为 0.05，可训练参数约 115,000,000，约占原模型 1.6%。

这种选择的安排理由在证据中有明确说明：最小化显存占用并保留预训练声学表示。训练时参考策略是同一基座但关闭适配器，用于偏好优化中的相对比较。需要指出的缺项是论文没有报告音频编码器是否参与梯度，也没有给出适配器之外的归一化或输出头是否更新，因此不能从模型名称推定全部实现细节。

语音大模型 × 评分规则： 语音大模型负责听懂语音并生成结构化文本，评分规则负责规定优秀到最差 5 个等级各自对应什么样的发音、流利和韵律表现，二者搭配的理由是让模型每次输出都有统一的评判依据，组合后新增的作用是 1 次前向同时完成多维打分而不是分模型打分。

从计算路径看，语音先经冻结的声学与语言表示得到上下文，适配器只在解码器内部调整生成偏好，使模型更倾向于输出符合规则的等级序列与格式。监督信号来自人工标注的目标回答，提示词不计入损失，只有评估文本参与交叉熵。

混合目标：监督学习格式，偏好学习规则一致性

训练目标由两部分相加构成，总损失等于有界偏好损失加权重系数乘以监督微调损失，权重系数取 1.0。监督微调部分是在目标评估回答上用教师强制计算交叉熵，提示词被掩掉不计损失，作用是学会固定格式与基本标签分布。偏好优化部分需要为同一输入构造 1 对输出：被选中的正确标签集合与被拒绝的扰动标签集合，优化目标是让模型赋予正确集合更高似然。

直接偏好优化比较可训练策略与冻结参考策略的对数似然比，温度系数控制向参考策略靠拢的强度。论文指出细粒度评估中的拒绝样本往往是近 miss，例如良好与优秀之差，标准优化会过度压低这种合理备选。因此采用有界变体，把拒绝项的似然替换为当前策略与参考策略的插值，界参数取 0.5，偏好强度取 0.1，从而限制拒绝项被压得过低。白话说，正确与接近正确的差距不应像正确与完全错误那样大，有界处理就是给相邻等级留有余地。

监督微调 × 有界直接偏好优化： 监督微调负责教会模型输出固定格式和基本标签，有界直接偏好优化负责在正确标签和扰动后的错误标签之间拉开差距，二者搭配的理由是交叉熵只教对错而偏好比较能突出相邻等级的细微差别，组合后新增的作用是在严重偏向高分的训练数据下仍能学到低分模式且不把相近错误标签压得过低。

符号含义需要讲清：输入代表语音加规则提示，正确输出代表人工标注的结构化标签，拒绝输出代表合成扰动的标签，参考策略是关闭适配器的同一基座。计算目标是增大正确与拒绝之间的似然差距，同时不远离参考策略。原文未给出偏好损失与监督损失在每个 token 上的梯度细节，因此不猜测梯度路径，只按证据说明监督来源与插值约束。

拒绝样本如何构造：扰动哪里，偏向哪边

由于每条语音只有一组人工真值，拒绝标签需要合成。构造方法是扰动正确标签集合。句子级每次只扰动一个方面，例如把优秀改为良好，以隔离单属性错误。词级和音素级则扰动序列中每个标签，但保持 token 对齐与输出结构不变。扰动方向不对称，约 88% 向下调低等级，约 12% 向上调高，目的是对抗生成式评估中系统性高估的讨好偏差。在 2500 条训练语音上，扰动目标大致均匀分布在各个维度，每个维度约 500 条，以促进均衡学习。

这种构造的已验证对照意图是让模型在不平衡数据下仍能见到低分模式。需要注意的是扰动是人工合成的相邻等级，不是真实采集的低分语音，因此它解决的是标签分布问题，不能等同于补充了真实口音或错误类型覆盖。

多粒度评估 × 自然语言解释： 多粒度评估负责同时给出句子整体和词与音素局部的等级，多粒度评估分工在定位问题位置，自然语言解释分工在说明为什么这样打分，二者搭配的理由是只给分数学习者不知道改哪里，只给解释又缺乏可比等级，组合后新增的作用是同一回答内标签与解释相互约束，便于检查解释是否与分数一致。

从输出角度看，被选回答与拒绝回答共享同一提示与格式，只有标签取值不同。模型在 1 次回答中同时生成标签与解释，偏好优化鼓励标签与解释一致的行为，而不是只用 token 级交叉熵逐字拟合。

训练过程：硬件、优化器与检查点选择

微调在一张 48 吉字节显存的图形处理器上进行，使用权重衰减的自适应优化器。为减少偏好微调中常见的梯度不稳定，采用恒定学习率，不使用调度器，学习率取十万分之五。由于显存限制，有效批量大小为 16，通过批量为 1 累积 16 步实现。有界偏好优化的偏好强度取 0.1，边界取 0.5，混合权重取 1.0，均报告为经验调参结果。

训练共 14 个轮次，论文报告句子级损失约在第 7 轮进入平台，而词级与音素级训练损失持续下降到第 11 轮。由于细粒度性能关键，最终报告采用第 11 轮检查点。这个选择体现了方法职责：整体指标早收敛不代表局部诊断已学好，需要按细粒度损失决定停止点。

合理性 × 忠实性： 合理性负责判断解释的情感倾向是否与分数极性相符，例如高分对应正面表述，忠实性负责判断解释中点名的方面或词音素是否与对应标签数值一致，二者搭配的理由是通顺好听的解释不一定真正依据了所打分数，组合后新增的作用是从自洽和符合人工标注两个角度分别度量解释可靠性。

关于解释可靠性的训练含义，论文把合理性操作化为情感一致性，把忠实性操作化为提及一致性。前者用另一文本模型把解释分为正面、中性、负面，再与句子准确度导出的极性比较；后者抽取解释中明确提到的方面与词音素，再与模型预测和人工标注在被提及子集上比较。这意味着训练阶段并未直接优化解释的定位精度，解释质量主要靠联合生成与偏好约束间接改善，这是理解后文词音素忠实性下降的关键。

实验条件：数据、划分、粒度和指标方向

实验使用朗读语音数据集，包含 5000 条英语朗读语音，训练与测试各 2500 条，论文在官方训练划分上训练，在保留测试划分上评估。说话人包括儿童与成人普通话母语者，提供句子、词、音素 3 级人工标注。评估的 5 个维度是句子准确度、流利度、韵律以及词级和句子级之外的词与音素准确度。完整度因定义不清被排除，词重音因是二值信号与有序规则不兼容被排除。原始分数句子与词为 0 到 10 分，音素为 0 到 2 分，均离散化为 5 个有序标签。训练数据严重偏斜，超过八成标签为良好或优秀，最低类别几乎无样本。

指标方面，预测的等级标签映射为数值分数后计算皮尔逊相关系数与均方根误差，同时报告多分类马修斯相关系数以应对有序类别不平衡。皮尔逊越高越好，均方根误差越低越好，马修斯系数越高越好。预测标签映射到对应规则分数区间的中点用于计算连续指标。音素均方根误差数值较小是因为其原始量程不同，不能直接与句子级误差比较大小。

皮尔逊相关系数 × 马修斯相关系数： 皮尔逊相关系数负责度量预测分数与人工分数在连续数值上的线性一致程度，马修斯相关系数负责在类别极不平衡下度量五分类的分类质量，二者搭配的理由是只看相关会掩盖分类边界错误，只看分类会忽略分数校准，组合后新增的作用是同时回答分数趋势准不准和等级分得对不对。

比较条件上，单粒度模型与多粒度模型使用相同设置，仅提示结构受限不同。外部比较包括基于变换器的发音评估模型、商用发音评估服务以及基于简单偏好优化的大模型方法。解释分析使用独立的文本模型做情感分类与提及抽取，因此细粒度忠实分数应理解为可扩展的近似度量而非精确人工核查。

多粒度模型整体表现：哪里强，哪里难

为回答多粒度联合建模在句子整体与词音素细粒度层面如何权衡的问题，下表整理统一多粒度模型在准确度、流利度、韵律及词音素准确度上的相关与误差表现，为后文解读连续相关与分类能力的差异提供依据。

表后解释需要同时看到收益与代价。论文报告句子级最强的是流利度，其次是韵律，表明模型对节奏语调等超音段线索建模较有效。细粒度序列任务相关系数下降，反映 token 级评估的已知困难。但词准确度的马修斯系数高于句子准确度，说明连续相关下降的同时，模型仍能较好地区分词级错误类别。音素均方根误差低是量程不同所致，不代表音素评估最准。未胜出项很明确：音素相关与分类系数均为最低，是全文最弱的一环，这为后文解释在音素级稀疏且对不齐埋下伏笔。

与外部方法的比较：可比条件下谁占优

为检验多粒度联合建模是否以牺牲单粒度精度为代价，本节按句子级准确率、流畅度、韵律以及词级与音素级准确率逐行对比不同方法的皮尔逊相关系数，下表据此整理各粒度的对照结果。

表后解释要区分直接报告与有限解释。论文报告多粒度本方法在句子级具有竞争力，并在细粒度上超过基于大模型的简单偏好优化方法，词与音素相关分别更高。支持的判断是联合建模没有带来大幅退化，且在序列打分上优于近期大模型基线。代价与反例同样清楚：基于识别与好坏度量的变换器方法在音素级仍明显领先，商用服务在词级与韵律上也有优势，说明端到端语音大模型在精细声学打分上仍有差距。多粒度本方法还附带自然语言解释，这是纯分数系统没有的可解释性收益，但该收益的可靠性需要下一节单独检验，不能从分数竞争力直接推出解释可用。

单粒度对照：联合训练带来什么，失去什么

论文用单粒度模型作为对照来验证联合提示策略，相当于 1 次消融：只改变提示结构与输出范围，保持基座、优化与数据设置相同。单粒度在句子准确度上相关为 0.62，流利度 0.72，韵律 0.71；多粒度对应为 0.66、0.73、0.71。论文的解释是联合训练中显式的细粒度语音词汇目标有助于 grounding 句子判断，因此句子准确度全面提升，而流利度与韵律基本持平。

序列级的权衡更细。单粒度词准确度相关更高，但多粒度词马修斯系数更好，表明整体句子上下文有助于区分词级错误类别。音素级多粒度在相关与误差上更好，但分类系数下降，表明分数校准与严格边界判别之间存在权衡。总体上论文认为联合模型在整体与细粒度之间取得平衡，没有实质性退化。

需要补充的限制是该对照只报告了最终检查点的数字，没有给出去掉有界偏好只留监督微调的单独消融，也没有报告不同边界与偏好强度的敏感性曲线。因此不能断言收益必然来自有界项，只能说在当前混合目标与当前检查点下联合策略成立。训练损失曲线显示句子与细粒度收敛速度不同，这支持按细粒度选择检查点的做法，但也提示不同粒度的最优点可能并不重合。

解释可靠性：句子可信，词音素为何不可信

下表整理提及一致性分析的逐字证据，按句子级准确率、流畅度、韵律以及词级与音素级准确率列出提及样本量与对模型预测和人工标注的一致性，用于说明忠实度随粒度变细而下降的比较问题。

表后解释要分清合理与忠实。情感一致性方面，以模型自身预测为参照时跨极性错配几乎不存在，错配多为负面到中性的一步软化；以人工标注为参照时，对低水平语音出现积极偏差，模型常用中性表述而人工给出负面标签，呈现系统性软化倾向。提及一致性方面，句子级与自身预测高度一致，但与人工标注的相关明显更低；词级样本稀疏且一致性下降，音素级提及最少且与双方都弱相关。

定性观察指出模型对高分语音倾向于宽泛解释，对低分语音尝试具体定位但常不可靠，甚至出现基于正字法的启发式，例如从单词拼写推测发音错误。未评测边界包括解释抽取本身由自动化模型完成，细粒度分数只是近似，不应视为精确测量。

复现先做什么，需要哪些信息条件

复现的第一步是准备数据与标注口径。需要同一数据集的官方训练与测试划分，保留句子、词、音素 3 级标注，并按论文规则把原始分数离散化为 5 个有序等级，同时排除完整度与词重音。必须记录等级到数值区间中点的映射，因为相关与误差都依赖该映射，不同映射会改变数字可比性。还要保留文字记录与目标音素序列作为提示输入，缺少任一参照都会改变任务条件。

第二步是重建提示与输出解析。按模板顺序拼接规则、文字记录和目标音素序列，要求模型输出三行句子标签、词序列、音素序列与解释。解析必须严格按行与分隔符提取，格式错误应单独统计，不能混入指标。第三步是重建训练配置：冻结量化基座、插入指定秩与缩放的低秩适配器、构造句子单方面扰动与序列全扰动的拒绝样本并保持约八成八向下扰动、设置偏好强度、边界与混合权重、恒定学习率与有效批量大小，并按细粒度损失选择第 11 轮附近的检查点。

关于可运行性，证据中未发现经验证的代码与模型权重可达性声明，因此本解读不声称代码、模型或数据当前已公开。复现者应先补做格式成功率、解析失败率与类别分布检查，再比较相关、误差与分类系数三项指标，避免只看单一指标得出结论。统计显著性与多次随机种子在原文中未报告，也需要自行补充。

何时值得尝试，还需补哪项验证

综合全部证据，可以给出有条件的判断。当应用需要 1 次给出整体与局部等级并附带可读说明时，这种联合 1 次输出值得尝试，因为它在句子级保持竞争力，在词音素序列上优于近期大模型基线，且没有因联合而大幅退化。当应用只需要最高精度的音素分数时，传统基于识别与好坏度量的方法仍更强，不应为了要解释而牺牲关键精度。当学习者需要精确到音素的改错指导时，当前解释的定位能力不足，不宜直接作为教学依据。

常见的误解需要澄清。第一，解释通顺不等于解释忠实，句子级自洽好不代表词音素点名准确。第二，音素误差数值小不代表音素评估最好，那只是量程不同。第三，相关高不等于分类边界好，需要同时看马修斯系数。第四，偏好优化改善的是规则一致性与不平衡学习，不承诺降低推理延迟或训练成本，原文未测量这些量。

还需补的验证包括：去掉有界项的真正消融、边界与温度的敏感性、多次种子的稳定性、解析失败样本对指标的影响，以及用人评核查自动抽取的提及是否准确。推进方向应放在细粒度忠实度估计与稳健错误定位上，例如让解释必须引用可验证的词音素位置并接受对齐检查，而不是只生成自由文本。只有在定位可验证之后，生成式语音评估才能真正用于教学反馈。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总