语音大模型能替人打出口音与易懂度分数吗：相关、进步与线索的三重检验

英文题目：Can Speech LLMs Approximate Human Ratings of Accentedness and Comprehensibility? Evidence from Correlational and Feature-Based Analyses

会议身份：conference:interspeech:2026:conference-paper-id:dong26c_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#统计分析 #语音大模型 #少样本 #语音 #语音质量评估

评分：5.1/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.5/1.5

排名：后50% | 文档类型：应用研究

👥 作者与机构

• Wenwei Dong：机构信息未能从会议 PDF 纯文本可靠映射
• Catia Cucchiarini：机构信息未能从会议 PDF 纯文本可靠映射
• Roeland van Hout：机构信息未能从会议 PDF 纯文本可靠映射
• Helmer Strik：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为印度尼西亚高中生朗读的英语语音，输出为 1 至 9 分的口音度与易懂度打分，难点在于人类感知同时依赖音段错误与超音段韵律且专家标注成本高。方法链分三步推进：先用语音大语言模型在零样本与少样本提示下直接对语音打分，其输出进入线性混合效应建模以检验前后测进步；再并行用 Praat 与 eGeMAPS 及 Whisper 抽取声学与词距特征，其输出与人类均分及模型分数分别进入 Lasso 筛选与排序对比。与传统预定义维度发音评估不同，该路线不做特征工程而让模型从原始语音隐式整合线索，再以后验特征关联反推其依据。在 31 名测试学习者共 1736 条话语上，最优少样本设置下易懂度 Spearman 相关系数达 0.497 且均方误差降至 1.37，显著低于零样本基线。结论仅适用于朗读式印尼口音英语及所测 Qwen3-Omni-30B-Instruct 模型与提示，在自发对话与其他母语背景中尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先保留哪些关键信息？

这篇解读的输入是论文原文证据与本次收到的官方原图像素，目标是让刚进入语音音乐音频领域的研究生能核对并复述方法，必须保留的信息是数据规模与划分、提示条件、评价指标方向、关键数字的聚合口径与统计模型，输出是 1 篇按学习依赖展开的中文技术解读。任务本身是二语英语朗读的自动发音评估，具体是两个九点感知量表。第一个是口音度，定义为听者感知到的外国口音强度，第二个是可理解性，定义为听者感知到的理解容易程度。

论文把高分方向统一反转为分数越高越不洋腔、越好懂，这一点复述时不能弄反，否则前后测进步的正负号会被误读。研究对象是印度尼西亚一所高中的 65 名十年级学生，年龄 14 到 17 岁，学英语 5 到 10 年，先录前测，再用自研的基于自动语音识别的计算机辅助语言学习系统练习 36 天，共 7 个单元每单元 3 课，含对话词表句表共 308 个不重复文本，最后录后测。分析只用完成全部练习的 33 人，每人前后测各读 28 句，共 1848 条话语。

人类标注来自 9 名母语为印尼语、欧洲语言框架 B2 到 C1 的专家，三周内盲评前后测设计，组内相关系数在口音前测后测与可理解前后测上分别很高，最终取 9 人均值作为每条话语的金标准。学习者中口音与可理解平均最低与最高的 2 人被划为示例集，剩下 31 人作为语音大模型的测试集，对应后文句子级 28 与说话人级 31 的聚合分母。

口音度 × 可理解性： 口音度负责回答听起来有多洋腔，即与母语者预期的偏离强度，可理解性负责回答听者觉得多好懂，即理解 effort 的大小，二者搭配的理由是学习目标已从追求母语水平转向够用与好懂，组合意义是同一段语音要同时给出两个可分离但相关的感知分数，后文人类强相关与模型较弱相关的对比正建立在这种可分又重叠的关系上。

对初学者要先建立直觉，口音重不等于一定难懂，论文后文人类两分数在句子级与说话人级都强相关，但仍是两个构念，模型在这两个构念上的一致性并不相同，可理解性明显好于口音度。传统自动评估多用预设维度如准确流利韵律或识别错误率，语音大模型被寄予的希望是直接从原始语音编码出分段准确、韵律流利与时间信息而不做大量特征工程，但能否对齐人类感知、能否敏感于学习带来的纵向进步，仍缺实证，这就是本研究要补的两个缺口。

同输入同目标的前人路线给本研究留了什么对照？

在同输入同目标的感知研究里，Munro 与 Derwing 确立了口音度与可理解性的定义与九点量表传统，并被扩展到法语德语西班牙语等语言，后续工作指出分段错误会损害可理解性，语速音高等超分段线索与两者相关，而 Dong 等人结合两类线索的数据驱动研究进一步报告超分段对口音度影响更大、分段对可理解度影响更大。论文的第二个研究问题直接继承这条线，即模型是否使用与人相似的分段与超分段线索。

在同运行阶段的自动评估路线里，韵律流利声学特征与识别错误检测各有中等成功，但多是按预设维度打分，不能完整反映人类感知判断。语音大模型路线已有工作显示可接收提示与语音文件并给出反馈，在口语能力评估与误读检测诊断上有探索，但与人类口音可理解分数的对齐证据仍然有限，对时间进步的敏感性也不清楚。

本研究的新意按原文是三点，在零样本与少样本下系统评估口音可理解自动打分，用线性混合效应模型对比人类与模型分数能否同样检出进步，再用分段超分段特征分析模型依据是否像人。复述时要注意类别差异不能当同条件胜负，传统特征工程系统的中等成功与本研究大模型的中等相关发生在不同数据与量尺上，只能作路线对照，不能直接排名。

两个研究问题各自要什么证据才算回答？

第一个问题是语音大模型能在多大程度上评价二语学习者的口音度与可理解性，论文要求 3 类证据共同支撑。第一是话语级人类分与模型分之间的斯皮尔曼等级相关与均方误差，相关越高且误差越低越好。第二是纵向证据，即模型分能否像人类分一样显示后测显著高于前测，这由线性混合效应模型中测试因子的估计与显著性来回答。

第三是聚合证据，即把分数按句子平均与按说话人平均后相关是否稳定，论文报告句子级明显高于说话人级，需要解释为变异度差异而非模型突然变好。第二个问题是模型是否使用与人相似的分段与超分段线索，证据是把 105 个特征与分数先做 Lasso 筛选再按绝对斯皮尔曼排序，比较人类排序与模型排序前十的重叠与错位。

口音榜上人类前三是频谱与响度类、词距排第四，模型榜上时长排第一、词距排第二且时间类占多席，可理解榜上两者都把词距排第一且整体更相似。只有同时看到相关数值、进步显著性与线索排序，才能完整回答两个问题，任一环节都不能单独证明模型像人。

沿一条语音走完全流程：从录音到两个分数

先跟一条样本走完全程有助于建立全景。假设取 1 名测试集中学习者后测读的某句朗读，输入是该条语音文件加一段文字提示，提示里写清口音度与可理解度的定义与九分方向，输出是模型给出的文本分数。零样本下模型只靠定义打分，少样本下提示里还会附带示例语音与对应人类分数，例如低中高各 2 条共 6 条，模型先校准量尺再给测试句打分。人类侧同一条语音有 9 个专家分数取均值，得到两个金标准分数。

评价时在话语级计算人类均值与模型分数的斯皮尔曼相关与均方误差，相关看排序一致性，误差看绝对偏差。纵向分析把所有话语的人类分与模型分分别建模，以分数为因变量、前后测为固定效应、说话人与句子为随机效应，看后测是否显著更高。线索分析对每条话语另算 105 个声学与识别特征，用 Lasso 选出重要子集，再算每个特征与人类分、与模型分的绝对等级相关并排序，比较两个榜单的重叠度。

整个流程没有对语音大模型做权重微调，所有学习都发生在提示内的示例校准与后端的统计建模上。

零样本提示 × 少样本提示： 零样本提示分工是只给定义让模型直接按理解打分，用于测开箱对齐，少样本提示分工是再给带人类分数的示例语音让模型校准量尺，搭配理由是先看绝对能力再看可校准性，组合意义是论文用实验 1 到 3 对比定义与文本的影响，用实验 4 到 9 对比示例数量与类型的影响，从而定位最佳量尺为实验 6。

理解这个全景后才能明白后文为什么先调提示再谈进步与线索，因为量尺没对齐时纵向与线索比较都会失真，论文因此把实验 6 的最优少样本设置锁定为后续全部统计分析的输入。

打分组件：模型、提示变体与评价量尺如何配合？

打分组件的核心是 Qwen3-Omni-30B-Instruct，按原文是可接受语音图像视频与提示、输出文本与语音的开源模型，在语音识别与音频推理上表现较好，本研究只用语音文件加提示作为输入、文本作为输出。提示设计分两大类。零样本有 3 种，一是给定义并要求同时输出两个分数，二是给定义但分开各要一个分数，三是在分开要分的基础上再给朗读文本。

少样本是在定义基础上给多条示例语音与对应人类分数并分开要分，示例覆盖低中高三档，数量从每档组合 1 加 0 加 1 一直试到 5 加 0 加 5，其中实验 6 是 2 加 2 加 2。评价量尺是话语级斯皮尔曼等级相关与均方误差，前者只看排序单调性，对分数整体偏高偏低不敏感，后者看绝对偏差，互补使用才能同时发现排序对但量尺偏的问题。测试量是 1736 条测试话语，对应 31 人乘 28 句乘前后测的规模，示例集 2 人数据不计入测试。

线性混合效应模型 × Lasso 回归： 线性混合效应模型分工是把前后测作为固定效应、把说话人与句子作为随机效应来检验进步是否显著，Lasso 回归分工是从 105 个声学与识别特征中稀疏选出关键线索再按绝对斯皮尔曼排序，搭配理由是一个管纵向变化是否可信，一个管横向依据是否像人，组合意义是只有两关都过才能说模型近似人类评价而不只是数字相关。

对初学者要强调，斯皮尔曼不是皮尔逊，它对非线性单调关系更稳健，适合九点量表这种有序感知分数，而均方误差会惩罚系统性偏低，后文模型均值低于人类正是靠均值与误差共同揭示的。

线索组件：105 个特征从哪里来，各自算什么？

线索组件与打分组件相互独立，先算特征再与两类分数做关联。第一组 16 维来自 Praat 脚本，含话语时长、重心、前 3 个共振峰、基频，以及音高与强度的均值最小最大标准差，还有语速即每秒词数。第二组 88 维来自 openSMILE 的扩展日内瓦极简参数集，最初为情感识别设计但广泛用于超分段任务，含频率相关的共振峰带宽响度、频谱相关的梅尔倒谱等，以及时间描述如每秒响度峰数。

第 3 组 1 维是 Whisper 识别词距，把 Whisper 转写文本与朗读文本比对，统计插入删除替换之和作为整句词距，原文给出词距等于三者之和的公式，数值越大说明识别与原文偏离越大，可近似分段错误。3 组合计每条话语 105 个特征与分数。分析时先把分段与超分段放在一起做 Lasso 降维选出重要预测子，再对入选特征分别算与人类分、与模型分的绝对斯皮尔曼并排序，前十榜单的异同就是第二问的答案。

分段特征 × 超分段特征： 分段特征分工是刻画音段准确性，本研究用 Whisper 词距统计增删替来近似发音错误，超分段特征分工是刻画韵律流利与音色时间组织，用 Praat 的时长基频强度语速与 openSMILE 的 eGeMAPS 共 88 维来覆盖，搭配理由是人类文献已发现二者对口音度与可理解度权重不同，组合意义是论文把两类线索放在同一回归排序里才能判断模型是否用错了权重。

这里的分工要记牢，词距是全文唯一的显式分段代理变量，其余多为超分段声学量，因此榜单上词距位置的变化直接反映模型与人对发音错误权重的分歧。

本研究训练了什么，没有训练什么，真实计算是什么？

本研究没有训练或微调语音大模型的权重，也没有训练 Whisper 与声学前端，论文未报告任何梯度路径、参数冻结解冻、优化器、学习率或早停，相关缺项应如实指出，不能从模型名称推定实现。真实计算分 3 段。第一段是提示推理计算，用固定权重的 Qwen3-Omni-30B-Instruct 对每条测试语音做文本分数生成，唯一的搜索是提示组合与示例数量类型的网格尝试，以话语级相关与误差选优，不涉及权重更新。

第二段是统计建模计算，对人类分与模型分分别拟合线性混合效应模型，因变量是口音或可理解分数，固定效应是前后测，随机效应是说话人与句子编号，输出固定效应的估计、置信区间与显著性。第 3 段是特征选择与关联计算，用 Lasso 对 105 维做稀疏筛选，再算绝对等级相关并排序，不做因果推断。

由于没有训练，本研究的进步检出不能理解为模型学会了教学干预的因果效应，只能说模型分数与人类分数在前后测分布上同步上移，且这种同步在句子聚合与说话人聚合上强度不同。

数据划分、聚合口径与指标方向如何保证可比？

数据划分上 33 名完成全部练习者中 2 名极端者作示例集，31 名作测试集，示例与测试说话人不重叠，避免用测试说话人的标签校准量尺带来的泄漏。28 句前后测配对出现，说话人与句子在混合模型中都作为随机效应，以吸收个体水平与文本难度差异。指标方向上两个感知分数都是越高越好，斯皮尔曼越高越好，均方误差越低越好，混合模型中后测相对前测的估计为正表示进步。

聚合口径必须分清 3 层，话语级 1736 条用于选提示与算误差，句子级 28 是跨说话人平均后算相关，说话人级 31 是跨句子平均后算相关，数值相同也不能混为同一指标。人类信度用组内相关系数报告，口音前后与可理解前后均在 0.976 以上，说明金标准稳定。特征侧 Praat、eGeMAPS 与 Whisper 词距都在话语级提取，与话语级分数对齐后再聚合比较，避免先聚合再算特征带来的口径错位。硬件与推理开销、延迟与成本在原文未报告，复现时只能记录自己的运行预算，不能声称原文已验证效率收益。

主结果：少样本校准了量尺，但排序只是中等相关

先提出比较问题，在相同测试话语上，只给定义与给示例人类分哪种更接近人类量尺，公平条件是同一模型同一测试集，指标方向是相关越高越好、误差越低越好。下表整理实验 6 锁定后的均值偏差，这是理解相关与误差互补的关键，表前问题是模型排序对了是否绝对分数也对，公平条件是同一九点反转量尺，指标是均值与标准差的方向比较。

表后解释是主要收益与代价。收益是少样本实验 4 到 9 的误差普遍低于零样本实验 1 到 3，最优实验 6 在口音误差 0.82、可理解误差 1.37 处取得最低误差，对应每档 2 条示例，说明少量带分示例能把量尺拉近人类。代价是排序相关仍为中等，口音与可理解并未同时登顶，且模型均值系统性偏低，口音低约 0.28 分，可理解低约 0.29 分，标准差更大，说明校准改善了绝对偏差但未解决排序噪声。未胜出项是给朗读文本的实验 3，口音与可理解相关分别掉到 0.198 与 0.348，论文解释为模型过度关注发音错误，而两构念本应兼顾分段与超分段，这是一个有教学价值的负结果。

为进一步评估模型分数跟踪学习进步的可靠性，论文对人类分与模型分做了混合模型与分段超分段分析，句子级散点是纵向与聚合证据的可视化。导读如下，该图横轴纵轴分别为模型与人类可理解均值，每点一句，蓝色为局部加权平滑趋势，粉色为置信带，需先确认对象条件与时间范围是前后测混合后的句子平均，而非单条话语或单次测试。

看图路径： 1. 先确认横轴是模型可理解度分数、纵轴是人类可理解度分数，每个点是一句取 31 人平均；2. 再看蓝色局部平滑曲线在低分段陡升、在高分段走平并伴随粉色置信带变宽；3. 找出左下孤立低点与中部偏离带，体会句子级强相关下仍有单句分歧；4. 对照正文句子级与说话人级相关差异，理解聚合方式如何改变相关强度

论文图 1。原论文 Figure 1：“Human and LLM average (Exp. 6) comprehensibility scores at the sentence level tion, providing a few speech examples and human scores.”。

对可见内容的解释是，两组分数总体呈强正相关，低分段曲线陡峭、高分段趋平，置信带在两端变宽，左下有一个明显偏离的低点，中部也有少数落在带外的句子，说明句子难度差异带来了可利用的变异，而高分段天花板效应使区分度下降。像素不能精确读出的具体坐标不硬写，趋势判断以原文报告的句子级 0.710 与说话人级 0.321 为准，不能把末端走平推广为全程线性。

进步与聚合：模型也能检出后测更高，但层级不同强度不同

比较问题是模型分能否复现人类分的前后测进步，公平条件是对两类分数分别拟合同一混合模型结构，指标是后测相对前测的估计方向与显著性。下表比较聚合层级如何改变人类与模型的一致性，表前问题是为什么同一批分数换个平均方式相关差很多，公平条件是同一实验 6 分数同一相关定义，指标方向是斯皮尔曼越高排序越一致。

表后解释是，混合模型显示人类与模型在两个构念上后测都显著高于前测，显著性均小于 0.001，估计为正，支持模型能捕捉练习带来的上移，这是对第一问的积极回答。但聚合对比显示句子级远高于说话人级，可理解句子级达 0.710 而说话人级仅 0.321，论文的有限解释是说话人层变异小而句子层难度变异大，相关性不等于因果，也不能推广为每个学习者每句都进步。此外人类口音与可理解互相关在句子与说话人层分别达 0.852 与 0.894，模型对应仅 0.554 与 0.792，模式相似但更弱，提示模型捕捉到的底层语言信息可比但耦合度不足。未评测边界是未报告误判率与个体进步的检出率，总体显著不等于每组每步成立。

提示消融与失败条件：示例多少与给不给文本都很敏感

按证据展开两类特有细节。第一类是示例数量与类型，最优相关出现在低分与高分各给 2 到 3 条时，最优误差出现在低中高各 2 条的实验 6，给到每档 5 条时相关回落、误差反弹，说明过多示例反而混淆量尺，这反驳了示例越多越好的直觉。第二类是文本副作用，零样本下同时要两个分与分开要分已使口音与可理解此消彼长，再给朗读文本后两者双降，支持模型被文本锚定到错误计数而忽视韵律流利的解释，但这仍是有限解释而非因果证明，有待验证。

另一特有细节是线索榜的错位，口音榜人类前三为频谱通量与响度类、词距第四，其余为响度共振峰与语速，模型榜第一为话语时长、第二为词距，时间类在第一第三第五占据多席而人类仅语速排第九，说明模型高估了时长类权重。可理解榜两者都把词距排第一，后随响度时间与梅尔倒谱类，相似度明显高于口音榜，且对应相关也更高，形成榜单相似度与分数一致性的交叉印证。

复述时要保留实际可运行策略是实验 6 的 2 加 2 加 2，搜索最优不能替代可部署收益，事后最优值需另行标明。

哪些结论是报告，哪些是推测，还有什么没测？

论文直接报告的是中等相关、误差最低点、混合模型显著性、聚合层级差异与前十榜单排序，这些可用报告或显示来表述。有限解释的是文本导致过度关注发音错误、说话人层变异小导致相关低、时长权重过高，这些只能用支持来表述。未验证推测是微调与加入语言学知识会更准更全面，只能用可能或待验证来表述。

缺失证据不是技术错误，但必须列清，未测量单句误判率、延迟、推理成本与输出稳定性，未做跨母语跨任务泛化，未比较微调前后，未开源代码模型数据的可达性在本次资源状态下为无绑定验证，不得声称已公开。相关性不是因果，模型分上移不能证明理解了教学干预，榜单重叠不能证明使用了相同听觉机制。训练资源推理开销与实际延迟需分别讨论，总体趋势不等于每组每步成立，这些边界是后续验证必须补的项。

要复现这篇工作，先做什么才能对上口径？

复现先做三件事。第一是重建量尺，把九点反转为高分越好懂越不洋腔，9 名专家均值作金标准，2 名极端者作示例、31 人作测试的话语划分要原样保留，否则示例泄漏会虚高相关。第二是锁定提示，先跑零样本同时要分与分开要分，再跑少样本从 1 加 0 加 1 到 5 加 0 加 5，统一用话语级斯皮尔曼与均方误差选优，把实验 6 的 2 加 2 加 2 作为后续唯一输入，避免用测试集反复挑榜单。

第三是重建特征，每条话语用 Praat 算 16 维、用 openSMILE 算 eGeMAPS88 维、用 Whisper 转写算词距三者之和共 105 维，先 Lasso 筛选再算绝对等级相关排序，混合模型中固定效应为前后测、随机效应为说话人与句子。关键超参数与信息条件是九点方向、均值聚合对象、N 等于 1736 话语、31 说话人与 28 句子的分母，以及误差越低越好、相关越高越好的方向。代码权重与数据可运行性按本次未能确认可达来处理，只记录自己的环境与预算，不承诺效率改善。

何时值得尝试这种打法，一句话收束如何行动？

当教学场景需要低成本跟踪朗读进步且能接受中等排序精度时，这种先少样本校准量尺、再用混合模型验进步、最后用稀疏回归验线索的 3 段式值得尝试，尤其适合可理解性优先的目标，因为模型在该构念上与人重叠更大、句子级相关可达较强水平。当场景要求精确到个人的口音诊断或高风险评分时则不值得直接部署，因为口音榜上时长权重偏高、整体打分偏低且说话人级相关仅 30% 左右，此时应补微调、加入语言学知识并补充误判率与跨群体验证。

论文特有的误解要澄清，给文本不是总有帮助，示例不是越多越好，句子级高相关不等于说话人级同样好，榜单相似不等于机制相同。行动上先复现实验 6 的量尺与误差，再验证自己数据上的前后测显著性与榜单排序，只有三者同向才可进入小规模课堂试用。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总