发音纠错不能只给分数：让音频语言模型说出错在哪、怎么练

英文题目：Unlocking Large Audio-Language Models for Interactive Language Learning

会议身份：conference:eacl:2026:conference-paper-id:2026.findings-eacl.190

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#教育 #数据集 #指令微调 #音频大模型 #语音交互

评分：6.3/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Hongfu Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Zhouying Cui：机构信息未能从会议 PDF 纯文本可靠映射
• Xiangming Gu：机构信息未能从会议 PDF 纯文本可靠映射
• Ye Wang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作面向朗读式聊天发音训练，输入为学习者朗读音频与已知标准文本，输出为误读词列表及每个误读词的错误解释与可操作纠正建议，难点在于强转写模型会纠正口音错误并丢弃细粒度声学证据，导致基于转写差异的检测失效且反馈不直观。方法链分为三环：先基于L2-Arctic人工音素标注用GPT-4o粗到细生成词级解释与建议对并经人工校验，构成L2-Arctic-plus基准并以前一步的校验后标注作为后两环评测真值；再以级联ASR加LLM与现有音频语言模型做词级检测与生成评测，揭示其漏检与幻觉问题并以前一步基线结果作为改进参照；最后以Whisper编码器加两层线性投影器加LLM主干做两阶段指令微调，先在Common Voice英文子集上只训投影器做声学对齐，再在合成训练对上联合训练投影器与低秩适配参数以直接优化检测与生成目标。相对级联转写，该端到端方案保留潜在声学表征并避免解码端语言偏置，因而更适合误读检测与建议生成。在L2-Arctic-plus测试集下，Whisper Large加Llama-3.1-8B的F1为62.8，高于Wav2vec2 Base加Llama-3.1-8B级联基线的26.8。该结论适用边界受限于受控朗读英语非母语口音，对自由对话、韵律评估与跨语言泛化的外推尚未验证。在硬件为2张RTX A40条件下，声学对齐阶段训练成本约需12-14 GPU小时，任务指令微调约需4-6 GPU小时，全量评测推理开销约需4-6 GPU小时。

🔗 开源与复现资源

• 第三方资源：https://github.com/microsoft/Pengi — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/0nutation/SpeechGPT/tree/main/speechgpt — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么传统反馈不够用

本文的输入是明确的。系统先给出标准文本，要求学习者朗读，例如请读出英文句子，学习者录制一段音频。系统同时知道标准词序列和真实录音，需要输出聊天形式的文本反馈。目标不是只打分，而是说清哪个词读错、错在哪个音、应该怎么调整口型与声带，再给出可以跟读的相似词。论文把这种交互称为基于聊天的发音训练，强调可解释与可执行。

传统计算机辅助发音训练常给出 3 类反馈。第一类是音素级标注，直接列出音标序列并标红错误音素。第二类是词级定位，标出哪个词有问题。第 3 类是 utterance 级打分，给出类似 10 分制的总分。这些信息对研究者直观，但对初学者不直观。

学习者看到分数不知道练哪里，看到音标不知道舌位与送气如何改。论文因此提出用大音频语言模型生成自然语言解释与建议，把声学判断转化为教学语言。 下段先看论文图 1 的教学例子，理解新旧反馈的差别。该图是本次收到的官方原图像素，右侧绿框是论文主张的输出形态，左侧虚线框是传统输出形态。

看图路径： 1. 先看顶部指令与右侧学习者波形，确认输入是朗读指定句子的音频；2. 再看左侧虚线框三种传统反馈，理解只给音标、标红词或分数的不直观之处；3. 最后看右侧绿框检测与建议两段，观察错误解释如何对应到具体纠正动作

论文图 1。原论文 Figure 1：“Illustrative examples of chat-based pronun- ciation training for interactive language learning.”。

该图左侧用 3 个小图标并列展示传统反馈。最上方是音标串并把错音标红，中间是把整词标红，下方是给出分数。右侧是同一输入下期望的聊天反馈，分为检测与建议两段。检测段说明单词结尾辅音被替换，听感像另一个词。建议段说明应发清辅音而不振动声带，并给出包含相同结尾的练习词与音标。读图时应注意输入始终是同一朗读任务，差别只在输出是否包含原因与动作，论文后续所有检测与生成指标都是为了衡量这种输出的质量。

已有路线在做什么，本文把比较点放在哪里

音频语言建模路线近年把音频编码器与大语言模型拼接，统一处理语音识别、合成与对话。论文列举的模型包括 Qwen-Audio、Qwen2-Audio、SpeechGPT、AudioGPT、Pengi 与 GPT-4o。它们在通用音频理解上表现积极，但在发音检测这种教育任务上应用很少。早期声学模型在误读检测上有效，但不能生成教学语言，这正是论文要补的缺口。 发音训练路线早期依赖跟读与录音回放，后来引入自动语音识别做实时反馈，再后来用机器学习评估重音、语调与节奏，在音素、词与句子 3 级打分上做得细致。

论文指出这些方法多为定位式诊断或分数式评估，缺少学习者能直接照做的步骤。因此本文不是再做一个打分器，而是把声学证据与语言解释接起来。 同输入同目标的对照应这样理解。级联路线与端到端路线输入都是学习者朗读音频加标准文本，目标都是输出误读词与建议。差别在运行阶段的信息形态。

级联路线中间经过文本转写，声学细节被压缩掉。端到端路线保留音频表征直接推理。论文用同一测试集比较这两类路线，再用指令微调看任务数据能否缩小差距。

任务如何形式化，正确与错误如何判定

论文把任务形式化为函数映射。记标准词序列为从第 1 到第 N 个词，音频为学习者录音，模型参数为 theta，输出为文本回答。模型需要从音频判断误读并给出可操作建议。评测时以词为单位统计是否误读，而不是以帧为单位统计音素对齐，这更贴近聊天反馈中按词讲解的形态。 数据集层面，L2-Arctic-plus 建立在 L2-Arctic 非母语英语语料之上。

原语料有 24 名非母语者，男女各半，母语覆盖印地语、韩语、普通话、西班牙语、阿拉伯语与越南语。论文沿用已有工作的 900 条样本作为评测集，每条包含录音、标准词序列、词是否误读的二值标记，以及替换、删除、插入 3 类误读类型标记。误读标记基于音素，一个词可含多个音素错误。

误读检测 × 可操作建议生成： 误读检测负责判断标准文本中哪个词被读错，依据是音频与标准词序列的声学差异；可操作建议生成负责把音素差异翻译成学习者能执行的练习动作。两者搭配的原因是只有位置信息学习者难以改正，只有建议而无准确定位则容易练错对象，组合后系统先定位词再给出针对该音素错误的发音方法与最小对立词练习。

判定规则需要讲清。真阳性是模型与人工都判该词误读，假阳性是模型判误读而人工判正确，假阴性反之，真阴性是双方都判正确。精确率、召回率与 F1 在全部样本上汇总计算，而不是先按条平均。额外词率衡量模型输出词中有多少不在标准文本里，越高说明越爱编造标准文本之外的词。建议质量用双词重叠、 longest 公共子序列与基于上下文嵌入的语义相似度衡量，再加人工从相关性、可理解性与总体质量打分。

三条技术路线各走哪条信息通路

论文比较 3 条路线。第一条是级联的自动语音识别加大语言模型。预训练识别模型把音频转写成文本，大语言模型拿到标准文本与转写文本，用单样本示例学习如何对比差异并生成反馈。假设是读错的词会被转写成别的词，差异即为误读证据。第二条是现有音频语言模型端到端推理。

音频编码器输出隐表征，经投影进入文本嵌入空间，大语言模型同时看音频与文本指令，直接生成误读词与建议。第 3 条是本文的指令微调模型，结构与第二条相同，但用任务数据做 2 阶段训练。

级联 ASR 加 LLM × 端到端音频语言模型： 级联 ASR 加 LLM 分工是 ASR 先把语音转写成文本，LLM 再比较标准文本与转写文本的差异来推测误读；端到端音频语言模型分工是音频编码器保留声学表征并经投影器送入大语言模型直接推理。搭配比较的理由是前者丢失了音素细节且强 ASR 会纠正口音，后者保留了声学信息，组合对照能说明信息瓶颈在哪里。

下图是 3 条路线的总览，同样来自本次收到的官方原图像素，重点看信息在哪里被压缩或保留。

看图路径： 1. 先沿左侧级联分支看音频经 ASR 转文本再进大语言模型的路径；2. 再看中间现有模型分支音频直连模型的端到端路径；3. 最后看右侧指令微调分支右上角两阶段可训练模块标注，区分冻结与更新部分

论文图 2。原论文 Figure 2：“Overview of (left) ASR+LLMs cascade; (middle) existing ALMs; (right) instruction-tuning ALMs.”。

该图上方是共同的输入输出。顶部左侧是请朗读标准句的指令与学习者波形，顶部右侧是期望的检测加建议文本。下方 3 个虚线框分别对应 3 条路线。左侧框显示音频先经识别模块得到转写，再与标准文本一起进入用户提示与系统提示并送入大语言模型。中间框显示音频与标准文本直接进入音频语言模型。

右侧框显示系统提示、音频编码器加投影器、用户提示 3 路信息汇入大语言模型，右上角小图标注第一阶段与第二阶段分别训练哪些模块。读图时应把注意力放在左侧是否出现文本瓶颈，以及右侧 2 阶段如何分工。

编码器、投影器与大语言模型各自负责什么

音频编码器负责保留发音细节。论文在级联实验中用了不同规模的 Whisper 与 Wav2vec2，在微调实验中主要用 Whisper Small、Medium、Large 作编码器，也补了 Wav2vec2 Base 作编码器的对照。大语言模型骨干包括 Mistral-7B 指令版与 Llama-3.1-8B 指令版。投影器是两层线性层加激活函数，负责把音频特征对齐到文本嵌入空间。

音频编码器 × 投影器： 音频编码器负责从波形提取声学特征，保留发音方式与音素差异；投影器负责把声学特征维度映射到大语言模型的文本嵌入空间。两者搭配的原因是大语言模型本身不能直接理解连续音频，必须有一个可训练的桥接层做模态对齐，组合后音频信息才能作为条件参与自回归生成。

沿一个样本走一遍有助于复述。输入是标准句与朗读音频。音频编码器输出帧级声学特征，投影器将其映射为语言模型可读的向量序列。系统提示规定模型是语音学专家并限定输出格式，用户提示给出标准文本并要求按词输出问题与建议。语言模型自回归生成误读词、错误解释与纠正建议。

若无误读则输出固定短语表示无问题。级联路线不同之处是音频先被压缩成转写文本，语言模型只能看到文本差异，看不到原始声学证据。 论文对失败模型有明确报告。Pengi 与 SpeechGPT 不能按指令完成该任务，或生成无关文本，或退化为单纯转写。Qwen-Audio、Qwen2-Audio 与 GPT-4o-Audio 能按格式输出。

论文把指令遵循能力视为复杂音频语言任务的关键门槛，这一点在附录失败例子中有展示。

数据如何构造，两阶段训练如何执行

L2-Arctic-plus 的标准回答分 2 阶段构造。第一阶段用结构化提示调用 GPT-4o，输入是标准文本与已有音素级标注，要求按词输出错误解释与纠正建议对。每个误读词对应一个解释段与一个建议段，误读词总数等于二值标记为 1 的词数。第二阶段由 3 名人工标注者核查解释与建议是否正确，若有错误则让 GPT-4o 重新生成再核查，最终通过核查的版本作为评测集的标准答案。 训练数据另行构造，不与评测集重叠。

论文从 L2-Arctic 中排除已用于构造评测集的样本，再用同样方式生成约 2700 个提示回答对，但该过程无人工核查。第一阶段声学对齐用 Common Voice 英文子集抽取 20 万音频文本对，构造与语音识别相关的问答，目标是转写文本，只训练投影器，学习率设为千分之一，批量 256，训练一个轮次。第二阶段任务微调用发音训练数据同时训练投影器与语言模型骨干，为降低计算负担采用低秩适配微调，学习率设为万分之九，批量 128，训练 5 个轮次，目标仍是回答部分的自回归损失。

声学特征对齐 × 任务指令微调： 声学特征对齐负责用大量自动语音识别数据让投影器学会语音到文本的基本对应；任务指令微调负责用发音训练数据让模型学会按指定格式输出误读词、错误解释与纠正建议。前者解决听得见的问题，后者解决按教学格式说清楚的问题，2 阶段组合可以在小任务数据下先稳定模态桥接再学任务。

需要指出未报告的缺项。论文未给出投影器隐藏维度、低秩适配的秩与放缩系数、优化器种类与学习率衰减、随机种子与数据抽样细节。复现时应先按论文给出的学习率、批量与轮次搭建，再补记这些缺项，不能从模型名称推定实现。训练耗时按论文报告在两块显卡上对齐阶段约 12 到 14 小时，任务阶段约 4 到 6 小时，评测全集约 4 到 6 小时。

评测集、基线条件与指标方向是什么

评测集是 L2-Arctic-plus 的 900 条样本，覆盖多母语者朗读。基线包括级联组合与现有音频语言模型。级联组合遍历 Whisper Small、Medium、Large 与 Wav2vec2 Base、Large，搭配 Mistral-7B 与 Llama-3.1-8B。现有模型评测 Pengi、SpeechGPT、Qwen-Audio、Qwen2-Audio 与 GPT-4o-Audio，均用单样本多模态示例提示。指令微调模型遍历不同 Whisper 编码器与两种语言模型骨干。解码时最大新词数设为 1024，温度 0.6，top-p 0.9。

词级精确率召回率 × 额外词率： 词级精确率召回率负责衡量在标准文本词集合上检出误读词的准确与覆盖；额外词率负责衡量模型输出中不在标准文本里的幻觉词比例。两者搭配的原因是前者只看标准词是否判对，后者看模型是否编造新词，组合后能同时发现漏检与幻觉两类可靠性问题。

指标方向要记准。误读检测的精确率、召回率与 F1 越高越好，额外词率越低越好。建议生成的双词重叠、最长公共子序列与语义相似度越高越好。人工评价从建议相关性、用户可理解性与总体评价 3 维打分，1 到 5 分越高越好。大模型裁判另做参考引导打分与成对比较，分数越高越好，胜率越高越好。

论文强调客观指标与人工判断要一起看，不能只用自动指标代替可学性。 公平条件方面，级联与端到端在同一 900 条测试集上比较，提示模板分别在附录给出。输出解析做了统一处理。级联要求输出全部标准词，无问题则标记为无，端到端只输出判为误读的词。解析时去重、去除无问题标记与格式外解释，再用模式匹配抽取相关部分，保证评价输入一致。

主结果显示哪条路线在检测与建议上占优

先看级联内部规律。论文报告在同一大语言模型下，小识别模型常比较大识别模型在 F1 上更好，Wav2vec2 Base 好于 Whisper Small。解释是更强的识别模型对口音更鲁棒，会在转写时纠正发音错误，使转写文本看起来正确，从而让大语言模型失去误读证据。Wav2vec2 只用编码器加贪心搜索，而 Whisper 解码器带来语言偏置，这也可能是差异来源之一。同一识别模型下，Llama-3.1-8B consistently 优于 Mistral-7B，但幻觉词率也更高。

总体上级联框架表现欠佳。 现有音频语言模型优于级联。Qwen2-Audio 未经任务微调已超过全部级联组合，GPT-4o-Audio 又明显超过 Qwen2-Audio。论文报告 GPT-4o-Audio 相对 Qwen2-Audio 有约六成的 F1 提升，说明端到端保留声学信息有实质帮助。但 GPT-4o-Audio 为闭源且可能规模大，开源模型与其仍有差距。

指令微调模型进一步超过上述最强基线。论文报告相对级联最优与现有最优有大幅 F1 提升，甚至超过 GPT-4o-Audio，建议生成的重叠与语义指标也明显提高，额外词率降到接近零。编码器越大检测越好，而两种语言模型骨干在同编码器下表现接近，与级联中大语言模型差异很大的现象不同，论文据此强调任务微调的关键作用。 下面第一张表是论文明确给出的跨母语泛化对照，训练用阿拉伯语、普通话、印地语与韩语子集，测试用西班牙语子集，比较指令微调模型与 GPT-4o-Audio。

该表保留原表头与裸数值写法，不追加单位。表前问题是微调提升是否只是过拟合训练母语，公平条件是同一分布外测试集，指标方向是除额外词率外越高越好。

该表显示分布外条件下指令微调模型的召回率与 F1 仍高于 GPT-4o-Audio，精确率略低，额外词率同为零，建议生成的三项指标也更高。代价是精确率没有同时占优，说明模型更倾向于检出更多可疑词。结合论文正文，这支持任务数据带来泛化收益而非单纯记忆，但测试只做了一个母语子集，不能推广到所有口音。

消融与反证是否支持声学信息与任务数据的解释

论文做了 3 组反证。第一组是识别模型词错率对照。Wav2vec2 Base 在同一测试集上词错率最高，却在级联中检测最好，这与更强识别会抹掉误读证据的解释一致。第二组是发音评估模型加语言模型的对照。用 GOPT 输出音素、词与句子 3 级分数再交给 Llama 生成建议，其建议生成可超过级联最优，但误读检测仍落后，也远落后于指令微调模型。

第 3 组是编码器消融。用 Wav2vec2 Base 作编码器做指令微调，仍接近 Whisper Large 作编码器的最优结果，差距远小于级联中的差距，说明微调缩小了编码器差异。 下面第二张表整理大模型裁判与人工小样本评价的对照，目的是看自动重叠指标之外的教学有用性。该表为基于原文连续句整理的宽表，数值与单位保留原文写法，表头单位不拆分到每个格。表前问题是自动指标的提升是否对应人类眼中的更好建议，公平条件是同一查询下比较同一组模型输出，分数越高越好，胜率越高越好。

该表显示指令微调模型在裁判打分与人工评价上都占优，成对胜率对级联与对 GPT-4o-Audio 分别很高。但限制也很清楚。裁判用的是 GPT-4o 音频版，与标准答案生成模型同源，可能偏好相似风格。人工评价只用了每位说话人随机 2 条共 12 条样本与 7 名评价者，样本量小，且 3 个维度均为整数打分后平均，不能据此承诺大规模课堂效果。

未胜出项也要记下。Qwen2-Audio 在人工相关性与总体评价上优于级联但仍落后于 GPT-4o-Audio，Pengi 与 SpeechGPT 则完全不能完成任务，说明指令遵循是前提门槛。

哪些结论不能下，边界在哪里

论文明确承认两点局限。第一，任务是朗读式训练，不是自由对话，无法评估用词、语法与交际能力。第二，反馈只有文本，没有可跟读的合成语音或金牌发音参考，直观性有限。未来可扩展到对话场景与多模态反馈，但本文未验证这些扩展。 还有三处不能过度解读。

额外词率降到零只说明输出不编造标准文本之外的词，不等于没有误报，因为把正确词判为误读仍会计入假阳性。自动建议指标提高只说明与参考文本更接近，不等于学习者一定读得更准，因为没有测量学习增益与误判率。分布外实验只做了一个母语子集，不能推广到所有口音与噪声环境。训练与推理成本也应分开看。论文只报告显卡小时数，未报告延迟、吞吐与显存峰值，不能承诺实时课堂可用。

相关性不等于因果。编码器越大效果越好可能与嵌入维度与微调容量有关，但论文未做控制容量的因果实验，应表述为支持而非证明。裁判打分与人工打分一致是积极信号，但裁判与标注生成同源，仍需独立教师评价补验证。

复现应先准备什么，按什么顺序跑

先准备数据与代码条件。评测集沿用 L2-Arctic 的 900 条划分，训练集排除评测样本后构造约 2700 对。标准答案生成依赖 GPT-4o 与人工核查，复现时若无人工核查应明确标注为无核查版本。论文给出代码仓库链接，但本次资源状态只确认了第三方 Pengi 与 SpeechGPT 链接可达，论文自有代码链接的可达性应以实际访问为准，不应默认已公开可用。 再按顺序跑 3 组实验。

第一组跑级联基线，固定转写模型与大语言模型版本，用同一单样本提示，对比标准文本与转写文本生成反馈。第二组跑现有音频语言模型，注意 Pengi 需在提示前加特定前缀，SpeechGPT 需在提示后附音频路径，Qwen 系列与 GPT-4o-Audio 用附录模板。第 3 组跑 2 阶段微调，先用 20 万 Common Voice 英文对只训投影器，再用任务数据训投影器加低秩适配的语言模型。解码参数按最大新词数 1024、温度 0.6、top-p 0.9 设置。 下面第三张表整理人工评价的取样与打分规则，便于复现时核对条件而非只抄数字。

该表同样为基于原文连续句整理的条件表，不含新数值推断。

复现时应先复现解析逻辑再看指标。因为级联与端到端输出格式不同，需实现去重、去除无问题标记与模式匹配抽取，否则同一模型会因格式问题被低估。统计时注意精确率召回率在全样本汇总，不是按条平均，百分点与相对百分比不要混用。

何时值得尝试，还需补哪项验证

当任务是朗读式发音纠错，且需要给出原因与练习动作时，本文路线值得尝试。已有强识别模型反而可能掩盖误读，此时应优先考虑保留声学的端到端模型，再用小规模任务数据做指令微调。编码器规模与语言模型指令遵循能力是选型重点，若模型连格式都跟不住，不应期待其检出质量。 当场景变为自由对话、儿童语音、高噪声课堂或需要语音示范时，不应直接套用本文结论。文本建议不能替代听觉示范，900 条评测与 12 条人工样本也不能代表全部口音。

后续验证至少应补三项。第一，找独立教师重标建议的正确性，避免裁判与生成同源。第二，测量学习增益与误报成本，看多检出是否带来过度纠正。第三，报告延迟与显存，验证是否可在教学设备上实时运行。 对刚入门的研究生，建议把复述重点放在信息通路与监督来源。

能说清音频在哪里被压缩、投影器在哪里对齐、标准答案从哪来、指标在哪个集合上汇总，就算抓住了本文方法。不要把分数提高一句带过，而要说明是以更多检出为代价，还是以更少幻觉为代价，这正是教学系统能否落地的关键。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eacl-2026 论文汇总