先读出发音再写出文字：音素前置如何约束语音大模型的声学对齐

英文题目：PHONEME-FIRST PREDICTION FOR LLM-BASED SPEECH RECOGNITION

会议身份：conference:eusipco:2026:conference-paper-id:0000136

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#指令微调 #大语言模型 #低资源 #语音 #语音识别

评分：6.0/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Poncelet, Jakob：机构信息未能从会议 PDF 纯文本可靠映射
• Van hamme, Hugo：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音增强大语言模型以语音编码器输出的连续声学特征为输入、以文本转写为输出，文本嵌入偏向语义概念关联而声学特征偏向发音相似，同音异形词与发音相近词导致声 text 对齐混淆与声学不忠实。冻结的Whisper或HuBERT类语音编码器先将语音转为特征序列并堆叠降采样，再经线性加激活的多层感知投影层映射到Llama类模型的嵌入维度。投影后语音特征与文本指令拼接为提示送入经四比特量化低秩适配微调的大语言模型，以下一词交叉熵联合优化投影层与适配权重。训练时以联合提示随机采用标准转写指令与先预测音素再生成转写的音素优先指令，使音素序列成为后续转写的显式发音条件，解码时可选择直接转写或音素优先解码。与仅用转写目标学习隐式对齐的已有语音大模型不同，该方法用可由词典与强制对齐自动派生的音素目标提供细粒度发音监督，增强可解释性与低资源下的声学忠实度。在LibriSpeech-960h评测设置下，Joint训练加S2T解码的WER为3.2%，低于标准S2T训练加S2T解码的WER4.0%。该结论的适用边界受限于数据规模与领域，千小时大数据与other口音自发语音上提升收窄，且音素质量依赖强制对齐词典与多发音选择，跨语种外推尚未验证。全流程在单张24GB显存的硬件上完成训练，其中堆叠投影层约18.6M可训练参数，量化低秩适配使大模型侧仅微调千万量级权重。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决哪一步？

输入是一段连续语音，目标是输出对应的文字转写本。本文研究的是语音增强大语言模型这一路线：前端用一个语音编码器把波形变成特征向量，中间用投影层把特征搬到大语言模型的嵌入空间，后端用大语言模型按提示生成文字。必须保留的信息是编码器在实验中始终冻结，只更新投影层和大语言模型的低秩适配权重，训练损失是大语言模型的下一个词预测交叉熵。输出有两种格式，一种是直接输出转写本，另一种是先输出音素序列再输出转写本。

本文要解决的不是换更大的编码器或更大的语言模型，而是在已有转写本可以直接派生音素的条件下，增加一个发音层面的中间监督，使模型先固定听到了哪些音，再决定写出哪些词。教学例子是问候语转写：标准做法是听到语音直接写出文字，音素前置做法是先写出一串音标符号，再写出文字，两者输入语音相同，区别只在目标序列是否包含可检查的发音证据。

已有的语音接大模型路线有哪些，本文站在哪里？

原文梳理了 3 种把语音接入大语言模型的做法。第一种是离散语音单元，把连续特征量化成类似伪文本的记号再输入。第二种是交叉注意力层，让文本生成过程按注意力去读取语音。第 3 种也是目前最流行的做法，是直接投影，把连续语音特征对齐并转换到大语言模型的嵌入空间，再用一层适配器接上去。本文采用第 3 种，堆叠相邻语音帧后用多层感知机做投影。

相关工作还包括用海量无标注语音做自监督预训练的编码器，用网络爬取的有标注数据做监督训练的编码器，以及在大语言模型侧用提示和上下文学习做语音识别、翻译、摘要和上下文偏置。区分这些路线很重要，因为不同接入方式的对齐难度和可训练参数不同。本文没有提出新的投影结构，也没有提出新的编码器预训练目标，它的增量集中在提示与目标序列的设计上，即在标准转写任务之外增加音素预测任务。

理解这一点可以避免把本文的收益误读为来自编码器升级。

为什么语义嵌入和发音特征直接对齐会吃力？

困难来自两边表示的组织原则不同。大语言模型的文本嵌入按语义和概念组织，例子是银行与金钱和经济更接近。语音编码器的输出按发音组织，例子是发音相近的词在表示上更接近。原文明确指出这种错位带来两类典型麻烦。一类是同音异形词，例如发音相同但拼写和意义不同的词，只看声音难以决定写哪一个，需要上下文和发音知识共同约束。

另一类是同形异音词，例如拼写相同但在不同词中发音不同，只看文字难以决定对应哪段声音。用语音识别数据可以让大语言模型学习声学特征与词发音的关系，但这种学习受限于样例数量，小数据下尤其不充分。低资源时模型容易记住高频词的整体映射，而没有建立细粒度的发音知识，遇到罕见词和口语化表达就容易出现声学上不合理的替换或幻觉。本文的问题定义就是在不增加人工标注的前提下，补上发音层面的显式监督。

音素前置方法让模型走出怎样的一条新路径？

沿一个样本走完全程有助于建立整体感。输入是一段语音，先经过冻结的语音编码器变成帧级特征序列，再把连续多帧堆叠降采样，最后经投影层映射到大语言模型的输入维度。提示文本放在语音特征之后或之前，标准提示要求把语音转写成文本，音素前置提示要求先转写成音素再转写成文本。目标输出因此从一句转写本变成两段结构化文本，前段是音素转写，后段是最终转写。推理时模型先逐个生成音素记号，再在已生成音素的条件下生成词。

原文对注意力图的分析报告了一个关键现象：预测音素时模型会关注语音特征，而生成转写时几乎只看已生成的音素。这说明音素成了声音与文字之间的瓶颈证据，既带来可解释性，也带来风险，即一旦音素写错，后续词容易跟着错。原文因此提出联合训练，在两种提示之间随机选择，避免模型只会其中一种格式。

三个部件各自做什么，参数谁动谁不动？

语音增强大语言模型由三部分组成。第一是语音编码器，默认是中等规模的英语识别编码器，把语音变成连续向量，实验中始终冻结。第二是投影层，先把堆叠后的特征经线性加激活函数映射到中间维度，再映射到大语言模型维度，参数量约为一千多万，随训练更新。第三是骨干大语言模型，默认是 8000000000 参数规模的解码器模型，采用四比特量化和低秩适配，只更新注意力与前馈线性层上的小秩矩阵，其余权重冻结。

投影层与低秩权重的梯度来自同一个下一个词预测损失，联合优化。这样的分工使训练可以在单张显存有限的显卡上完成，但也意味着语音前端的声学分辨能力不再变化，所有发音建模的改进都发生在投影与语言模型侧。初学者容易误以为微调了整个大模型，原文明确限定为低秩适配加投影层。

语音编码器 × 大语言模型： 语音编码器负责把声学波形变成与发音相近的连续特征，分工是保留谁和谁听起来像；大语言模型负责把离散词序列变成与语义相近的嵌入，分工是记住谁和谁意思相近；两者搭配的理由是语音识别需要从声音走到文字，组合意义在于用投影层把声学特征搬到文本嵌入空间，再用识别任务学会发音到词的对应。

两种提示的目标序列差别在哪里？

标准语音转文本的提示大意是把前面的语音转写成文本，目标只有转写本。音素前置的提示大意是先转写成音素再转写成文本，目标格式固定为音素转写加转写本两段。图注示例显示同一段问候语在两种模式下输入提示不同，目标长度也不同，后者明显更长。

训练时两种格式都用教师强制方式提供标准历史，即模型在预测下一个记号时总能看到正确的上文，这保证了学习稳定，但也造成推理与训练的不一致，因为推理时没有标准音素可用，只能依赖自己生成的音素。原文的联合提示策略就是为了缓解这种依赖，让模型既见过直接映射，也见过经由音素的映射。推理时可以通过选择提示来决定走哪条路径，论文在不同数据量下比较了两种解码的效果。

标准语音转文本 × 音素前置语音转文本： 标准语音转文本的分工是直接从语音特征映射到最终转写，只监督词序列；音素前置语音转文本的分工是先监督音素序列再监督词序列，显式暴露发音中间态；搭配理由是同音异形词和同形异音词只靠词监督难以学到发音细节，组合意义在于让模型先把听到的声音固定下来，再依据该发音证据生成词，从而减少声学混淆。

音素目标从哪里来，训练与推理如何执行？

音素目标不需要额外人工标注，这是方法廉价的关键。对于英语数据，原文使用已公开的经强制对齐得到的音素序列，音素集为英语常用的音标集。对于另一份演讲数据，使用词典把词映射到音素，并利用预先计算的强制对齐为每个词选择正确的发音变体。对于荷兰语数据，使用带多种发音变体的强制对齐自动生成音素标签，其中一小部分有人工校对的高质量标签。

训练时按有效批量组织语音，每批对应约 30 分钟音频，优化器采用量化后的自适应优化器，配合梯度检查点与注意力加速，学习率采用带预热的线性衰减。推理采用波束搜索，波束宽度为十，初始为确定性搜索，取概率最高的记号。若最佳候选不包含约定的提示词或压缩比过高被判为幻觉，则在波束其余候选中寻找有效结果，若全无效则打开采样并逐步提高温度重新生成。

强制对齐 × 音素标签： 强制对齐的分工是利用已有转写本和发音词典把每个词切分到时间并选出发音变体；音素标签的分工是为每句语音提供细粒度的发音监督目标；搭配理由是已有转写本可以直接派生音素而不需额外人工标注，组合意义在于用低成本方式给大语言模型增加发音层面的监督信号。

联合训练 × 解码提示： 联合训练的分工是在训练时随机选用标准提示和音素前置提示，让模型同时学会两种输出格式；解码提示的分工是在推理时指定用哪种格式输出，决定是否先写音素；搭配理由是教师强制训练会让模型在有标准答案时过度依赖音素历史，组合意义在于保留两种可运行的推理路径，使小数据时可用音素约束、大数据时可直接输出。

实验在什么数据、模型和评估条件下比较？

默认配置需要先讲清，否则结果无法复述。语音编码器默认用中等规模识别模型的编码器，堆叠连续 5 帧使特征率降到每秒 10 帧。投影层先到两千多维再到大语言模型维度。语言模型默认用 8000000000 参数模型，四比特量化，低秩秩为 4。优化采用线性衰减与预热，批量按语句数或音频时长控制。

评估前对预测与参考文本做归一化，例如转小写、去掉标点和数字，指标方向是错率越低越好。数据条件分三档：第一档是 100 小时的干净朗读语音与 100 小时的演讲语音，第二档是 960 小时的完整朗读语音，第三档是 240 小时的荷兰语语音，其中 25 小时有人工校对音素。对照策略包括零样本的原始识别模型、标准转写训练、纯音素前置训练，以及联合训练后分别用两种提示解码。

下表把默认配置中的关键数字整理成可核对的形式，阅读时先确认编码器与优化条件是否一致，再看结果。

表后需要强调公平性与代价。

编码器冻结意味着不同方法的声学前端完全相同，差异只来自投影与语言模型侧的学习。低秩秩很小意味着可训练参数少，训练成本低，但也限制了模型记忆大量新发音的能力。波束宽度为十比贪心搜索更贵，输出音素又使序列变长，因此音素前置在推理延迟上必然高于直接转写。后续结果必须在这一成本下理解，不能只看错率。

一百小时条件下谁更好，好在哪里？

在 100 小时朗读语音上训练后，联合训练带来接近全测试集的词错率改善，干净测试集改善最明显，原文解释是音素模型只在干净数据上训练，对另一类更难的测试集识别音素更吃力。在 100 小时演讲数据上，音素前置带来最高约 1/4 的相对改善，原文将其归因于音素标签质量与更自发的语体。关键对照是标准转写训练与联合训练加音素前置解码，两者编码器与数据相同，只有目标序列与提示不同，因此收益可以直接归因于音素监督。

原文还报告了发音层面的证据：在另一类测试集上词错率略高时，音素错率仍然更低；在干净开发集上词错率下降约 30%，而基于字音转换的音素错率下降接近 50%。这支持了一个判断：生成文本在声学上更忠实于原语音，即使词面仍有错误。下表把原文明确用文字报告的相对改善整理成可核对的形式。

表后需要同时讲收益与反例。收益是低资源下发音约束明显，尤其对罕见词和口语化表达，错误更符合声音。

代价与反例是难测试集上词错率可能不降反升，说明音素瓶颈在噪声或口音下会放大错误。例子包括把罕见地名误听为常见词，但音素前置版本给出的词在发音上更接近参考。因此不能把音素前置理解为在所有切分上都赢，它赢的是声学忠实度，输的可能是对难声学条件下音素错误的过度坚持。

词错率 × 音素错率： 词错率的分工是衡量最终转写本与参考文本在词层面差多少，方向是越低越好；音素错率的分工是衡量预测文本经字音转换后的发音与参考发音差多少，方向也是越低越好；搭配理由是词错相同不代表发音接近程度相同，组合意义在于同时看两个指标可以判断改进是真正更贴近声音，还是仅换了同音词。

数据放到九百六十小时后规律变了吗？

在完整 960 小时朗读数据上，原文把低秩秩提高，并分别试验了大规模监督编码器与自监督编码器。自监督编码器采用对所有层隐状态的可学习加权求和，因为非最后层可能更适合音素与词识别，这部分权重与投影层和语言模型联合优化。结果规律发生变化：纯音素前置解码不再总是最优，联合训练后用标准提示直接解码往往更好。

原文的解释是数据充足时模型已见过足够样例，直接映射也能学好发音对应，但联合训练中见过音素目标仍然带来明显好处。这是一个重要的适用条件：小数据靠音素解码约束，大数据靠音素训练正则。另一个结果是自监督编码器加层加权在域内任务上倾向于超过监督编码器，说明前端本身的音素编码能力会影响最终收益。

基线方面，完全微调的专用识别模型在词错率上仍略好于语音大语言模型，原文指出这是当前研究的一般趋势，可能通过全精度、更大秩或更多样数据缩小差距，不能据此否定语音大语言模型在翻译和摘要等更广任务上的价值。

音素标签质量与训练解码组合会改变结论吗？

荷兰语实验专门检验标签质量。条件分 3 种：只用 25 小时人工校对音素，只用 240 小时自动音素，以及两者结合即有人工就用人工。语音编码器换成在弱监督荷兰语数据上预训练的卷积增强模型，语言模型换成适配方言的 7000000000 参数模型。报告显示人工标签带来更准确的音素识别，从而有利于音素前置方法，同时方法也能随自动标签规模扩大而扩展。在所有情况下音素前置都优于标准转写训练。

另一个消融是训练与解码组合：纯音素前置训练加音素前置解码能得到很好的音素错率，但容易对预测音素过拟合，使最终词错率高于联合训练。联合训练加标准解码或加音素前置解码各有胜负，需要按数据量选择。未胜出项必须保留：纯标准训练在部分难集上可能与联合方法接近，纯音素前置在难声学下可能词错更高。这说明音素监督不是无条件增益，它的价值取决于标签质量、数据量和解码是否被迫经过可能出错的音素瓶颈。

哪些边界没有测，哪些代价必须说清？

首先是推理成本。音素前置使输出序列变长，波束搜索加有效性检查又增加计算，原文明确承认以更慢推理为代价换取可解释性与声学忠实度，但没有报告延迟与每秒帧数的定量测量，因此不能承诺实时性改善。其次是适配依赖。方法要求对大语言模型做低秩适配，原文指出这通常本来就要做，但没有给出冻结语言模型只训练投影层的对照，因此不能说清多少收益必须依赖语言模型权重变化。第三是标签依赖。

强制对齐需要该语言或口音下覆盖较广的发音词典与尚可的声学模型，原文假设其影响相对数据规模有限，但没有系统比较不同对齐器与词典覆盖的影响，属于待验证推测。第四是评估口径。音素错率部分基于字音转换工具对预测文本与参考文本分别转换，该工具对同形异音词做词性消歧并用神经网络处理未登录词，其自身错误会进入指标，不能把该指标当成对真实发音的直接测量。

最后是基线差距，大数据下专用模型仍略优，语音大语言模型的优势在更广的语音理解任务，不应只用词错率做胜负判断。

要复现先做什么，关键超参数与信息条件是什么？

复现应从默认 100 小时配置起步，避免一开始就挑战 960 小时。第一步准备语音与文本，按原文划分训练与验证，留出随机验证集用于调参。第二步准备音素目标：英语用已公开的对齐音素，演讲数据用词典加预计算对齐选择发音变体，荷兰语用自动对齐加少量人工校对，音素集保持与原文一致。第三步搭建冻结编码器加堆叠加投影的结构，堆叠数为五，特征率降到每秒 10 帧，投影经中间维度再到语言模型维度。

第四步配置低秩适配与优化：小数据秩为 4，大数据秩提高，优化用线性衰减加一成预热，峰值学习率与权重衰减按原文设置，有效批量对应约 30 分钟音频。第五步同时训练两种提示，推理时分别试标准解码与音素前置解码，评估前做相同文本归一化。资源状态必须如实说明：本次收到的证据未绑定且完成验证的代码、模型或数据资源，不得声称代码或权重已公开，只能按论文文字重建流程。若音素工具链缺失，应先补对齐与词典覆盖验证，再谈错率比较。

何时值得尝试，何时不值得？

当已有一批转写本但语音时长有限，且错误多为听起来像但写得不对的替换时，值得尝试音素前置，因为它用零额外人工的方式补上发音监督，并给出可检查的音素证据。当发音词典覆盖差或对齐质量明显不可靠时，应先补词典与对齐验证，否则音素目标本身会引入噪声。当数据已达近 1000 小时且推理延迟敏感时，更值得采用联合训练加标准解码，把音素只当训练正则，而不是每次都输出音素。

当目标是纯词错率打榜且不关心可解释性时，专用微调模型可能仍是更直接的选择。回到中心矛盾：语义空间与发音空间的组织原则不同，直接映射在小数据下学不充分，音素前置用显式的发音瓶颈迫使模型先对齐声音再选词。记住适用条件与代价，才能把这一简单改动用在正确的位置。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 3 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eusipco-2026 论文汇总