英文题目：Quantifying the Generation Modality Gap in Speech-Text Language Models
标签：#语音合成 | #流匹配 | #多模态学习 | #模型比较
评分：6.0/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5
👥 作者与机构
- Ju-Chieh Chou：机构信息未在 arXiv HTML 中可靠披露
- Jiawei Zhou：机构信息未在 arXiv HTML 中可靠披露
- Karen Livescu：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
该研究处理口语语言模型从约 3 秒语音提示生成连贯语音延续的任务，难点在于语言内容连贯性、局部音素合理性与说话人及声学实现被耦合在一起，且纯语音与语音文本模型常用不同数据与不同指标而无法归因。方法链分为三步：先用 Mimi 将波形映射为同步的离散语义 token 序列 \(z\) 与连续表征序列 \(x\)，再由因果 Transformer 输出上下文向量 \(h_m\) 并分别经离散头与条件流匹配头预测未来语音，语音文本模型另以领先 \(D=2\) 帧的内部文本流提供语言规划。延续经 Whisper 转写并用编辑距离切除提示后，以参考语言模型计算生成困惑度，同时用音素 5 元 Jensen-Shannon 散度、说话人相似度、预测平均意见分与情感嵌入分布评估语音侧。与已有内外独白或纯语音建模相比，关键差异是将纯语音、语音文本与纯文本三类变体固定在同一 OpenELM-270M 骨干与匹配数据分布上并统一以提示延续生成评价。在 C4 训练与 C4 提示的 4707 条联合非空延续子集上，语音文本转写延续的生成困惑度为 49.9，显著低于同设置纯语音模型的 228.8，而音素分布散度同为 0.47。结论仅适用于 456M 参数量级与 10k 小时量级训练，未验证更大规模与其他编解码架构下的外推。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
第三方资源：https://github.com/jjery2243542/flow-slm — 链接可访问（HTTP 200）
第三方资源：https://github.com/microsoft/UniSpeech/tree/main/downstreams/speaker_verification — 链接可访问（HTTP 200）
第三方资源：https://huggingface.co/llm-jp/Llama-Mimi-1.3B — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，本文要保留哪些条件？
本文的输入是约 3 秒的语音提示及其文字转写，目标是让模型生成后续语音或文本延续，并比较不同模态训练对生成质量的影响。研究对象不是下游微调后的任务分数，而是预训练阶段本身：同样规模的骨干网络，在只看语音、同时看语音和文本、只看文本 3 种条件下，生成的语义连贯性、音素局部结构和声学实现各有什么差异。
必须保留的信息是训练数据分布要匹配、生成设置要匹配、评价要把语义、音素和声学分开度量，否则不同数据和不同指标之间的差异会掩盖模态本身的作用。输出是一套可复述的构造与评价流程：如何构造提示、如何采样延续、如何去掉提示部分再打分，以及在哪些指标上联合建模带来收益、在哪些指标上付出代价。读者可以把本文理解为 1 次受控对照实验，而不是新架构竞赛。
同类路线在比什么，本文的对照有何不同？
语音语言模型有 3 条常见路线：用高层离散单元建模语言内容，用多层编解码器同时建模语言与声学，用连续表示直接生成声学特征。语音文本联合模型则在此基础上加入文本，形式包括交错排列的语音文本 token，以及本文采用的内部独白式文本流。相关分析工作有的研究语音作为输入时的文本生成，有的从文本逐步过渡到音素再到自监督语音 token，观察每一步退化。
本文的不同在于固定语音骨干为基于流匹配的连续表示模型，只改变是否提供内部文本流，并在相同数据和相同生成评价下比较纯语音、语音文本与纯文本 3 类模型。原文明确表示目标不是比较语音生成架构，而是固定一个较强的语音骨干，研究加入文本如何改变其生成行为。因此阅读相关工作时不应把类别差异直接当作同条件胜负，而应关注输入模态、输出模态、监督来源和是否经过任务适配是否一致。
为什么需要匹配数据与匹配生成设置？
如果纯语音模型和语音文本模型用不同数据训练，再用不同指标评价，就无法回答文本到底补了多少语言能力。语音生成同时要求内容可理解、音素序列合理、说话人稳定、情感与环境自然，而纯文本生成只要求内容连贯。容量有限时，语音模型还要分出容量处理声学、说话人和时长变化。直接比较现成模型的下游分数，会混入数据规模、后训练和任务调优的影响。
本文于是提出匹配训练与评价：3 类模型从同一个预训练文本语言模型初始化，在同样规模的语音数据上训练，用提示续写的方式生成，再把语音续写转写为文本后用同一参考语言模型打分，同时用音素识别、说话人验证和质量预测模型评价语音侧。这种设计把问题拆成 3 个可操作的子问题：语义是否变好，局部音素统计是否变化，声学保持是否受损。
三类模型如何共享同一骨干并走完一个样本？
3 类模型共享同一个因果 Transformer 骨干，区别只在输入流和输出头。纯文本模型只有文本流和文本头，纯语音模型只有语音流和语音头，语音文本模型同时有两条流和两个头。以一个语音文本样本为例，输入是历史语音表示和已生成的文本状态，Transformer 在每个时刻输出上下文向量，文本头预测下一个文本 token，语音头预测未来的离散语音 token 与连续语音表示。
推理时先给定语音提示及其转写，把文本流推前若干帧，再联合生成文本与语音延续，最后由分词器解码器把连续表示还原为波形。纯语音模型走同样的语音分支，只是不提供文本上下文。下图展示了这种双流结构与延迟安排，是理解后续损失与解码的前提。
看图路径： 1. 先找到底部两排输入方块，确认上面是文本 token、下面是语音 token；2. 再看语音下方标注的 delay 箭头，确认语音相对文本滞后；3. 最后沿中间 Transformer 向上追踪到 h_m，再分叉到文本头与语音头
论文图 1。原论文 Fig. 1:：“Speech-text LM architecture. The transformer processes text and speech streams and produces a context vector h_m at the m^\textrmth time step, which is used by the text and…”。
图中底部两排方块分别是文本 token 与语音 token，语音一侧标有 delay，表示语音滞后于文本。中间黄色 Transformer 汇总两路上下文后向上输出 h_m，再分叉到蓝色文本头与绿色语音头。纯语音与纯文本模型可看作只保留对应分支的简化版本。语音头内部还包含离散头与流匹配头，分别负责语言骨架与声学细节，这种分工是后文损失设计的直接依据。
语音头如何同时预测离散单元与连续特征？
语音侧用 Mimi 分词器把每段波形映射为同步的两列序列：离散 token 序列主要承载音素层面的语言信息，连续表示序列承载可还原波形的声学信息。白话说，前者回答接下来发哪个音，后者回答这个音具体听起来怎样。在时刻 m，Transformer 给出隐藏状态 h_m，离散头以自回归方式预测未来 k 个离散 token，原文取 k 等于 4，并把已预测 token 的嵌入拼接到 h_m 上作为条件。连续头则以离散序列与 h_m 为条件，预测当前时刻的连续目标向量。
离散语义 token × 连续语音表示： 离散语义 token 负责承载可识别的语言内容，分工是预测下一个可发音单元的类别；连续语音表示负责承载声学细节，分工是给出可声码器还原的向量；二者搭配的理由是只预测类别会丢失音色和环境，只预测连续向量则语言约束弱，组合后先采样离散序列再以它为条件生成连续向量，让语言规划约束声学实现。
离散预测的分解形式如下，符号 p 表示模型概率，z 表示离散序列，h_m 表示上下文：
\[p_{\theta}(z_{m:m+k-1}\mid h_{m})=\prod_{i=0}^{k-1}p_{\theta}(z_{m+i}\mid h_{m},z_{m:m+i-1}).\]该式把 1 次预测 k 个 token 的联合概率写成逐个相乘的形式，每个因子都依赖 h_m 与此前已生成的离散 token。对应的负对数似然即离散损失。连续分支采用条件流匹配，用 x 预测参数化并在速度空间计算损失，最终语音损失是两项之和：
\[\mathcal{L}_{\mathrm{speech}}=\mathcal{L}_{\mathrm{discrete}}+\mathcal{L}_{\mathrm{CFM}}.\]这种加和不是简单的多任务堆叠，而是让同一 h_m 同时接受语言类别监督与声学重构监督。
条件流匹配 × 离散自回归预测： 离散自回归预测分工是给出未来若干个离散单元的概率，条件流匹配分工是把噪声沿直线路径去噪为目标连续向量；搭配理由是前者提供语言骨架，后者填充声学细节，组合后语音损失同时包含两项，让同一上下文向量同时约束说什么和怎么说。
推理时先从离散头采样，再以采样结果为条件生成连续表示，这种顺序保证声学实现不会脱离语言骨架。
内部独白文本流 × 延迟语音流： 内部独白文本流分工是提前生成语言计划，延迟语音流分工是滞后生成与文本对齐的语音；搭配理由是不做词级或帧级对齐也能让语音在预测时看到超前的文本状态，组合意义是语音头既能利用语音历史又能利用已生成的文本前缀，从而把语义规划和声学展开解耦。
训练时文本流如何超前，损失如何组合？
语音文本模型不使用词级或帧级对齐，而是用固定的文本超前调度。训练时文本流比语音流提前 D 帧，原文取 D 等于 2，因此预测某位置语音时，模型能看到语音历史以及包含短文本前缀的文本状态。推理做提示续写时，先给定语音提示及其转写，把文本流推前 D 步，再联合生成文本与语音延续。这种安排让文本流充当中间语言计划，而不需要显式对齐。损失方面，纯文本模型只用标准下 1 token 损失，纯语音模型只用语音损失，语音文本模型用文本损失加语音损失。
两类语音模型使用相同的语音目标与语音损失，差异仅在于语音隐藏状态是否以联合语音文本上下文为条件。所有模型都从 OpenELM-270M 预训练文本语言模型初始化，语音头结构沿用流匹配语音模型的设计。
去掉提示的边界通过编辑距离估计，设完整生成转写为含提示的字符串，真实提示转写为参考，边界选择使前缀与参考编辑距离最小的位置：
\[e_{j}^{\star}=\arg\min_{0\leq e\leq|\tilde{c}_{j}|}d_{\mathrm{edit}}\!\left(\tilde{c}_{j,1:e},r_{j}\right),\]该步骤保证评价只针对生成延续，而不把提示本身计入分数。
下表整理了原文报告的训练规模与调度要点，阅读时注意批量按数据集调整的原因是平均时长与显存约束不同。
| 配置项 | 取值 |
|---|---|
| 训练迭代 | 40k 迭代，约 2 轮 |
| 批量大小 | MLSEn-10k 用 128，Emilia 与 F5-C4 用 160 |
| 文本超前 | D=2 帧 |
表后需要强调的是，迭代数与批量是原文为匹配数据规模所做的具体选择，不是通用最优值。文本超前帧数固定为 2，意味着语音预测总能看到少量未来文本计划，但原文未报告更换延迟的对照，因此不能推断更大延迟必然更好。
数据、提示与指标如何组织才能公平比较？
训练与评价覆盖 3 个分布：野外语音 Emilia、英文有声书 MLSEn，以及用 F5-TTS 合成的 C4 文本衍生语音。合成 C4 从每个原始数据点至多取一句话，用 LibriSpeech 开发集随机参考说话人合成，并过滤掉词错误率过高的样本，最终与从 Emilia 与 MLSEn 各取的子集大致匹配到约 10k 小时规模。评价提示从各域测试集中取时长超过 6 秒的 utterance，用词级对齐找到接近前 3 秒的词边界，取约 3 秒作为提示。每提示采样 5 条延续，无提示设置采样同样数量的独立生成。
解码时对两类模型做了针对性调整：语音文本模型可能文本流已结束而语音仍继续，加入结束符偏置鼓励同步终止；纯语音模型有时产生过多静音，对静音相关 token 施加 logit 惩罚。空延续会被排除，并在比较的模型间取交集，保证同一子集上比较。
生成困惑度 × 音素 n-gram 分布： 生成困惑度分工是衡量续写内容在参考语言模型下是否连贯，音素 n-gram 分布分工是衡量局部发音序列是否符合参考分布；搭配理由是前者看长程语义，后者看短程语音结构，组合后才能区分语义变好是否同时带来发音结构变好，避免用单一分数代替整体生成质量。
语义指标是生成困惑度，先用 Whisper 转写语音延续并去掉提示，再用参考语言模型按提示条件打分，越低表示越连贯：
\[\mathrm{genPPL}=\exp\left(-\frac{\sum_{j=1}^{J}\sum_{t=1}^{T_{j}}\log p_{\mathrm{ref}}\left(\hat{c}_{j,t}\mid r_{j},\hat{c}_{j,说话人相似度 × 情感分布距离： 说话人相似度分工是衡量续写与提示音色是否一致，情感分布距离分工是衡量生成与参考在情感表征分布上是否接近；搭配理由是前者关注身份保持，后者关注整体韵律情感一致性，组合意义是揭示语义改善可能伴随不同的声学代价，不能只看文本转写分数。
下表归纳了采样与打分流程的关键动作，便于复现时逐项核对。
| 环节 | 原文做法 |
|---|---|
| 提示构造 | 每域取长 utterance，前约 3 秒作提示 |
| 采样数量 | 每提示 5 条延续，无提示同样采样 |
| 语义打分 | Whisper 转写后用 OLMo-3 7B 打分 |
表后应注意，转写与参考打分都会引入自身误差，生成困惑度可能受参考模型与评价域失配的影响。音素序列依赖转写加音素识别，情感表征也可能混入语言信息，因此声学相关指标更适合理解为一致性代理，而非纯粹的音质或情感保真证明。
文本流带来多大语义收益，又在声学侧付出什么？
跨训练集与提示源的结果显示，纯语音模型的生成困惑度远高于纯文本与语音文本模型，加入文本后大幅下降。即使在无提示设置下，内部文本流自行生成的计划仍能改善语音延续的连贯性。原文指出 C4 上的差距更大，可能因为开放域书面文本包含更多难从语音单独学到的命名实体。
训练动态显示，语音文本模型的内部文本流先降到低困惑度，语音流随后逐渐追上，而纯语音模型改善更慢且停在更高位置，这与文本流从预训练语言模型初始化因而更快适应的解释一致。与更大规模纯语音模型相比，语音文本模型在语义上逼近了用更多数据与更大参数训练的模型，支持文本提供高效语义信号的判断。下图展示了生成困惑度随训练集与提示源的变化，是本节的核心证据。
看图路径： 1. 先确认纵轴为 genPPL 向下，数值越低表示越连贯；2. 再确认顶部三个面板依次为 C4、Emilia、MLSEn 三种训练数据；3. 再按图例区分 Text-only、Speech-text inner、Speech-text ASR、Speech-only 四组柱子；4. 最后对比每组内橙色纯语音柱与其他三组柱的高度差，并查看无提示空集列的变化
论文图 2。原论文 Fig. 2:：“GenPPL across training sets and prompts.”。
该图纵轴为 genPPL，数值越低表示延续在参考语言模型下越连贯。顶部 3 个面板依次对应 C4、Emilia、MLSEn 3 种训练数据，每个面板内横轴为提示来源与无提示条件，每组包含 Text-only、Speech-text inner、Speech-text ASR、Speech-only 4 种延续。可以看到橙色纯语音柱显著高于其他 3 类，而蓝色语音文本语音转写与品红内部文本接近灰色纯文本，说明语义缺口主要被内部文本计划补上。但同一改善并未均匀出现在其他指标上，音素散度仅小幅变化，说话人相似度与预测质量反而偏向纯语音模型。
为检验参考语言模型选择是否改变结论，原文用 5 个约 7B 规模的参考模型重算生成困惑度。下表截取 C4 训练域的前 4 种模式，比较问题是不同参考模型下排序是否稳定，公平条件是同一提示集与同一生成集合，指标方向均为越低越好。
| Prompt set | Dataset | Mode | OLMo 7B | Ministral 8B | Gemma 7B | Qwen2.5 7B | Llama 3.1 8B |
|---|---|---|---|---|---|---|---|
| C4 | C4 | Speech–text ASR | 48.3 | 40.5 | 42.9 | 43.1 | 45.0 |
| C4 | C4 | Speech–text inner | 54.0 | 42.4 | 46.2 | 47.2 | 48.6 |
| C4 | C4 | Text-only | 31.4 | 25.2 | 26.3 | 26.8 | 27.3 |
| C4 | C4 | Speech-only | 230.4 | 202.7 | 216.8 | 221.7 | 223.9 |
表后可以看到，尽管绝对分数随参考模型变化，纯语音远高于纯文本与联合模型的格局在各列保持一致，联合模型的内部文本与语音转写也互相接近。例如 C4 提示下纯语音在 202.7 到 230.4 之间，而联合模型仅在 40.5 到 54.0 之间。这种稳定性支持语义改善不是某个参考模型的偶然偏好。下表进一步给出 5 个参考模型之间的排序相关性，用于量化上述稳定性。
| Oracle LM | OLMo 7B | Ministral 8B | Gemma 7B | Qwen2.5 7B | Llama 3.1 8B |
|---|---|---|---|---|---|
| OLMo 7B | 1.00 | 0.99 | 0.99 | 0.99 | 0.99 |
| Ministral 8B | 0.99 | 1.00 | 0.99 | 1.00 | 1.00 |
| Gemma 7B | 0.99 | 0.99 | 1.00 | 0.99 | 0.99 |
| Qwen2.5 7B | 0.99 | 1.00 | 0.99 | 1.00 | 1.00 |
| Llama 3.1 8B | 0.99 | 1.00 | 0.99 | 1.00 | 1.00 |
表后结果显示两两相关系数均在 0.99 左右，报告为不同参考模型给出几乎相同的排序。但该表只验证排序稳定，不验证转写错误或域失配本身是否被放大，因此不能把高相关当作绝对分数无偏的证明。
说话人相似度与预测质量呈现相反方向，下两图分别展示这两个声学指标。
看图路径： 1. 先确认纵轴是说话人相似度，越高越好；2. 再区分蓝色联合模型与橙色纯语音模型在每组提示下的高低；3. 最后观察顶部灰色参考线，判断生成与真实延续的差距
论文图 5。原论文 Fig. 7:：“Speaker similarity from the speaker verification model. The legend follows Fig.2.”。
说话人相似度图中，蓝色联合模型在多数提示组低于橙色纯语音模型，且两者都低于顶部参考线，说明身份保持仍有差距，联合训练的文本损失可能分散了对声学属性的强调。
看图路径： 1. 先确认纵轴是 UTMOS 预测分，越高表示预测质量越好；2. 再对比每组内蓝色与橙色柱的高低关系；3. 最后看顶部参考线，确认生成质量与真实语音的相对位置
![原论文 Fig. 8：Predicted MOS from the UTMOS model \\[39\\]. The legend follows Fig.2.](https://arxiv.org/html/2609.14743v1/utmos.svg)
论文图 6。原论文 Fig. 8:：“Predicted MOS from the UTMOS model [39]. The legend follows Fig.2.”。
预测质量图呈现同样方向，橙色柱普遍高于蓝色柱，但都未超过参考线，表明语义收益不自动转化为更好的预测音质。反例必须保留：若只看转写困惑度会得出联合模型全面更好的结论，而声学侧的两个指标给出了明确的代价。
哪些对照支持语义改善来自文本而非单纯规模？
原文做了两类对照来分离架构与规模的影响。一类是把流匹配骨干从 10k 小时扩展到 45k 小时，并把骨干从 270M 对应规模放大到 1.1B 对应规模，观察纯语音与语音文本模型的变化。报告显示纯语音模型的生成困惑度随数据与模型放大而改善，而语音文本模型更早饱和，音素散度变化不大。另一类是在匹配的 Emilia 数据上复现 Llama-Mimi，以隔离展平残差量化 token 与连续表示加流匹配的架构差异，复现版本在匹配设置下弱于流匹配骨干，原文认为可能源于复现细节缺失或展平 token 训练效率较低。
这些对照支持联合模型的语义优势不只是参数量差异，因为在相同骨干与相同数据下，是否提供文本流已造成大幅差距。同时，公开发布的大规模 Llama-Mimi 在生成困惑度上优于小规模纯语音模型，但联合模型用小得多的语音数据量逼近了其语义水平，说明文本在语义维度上补偿了部分规模差距。但原文也提醒，音素与声学指标并未随语义同步改善，因此不能把语义对照推广为整体生成质量的因果结论。
哪些边界尚未验证，不能直接推广？
首先，评价依赖自动转写、音素识别、说话人验证与质量预测模型，每一步都会引入误差。提示边界用编辑距离估计，空延续被排除并取交集，这些处理减少了提示污染，但也意味着报告的是非空交集上的表现。其次，情感相关指标基于情感模型的嵌入与标签后验，原文明确指出这些表征可能同时编码语言与声学信息，应理解为情感相关的一致性而非纯粹情感保持。
第三，实验固定为同一家族、同一量级的数据与模型规模，虽然包含与大规模纯语音模型的外部比较，但未系统覆盖不同架构与更大规模联合训练的缩放行为。第四，解码时的结束符偏置与静音惩罚是针对模型伪影的调整，若去掉这些调整，分数可能被解码伪影主导，因此复现时必须保留相同的解码条件才能比较。最后，总体趋势不等于每组提示都成立，不同训练域与提示域的组合存在差异，跨域泛化仍待验证。
复现时先做什么，需要哪些代码与权重？
复现应先按学习依赖重建数据与评价，再训练小规模对照。数据侧需要 Emilia 英文子集、MLSEn 英文子集，以及用 F5-TTS 合成的 C4，合成时每个原始样本至多取一句并过滤高词错误率样本，使三者大致匹配到约 10k 小时。模型侧从 OpenELM-270M 初始化，用 Mimi 的预量化表示作连续目标、第一层残差量化作离散目标，语音文本模型的延迟固定为 2 帧，训练约 40k 迭代。
评价侧按每提示 5 条延续采样，用 Whisper small.en 转写、用 OLMo-3 7B 计算生成困惑度，用音素识别算 5-gram 散度，用说话人验证与预测质量模型算声学分数，并保留相同的解码调整与非空交集逻辑。资源状态是开源声明的唯一依据：流匹配语音模型代码当前可用，大规模对比模型的权重页面当前可用，说话人验证代码当前可用，复现时应以本次确认可达的链接为准，不默认权重与完整训练脚本都已公开。
原文表示模型、代码与评价设置将在发表后公开，因此在未公开前应先复现评价流程与小规模基线，再等待官方释放。
何时值得尝试文本辅助，首要误解是什么？
当目标是让语音延续更连贯、尤其训练域包含开放域书面内容时，值得尝试内部文本流，因为它用较小的语音数据代价换来接近纯文本的连贯性，且训练中文本流先收敛可为语音提供计划信号。当应用更看重说话人保持与预测音质时，则需谨慎，因为原文显示这两项偏向纯语音模型，联合损失可能分散声学建模的容量。首要误解是把生成困惑度下降等同于语音整体变好，实际上音素局部统计只小幅变化，声学指标走向并不一致。
另一个误解是把情感分布距离改善当作情感保真证明，原文已提醒该表征混入语言信息，只能作为一致性参考。后续验证应补上不同架构、更大规模与人工听感评价，并在固定解码条件下报告语义、音素与声学的联合权衡，而不是只报告转写后的文本分数。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses