📄 在语音输入输出内部先想文本再说语音
英文题目：Distilling Text LMs into Speech-to-Speech LMs by Matching Internal Text Predictions
标签：#语音合成 | #语音大模型 | #知识蒸馏 | #自回归模型 | #流匹配
评分：7.5/10 | 创新 1.5/2 | 技术严谨 1.3/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.3/1.5
👥 作者与机构
- Ju-Chieh Chou：TTI-Chicago
- Jiawei Zhou：Stony Brook University
- Karen Livescu：TTI-Chicago
📌 核心摘要
语音到语音语言模型要求输入为语音、输出仍为语音，难点是仅靠语音信号难以学到文本大规模预训练带来的长距离语言结构和事实知识，而已有蒸馏多针对语音输入文本输出模型，语音到语音模型缺少可直接监督的文本分布。论文提出文本引导语音语言模型（Text-Guided Speech LM，TGSLM），训练时在随机词边界插入转换符号，转换前只消费语音上下文而不看其转写，转换后逐词先预测文本词、再以该词引导生成对应语音段，推理时同样在语音提示后加转换符号触发交替生成。内部文本预测构成知识迁移接口，用冻结文本主干做知识蒸馏（Knowledge Distillation，KD），以正向 KL 散度对齐师生下一个词分布，并以概率 0.2 混入纯文本重放以缓解文本能力遗忘，区别于经生成语音和序列级偏好间接传递教师信号的做法。在 Emilia 测试集 1325 条提示的共有子集上，TGSLM 把语音延续的生成困惑度（generative perplexity，genPPL）从语音基线的 151.7 降到 58.9，接近使用 Whisper 转写提示文本的文本先行模型的 57.1。放大的 TGSLM-Large-distill 在 Known-1000 上 Pass@5 达到 37.9%，高于 SpiritLM Base 的 23.5%。作者承认仍需词级对齐，句子级引导和指令微调等后训练尚未研究。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
第三方资源：https://rome.baulab.info/data/dsets/known_1000.json — 链接可访问（HTTP 200）
第三方资源：https://huggingface.co/hexgrad/Kokoro-82M — 暂时无法访问
第三方资源：https://github.com/microsoft/UniSpeech/tree/main/downstreams/speaker_verification — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音模型为什么难学到文本那样的知识
这篇论文处理的是语音到语音的续写。输入是一段语音提示，输出是接着这段提示继续说下去的语音，中间不要求给出提示的文字转写，评价看续写在语言上是否通顺、在事实上是否正确。文本大模型已经在海量文字上学到语法和常识，但同样规模的纯语音训练提升更慢，因为语音信号同时混着发音、语速、音色和环境，模型要花很多容量去拟合声音细节，分给词序和事实的容量就少了。
已有做法要么只在语音上建模，要么把文本当作额外训练段，前者语言弱，后者在生成时并没有让文本真正带着语音走。论文想保留语音输入和语音输出的形式，但在模型内部开一个文本接口，让未来的语言内容先在文本里想清楚，再落实为语音，同时让冻结的文本教师可以直接监督这个内部文本预测。
价值评估模型 × 辅助分数模型： 本篇不做价值估计也不做学生分布分数估计，因此不启用价值评估模型和辅助分数模型。这里点名是为了防止误用：论文的教师是冻结文本大模型的下一个词分布，学生是语音条件下内部文本预测的下一个词分布，监督是两者之间的 KL，不是评论器打分。
交错与文本前导两条路线差在哪里
纯语音路线把自监督语音特征离散成语义令牌再自回归建模，有的从文本模型初始化，有的加上连续特征生成头，输入输出都是语音，文本只出现在初始化阶段。交错路线把同一句话的语音段和文本段按词边界交替拼接，训练时多了一个文本信号，但推理生成语音续写时并不以文本为条件，所以语言指标改善有限。
文本前导又叫内心独白，生成时文本跑在语音前面，语音生成以文本为条件，语言质量更好，但在提示续写时往往需要先给提示的文字才能维持这条文本流。表格总结的正是推理时是否需要语音提示文字、生成时是否有文本引导这 2 维的取舍。论文把自己放在两者之间，训练需要词级对齐来构造序列，推理不需要提示转写。
交错模型 × 文本前导模型 × TGSLM： 交错模型指在同一句话内按词边界交替放语音段和文本段做训练，推理仍只用语音提示；文本前导模型指先生成文本再生成语音，让文本直接条件化语音。TGSLM 取前者的无转写提示和后者的文本引导生成，组合后在推理只给语音时仍能逐词先想文本再说语音。
论文要回答的具体问题是什么
第一个问题是不给提示文字时，能否让文本真正引导未来的语音生成，而不是只把文本当作旁路损失。第二个问题是语音到语音模型没有文本输出分布，文本大模型的知识该往哪里蒸馏。第 3 个问题是这种蒸馏会不会把副语言信息抹掉，比如提示明明带着高兴或生气的语气，续写是否还对情绪敏感。论文把三件事放在同一套受控对比里检验：序列构造本身是否降低生成困惑度，蒸馏加文本回放是否提高事实保留，情绪敏感性是否明显下降。所有结论都限定在英文 Emilia 训练、Mimi 表示、Qwen3 骨干和合成语音评测的条件下。
TGSLM 整体是怎么把语音分成先想后说
整体流程可以跟着一个样本走。模型先直接消费一段语音上下文，这段只做条件不算损失。在训练时随机选一个词边界插入转换符，推理时在语音提示后直接追加这个转换符触发后续生成。转换之后按词推进，每个词先预测它的文本记号，再生成它对应的语音段，然后进入下一个词。文本位置只训练文本头，语音位置只训练语音头，两种损失按位置切换。
为了知道词在哪里结束，文本词后预测文本词结束符，语音段后预测语音段结束符，推理时用贪心最高分是否等于结束符来切分，文本流出现结束符后收尾并补完最后一段语音。下面的示意图展示了这条交替链和蒸馏对齐的位置，先看文字导读再看图本身会更清楚。
这张图是论文的架构示意，底部是语音上下文经转换符进入文本词与语音段交替的状态，顶部是冻结文本模型给出的分布，中间虚线表示两者在文本预测位置做 KL 对齐，读图时重点看文本如何跑在语音前面。
看图路径： 1. 沿底部紫色语音上下文经转换符到文本词与黄色语音段的交替链看主路径；2. 看顶部冻结文本模型与底部可训练模型之间三处 KL 虚线的对齐位置；3. 对照图例确认文本词、下划线文本记号、语音上下文与语音段的颜色含义
论文图 1。原论文 Figure 1:：“Our TGSLM architecture. Given a speech context, the model generates subsequent words sequentially, with each text word followed by its corresponding speech segments.”。
从图中可以看到，紫色块是只做条件的语音上下文，黄色块是逐词生成的语音段，带下划线的记号是文本词，转换符是分界点。教师在上、学生在下，3 个词位置各有一条最小化 KL 的虚线，说明蒸馏只发生在内部文本预测上，不直接约束语音波形。这种结构把语言内容的学习放到文本目标上，把发音实现留给语音目标，是全文所有对比的起点。
语音表示与序列构造的输入处理
输入波形先过 Mimi 分词器得到同步的两路表示。第一层残差量化的离散码作为语义令牌序列，量化前的连续特征作为声学表示。Transformer 把历史编码成隐状态，离散语音头一次预测未来 4 个语义令牌，条件流匹配头在隐状态和已预测语义令牌条件下生成连续声学特征，两部分相加构成语音生成目标。词级对齐来自基于 Whisper 的对齐方法，训练时按此切出每个词的文本记号序列和语音段。序列形式可以写成上下文经转换符后文本 1 接语音 1 再接文本 2 接语音 2 不断推进。
\[S_{\mathrm{context}}\rightarrow\texttt{`这个构造的代价是训练依赖对齐质量，论文为此过滤对齐差的句子，要求最后一个对齐词覆盖足够时长、零时长词占比受限、每秒文本记号数不超过阈值。推理的代价是逐词交替带来更多步数和边界判断，好处是提示不需要转写也能让文本带着语音走。对照实验里专门试过把提示也显式转写成文本再续写，结果并没有更好，说明关键不是补全提示的文字，而是未来词先想文本。
语义令牌 × 声学特征 × 离散语音头 × 条件流匹配头： 语义令牌指 Mimi 第一层 RVQ 码本的离散符号，负责承载语言内容；声学特征指量化前的连续特征，负责承载音色细节。离散语音头自回归预测未来 4 个语义令牌，条件流匹配头在已知语义令牌和 Transformer 状态下生成连续声学特征。二者分工是内容与实现分离，组合后模型既能学词序又能还原波形。
蒸馏与文本回放如何接进训练目标
蒸馏发生在每个文本预测位置。冻结的教师是语音适配之前的原始文本骨干，它看到的是截至当前位置的真实文本上下文。学生看到的是语音提示加转换符后的语音文本历史。损失是两者下一个词分布的前向 KL，对文本序列取平均。最终目标把标准文本交叉熵按权重分成两份，一份留给真实文本，一份给蒸馏，再加上语音生成目标，权重由系数控制，系数为零就退化为无蒸馏训练。
\[\mathcal{L}_{\mathrm{KD}}=\mathbb{E}\left[\frac{1}{T}\sum_{t=1}^{T}D_{\mathrm{KL}}\left(p_{\mathrm{teacher}}(y_{t}\mid c^{\mathrm{text}}_{\lt t})\;\|\;p_{\theta}(y_{t}\mid c^{\mathrm{st}}_{\lt t})\right)\right],\]\[\mathcal{L}=(1-\lambda)\mathcal{L}_{\mathrm{text}}+\lambda\mathcal{L}_{\mathrm{KD}}+\mathcal{L}_{\mathrm{speech}},\]文本回放是另一路正则。以 0.2 概率采样纯文本批次，用标准下一个词预测优化，数据来自 FineWeb 子集。它的作用是维持对文本的暴露，减缓语音适配对原有能力的遗忘。论文报告蒸馏实验默认同时开回放，消融时才分开比较。需要说明的是原文没有给出梯度是否截断到教师、优化器细节之外的逐层冻结方案，复现时只能按冻结教师、更新学生全文来理解，不要从模型名猜测分块冻结。
蒸馏损失 × 文本回放 × 文本预测损失： 文本预测损失指对真实词文本的交叉熵，让模型学会说对词；蒸馏损失指学生分布向冻结教师分布靠拢的前向 KL，带来教师的事实和语言偏好；文本回放指以 0.2 概率插入纯文本批次做标准语言建模，防止语音适配洗掉文本能力。三者搭配是学新语音映射的同时留住旧文本知识。
数据模型与评测条件如何设定
训练用英文 Emilia，大模型版本加入英文 Emilia-YODAS，骨干是 Qwen3 的 0.6B 和 1.7B，学生规模因加入语音头略增到 0.8B 和 1.9B。评测语音多为合成：故事完形用 Kokoro 合成上下文和候选，事实 Known-1000 用 Magpie 合成前缀，情绪用自建的 Gemini-Emo 三元组，同一中性前缀配高兴悲伤生气 3 种韵律。生成困惑度做法是每个提示生成 5 条语音，用 Whisper 转写后用外部文本模型只给续写部分打分，越低越好，同时用二元组自 BLEU 看重复，用 UTMOS 看音质，用说话人向量看音色保持。事实评测看转写里是否出现答案，至少一条对就算通过。情绪评测把生成续写送入情绪分类器，只看是否延续提示的情绪。
生成困惑度 × 二元组自 BLEU × 说话人相似度： 生成困惑度指用外部文本大模型给语音续写转写文本打的分，越低说明续写越像正常语言；二元组自 BLEU 指同一条生成里重复二元组占比，用来排除靠重复刷低困惑度；说话人相似度指提示与续写音色的余弦相似。组合后能同时看到内容质量、重复代价和音色保持。
文本引导对开放续写质量带来多大变化
要比较的问题是在相同模型和数据下，内部先想文本是否比纯语音和交错更会续写，指标是生成困惑度越低越好，同时看重复率是否被刷低。下表只放论文正文用连续句子直接报告过的数字，避免把来源不明的外部模型数字混入同条件比较。
| 条件 | 指标 | 语音基线 | 本方法 TGSLM | 文本前导 oracle |
|---|---|---|---|---|
| 相同 0.8B 与 21.3k 小时 | 生成困惑度越低越好 | 151.7 | 58.9 | 40.7 |
上表说明在受控规模下 TGSLM 把生成困惑度从纯语音基线大幅拉低，而交错训练没有超过纯语音基线。oracle 行是有真实提示文字的文本前导，属于知道正确答案的上限，不是实际部署可得的提升。TGSLM 接近的是用 Whisper 转写提示的文本前导水平，论文原句报告为 58.9 对 57.1 且无需提示转写。代价是音质和说话人相似度略低于纯语音基线，但放大的蒸馏大模型能追回这部分。重复率在 TGSLM 各变体保持稳定，说明困惑度下降不是靠复读实现的。这个结论只在 Emilia 测试集的共享非空子集和上述合成转写打分链下成立。
蒸馏加回放是否进一步改善续写
要比较的问题是在 TGSLM 结构固定时，加上教师分布监督和纯文本批次是否继续降低生成困惑度。下表同样只整理正文直接报告的受控数字。
| 条件 | 指标 | TGSLM 无蒸馏 | 加蒸馏 | 加蒸馏加回放 |
|---|---|---|---|---|
| 相同 0.8B 与 21.3k 小时 | 生成困惑度越低越好 | 58.9 | 56.9 | 51.0 |
从结果看，蒸馏把生成困惑度从 58.9 降到 56.9，再加文本回放降到 51.0，论文据此认为迁移文本分布也有助于开放续写。限制是这两步都依赖文本教师和文本数据，回放概率、蒸馏权重和训练步数都会影响结果，不能把单点最优当成普遍增益。论文还试过显式恢复提示文字的变体，结果是 62.2 并没有超过 58.9，这是一个未胜出的负结果，支持关键在未来文本先行而不是补全提示文字。
训练执行上，模型在每个训练话语的随机词边界插入切换标记，切换前的语音只作为上下文，不计损失，切换后逐词先预测文本词，再生成该词对应的语音段。文本位置用自回归交叉熵学习词内容，语音位置用离散语义标记损失加连续声学流匹配损失学习发音实现，蒸馏位置让语音上下文条件下的下一个词分布去贴近冻结文本教师在对应文本上下文上的分布，并用权重在文本损失和蒸馏损失之间插值。
采用回放的模型以 0.2 的概率采样纯文本批次，用标准的下一个词预测目标优化。推理时在语音提示之后直接接上切换标记触发，模型按词交替生成文本和语音，用词尾标记判断分段结束，直到文本流产生结束符再补完最后一段语音。生成困惑度评估是对每个语音提示生成 5 个语音续写，用 Whisper small.en 转写后找到提示边界，再用 OLMo-3 7B 只对续写转写部分打分，并取所有比较模型都有非空续写的交集子集，因此这里的 58.9、56.9 和 51.0 是在同一子集上的受控比较。
情绪敏感性是否被文本教师抹掉
担心的是向纯文本教师靠拢会让模型忽略语气，只看文字内容。下表用论文直接报告的结论句做来源，不拼凑带置信区间的逐格数字，避免把区间 1/2 宽误当新指标。
| 条件 | 评测对象 | 报告结论 | 事实数字锚点 | 适用范围 |
|---|---|---|---|---|
| 相同情绪三元组 | 生成续写情绪分类 | 蒸馏前后总体相近 | 22.4% 到 37.9% 仅指事实 | 单分类器初步探测 |
表后解释需要超过 25 个汉字才能说清限制。论文原句是 TGSLM 与蒸馏版情绪分类准确率相近，蒸馏在这项评测里退化有限，大模型版本与 Llama-Mimi 大体可比。限制很明确：只用一个情绪分类器，只测提示的声学情绪是否延续到生成语音，不测词义是否被教师拉向中性。那些只用语义令牌或加音高令牌的外部模型类别极不均衡，论文归因于分词丢失声学信息，但这部分不是受控对比。初学者不要把情绪保留理解成已证明韵律完全无损。
蒸馏权重与回放对事实和故事的影响
这里看消融趋势而不仅是单点。左图是 Known-1000 的五次通过率，右图是口语和文本两种 StoryCloze 准确率，横轴从纯语音到 TGSLM 再到加回放和不同蒸馏权重。读图前先明确纵轴都是越高越好，蓝色是语音到语音，橙色或绿色是文本到文本，虚线是文本骨干上限。
这张消融图横轴是回放与蒸馏权重的递增，纵轴左侧是事实通过率右侧是故事准确率，观察重点是回放本身的抬升、蒸馏权重的单调性，以及语音与文本两条路径是否同步变好。
看图路径： 1. 先看左图蓝色语音到语音与橙色文本到文本随蒸馏权重的变化方向；2. 再看右图口语与文本 StoryCloze 两根柱子的同步抬升幅度；3. 注意虚线标注的文本骨干上限与语音模型之间的剩余差距
论文图 2。原论文 Figure 2:：“Ablation of text replay and distillation weight \lambda.”。
图中可见回放 alone 已比 TGSLM 提高事实表现，蒸馏在回放之上继续抬高，且随权重增大总体向好，同时文本到文本也在变好，说明蒸馏不只是教语音到文本的映射，也在约束语音适配少忘掉原骨干能力。但左图语音路径的绝对值仍远低于文本骨干的虚线，大模型蒸馏后五次通过率从 22.4% 到 37.9%，与外部更大模型和后训练模型的差距不能直接解读为方法胜负，因为数据分布、架构、分词和训练阶段都不受控。下表把可核验的受控数字单独列出。
| 评测 | 指标方向 | TGSLM 蒸馏版 | TGSLM 大蒸馏版 | Whisper 转写参照 |
|---|---|---|---|---|
| 事实与续写 | 越高越好与越低越好 | 22.4% | 37.9% | 57.1 |
该表的事实列显示放大带来事实通过率提升，续写列显示 TGSLM 与 Whisper 转写文本前导接近。限制是外部对比里无文本监督的纯语音模型通过率低于 6%，这支持文本监督更高效，但同样受非受控因素影响，只能当作背景参考。
哪些范围还没有被验证
训练序列依赖词级语音文本对齐，对齐错了切分就错，论文没有研究能否去掉细粒度对齐，只提到句子级先想文本可能是未来方向。评测多为合成语音和转写打分链，真实口语的口音、噪声和断句不在主结果里。事实评测只看答案字符串是否出现在转写里，不检验流畅之外的幻觉率。情绪只是一个分类器的初步探测。声学指标在受控小模型上略降，论文认为是已知权衡，但没有给出延迟、实时率和推理成本，逐词交替和双头采样的开销没有量化。所有胜负都应加上在英文、Mimi 表示和给定数据量下的定语。
复现第一步要准备什么
先准备英文 Emilia 并跑 Whisper 对齐，按论文过滤规则去掉对齐差的句子，再把音频预编码为 Mimi 码以省存储。从 Qwen3 骨干出发，加入离散语音头和条件流匹配头，训练时随机选词边界插入转换符，转换前语音只做条件不算损失，转换后按文本词接语音段交替算对应头的损失。蒸馏时冻结原始文本骨干做教师，学生在文本位置算前向 KL，权重从小往大扫，回放以 0.2 概率插纯文本批次。推理在语音提示后追加转换符，用贪心最高分是否为结束符切分，文本到结束符后补完最后语音段。
评测要固定转写器、打分模型和共享非空子集，否则生成困惑度不可比。论文未公开作者资源可达性时，不要把第三方链接说成作者已开源。
什么时候值得尝试这个做法
当你的任务必须是语音进语音出、推理时拿不到提示文字，但又希望续写更像人话并留住文本模型的事实能力时，这个先想后说的构造值得试。它把语言规划放在文本目标上，把发音放在语音目标上，还顺手给出蒸馏接口，这是纯语音和交错没有的。值得尝试的条件是能拿到可靠的词级对齐、能承受更长的交替生成、能接受小幅音质权衡或用放大追回。如果目标是极致音质、极低延迟或强情绪表演，论文没有给出充分证据，需要补测真实语料、人工听感、延迟成本和更大范围的副语言评测后再做选择。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses