不用离散语音 token：一个模型同时做识别与流匹配合成

英文题目：UniVoice: Unifying Autoregressive ASR and Flow-Matching based TTS with Large Language Models

会议身份：conference:interspeech:2026:conference-paper-id:guan26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#自回归模型 #流匹配 #大语言模型 #语音识别 #文本到语音

评分：6.6/10 | 创新 1.4/2 | 技术严谨 1.0/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.1/1.5

排名：前50% | 文档类型：模型报告

👥 作者与机构

• Wenhao Guan：机构信息未能从会议 PDF 纯文本可靠映射
• Zhikang Niu：机构信息未能从会议 PDF 纯文本可靠映射
• Ziyue Jiang：机构信息未能从会议 PDF 纯文本可靠映射
• Kaidi Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Peijie Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Qingyang Hong：机构信息未能从会议 PDF 纯文本可靠映射
• Xie Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Lin Li：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作处理同一连续语音主干下的双向任务，输入为语音或文本，输出为对应的文本转写或梅尔频谱图波形，难点在于自回归识别需要因果约束而高质量合成需要双向上下文与细粒度声学建模。方法链分为三步，首先由 Whisper-large-v3-turbo 编码器与适配器将语音映射到大语言模型 SmolLM2-360M 隐空间以做因果转写，其次将合成重构为文本前缀引导的语音填补任务并以最优传输条件流匹配学习速度场，最后用双注意力掩码按任务切换因果与双向模式以共享参数。与离散 token 统一方案的关键差异在于全程保留连续声学细节，避免量化损失并兼顾推理稳定性与生成保真度。在 LibriSpeech-PC 零样本合成上 UniVoice 词错率为 4.06%，相对 OpusLM-7B 的 4.60%下降约 12%，相对纯合成变体 UniVoice-TTS 的 4.66%下降约 13%，在 LibriSpeech test-clean/test-other 识别上为 3.0%/6.3%，接近小规模专用模型但落后于 Whisper-large 系列。结论边界在于仅在英文朗读语音 LibriHeavy 50K 小时上验证，未覆盖噪声、多语、对话与长时韵律外推，且去除了 AdaLN-zero 等说话人适配机制。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么要统一？

本文的输入和输出是两类任务。第一类是自动语音识别，输入是一段语音，输出是对应的文字转写，要求把声学变化映射为稳定的词序列。第二类是文本到语音合成，输入是目标文本加一段参考音频及其文字，输出是保留参考音色、读出目标文本的新语音，要求内容读对且听感自然。本文要解决的矛盾是，已有大模型路线把两类任务分开做，或者用离散语音编号把它们硬接到一起，但量化会丢掉细粒度声学信息，既影响识别的鲁棒性，也影响合成的保真度。

为刚入门的读者先把白话讲清。自动语音识别的英文是 Automatic Speech Recognition，缩写是 ASR，动作是听音写字。文本到语音合成的英文是 Text-to-Speech，缩写是 TTS，动作是看字发声。连续表示的英文是 continuous representation，指不做量化、直接用浮点向量表示语音。离散切词指把语音先压缩成有限个编号再建模。本文的目标是只用连续信号空间，让同一个大模型主干既能听懂又能说话。

本解读的输入是论文正文证据与本次收到的官方原图像素，目标是把方法讲到可复述、可核对。必须保留的信息包括模型分支结构、掩码切换方式、文本前缀加语音修复的构造、训练损失权重、数据与评估条件。输出是 1 篇按学习依赖展开的技术解读，不做营销式判断，所有数字回到原文核对。

已有路线做了什么，为什么还不够？

论文把相关工作分成 3 条线。第一条是基于大模型的识别，例如把连续语音特征送入大模型做转写，代表是 SeedASR 思路与 SALMONN 思路，特点是保留连续特征、靠自回归生成文字，优点是识别精度高。第二条是基于大模型的合成，例如把合成看成音频编码语言建模，代表是 VALL-E 思路与 CosyVoice 思路，特点是利用上下文学习做零样本克隆，优点是能模仿新说话人。第 3 条是统一模型，例如 SpeechT5、Viola、LauraGPT 与 OpusLM，特点是同一个模型处理多种语音文本任务，但多数仍依赖离散编码，存在量化损失。

另一条并行路线是扩散与流匹配生成，直接在连续特征空间建模语音，合成质量不断提高，但在推理结构上缺少识别所需的自回归能力。论文的判断是，离散路线便于统一但丢信息，连续生成路线保真但不擅长理解，因此需要一种同时保留自回归稳定性与流匹配生成保真度的结构。本文的定位就是在连续空间内统一这两种范式，而不是再做一个更大的离散词表。

核心困难是因果与双向的冲突吗？

论文要解决的第一个困难是结构冲突。识别要求因果，只能看过去，不能偷看未来，否则训练与逐词解码不一致。合成要求双向，要同时看到文本全局与语音左右上下文，才能把被遮挡的片段补得连贯。如果用同一组 Transformer 模块，就必须在两种注意力模式之间切换。

第二个困难是条件组织。零样本合成既要内容正确，又要音色像参考人。只给说话人向量是一种做法，但向量压缩会丢失细粒度韵律。论文选择把文本放在前面做前缀，再把语音分成保留上下文与待修复片段，让模型在完整上下文中做修复，这样内容约束与声学约束同时存在。

第三个困难是联合优化。2 个任务难度不同，损失量级不同，如果权重不当，1 个任务会压住另一个。论文用加权求和把自回归损失与流匹配损失放在一起，并通过实验比较权重取值，后文训练与消融部分会具体展开。

一个样本如何走完识别与合成两条路？

先沿一个样本走完全程。识别路径的输入是一段 16 kHz 音频，先经过预训练的 Whisper 编码器抽取声学特征，再经过适配器做时间下采样与语义对齐，使特征维度与大模型隐空间一致，然后送入大模型做自回归生成，逐个输出文本词元，最后由文本解词器还原为文字。合成路径的输入是目标文本、参考音频及其文字，先把文本词元放在序列前面作为前缀条件，把参考与目标对应的梅尔谱拼成上下文与待修复片段，对待修复片段加噪遮挡，再送入同一主干做流匹配去噪，最后由神经声码器把梅尔谱转成波形。

这张总览图把上述两条路径画在同一主干上，左侧标注识别训练，右侧标注合成训练，右侧还放大了去噪模块的内部结构，是理解分支汇合方式的关键，建议对照下文分支说明逐箭头阅读。

看图路径： 1. 先沿底部输入向上看左侧识别支路从频谱到编码器再到大模型的路径；2. 再看右侧合成支路中文本在下、语音在上以及中间遮挡块的排列；3. 对比左右两路如何汇入中间同一条大模型横条；4. 最后看右侧放大的去噪块中从底部加噪遮挡到顶部去噪输出的顺序

论文图 1。原论文 Figure 1：“(a) An overview of UniVoice model. The Univoice model is composed of two branches: autoregressive (AR) Tranmsformer and flow matching (FM) transformer.”。

从像素可见，中间是一条横向的大模型横条，左侧下方有频谱图、编码器与适配器方块，向上接入主干后顶部输出词元序列；右侧下方有文本与语音方块，中间有遮挡块，顶部有频谱图，最右侧的放大面板自下而上依次是加噪遮挡、嵌入层、变换器块、输出层与去噪结果。这种画法直接对应文字描述的双分支共用主干：左侧是因果的识别，右侧是带文本前缀的修复式合成，放大部分解释了合成侧如何从遮挡噪声恢复出连续谱。

编码器、适配器与主干各自做什么？

识别分支的动作很具体。Whisper 编码器负责把波形或频谱变成高维声学特征，保留音素与语义信息。适配器负责降采样与映射，原文明确提到自适应平均池化，用来缩短时间长度并对齐到大模型的输入空间。主干采用 SmolLM2-360M，参数规模约 0.4B 量级，负责在对齐后的语音嵌入条件下自回归预测文本概率。合成侧的重建采用 BigvGAN 把梅尔谱转成波形。

合成分支的变换器基于扩散变换器的英文是 Diffusion Transformer，缩写是 DiT，但做了关键修改。标准 DiT 常用自适应层归一化调制来注入时间信息，本文去掉这种全局调制，以保证识别与合成两侧的模块保持同构，便于真正共用主干。时间嵌入改为拼在噪声梅尔序列头部，而不是全局注入。注意力内使用旋转位置编码的英文是 Rotary Positional Embeddings，缩写是 RoPE，用于捕捉长程依赖。

自回归建模 × 流匹配： 自回归建模负责把语音逐词转写为文本，每一步依赖已生成的上文，保证识别的顺序稳定性；流匹配负责学习从噪声到梅尔谱的速度场，把文本条件还原为连续声学细节，保证合成的保真度；二者搭配的理由是前者擅长理解离散语言结构、后者擅长生成连续信号，UniVoice 让它们共享同一 Transformer 主干，从而复用语言表示并保留细粒度声学信息。

沿样本再走一遍可以帮助记忆。识别时音频先变特征再变文字，损失是语言模型损失。合成时文本加上下文先变带噪谱再变干净谱，损失是条件流匹配损失。两条路径共享同一主干参数，但掩码与条件组织不同，这是全文的核心设计。

双注意力掩码如何按任务切换？

双注意力掩码的英文是 dual-attention masking，动作是按任务选择注意力可见范围。识别时使用标准因果掩码，每个位置只能注意自身及之前位置，与大模型原来的训练方式一致，保证逐词生成的顺序性。合成时使用双向全掩码，文本前缀与语音上下文之间可以互相看到，使模型能利用完整全局信息去修复被遮挡片段。论文还提到这种做法受到 VALL-E 上下文学习范式的启发，即利用大模型本身的文本建模能力来约束语音生成。

因果掩码 × 双向掩码： 因果掩码只允许模型看到当前位置及之前的信息，满足自回归识别逐词生成的需要；双向掩码允许同时看到左右上下文，满足流匹配合成利用全局文本和声学上下文的需要；二者搭配的理由是同一主干要兼顾理解与生成，双注意力掩码按任务动态切换，使同一组模块在识别时因果运行、在合成时双向运行。

对初学者可以用一个例子理解，但例子不代表论文数值。假设目标是补一句中间被遮掉的语音，因果模式只能根据前半句猜，后半句的语调与时长都用不上；双向模式可以看到前后保留片段与全部文本，就能把衔接做得更平滑。论文的消融比较了两种掩码在合成上的差异，结论是双向明显更好，具体数字见后文消融部分。需要强调的是，这不是说双向在所有任务都好，而是在修复式合成这种需要全局上下文的任务上好。

文本前缀加语音修复如何支持克隆？

文本前缀引导的语音修复的英文是 text-prefix guided speech infilling，动作分 3 步。第一步把转写词元放在前面，形成文本条件。第二步把梅尔谱按掩码分成保留上下文与待生成片段，待生成片段加噪。第 3 步让模型根据文本条件与保留上下文去预测待生成片段的速度场，从而逐步去噪得到目标谱。这种组织保持了大模型标准的输入格式，不需要额外引入异构模块。

文本前缀 × 语音修复： 文本前缀指把目标文本放在序列前面作为条件信号，分工是提供语言内容约束；语音修复指把梅尔谱部分遮挡后只根据未遮挡上下文和文本去重建被遮挡段，分工是学习音色和韵律的上下文延续；二者搭配的理由是零样本克隆既要读对内容又要像参考音色，前缀给内容锚点、修复给声学锚点，组合后实现提示式的语音补全。

与之对照的是基线做法。论文还做了一个简化基线，直接从文本嵌入生成梅尔谱，用外部说话人嵌入提供音色，说话人嵌入来自 XLSR-53 第一层，这种做法绕开了遮挡修复，流程更直接，但论文报告其效果明显差于修复范式。这支持了保留上下文对零样本克隆的重要性。

连续表示 × 离散切词： 连续表示指直接使用编码器输出或梅尔谱浮点特征，分工是保留能量、音色和细节；离散切词指把语音先量化为有限编号再建模，分工是便于套用语言模型但会丢失信息；二者搭配的理由在本文是舍弃后者、坚持前者，因为论文认为量化损失会同时伤害识别精度与合成质量，连续空间配合流匹配可以避免这层损失。

推理时的合成流程同样是提示式修复。给定参考音频、参考文字与目标文字，先按文字长度比例估计目标时长，再构造文本条件与声学上下文，从高斯噪声出发求解流常微分方程得到目标梅尔谱，最后用声码器转成波形。识别推理则回到常规自回归解码，根据音频特征逐词采样最可能词元。

损失如何加权，训练条件是什么？

训练目标是加权求和，总损失等于自回归损失乘以权重再加音频流匹配损失。流匹配损失只在被遮挡位置计算，即用掩码点乘预测速度场与真实位移的差。自回归损失沿用语言模型原来的训练策略。论文还引入无分类器引导的英文是 Classifier-Free Guidance，缩写是 CFG，训练时随机丢掉部分条件，以增强生成质量与可控性。

训练数据是 50K 小时的 LibriHeavy 数据集。合成用音频上采样到 22.05 kHz，识别保持 16 kHz。所有音频处理为 80 维梅尔谱，帧长 1024，跳长 256。模型训练 10 轮，优化器、学习率、预热与批大小等条件见下表，表格数字均来自原文连续句，单位与精度保留原文写法。

下表整理训练优化与批量条件，用于核对复现时的优化器设置与数据吞吐，数值方向是配置值而非好坏指标，重点看学习率、预热步数与每批音频帧数是否一致。

表后需要说明代价与含义。较大的批帧数与较长的预热配合余弦调度，有助于稳定大模型与音频编码器的联合优化，但对显存与训练时间要求更高。原文同时报告自回归任务权重较小、合成掩码比例较高，说明训练重心偏向更难的流匹配任务，下一张表继续整理掩码与推理采样条件。

下表整理合成掩码与推理采样条件，用于核对掩码比例、条件丢弃概率、引导权重与采样步数，比较问题是修复难度与采样成本如何设置，公平条件是同一主干与同一声码器。

表后解释主要收益与代价。掩码比例高达部分全遮，迫使模型真正学会从文本生成而不是简单复制上下文，有利于零样本泛化，但训练难度增大。推理用 32 步采样加 2 倍引导权重，是质量与速度的折中，步数越多一般越平滑但延迟越高。论文还报告自回归权重取 0.005，比较了 0.01 的效果，消融部分会说明为何更小权重反而更好。

在什么数据与指标上测，与谁比？

评估分成两块。零样本合成在 LibriSpeech-PC 测试集上测，指标包括自然度、说话人相似度与鲁棒性。自然度用 UTMOS 与平均意见分的英文是 Mean Opinion Score，缩写是 MOS，越高越好。相似度用余弦相似度的英文是 cosine similarity，缩写是 SIM 与相似度平均意见分 SMOS，越高越好。鲁棒性用词错率的英文是 Word Error Rate，缩写是 WER，用 Whisper-large-v3 转写合成音频再算错词，越低越好。识别在 LibriSpeech 的 test-clean 与 test-other 上测，指标是 WER，越低越好。

基线分成 3 组。统一模型组包括 SpeechT5、LauraGPT 与 OpusLM，用于检验统一架构的相对位置。纯合成组包括 CosyVoice、CosyVoice2、MaskGCT、F5-TTS、FireRedTTS 与 Spark-TTS，用于检验与专用合成的差距。纯识别组包括 Whisper 系列、Paraformer 与 Zipformer，用于检验与专用识别的差距。论文还训练了只做合成的 UniVoice-TTS 与只做识别的 UniVoice-ASR，作为框架内单任务对照，这对判断联合训练是增益还是干扰很关键。

实现细节需要完整保留以便复现。主干是 SmolLM2-360M，音频特征来自 Whisper-large-v3-turbo 编码器，波形重建用 BigvGAN。训练 10 轮，AdamW 优化器，学习率 1.5e-3，预热 20000 步，余弦调度，每批 160000 音频帧。合成掩码 70% 到 100%，推理引导权重 2，采样 32 步。论文声明代码与权重地址，但本次资源状态显示未发现可验证的可用资源，因此不能写已公开，只能说原文给出了地址而本次未能确认可达。

主结果支持什么，又在何处落后？

合成主结果显示，统一的 UniVoice 比先进统一模型更稳健，论文报告在相关测试上有约 12% 的相对词错率下降，且比只做合成的 UniVoice-TTS 低约 13%，这支持联合识别与合成训练通过共享语言表示提高了可懂度。论文同时报告，统一模型在合成质量上达到统一组内最高的 UTMOS，但在说话人相似度上落后于 CosyVoice 与 F5-TTS 等专用模型，论文把可能原因归于去掉了自适应层归一化调制，而该机制对说话人自适应较为关键，这属于有限解释而非定论。

识别主结果显示，统一的 UniVoice 在 test-clean 与 test-other 上取得有竞争力的词错率，明显好于小型统一模型与部分专用识别基线，但与更大规模 Whisper 仍有差距。论文还报告统一模型略差于框架内只做识别的 UniVoice-ASR，原因是联合训练存在任务竞争，参数共享带来折中。这个细节很重要，它说明统一不等于两项都免费变强，而是在一个参数量下同时获得可用性。

理解数字时要注意聚合对象不同。合成的 WER 是把合成语音再转写后算错词，对象是合成可懂度。识别的 WER 是把真实语音转写后算错词，对象是识别精度。两者数值不能直接比较大小，只能在各自任务内比较模型先后。百分点差与相对百分比也不同，论文所说的 10% 几下降是相对变化，不是绝对百分点。

哪些设计被对照验证，失败条件是什么？

第一组消融比较合成范式。修复式生成明显好于直接加说话人向量的简化基线，论文报告词错率下降约 18%，相似度与自然度也有提升。这支持保留声学上下文比压缩成单一向量更能保留细粒度信息。但这不意味着说话人向量无用，而是在本文的连续修复框架下，上下文提供了更丰富的时变线索。

第二组消融比较注意力掩码。双向全掩码在词错率、相似度与自然度上都好于自回归掩码。这支持合成需要完整上下文的判断。失败条件也很清晰，如果在合成侧坚持因果掩码，模型看不到未来上下文，修复质量会明显下降。

第 3 组消融比较联合权重。权重取 0.005 好于 0.01。论文的解释是流匹配合成更难，需要更大权重，识别相对简单所以给小权重，让训练优先学会更难的任务。这属于基于结果的有限解释，尚未验证其他权重或动态调度的效果，也未测量不同权重下的训练稳定性曲线，因此不能推广为最优权重。

边界与未验证的推测有哪些？

论文明确的边界是只做了识别与合成两项任务，尚未扩展到翻译、对话或更广的语音处理。参数量相对较小，训练数据 50K 小时也小于部分基线的上百 K 小时，因此与大规模专用模型的比较条件并不完全一致，不能把差距简单归为方法不行。

未验证的推测需要单独标出。关于相似度落后的解释归于缺少自适应调制，论文用了可能一词，属于待验证。关于联合训练提高可懂度的解释归于共享语言表示，虽有 UniVoice 好于 UniVoice-TTS 的证据支持，但尚未做表示层面的因果验证。关于权重选择的解释归于任务难度差异，同样是事后解释。

缺失的测量也要指出。论文未报告推理延迟、实时率、显存占用与训练总算力，也未报告误判率的人工细粒度分析，因此不能承诺延迟或成本得到改善。总体趋势不等于每组都成立，自然度在联合训练后相比单任务合成有所下降就是一个具体代价。

复现先做什么，还需补哪项验证？

复现时先按信息条件准备数据。下载 LibriHeavy 并按原文区分采样率，合成侧上采样到 22.05 kHz，识别侧保持 16 kHz，统一抽成 80 维梅尔谱，帧长 1024，跳长 256。主干用 SmolLM2-360M，编码器用 Whisper-large-v3-turbo，声码器用 BigvGAN。训练时实现双掩码切换，识别用因果，合成用双向，损失按 0.005 加权，合成掩码在 70% 到 100% 之间随机，训练时随机丢条件以支持无分类器引导。

推理时分两条路。识别做常规自回归解码。合成先按参考文字与目标文字的长度比估计时长，再构造文本前缀与声学上下文，从噪声出发用 32 步求解得到梅尔谱，引导权重取 2，再经声码器转波形。评估时合成用转写词错率、相似度与 UTMOS，识别用 test-clean 与 test-other 词错率，注意两类词错率对象不同。

还需补的验证包括更大权重的扫描、去掉或保留自适应调制的对照、不同参考时长下的克隆稳定性，以及延迟与显存的实测。资源方面，原文给出了代码与演示地址，但本次未能确认可达，复现前应先确认链接与权重是否可用，不把地址存在当成可运行。

何时值得尝试这个统一思路？

当目标是在一个模型里同时要听懂与说话，且希望保留连续声学细节时，这个思路值得尝试。它的可操作点很清晰，共用主干但按任务切换掩码，合成用文本前缀加语音修复，损失上给合成更大比重。这些安排都有对照支持，不是空泛的统一口号。

当目标是极致的说话人相似度或极致的自然度，且可以接受两个专用模型时，专用模型仍可能更好。本文的证据显示统一带来可懂度增益，但也带来自然度与相似度的折中。初学者复述时可以这样记，先说两条路的输入输出，再说掩码切换与修复条件，最后说权重与评估条件，数字只引用原文报告的值，不补无源的效果承诺。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总