📄 冻结多模态大模型如何以轻量适配实现词级全双工语音对话
英文题目:An LLM Is All You Need: Data-Efficient Adaptation to Full-Duplex, Word-Level Spoken Dialogue
评分:7.5/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.9/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.4/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Tairan Chen:机构信息未能在本次解析中与作者逐人可靠绑定
- Richard Yucheng He:机构信息未能在本次解析中与作者逐人可靠绑定
- Yihang Liu:机构信息未能在本次解析中与作者逐人可靠绑定
- Baodong Cao:机构信息未能在本次解析中与作者逐人可靠绑定
- Chen Xu:AveraLabs
📌 核心摘要
论文处理全双工口语对话:系统每 80 ms 一帧持续听,并逐词决定附和、让话、被打断及下一词;这类行为通常依赖数十万至数百万小时语音训练,逐帧自由生成又可能产生当前状态不允许的停顿、接话或沉默序列。 方法先由冻结的 Mimi 编解码器把用户波形变成每帧 8 个码本索引,再由音频适配器送入冻结的 Qwen3-Omni-30B-A3B 思考部分;新增输入通路以可加、恒等初始化接入,保持可读表示,并每帧输出一个普通子词或 17 个新时间词元之一。 再以四阶段课程训练低秩适配器、音频适配器、通道融合层和这些词元,总可训练参数 97.4M,并从第 3 阶段起以初始化检查点作 KL 参照,依次完成码流读出、停顿学习、单通道到双通道转换、打断与附和训练。 最后,说话部分接收离散词元,输出语音码元并解码为波形;采样前有限状态机把候选限制在当前状态合法集合内,避免非法时序,这种离散耦合使两半可独立训练,区别于端到端的大规模语音训练。 在 Full-Duplex-Bench v1.0 上,本文在暂停处理合成子集的 Synth. TOR(合成暂停接话率)为 0.170,低于 PersonaPlex 的 0.584;同一基准的 Backchannel Freq(附和频率)为 0.073,高于 PersonaPlex 的 0.025;但用户打断 Relevance(回答相关性)为 2.681,低于 PersonaPlex 的 4.210 和 Freeze-Omni 的 3.615。 在 Full-Duplex-Bench v1.5 的用户打断场景,本文响应延迟(Resp. lat.)为 0.64 s,低于 Freeze-Omni 的 1.35 s 和 Moshi 的 1.47 s,回应比例(Resp.)为 0.42,低于 Freeze-Omni 的 0.72 和 Moshi 的 0.50;InteractionBench 上 Spoken task 26%,高于 PersonaPlex 的 18%,Grounded(依据性)53% 高于 Freeze-Omni 的 35%,Coherence(连贯性)47 高于 Freeze-Omni 的 39,Whisper & volume 5% 低于 PersonaPlex 的 35%。 训练成本为思考部分 30.5 GPU 小时、说话部分 2.65 GPU 小时,在单张 B200 上测得且不含数据生成与评测;数据效率结论依赖已大规模预训练的起点,未报告端到端时延、吞吐或尾部延迟,其适用性受此限制。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
全双工语音对话的输入、输出与时间约束
全双工语音对话的输入是连续到达的用户语音,输出不是等到用户说完才生成的一段回复,而是与用户共享同一条时间轴的智能体文本和语音。系统要一边说一边听:用户只是停顿时不抢话,用户插话时让出话轮,用户还在说时可以用“嗯”“对” 这类短回应表示在听,随后再在合适位置取得话轮。本文把话轮决定细化到词级:以 12.5 Hz、也就是每 80 ms 1 帧为时钟,每个用户音频帧都要求思考器给出智能体文本流的下一个 token。
这个 token 可以是词片,也可以是停顿、让出话轮或重新取得话轮的时序 token。输出语音还要与输入音频等长,评测脚本按原基准的转录和评分流程处理。设计上有一条硬约束:每 80 ms 音频对应的思考器一步和说话器一步,必须在 80 ms 墙钟时间内完成,否则帧会排队、延迟无界增长。本文把它写作设计约束,而不是已经测得的实时性结果。
已有全双工路线与本文的位置
已有全双工系统主要有两条路线。dGSLM 和 Moshi 在固定帧率上同时建模双方音频流,让话轮行为从音频流中隐式出现;Moshi 从 7B 参数、2.1T token 预训练的文本 LLM 出发,再经过 7,000,000 小时转写音频、双人对话、2,000 小时 Fisher 电话语料和超过 20,000 小时合成指令对话等阶段;SyncLLM 从 Llama3-8B 出发,使用 212,000 小时合成语音对话和 2,000 小时真实对话。另一条路线在已有模型上增加全双工行为:Freeze-Omni 冻结文本 LLM,通过 3 阶段语音输入输出训练和额外多任务目标加入双工行为。
OmniFlatten 用模态对齐、半双工、全双工逐步后训练;Wang 等让 LLM 输出控制 token 驱动两状态机;Zhang 等把查询和回复切成时间片。Qwen2.5-Omni 和 Qwen3-Omni 的 thinker–talker 结构把“想说什么” 和“怎样说” 分开,但说话器仍读思考器的连续特征,或两半仍一起训练和运行。本文的差异不在同一预算下胜过这些大规模训练系统,而是把冻结的多模态 LLM 轻量适配成逐帧、词级、带显式合法动作约束的全双工思考器,并让说话器只读离散 token。
逐帧决策的困难与本文要回答的问题
逐帧决策带来一个具体困难。模型每 1 帧都要同时决定说不说、说什么、停不停;普通采样没有任何机制保证这些决定前后一致。只要在听的时候抽到一个词,或在自己的话轮中间抽到一个不该有的空隙,后续序列就会落到训练中没见过的状态,模型只能从这个非法状态继续生成。本文用有限状态机在采样前屏蔽非法 token,而不是采样后再修正。
另一个困难是知识保持:在有限语音数据上微调大 LLM 有灾难性遗忘风险,所以本文让 Qwen3-Omni 的骨干、token 嵌入表和语言建模头保持冻结,只训练轻量适配器、17 个新 token 嵌入、音频适配器和通道融合层,共 97.4M 参数。论文要回答的是:在这些冻结条件下,能否用约几十 GPU 小时的课程把逐轮对话模型改成词级全双工系统,并在公开基准上取得有竞争力的行为;它不主张一个从未听过语音的小模型也能靠小数据学会全双工。
冻结思考器与只读文本的说话器如何接成系统
系统的骨架是一个思考器–说话器级联。用户波形先经过冻结的 Mimi 编码器变成逐帧音频 token;思考器以 Qwen3-Omni-30B-A3B 的 thinker 为冻结骨干,每个 80 ms 帧读入用户音频和上 1 帧智能体 token,输出智能体文本流的下一个 token,这个词可以是词片,也可以是 PAD、EPAD、pause、SS 或 SE。说话器只接收思考器输出的 token 标识,不接收连续隐藏状态;它每帧输出智能体音频的 8 个码本 token,再由冻结的 Mimi 解码器还原波形。
两半共享同一个冻结 codec,但各自有独立的音频适配器,参数不共享,因此可以分别训练,训练顺序也不受约束。整个可训练部分相对 30B 骨干很小,但逐帧运行仍要满足共享的 80 ms 预算。
thinker × talker × discrete tokens: thinker 负责在冻结的多模态 LLM 上逐帧读用户音频并输出智能体文本与时间 token;talker 只接收这些离散 token,把词序列变成语音码本;discrete tokens 是两者唯一接口。这样分工把“决定说什么和何时说” 与“怎样发声” 解耦,使两半可以分别训练,避免连续隐藏状态把训练绑在一起。
这一分工的实际意义是:思考器负责语言内容、停顿和话轮合法性,说话器负责把已经确定的离散文本变成可懂语音;离散 token 接口把两边的训练数据需求分开,使说话器可以用“语音加词级转写” 单独训练,而不必在训练时把思考器放进回路。
从波形到逐帧音频 token 的输入路径
两半都不直接处理原始波形。冻结的 Mimi 把波形映射成每帧 8 个残差码本索引,按从粗到细排列;每个码本有一张嵌入表,音频适配器把 8 个码本嵌入相加,再用一个可选的线性桥接到该半的隐藏宽度。思考器的适配器包含桥接层,把和向量投到 2,048 维;说话器的适配器省略桥接,因为相加后的宽度已经匹配。两个适配器形式相同但权重独立训练,并且都只看当前帧,所以编码可以增量进行,逐帧成本不随话轮长度增长。
channel fusion × audio adapter × identity initialization: channel fusion 把用户音频嵌入与上一智能体 token 嵌入按帧合并后送入冻结骨干;audio adapter 把 Mimi 的 8 个码本嵌入映射到各自宽度;identity initialization 令融合矩阵从 [I|I] 开始、PAD 嵌入从零开始,使冻结模型第一步就读到接近原有 token 加音频的形式。三者组合让新输入通道可训练而不在初始化时破坏预训练知识。
思考器每帧的输入由用户音频嵌入和上 1 帧智能体 token 嵌入拼接后投影得到,公式写作:
\[x_{t}=W_{\text{proj}}\,\big[\,u_{t}\,\|\,e_{t-1}\,\big],\qquad h_{t}=f_{\theta}(h_{\lt t},x_{t}),\qquad z_{t}=W_{\text{head}}\,h_{t},\]其中 u_t 是当前帧用户 codec token 经音频适配器得到的向量,e_{t−1} 是上 1 帧智能体 token 的嵌入,W_proj 是通道融合层,f_θ 是冻结骨干的一步,z_t 是智能体 token 的 logits。W_proj 初始化为 [I|I],所以训练开始时融合输入就是 u_t+e_{t−1};PAD 嵌入初始化为零,因此智能体沉默时,冻结骨干先看到的就是用户音频本身。这个初始化让新输入路径一加入就落在预训练模型能读的表示附近,避免随机融合层在第一步扰动知识。
图 3 给出同一帧网格上的完整数据流。读图时先沿底部用户波形经 Audio Encoder 到用户音频 token,再沿中间看思考器如何把用户音频与智能体文本和控制 token 放在同一条帧带上,最后沿上方看说话器如何只读文本流并预测智能体音频 token;重点观察 SS、SE 和 pause 在时间轴上的位置,以及说话器如何把文本 token 与上 1 帧音频 token 对齐。
看图路径: 1. 沿底部波形经 Audio Encoder 追到用户音频 token;2. 看思考器如何把用户音频、智能体文本和控制 token 放在同一帧带;3. 观察说话器只读文本流并预测智能体音频 token;4. 定位 SS、SE 与 pause 在时间轴上的位置
论文图 3。原论文 Figure 3::“Data flow and frame-level token structure.”。
图中可见 3 类信息被压到同一帧时钟:最下方是用户波形,中间是思考器的用户音频输入与智能体文本输出,上方是说话器输出的智能体音频码本;文本流中的颜色区分词片、PAD 和控制 token,SS 与 SE 标出智能体沉默的开始和结束。这个图帮助理解为什么系统不需要外接话轮检测器:话轮事件本身就是文本流里的 token,和词片一起被逐帧预测,再交给说话器发声。
有限状态机怎样约束词级话轮
有限状态机把每帧的联合决策拆成状态相关的合法动作。状态有 Content、Pause、Silence:Content 与 Pause 合起来是智能体的说话区间,Silence 表示已经让出话轮。沉默时只允许 PAD 或 SE;在 Content 中允许词片、pause_0、pause_m(m>0)和 SS;Pause 本身不采样,只按队列吐出 PAD 和 EPAD。采样分布由公式给出:
\[p_{\theta}(y_{t}\mid h_{t},s_{t})=\mathrm{softmax}\big(z_{t}+\mathrm{mask}(s_{t})\big),\qquad\mathrm{mask}(s_{t})_{v}=\begin{cases}0,&v\in\mathrm{legal}(s_{t}),\\ -\infty,&\text{otherwise,}\end{cases}\]其中 z_t 是骨干输出的 logits,mask(s_t) 在当前状态把非法 token 置为 −∞,合法 token 置为 0,softmax 后再采样。状态转移在原文中写成 δ(s_t,y_t,Q_t):Content 下抽到 SS 进入 Silence,抽到 pause_m(m>0)进入 Pause,抽到词片或 pause_0 留在 Content;Silence 下抽到 PAD 留在 Silence,抽到 SE 进入 Content;Pause 中队列长度大于 1 时继续留在 Pause,队列只剩一个元素时回到 Content。抽到 pause_m 会把 m−1 个 PAD 和一个 EPAD 压入先进先出队列;抽到 SE 也会排入一个 EPAD,保证智能体第一个词之前自动出现起始帧。
PAD × EPAD × pause token × SS/SE: PAD 表示本帧没有新词,EPAD 是词开始前一帧,pause token 记录停顿时长,SS/SE 分别表示智能体让出话轮和重新取得话轮。它们与词片共用同一词表,有限状态机据此限制每帧合法动作;组合后,停顿、让出、开始和说话内容都由同一个下一 token 目标学习,同时避免采样出训练中不合法的序列。
图 4 把这 3 个状态和合法动作画成状态图。读图时先看 Silence 的自环 PAD 和指向 Content 的 SE,再看 Content 自环里的词片与 pause_0、进入 Pause 的 pause_m、以及让出话轮的 SS;最后看 Pause 的队列如何吐出 PAD 并在最后一个 EPAD 后回到 Content。
看图路径: 1. 先看 Silence 中 PAD 自环与 SE 进入 Content 的箭头;2. 再看 Content 中词片、pause_0、pause_m 和 SS 的分支;3. 注意 Pause 标为 no sampling,只沿队列吐出 PAD 和 EPAD;4. 确认 SE 后自动加一帧 EPAD onset
论文图 4。原论文 Figure 4::“The thinker’s turn-taking state machine.”。
图中清楚显示了采样状态和非采样状态的区别:Content 和 Silence 标有 sampling,Pause 标有 no sampling,只沿队列前进;SS 从 Content 指向 Silence,SE 从 Silence 回到 Content 并附有 +1-frame EPAD onset。这个约束解释了为什么逐帧采样不会轻易生成“听的时候突然说话” 或“话轮中间缺帧” 的非法序列,但它只保证动作合法,不保证语义上每次都选择最合适的时机。
说话器如何把离散 token 流变成语音
说话器沿用 Moshi 的层级结构但缩小规模:时间 transformer 有 8 层、宽度 4,096、32 个头、上下文 3,000 帧;深度 transformer 有 6 层、宽度 1,024,按顺序预测 8 个各有 2,048 项的码本。它同时看到 3 条流:智能体文本 y 是给定输入、不计算损失;智能体音频码本 c^(0)…c^(7) 是要预测的目标;用户音频码本 q^u 在架构上可以输入,但本文评测的检查点把用户流嵌入初始化为零并保持冻结,推理时也喂零,所以当前说话器实际上只根据智能体文本合成语音。
文本流比音频提前 3 帧,即 240 ms,让说话器在必须发声前看到词;7 个残差码本比粗码本滞后 1 帧,这是 Copet 等提出、Moshi 采用的并行码本延迟模式。
说话器每步的输入是各条流上 1 帧嵌入的和,公式为:
\[v_{t}=P\,\mathrm{Emb}^{\prime}(\tilde{y}_{t-1})+\sum_{k=0}^{7}A_{k}\big(\tilde{c}^{(k)}_{t-1}\big)+\sum_{k=0}^{7}U_{k}\big(\tilde{q}^{\mathrm{u},(k)}_{t-1}\big),\qquad\bar{h}_{t}=f_{\psi}(\bar{h}_{\lt t},v_{t}),\]其中 P 是文本嵌入的投影,Emb′ 是说话器复制的思考器 token 嵌入表,A_k 与 U_k 分别是智能体音频和用户音频每个码本的嵌入表,f_ψ 是时间 transformer 的一步。由于 U_k 在当前检查点被置零,用户流不会改变输出;这也是后文说它不能根据用户声音调整音色的原因。
在每 1 帧内部,深度 transformer 按码本顺序预测,而不是把 8 个码本当成独立变量:
\[\begin{gathered}\tilde{c}^{(k)}_{t}\sim\mathrm{softmax}\Big(L_{k}\,D_{\psi}\big(d_{0},\ldots,d_{k}\big)_{k}\Big),\\ d_{0}=G_{0}\,\bar{h}_{t}+\mathrm{Emb}^{\prime\prime}(\tilde{y}_{t}),\qquad d_{k}=G_{k}\,\bar{h}_{t}+A^{\prime}_{k}\big(\tilde{c}^{(k-1)}_{t}\big)\ \ (k\geq 1),\end{gathered}\]其中 d_0 由时间状态与当前文本嵌入组成,d_k(k≥1)由时间状态与上一码本嵌入组成,L_k 是每个码本的输出层。由于延迟设计,一步会同时给出第 t 帧的粗码本和第 t−1 帧的残差码本,因此后几个码本在选择时能看到后 1 帧粗码本的 1 帧前视。粗码本以温度 0.8 采样;附录报告更低温度会让一部分对话坍缩成沉默,更高温度会降低自然度和话轮结束的完整性。
四阶段课程与轻量参数更新
思考器的 4 阶段课程只训练新增的小模块,骨干、token 嵌入表和语言建模头始终冻结。第 1 阶段先训练音频适配器读 codec 音频:先把它当作 ASR 读出任务,让冻结 LLM 根据适配器传入的 codec token 复现转写,使用 17,210 个 30 到 90 秒窗口、约 270 小时用户语音、2,000 步;再让适配器对齐冻结 LLM 通过自身原生音频编码器听到同一语音时的输出,使用 3,911 个口语问题、6.3 小时、733 步。第 2 阶段冻结音频适配器,用 760 个单轮口语问题、1.0 小时、285 步学习 PAD、EPAD 和 13 个停顿时长 token,共 15 个新嵌入,并同时训练 rank-16 的 LoRA。
第 3 阶段先用 760 个样本做自蒸馏,把单通道格式的学生对齐到第 2 阶段模型在旧格式下的行为,再在 12,146 个多轮对话、406 小时、1,012 步上加入随机 −75 到 −45 dBFS 的房间底噪,训练通道融合层和音频适配器。第 4 阶段先用 36,621 个注入打断的对话、1,058 小时、3,000 步学习被打断时让出话轮和理解重叠语音;再用 42,229 条序列、1,150 小时、3,000 步加入附和,其中打断对话占 86.7%,701 个附和对话各重复 8 次、占 13.3%。
第 3 阶段以后共用同一个目标:
\[\mathcal{L}(\theta^{\prime})=\sum_{t}\lambda_{\kappa(y_{t})}\big[-\log p_{\theta^{\prime}}(y_{t}\mid\cdot)\big]\;+\;\beta\sum_{t\in\mathcal{C}}\mathrm{KL}\big(p_{\text{ref}}(\cdot\mid\cdot)\,\|\,p_{\theta^{\prime}}(\cdot\mid\cdot)\big).\]其中第一项是目标 token 的交叉熵,λ 按类别加权,PAD 权重 0.3,SS 和 SE 权重 1.5,词片在第 3 阶段第 1 次运行时权重 1.5、之后为 1.0;第二项是只在词位置计算的 KL 项,β 把学生分布拉向参考模型。参考模型就是该阶段初始化来源的模型,所以格式转换时“说什么” 尽量保持,“何时说” 由新的时序 token 和交叉熵学习。
self-distillation × KL term × reference model: self-distillation 让新格式的学生模型对齐旧格式下同一模型的输出;KL term 只在词位置约束学生分布靠近参考模型,保持“说什么” 不被格式转换带偏;reference model 是当前阶段初始化来源的冻结模型。三者配合,使每个课程阶段主要学习新的时序或通道行为,而不是重新学习语言内容。
表 1 要比较的是每个训练运行补上哪一类缺口、用了多少样本和用户通道小时、训练哪些模块、参考模型是谁,以及在一张 NVIDIA B200 上消耗多少 GPU 小时。这里的 GPU 小时不含数据生成和评测,小时数是用户通道时间轴的长度,不是模型看到的全部音频总时长。
| Stage, run | Gap closed | Examples | Hours | Steps | Trained | Reference (β) | GPU-h |
|---|---|---|---|---|---|---|---|
| 1, read-out | read codec audio | 17,210 | ≈270 | 2,000 | audio adapter | – | 2.6 |
| 1, distillation | 3,911 | 6.3 | 733 | audio adapter | native-audio LLM | 0.5 | |
| 2 | pause timing | 760 | 1.0 | 285 | adapters, 15 embeddings | – | 1.2 |
| 3, self-distillation | dual-channel format | 760 | 2.1 | 285 | adapters, 17 embeddings | Stage 2 (0.8) | 0.9 |
| 3, multi-turn retrain | room tone, multi-turn | 12,146 | 406 | 1,012 | + channel fusion, audio adapter | previous run (0.4) | 3.2 |
| 4, barge-in | interruption | 36,621 | 1,058 | 3,000 | + channel fusion, audio adapter | Stage 3 (0.4) | 9.1 |
| 4, backchannel | backchannel | 42,229 | 1,150 | 3,000 | + channel fusion, audio adapter | previous run (0.4) | 13.0 |
| Total | Total | Total | Total | Total | Total | Total | 30.5 |
表 1 显示整条课程合计 30.5 GPU 小时,其中第 4 阶段的后两个运行占 9.1 和 13.0 小时,是成本最大的部分;第 1 阶段的读出与蒸馏合计 3.1 小时,第 2 个阶段 1.2 小时,第 3 个阶段 2 次运行合计 4.1 小时。它支持“适配成本远小于从零做大规模语音预训练” 这一有限判断,但不能直接与 Moshi、SyncLLM 报告的音频小时数换算:本文数的是训练样本、用户通道小时和适配 GPU 小时,那些工作报告的是语音小时,论文明确没有做单位转换。
基准、指标与比较协议
Full-Duplex-Bench v1.0 从模型输出音频评分 4 类行为:停顿处理、附和、平滑话轮转换和用户打断。它报告 turn-over rate(TOR),即模型取得话轮的样本比例;对停顿处理和附和,TOR 越低越好,对平滑转换和打断,TOR 越高越好。附和还报告每秒音频的附和频率,以及模型每段音频的附和时机分布与人类参考分布之间的 Jensen–Shannon 散度(JSD),JSD 越低越接近参考。延迟以秒计。
用户打断后由 LLM judge 按 0 到 5 分评回复相关性。v1.0 每次运行评 353 个停顿样本(216 个录制、137 个合成)、55 个附和样本、119 个话轮样本和 200 个打断样本。v1.5 增加 4 类重叠:用户打断、用户附和、第三人与用户说话、背景语音;对重叠后的模型语音分类为回应重叠、继续原话、不确定或未知,并报告停止延迟和回应延迟。InteractionBench 用同一批录制用户音频驱动 7 个系统,评会话时机、口语任务准确率、耳语与音量控制、长对话中的 groundedness 和 0 到 100 的连贯性。
本文的行用单个解码种子,groundedness 分母是 51 个有效探针。
TOR × JSD × response latency: TOR 统计模型在给定场景中取得话轮的样本比例,JSD 衡量模型附和时机分布与人类参考分布的差异,response latency 记录重叠开始后模型开始新回应的时间。它们分别回答“是否抢话”“附和何时发生”“反应多快”,组合起来才能区分少抢话是因为稳健还是因为不回应。
比较表把系统分成开源自托管和闭源 API 两块;正文比较和粗体标记只限开源块,闭源行只作参考。所有比较都用公开基准,本文系统端到端运行:思考器从用户音频产生文本流,说话器把文本流变成语音,基准自己的转录和评分脚本不改;输出音频与输入等长,不用外部语音活动检测器,思考器使用训练时的 persona 系统提示,所有行由同一个说话器以温度 0.8 发声。Full-Duplex-Bench 的结果是 3 个解码种子的均值和样本标准差,InteractionBench 是单个种子。
Full-Duplex-Bench v1.0:停顿、附和和打断的取舍
表 2 要回答的是:在相同公开基准和开源比较块内,本文系统在停顿、附和、平滑转换和打断 4 类行为上,相对 PersonaPlex、dGSLM、Moshi、Freeze-Omni 处于什么位置。比较条件是基准发布的测试音频和评分脚本;闭源 API 行不是同预算下的结论,只作参考。指标方向按表头箭头:停顿 TOR 和附和 TOR 越低越好,附和频率越高越好,JSD 越低越好,平滑转换和打断的 TOR 越高越好,延迟越低越好,相关性越高越好。
| Pause handling | Pause handling | Backchannel | Backchannel | Backchannel | Smooth turn-taking | Smooth turn-taking | User interruption | User interruption | User interruption | |
|---|---|---|---|---|---|---|---|---|---|---|
| Model | Synth. TOR↓ | Candor TOR↓ | TOR↓ | Freq↑ | JSD↓ | TOR↑ | Lat.↓ | TOR↑ | Relev.↑ | Lat.↓ |
| Open-source (self-hosted) | ||||||||||
| PersonaPlex | 0.584 | 0.662 | 0.327 | 0.025 | 0.649 | 0.992 | 0.070 | 1.000 | 4.210 | 0.400 |
| dGSLM | 0.934 | 0.935 | 0.691 | 0.015 | 0.934 | 0.975 | 0.352 | 0.917 | 0.201 | 2.531 |
| Moshi | 0.985 | 0.980 | 1.000 | 0.001 | 0.957 | 0.941 | 0.265 | 1.000 | 0.765 | 0.257 |
| Freeze-Omni | 0.642 | 0.481 | 0.636 | 0.001 | 0.997 | 0.336 | 0.953 | 0.867 | 3.615 | 1.409 |
| Ours | 0.170 | 0.267 | 0.145 | 0.073 | 0.753 | 0.997 | 0.44 | 0.998 | 2.681 | 0.598 |
| Closed-source / API-based (reference) | ||||||||||
| Gemini Live 2.0 | 0.255 | 0.310 | 0.091 | 0.012 | 0.896 | 0.655 | 1.301 | 0.891 | 3.376 | 1.183 |
| GPT-Realtime | 0.010 | 0.120 | 0.000 | 0.007 | 0.980 | 1.000 | 1.470 | 0.970 | 3.850 | 1.500 |
表 2 中最清楚的优势在停顿处理:本文系统在合成子集上的 TOR 为 0.170,下一好的开源系统 PersonaPlex 为 0.584;在 Candor 子集为 0.267,低于 Freeze-Omni 的 0.481 和 PersonaPlex 的 0.662。它在附和任务上 TOR 为 0.145,是开源块最低,附和频率 0.073 是最高,说明用户说话时更常给出短回应;但附和时机的 JSD 为 0.753,高于 PersonaPlex 的 0.649,说明“更常附和” 不等于“时机更像人”。平滑转换 TOR 为 0.997,接近 PersonaPlex 的 0.992,但延迟 0.44 秒,比 PersonaPlex 的 0.070 秒和 Moshi 的 0.265 秒慢。
打断场景 TOR 为 0.998,与 PersonaPlex 的 1.000、Moshi 的 1.000 接近;打断后回复相关性 2.681,低于 PersonaPlex 的 4.210 和 Freeze-Omni 的 3.615,延迟 0.598 秒也慢于 PersonaPlex 的 0.400 秒和 Moshi 的 0.257 秒。因而这组结果支持“最少在用户仅停顿时抢话、最常附和、平滑转换几乎都能接上”,但不支持“反应最快” 或“打断后内容最好”。
Full-Duplex-Bench v1.5:重叠场景中的停止与回应
表 3 要比较的是 4 类重叠发生后,系统多快停止、多快开始新回应,以及重叠后的语音被判断为回应还是继续原话。这里的“好” 依赖场景:用户打断时应停止并回应,用户附和、侧边对话或背景语音时更希望继续原话而不是误回应;所以箭头在“保持说话” 的场景标停止越晚越好、回应越少越好,在需要回应时标回应越快越好。下表开源系统均为自托管;闭源 GPT-4o Realtime 与 Gemini Live 仅作参考。
| User interruption | User interruption | User interruption | User backchannel | User backchannel | User backchannel | Side conversation | Side conversation | Side conversation | Background speech | Background speech | Background speech | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Model | Resp.↑ | Res.↓ | Stop↓ / Resp.↓ lat. | Resp.↓ | Res.↑ | Stop↑ / Resp.↓ lat. | Resp.↓ | Res.↑ | Stop↑ / Resp.↓ lat. | Resp.↓ | Res.↑ | Stop↑ / Resp.↓ lat. |
| Freeze-Omni | 0.72 | 0.12 | 1.42 / 1.35 | 0.07 | 0.80 | 0.66 / 2.16 | 0.58 | 0.25 | 1.39 / 1.32 | 0.63 | 0.25 | 0.98 / 1.60 |
| Moshi | 0.50 | 0.26 | 1.16 / 1.47 | 0.02 | 0.06 | 0.42 / 3.00 | 0.20 | 0.19 | 0.87 / 2.38 | 0.21 | 0.07 | 0.54 / 1.62 |
| Ours | 0.42 | 0.10 | 0.75 / 0.64 | 0.02 | 0.24 | 0.68 / 1.33 | 0.08 | 0.25 | 0.84 / 0.62 | 0.06 | 0.23 | 0.83 / 0.64 |
| Gemini Live | 0.33 | 0.55 | 2.20 / 2.62 | 0.01 | 0.93 | 0.66 / 2.45 | 0.00 | 0.99 | 1.69 / 1.78 | 0.70 | 0.30 | 0.95 / 2.38 |
| GPT-4o Realtime | 0.78 | 0.10 | 0.23 / 1.50 | 0.03 | 0.70 | 0.21 / 1.32 | 0.91 | 0.02 | 0.18 / 1.16 | 0.93 | 0.04 | 0.18 / 1.26 |
表 3 显示本文系统在用户打断后停止延迟 0.75 秒、回应延迟 0.64 秒,快于 Freeze-Omni 的 1.42/1.35 秒和 Moshi 的 1.16/1.47 秒;在用户附和后的回应延迟 1.33 秒、侧边对话 0.62 秒、背景语音 0.64 秒,也都是开源块最低。它对不属于自己的语音回应得最少:侧边对话回应比例 0.08、背景语音 0.06,低于 Freeze-Omni 的 0.58 和 0.63;用户附和后的回应比例 0.02,与 Moshi 的 0.02 并列最低。代价是打断后回应比例只有 0.42,低于 Freeze-Omni 的 0.72 和 Moshi 的 0.50。
用户附和后继续原话的比例只有 0.24,远低于 Freeze-Omni 的 0.80。这组结果支持“停得快、少误回应”,也暴露了“有时该回应却没有回应、该继续却没有继续” 的行为取舍。
InteractionBench:文本侧能力与语音控制短板
表 4 要回答的是:在 InteractionBench 的 4 个维度上,本文系统相对 Moshi、PersonaPlex、Freeze-Omni 的表现如何,以及闭源系统处在什么位置。本文的行按思考器文本流评分,每个词的时间取思考器发出它的帧;需要读音频的评分组件使用说话器输出,并按这些时间切分。因此口语任务和 groundedness 更直接反映思考器文本,而耳语与音量维度会受说话器能力限制。InteractionBench 的本文行是单个解码种子,百分比分母见表中括号。
| System | Spoken task (%)↑ | Timing (%)↑ | Whisper & volume (%)↑ | Grounded (%)↑ | Coherence (0–100)↑ |
|---|---|---|---|---|---|
| Open-source (self-hosted) | |||||
| Moshi | 6 (3/50) | 41 (54/132) | 15 (3/20) | 14 (7/50) | 16 |
| PersonaPlex | 18 (9/50) | 68 (90/132) | 35 (7/20) | 30 (15/50) | 28 |
| Freeze-Omni | 8 (4/50) | 57 (78/138) | 15 (3/20) | 35 (18/51) | 39 |
| Ours | 26 (13/50) | 63 (88/140) | 5 (1/20) | 53 (27/51) | 47 |
| Closed-source / API-based (reference) | |||||
| GPT-Realtime | 70 (35/50) | 70 (97/138) | 35 (7/20) | 67 (35/52) | 76 |
| Gemini Live | 72 (36/50) | 77 (102/132) | 75 (15/20) | 88 (46/52) | 86 |
表 4 显示本文系统在开源块中口语任务 26%(13/50)、groundedness 53%(27/51)和连贯性 47 最高,groundedness 比 Freeze-Omni 的 35% 高 18 个百分点;会话时机 63%(88/140)排第二,低于 PersonaPlex 的 68%,高于 Freeze-Omni 的 57% 和 Moshi 的 41%。它在耳语与音量上只有 5%(1/20),是开源块最低,因为当前说话器不控制响度和耳语;闭源 GPT-Realtime 和 Gemini Live 在 4 个维度上都更高,说明本文的“有竞争力” 只相对于开源块,不是对所有系统。表 4 还提醒 1 个条件:本文的 groundedness 是在 51 个有效探针上算的,单个种子的结果不能当作稳定排序。
房间底噪消融:输入模块训练与否
房间底噪消融要回答的是:当训练和测试音频都带麦克风底噪时,冻结输入模块、只训练通道融合层、只训练音频适配器、两者都训练,分别会怎样。消融在第 3 阶段自蒸馏之后的独立管线上进行,训练底噪随机在 −78 到 −45 dBFS;测试用 13 个内部问答探针,强制轮流发言,LLM judge 按 1 到 5 分评分,3 个解码种子,噪声抽样按项目和种子固定,所以对比是配对的,区间是 95% 聚类 bootstrap。读图时先看 (a) 4 组柱子的蓝橙配对:蓝柱是干净测试音频,橙柱是带底噪测试音频;再看两条虚线,分别是干净训练模型在干净音频和带底噪音频上的分数;最后看 (b) 用户音频分支在用户说话帧与只有房间底噪的回答帧上的 L2 范数。
看图路径: 1. 先比较 (a) 每组蓝柱和橙柱的配对差值;2. 再看两条虚线对应的干净训练模型分数;3. 最后看 (b) 绿色用户说话帧与粉色纯底噪帧的 L2 范数
论文图 5。原论文 Figure 5::“Adapting under a room-tone floor. (a) Question answering after the self-distillation run of Stage 3 (13-item probe, judge score 1 to 5, mean and standard deviation over three…”。
图 5(a) 可见:两者都冻结时,干净音频 4.05、带底噪 2.72;只训练通道融合层时 4.18 与 3.26;只训练音频适配器时 3.97 与 2.95;两者都训练时 3.64 与 3.72。正文报告干净训练模型从 4.31 掉到 1.10,说明底噪不是小扰动。
消融显示训练通道融合层带来 +0.65 的带噪提升,95% 区间 [+0.31,+1.04],干净音频上没有可测影响;训练音频适配器的区间包含零;两者都训练相对冻结模型提升 +1.00,区间 [+0.46,+1.62],带噪分数接近干净分数。图 5(b) 中,两者冻结时用户说话帧范数 2.41、只有底噪帧 3.33,底噪能量反而更高;只训练通道融合层为 2.55 与 3.49。
只训练音频适配器为 2.31 与 2.65;两者都训练为 2.41 与 2.55。这个机制解释与分数方向一致:单位初始化让冻结 LLM 一开始能读音频,但若两个输入模块都不训练,输入路径无法压低底噪。限制是每个格子只有 1 次训练、13 个探针,约半个点以下的效应在噪声范围内。
说话器可懂度与文本提前量
说话器可懂度用现成语音识别器在留出材料上的词错误率(WER)评估,而不是用可能对不可懂语音仍显得健康的信号级指标。测试是 150 个留出对话的前 32 秒,用对话自己的声音提示发声,3 个解码种子。读图时先看横轴文本提前量 L,从 0 到 6 帧,每帧 80 ms;再看纵轴 WER,越低越好;最后看每个柱子的 3 段颜色,分别对应删除、替换和插入。
看图路径: 1. 先看横轴文本提前量 L 的五个取值;2. 再看纵轴 WER 随 L 的变化;3. 最后看每个柱子的删除、替换、插入三段构成
论文图 6。原论文 Figure 6::“Text lead and talker intelligibility: word error rate on the 150 held-out dialogues, split into deletions, substitutions, and insertions (mean of three decoding seeds; the…”。
图 6 可见 L=0 时 WER 为 0.272,L=2 为 0.117,L=3 为 0.088,L=4 为 0.073,L=6 为 0.085。正文报告被评测说话器 WER 0.088,对比其初始化来源的早期说话器 0.128,配对差 −0.040,95% 区间 [−0.054,−0.027];同一输入重复得到 0.103,早期说话器 3.6% 的输出在第一个词前有能量,新说话器没有。无提前量相对 L=4 的配对差为 +0.199,区间 [+0.186,+0.212],约 4 倍 WER;替换约占差距的三分之二,插入占剩余大部分,删除变化不大。
2 帧已经补上大部分差距,6 帧不比 4 帧更好。需要注意,L=0、2、4、6 的 4 个说话器从 PersonaPlex 出发、同数据同步数,只改提前量;L=3 的被评测说话器来自另一条训练谱系,所以 0.088 与 0.073 的差异不能当成只改提前量的因果消融。
“冻结多模态大模型如何以轻量适配实现词级全双工语音对话” 还不能说明什么?
数据效率结论有明确前提:起始模型已经会听语音。Qwen3-Omni 本身用大量音频预训练,说话器也从预训练的语音–文本检查点出发;论文没有主张一个从未听过语音的模型可以靠小数据学会全双工。与 Moshi、SyncLLM 的比较还跨了单位:本文数训练样本、用户通道小时和适配 GPU 小时,对方报告语音小时,论文没有把两者换算。评测规模也有限:Full-Duplex-Bench 的每个行为集只有 55 到 353 项,InteractionBench 每个维度 10 到 140 项,几个点的差异可能落在运行波动内。
InteractionBench 的本文行还是单种子。说话器的用户音频通道在当前检查点被置零并冻结,实际只从智能体文本合成语音,不能根据用户声音调整音色;它完全在合成语音上训练,不能控制音量或耳语。附和阶段只有 701 个唯一附和对话,每个重复 8 次,能泛化到多广没有建立。实时预算只是设计约束,论文没有报告端到端延迟、吞吐或每帧实际耗时,因此不能把 80 ms 帧长当作已经满足的实时性保证。
复现时应先准备什么
复现时先不要假设已经存在一个可直接运行且由作者公开提供的软件包。就本次核验而言,没有发现来源绑定且完成 HTTPS 状态验证的作者代码、模型权重或数据资源,因此不能声称本文的代码、模型或数据已经公开或当前可用;代码、权重和可运行系统是否公开仍需分别核验。第一步应准备冻结的 Qwen3-Omni-30B-A3B thinker、冻结的 Mimi codec、从 PersonaPlex 谱系初始化的说话器检查点,以及能按 12.5 Hz 对齐的用户音频和词级转写。然后实现 4 类新增参数:思考器音频适配器、通道融合层、17 个时序 token 嵌入,以及注意力投影上的 rank-16 LoRA。
同时实现 PAD、EPAD、pause_0 到 pause_12、SS、SE 的词表和状态机语法检查器。训练顺序按 4 个阶段:先做 ASR 读出和原生音频蒸馏,再学停顿时长,再做单通道到双通道的自蒸馏和多轮房间底噪训练,最后做打断与附和。数据侧至少需要第 1 阶段的 17,210 个窗口和 3,911 个口语问题、第 2 阶段的 760 个问题、第 3 阶段的 12,146 个多轮对话、第 4 阶段的 36,621 个打断对话和 42,229 条含附和序列;说话器还需要 36,996 个经过四道过滤的合成对话片段、60 帧声音提示加 12 帧静音、96 秒截断。复现检查应先用基准自己的转录和评分脚本跑 Full-Duplex-Bench v1.0/v1.5 和 InteractionBench,再单独测说话器 WER 和每帧耗时。
缺少数据生成管线、提示词、过滤细节或权重时,不能把论文数字直接当作可复现承诺。
什么时候值得尝试以及常见误解
值得尝试本文路线的情形是:已经有一个会听语音的冻结多模态 LLM,任务需要词级停顿、打断和附和,适配预算只有几十 GPU 小时,并且可以接受说话器暂不控制音色、响度和耳语。若目标是从零训练一个低资源语音模型,或必须根据用户声音调整音色、在强噪声下保证稳定实时延迟,这篇论文没有给出足够证据。最容易被误解的是标题里的“all you need”:系统仍依赖 Qwen3-Omni 的大规模语音预训练、Mimi codec 和 PersonaPlex 谱系的说话器;“冻结” 也不等于输出确定,适配器、状态机、采样温度和说话器都会影响行为。
另一个误解是把“最不容易在用户停顿时抢话” 当成全面最好:表 2 和表 3 同时显示它在打断后相关性、回应比例、继续原话和延迟上仍有代价。复现的第一步应是固定帧时钟、词表和状态机,再验证思考器文本流和说话器 WER;之后才值得比较完整基准。还需要补的验证包括更大行为集、多种子 InteractionBench、真实端到端延迟、噪声底下的稳健性,以及 701 个附和对话之外的泛化。
📎 论文与评分元数据
排名:前25% | 文档类型:方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:deepseek-v4.1-flash
评分请求协议:openai_responses