📄 XTurnix:用两个状态下的二选一决定统一管理说话权

英文题目:XTurnix: Large-Scale Self-Supervised Turn Control through Two-State Binary Decisions

标签:#轮次切换 | #语音对话系统 | #自监督学习 | #数据集构建

评分:7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Zhanxun Liu:机构信息未在 arXiv HTML 中可靠披露
  • Yifan Duan:机构信息未在 arXiv HTML 中可靠披露
  • Hengtao Wu:机构信息未在 arXiv HTML 中可靠披露
  • Chen Yang:机构信息未在 arXiv HTML 中可靠披露
  • Qinyuan Cheng:机构信息未在 arXiv HTML 中可靠披露
  • Kun Wang:机构信息未在 arXiv HTML 中可靠披露
  • Xingyu Zeng:机构信息未在 arXiv HTML 中可靠披露
  • Xipeng Qiu:机构信息未在 arXiv HTML 中可靠披露
  • Chaochao Lu:机构信息未在 arXiv HTML 中可靠披露
  • Xie Chen:机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

实时对话智能体需要解决的输入是不断更新的用户文本与智能体当前处于听还是说的状态,输出是保留还是转移话语权,难点在于同一片段在不同历史下含义不同,且听态的抢话与说态的打断需要统一接口。XTurnix 把完整对话历史与当前状态拼成提示,只预测一个控制词,听态在 <|keep|> 与 <|start|> 之间选择,说态在 <|keep|> 与 <|stop|> 之间选择,状态转移由规则确定。训练分两步走,自监督阶段把双人时间戳转录按时间交织并用状态机逐词标注,合成阶段按目标标签先定类别再改写上下文以补齐说态样本,模型从 Qwen3-0.6B 初始化并学习输出唯一合法动作词。与按完成、后通道、打断等语义事件划分标签的已有检测器不同,该工作把动作空间直接定义为是否交接话语权,并共享 <|keep|> 表达两种状态下的继续。在自建均衡多轮基准上,XTurnix-ZH-Base 达到 89.06% 总体准确率,超过最强第三方基线的 68.75%,四类 F1 分数分布在 84.21% 到 90.63% 之间。结论适用于有完整多轮文本历史与明确听说状态的文本决策环节,对无填充词提示的模糊完成句仍可能误判。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录,开放状态尚未核实。

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

实时对话要解决的抢话与等待问题是什么

刚接触语音对话的研究生可以先把场景想成一个人和一个 AI 轮流拿话筒。AI 在听的时候要判断用户有没有讲完,太早开口就是打断,太晚开口就是冷场。AI 在说的时候也要同时听用户,如果用户只是嗯一下表示在听,AI 应该继续说下去,如果用户提出新的要求或纠正,AI 就该停下来转回听。论文把这整件事称为轮转检测,但它实际要的是一个能因果运行的控制器,每来一点新的识别文本就做 1 次决定,而不是等整句话结束再打分。

输入是到当前时刻为止的完整对话历史加上 AI 当前处于倾听还是说话,以及最后一条用户消息的增量内容,输出是保留还是转移话语权的动作。必须保留的信息包括此前问过什么、交代过什么约束、AI 上一句说到哪里,因为同样一句因为它很安静,在闲聊追问后可能是完整回答可以接话,在需要继续解释时可能只是铺垫。论文强调已有方法标签空间各异,有的只判完整与否,有的只管 backchannel,有的处理多语种点检测,难以用同一接口同时管听和说,这就是要统一的原因。

已有轮转判断路线在输入与目标上有何不同

论文回顾的路线可以按输入模态和输出目标区分。TurnGPT 在对话展开过程中预测当前说话人是否到达可被接话的位置,用上文区分完整回答与未完成片段。VAP 预测未来 2 秒内双方各自会不会说话,从录制对话的语音活动里学习,能提示继续、接管或短暂回应。DualTurn 在双通道对话音频上做生成式预训练以支持轮转预测与交互控制。

FireRedChat 的基于 BERT 的端点模块对累积的识别文本分类,Namo 多语种检测器用 mmBERT 类模型做完整与不完整文本检测,Smart-Turn 用轻量 Whisper 分类器结合语音活动从音频估计完整性,Easy-Turn 用 Whisper 编码器加语言模型同时转写并分为完整、不完整、回应性应答或等待。SoulX-Duplug 把流式音频表示与识别文本结合,按 160 毫秒块预测空闲、非空闲、完整、不完整和回应性应答,X2-Turn 共享流式表示同时转写与预测帧级轮转状态,TurnSense 把音频分为完整、不完整或无效,TEN 用 Qwen2.5-7B 把文本分为结束、未结束或等待,Anyreach 的语义抢话模型用合成对话微调 Qwen2.5-0.5B-Instruct。

比较时要注意这些方法有的吃音频有的吃文本,有的只在孤立 utterance 上评测,有的没有说话态的继续或停止概念,因此不能把类别差异直接读成同条件下的优劣。论文的定位是只用文本、同时覆盖听与说、每次只输出一个控制记号。

两个状态下各自允许哪两个动作

论文把任务写成状态相关的二分类。当前 AI 状态只有倾听与说话两种,每种状态各有两个合法动作。倾听时合法动作是继续听与开始说,说话时合法动作是继续说与停止说。3 个控制动作记号表达了 4 种逻辑行为,其中继续对应的记号在两种状态下共用,论文特意说明这不是把动作与语义事件类型混同,而是让状态决定动作的含义。

形式上第 i 条消息记为说话人角色与文本内容,决策点 t 的历史是到当前为止的消息序列,最后一条一定是用户消息,因为每次都是用户增量触发判断。流式识别更新当前用户消息内容就构成新的决策点并触发 1 次推理,上游在语音活动检测或流式识别发现语段结束时会插入一个表示停顿的原子记号,也会再触发 1 次判断。系统消息会声明当前状态,模型读入完整文本历史后只预测一个动作记号,不做自由文本生成,也不需要后处理解析自然语言。

状态转移是确定的,开始说就进入说话,停止说就回到倾听,继续则保持原状态。

只读文本的紧凑控制器如何串起全流程

论文的方法总览是先大规模自监督预训练、再用合成多轮样本微调,模型本体是从 Qwen3-0.6B 初始化的紧凑文本模型。下面的示意图把 4 个行为摆在两个状态周围,左侧是听时的两种情形,右侧是说时的两种情形,初学者可以先建立这种一一对应再看训练细节。

读图前请先明确这张图要回答的问题:同样输出继续记号时如何靠所处状态区分含义,以及 4 种输入情形各触发哪个转移。

看图路径: 1. 先看中间从倾听指向说话和从说话指回倾听的两条转移箭头;2. 再看两侧四个例子如何分别对应继续听、开始说、继续说、停止说;3. 注意继续听在两侧各出现一次但所处状态不同

原论文 Figure 1:XTurnix overview

论文图 1。原论文 Figure 1::“XTurnix overview”。

图中部是倾听与说话两个椭圆,倾听自环标注继续,指向说话的箭头标注开始,说话自环标注继续,指回倾听的箭头标注停止。左侧上方用户说 Because it 省略号对应继续听,下方用户说 Because it is quiet 句号对应开始说。右侧上方 AI 讲并行处理而用户嗯一声对应继续说,下方 AI 讲版本而用户说 Wait 打断对应停止说。图用波形示意语音输入仍在累积,但模型实际读的是识别后的文本加历史,状态决定了同一个继续记号到底是保持倾听还是保持说话。

每次增量输入如何变成一个控制记号

沿着一个样本走一遍最清楚。假设历史里有用户想去湖边小镇、AI 追问原因,当前最后一条用户增量是 Because it,状态为倾听,模型要输出继续听。若增量补全为 Because it is quiet,同样历史与倾听状态下模型应输出开始说。若历史是 AI 正在解释预填充与解码的区别、说到一半被用户嗯一声打断,而状态为说话,模型应输出继续说。若历史是 AI 猜测版本而用户说 Yes 要纠正,状态为说话,模型应输出停止说。论文把检测器写成以历史与状态为输入、以状态允许的动作集合为输出的策略。

\[a_{t}=f_{\theta}(H_{t},s_{t}),\qquad a_{t}\in\mathcal{A}(s_{t}),\]

上式中 Ht 是到决策点为止的完整对话历史,st 是倾听或说话,at 是输出动作且必须落在该状态允许的二元集合里。倾听允许继续与开始,说话允许继续与停止。状态转移由下式确定性给出。

\[s_{t+1}=\begin{cases}\mathrm{S},&a_{t}=\texttt{<|start|>}{},\\ \mathrm{L},&a_{t}=\texttt{<|stop|>}{},\\ s_{t},&a_{t}=\texttt{<|keep|>}{}.\end{cases}\]

上式说明只有开始与停止会切换状态,继续保持不变。

倾听状态 × 继续听: 倾听状态指 AI 当前没有拿着话筒、正在接收用户输入的工作情形,继续听是该状态下两个合法动作之一,表示判断用户还没有让出话轮。两者搭配把何时该保持沉默的判断限定在倾听语境下,组合后模型只需在继续听与开始说之间二选一,而不用同时考虑打断说话时的动作。

说话状态 × 停止说: 说话状态指 AI 正在输出回复、同时还在监听用户插话的情形,停止说表示判断用户插话拿走了话轮、需要停下来转回倾听。两者搭配把是否被打断的判断限定在说话语境下,组合后模型只需在继续说与停止说之间二选一,避免把后向确认和真正打断混在一起。

这种设计的好处是推理代价小,每次只生成一个记号,不需要解码长文本。代价是文本输入依赖上游识别质量,韵律停顿等声学线索只能靠停顿记号与文本间接体现,论文没有声称音频与文本融合。

带时间戳的双人转写如何切成词级时间线

自监督数据的起点是大量播客、影视、动画、短视频、体育、音频节目与相声转写,原始共 2702974 个音频片段、总计 173717.0 小时,过滤出有效双人转写后保留 689669 个片段、总计 44142.5 小时,平均时长 230.4 秒,平均每片段 23.13 个轮转,中位 12,90 分位 52,重叠语音出现在 20.18% 的片段中、占至少 1 人在说话时间的 0.82%。每条记录的片段形式为起止时间加说话人加文本,只保留恰好 2 位说话人的记录,先出现者定为用户、另 1 位定为助手,用 Qwen3 快速分词器切词且不加边界记号。由于时间戳只到语段级,论文把语段时长均匀分给其中 n 个词,第 i 个词的区间按下式计算。

\[\left[b+\frac{i(e-b)}{n},b+\frac{(i+1)(e-b)}{n}\right].\]

上式中 b 与 e 是语段起止,n 是词数,i 从 0 编号。若相邻两段用户语段之间有静音,就在间隙插入停顿原子记号,助手段之间或跨说话人切换时不插入。最后把用户与助手词按开始时间排序得到一条交错时间线。扫描时助手连续词段直接拼接到下一个训练样本的历史里而不产生中间样本,并进入说话态记录最后词的结束时间用于标注后续用户词。每个用户词位含停顿记号都构成一个因果样本,输入是到该词位为止的前缀。

标注完全按时间顺序,听态下若合并时间线上下一个还是用户词则目标为继续,否则到达用户到助手的边界则为开始。说态下看最新助手词结束与下一个助手词开始,若后者存在且开始不晚于前者结束加 0.1 秒,说明助手穿过重叠继续说,目标为继续,否则为停止。输出开始或停止后按状态转移更新。为防止句末标点泄露完整性,训练前去掉最后用户前缀的尾部 Unicode 标点,若同一归一化输入同时出现继续与开始,则丢弃冲突的继续样本。

上述构造共产生 280740536 个动作样本,标点归一与冲突过滤后可用池剩 276852309 个。

两阶段训练如何纠正极不均衡的标签分布

自监督池的经验比例高度不均,倾听继续占 94.46%,倾听开始占 2.62%,说话继续占 0.51%,停止占 2.41%,直接采样几乎学不到说话态。论文因此先做任务预训练再做合成微调,下图展示了 2 阶段的数据流向。

读图时请抓住样本量与分布变化这条主线:第一行如何从时间线得到海量样本,第二行如何先定标签再造输入得到更平的分布。

看图路径: 1. 先沿第一行看带时间戳转写如何合并排序并挂上继续与停止标签;2. 再沿第二行看先选标签对再生成改造上下文得到均衡分布;3. 对照两行末尾的样本量量级差异理解两阶段分工

原论文 Figure 2:XTurnix training stages

论文图 2。原论文 Figure 2::“XTurnix training stages”。

图第一行从带时间戳转写经合并挂标签得到 5.5M 训练样本,示例中 mhm 对应继续、I mean 对应停止。第二行先选标签对再生成改造上下文,最后柱状显示 4 个类别更均衡并得到 10K 量级均衡样本。合成阶段采用输出优先,先按目标分布定每个标签需要多少样本,目标分布由经验比例经指数平滑得到。

\[q_{y}=\frac{p_{y}^{1-\lambda}}{\sum_{y^{\prime}\in\mathcal{Y}}p_{y^{\prime}}^{1-\lambda}},\qquad\lambda=0.6.\]

上式中 py 是经验比例,qy 是合成目标比例,lambda 取 0.6,算得 4 个标签目标比例为 62.78%、14.96%、7.78% 与 14.48%。生成时优先补差距最大的标签,使过程始终贴近目标而非最后再校正。以转写为话题种子,用 DeepSeek-V4-Pro-Preview 生成至少两用户两助手、以助手结尾的严格交替上下文,每段上下文恰用于两个不同标签且优先选同状态的 1 对,大部分上下文不变只改轮转相关尾部。

听继续是去掉末尾助手回复并在前一用户消息内部截断,听开始是去掉末尾助手但保留完整前一用户消息,说继续是截断末尾助手并生成短回应性应答,说说停止是截断末尾助手并生成带新会话义务的用户打断再截成增量样。所有生成解析成与自监督样本相同的消息格式,最后用户消息同样去掉尾部标点。

时间戳转写 × 状态机标注: 时间戳转写指带有每段起止时间的双人对话文本,状态机标注指按时间先后扫描合并后的词序列、用当前是听还是说来决定每个用户词位的目标动作。两者搭配把本没有人工轮转标签的播客影视等语料变成因果动作样本,组合后得到可供大规模预训练的输入历史与单记号目标。

输出优先 × 反事实配对: 输出优先指先选定想要补足的状态动作标签、再去生成或改造输入,反事实配对指复用同一段多轮上下文、只改动与轮转相关的尾部使正确动作不同。两者搭配让稀少的说话态样本和过渡动作得到补充,组合后微调集的标签分布比自监督原始分布平坦得多。

训练实现上从 Qwen3-0.6B 初始化,注册倾听、说话、开始、继续、停止与停顿 6 个原子特殊记号,最大序列 2048。预训练 21500 步、消耗 5504000 样本,8 卡、每卡批量 32、学习率 2×10-5,损失按根号下最大类样本数除以本类样本数加权以压制高频标签,选验证损失最低的 21500 步 checkpoint 记为 XTurnix-PT。再从该点用 10026 条通用合成样本微调一轮,8 卡、每卡批量 16、学习率 5×10-6,共 79 步,不混自监督回放,2 阶段都只训练输出一个合法动作记号,得到 XTurnix-ZH-Base。

在什么数据与映射规则下评测轮转判断

评测分公开基准与自建基准。公开有 4 个,Easy-Turn 含 700 条完整、不完整与回应性应答,Smart-Turn v3.2 提供 31527 条端点与非端点,SemanticVAD 贡献 4391 条完整、不完整、回应性应答与打断,LiveKit EoT Bench 贡献 12471 个因果决策点标为轮转结束或保持。自建是 128 条中文纯文本多轮基准,4 类状态动作各 32 条,每条给对话历史、AI 当前状态与增量末尾用户消息,正确答案可能需要结合 earlier 的问题、约束、确认或纠正,而非只看最后一句。对照模型包括 Easy-Turn、Smart-Turn v3.2、FireRedChat、Namo 多语种、TEN、TurnSense、X2-Turn-4B-0812、零样本 Qwen3-0.6B、只用 10026 合成样本微调的 Synthetic-only,以及 XTurnix-PT 与 XTurnix-ZH-Base。

映射规则是把各基准原生标签与各模型原生输出映射到论文的动作,听态下完整或轮转结束映射为开始、不完整映射为继续,说态下回应性应答映射为继续、打断映射为停止,AI 状态按基准协议在推理前指定。输入按模态给,能用原音频就用原音频,音频模型遇到纯文本数据时用 VoxCPM2 合成语音,文本模型在无原生转写时用 Qwen3-ASR-1.7B 转写,XTurnix 在 Smart-Turn 上额外去掉中英文句末句号以匹配训练归一。

自建基准上 XTurnix 读原始多轮历史与显式状态,FireRedChat、Namo 与 TEN 只读最后用户输入走原生单文本接口,音频模型读合成语音。报告的是全部合格样本上的准确率与自建上的 4 类 F1,指标方向都是越高越好。

公开基准上的领先在哪些切分下成立

要回答公开基准谁更准,必须先讲清切分与限制。Easy-Turn 评测去掉回应性应答样本,Smart-Turn 主体限定在 endfiller 为真的子集,endfiller 指句尾是否有嗯啊类填充迟疑标注。表前说明比较问题:在各自合格样本与上述映射下,紧凑文本控制器能否与原生音频模型持平或超出,以及微调带来的动作偏好变化如何随基准分布起伏。

ModelROC-AUCStart PStart RKeep RROC-AUCStart PStart RKeep R
Qwen3-0.6B53.3675.12100.000.0056.5072.41100.000.00
XTurnix-PT87.2994.297.9298.5586.4493.103.4799.32
XTurnix-ZH-Base87.0094.5632.0094.4486.3394.0120.2196.62

上表是 Smart-Turn 在合并与英文上按 endfiller 分组的准确率补充,覆盖了有填充、无填充与缺失标注三列,可见有填充时各家普遍较高、无填充时分化明显,XTurnix-PT 与 XTurnix-ZH-Base 在有填充列接近原生 Smart-Turn,在无填充列明显低于原生但高于多数文本基线。主结果的数字整理如下,单位均为百分之准确率,方向越高越好。

条件与切分指标XTurnix-PTXTurnix-ZH-Base对照最强第三方说明
LiveKit 全部样本准确率73.70%70.91%70.91%PT 领先,Base 持平第三方最高

上表显示 XTurnix 在 SemanticVAD 与 LiveKit 各切分上由两个 checkpoint 联合保持最优,Smart-Turn 上 PT 与原生模型在合并 98.81% 与中文 98.52% 上打平,只有 Easy-Turn 是原生 Easy-Turn 模型以 97.33% outright 胜出、XTurnix 最好为 95.33%。微调相对 PT 在中文上 Easy-Turn 升 9.33 个百分点、SemanticVAD 升 8.39 个百分点,而 Smart-Turn 降 1.77 个百分点、LiveKit 降 4.10 个百分点,论文解释为微调把过渡动作在训练信号中的占比从 23.31% 提到 41.76%,使模型更少偏向继续,这种偏好与各基准类别分布是否对齐决定了涨跌。限制是公开基准多为孤立 utterance 或端点判断,不能证明多轮语境下的打断处理,英文结论主要靠 Smart-Turn 英文与 SemanticVAD 英文等切分支撑。

区分度 × 决策阈值: 区分度指模型给已完成轮转打的开始说概率在排序上高于未完成轮转的程度,常用 ROC-AUC 衡量,决策阈值指把概率变成开始说还是继续听的具体分界。两者搭配解释了为何排序能力强但按默认取最大概率时召回仍偏保守,组合后意味着可以在小规模目标域验证集上只调阈值而不重训模型。

自建平衡多轮基准为何更能看出四类是否均衡

自建基准的比较问题是当输入包含完整多轮历史与显式 AI 状态时,端点检测器经映射得到的说话态预测与原生支持说话态的控制器差距多大。指标是总体准确率与 4 类 F1,方向越高越好,128 条 4 类各 32 条的平衡设计使偏科会被暴露。结果数字整理如下,均为百分比。

条件指标XTurnix-PTXTurnix-ZH-Base最强第三方含义
总体准确率86.72%89.06%68.75%XTurnix 领先超 20 个百分点
听继续与听说开始F188.89% 与 85.71%90.63% 与 90.63%93.55% 与 93.94%TEN 听态最高,XTurnix 第二
4 类区间F1 区间84.21% 至 90.63%84.21% 至 90.63%至少一类明显弱XTurnix 最均衡

上表说明 XTurnix-ZH-Base 以 89.06% 总体准确率领先,XTurnix-PT 为 86.72%,最强第三方 X2-Turn 为 68.75%。XTurnix 4 类 F1 落在 84.21% 至 90.63% 之间,而每个基线至少一类明显弱,例如 TEN 在听态达 93.94% 与 93.55% 但说态仅 3.33% 与 14.71%,TurnSense 与 SoulX 等也有类似偏科。论文指出多数基线是端点检测器而非原生说话态控制器,其说话预测是端点分数的投射且无多轮历史或状态输入,而 XTurnix 原生支持说时继续或停止,因此能力面更宽。限制是该基准仅 128 条中文、由作者自建,结论只在该分布与映射规则下成立,不能推广到其他语言或真实音频流。未胜出项也要看到,听态两类上 TEN 仍高于 XTurnix,但 TEN 是 7B 模型而 XTurnix 基于 0.6B 骨干,参数量小一个数量级以上。

预训练与合成微调各自带来什么变化

把 XTurnix-PT、XTurnix-ZH-Base、零样本 Qwen3-0.6B 与 Synthetic-only 放在一起,可以分离大规模自监督与小量合成的作用。零样本 Qwen3 在公开表上多处接近 0,例如 Smart-Turn 合并 0.00%,说明没有任务训练时单靠指令无法输出合法控制。只用 10026 合成样本的 Synthetic-only 在 Easy-Turn 中文 61.86%、Smart-Turn 合并 59.81%、SemanticVAD 合并 65.97%、LiveKit 合并 52.92%,明显低于两个 XTurnix,说明小量合成不能替代大规模预训练。微调前后对比显示过渡动作召回上升而继续召回略降,在 Easy-Turn 端点上开始召回从 69.00% 升到 91.33%、继续召回从 100.00% 降到 99.33%,在 Smart-Turn 无填充中文上开始召回从 15.22% 升到 51.37%、继续召回从 96.61% 降到 88.98%,而开始精确率保持 94% 以上。

自建上微调把总体从 86.72% 提到 89.06%,听开始 F1 从 85.71% 到 90.63%、停止从 84.21% 到 88.57%,两个继续类基本持平。代价是 Smart-Turn 与 LiveKit 中文准确率分别降 1.77 与 4.10 个百分点,说明更积极的转移偏好在继续占优的分布上会吃亏。论文还报告区分度与阈值的关系,细节见下表。

评测切片指标Qwen3-0.6BXTurnix-PTXTurnix-ZH-Base解读
Smart-Turn 开始召回召回100.00%15.22%51.37%保守偏置仍在但缓解

上表表明高 ROC-AUC 与低默认召回可以并存,因为默认取最大概率偏保守,部署时可在小规模目标域验证集上校准分界而不重训。消融的限制是论文没有做去掉加权损失或去掉标点归一的对照,也没有报告多次随机的波动,因此不能断言每项预处理的必要性。

哪些模糊情形下准确率会大幅波动

论文用两个例子说明单句完整性在无语境时不适定。Smart-Turn 中文按有无填充分组时,XTurnix-ZH-Base 在有填充达 96.75% 接近 Smart-Turn 的 98.52%,在无填充仅 58.88% 而 Smart-Turn 为 85.96%。例如关于特定时节天气事件来年可能在几乎同地重现的陈述被标为继续,而两个 XTurnix 都预测开始,论文认为该句可独立成篇也可引出后续解释,两种决定都合理,差异来自话语语境与动作偏好。Easy-Turn 完整类同样模糊,完整性不能只看一句话,不完整样本多有显式延续结构反而更确定,XTurnix-PT 在不完整上达 100.00%、XTurnix-ZH-Base 为 99.33% 领先各模型。

单字回应如 mhm 或对,在孤立时可能是回应性应答也可能是对问句的肯定回答,因此论文在 Easy-Turn 主体中去掉回应性应答样本。这些分析意味着公开数字高度依赖是否给填充提示、是否去掉模糊类别以及映射规则,不能把有填充子集的高分推广到无填充或多轮打断。模型层面文本控制器看不到韵律与停留时长,只能靠停顿记号弥补,真实部署的识别错误与延迟在论文中没有测量,因此不能承诺误打断率或响应延迟会改善。

复现第一步需要准备什么输入与 checkpoint

复现应从输入格式与状态入手,而不是先调参。第一步按论文构造一条最小样本,写一段两轮历史加当前用户增量,显式声明倾听或说话,再看模型输出的单个记号是否落在该状态允许的二元集合里,同时测试插入停顿记号是否触发另 1 次推理。数据侧若要重走自监督,需准备带起止时间的双人转写,按先出现者为用户做角色映射,用同款分词均匀切分语段时长,按开始时间排序,去尾部标点并丢弃同输入冲突的继续样本。

训练侧起点是 Qwen3-0.6B 加 6 个特殊记号,最大长度 2048,预训练 21500 步消耗 5504000 样本、8 卡每卡 32、学习率 2×10-5 加类别加权,微调 10026 条合成一轮、8 卡每卡 16、学习率 5×10-6 共 79 步。评测侧要复刻映射与音频处理,文本缺失时用什么识别、音频缺失时用什么合成、Smart-Turn 是否去句末句号都会影响数字。本篇未发现来源绑定且完成 HTTPS 验证的资源,不得声称代码模型或数据已公开,代码开源、权重可下载、系统可运行是三件事,需分别确认。

训练资源只报告了卡数批量与步数,没有给出硬件型号时长与推理开销,复现预算需另行评估。

什么时候值得尝试以及还缺哪项验证

当你的系统已经有流式识别、需要统一管听时接话与说时被打断,且希望用一个小文本模型吃完整历史每次只输出一个记号时,XTurnix 的路线值得尝试,尤其在有多轮上下文、回应性应答与打断需要区分的中文场景。证据支持的是在给定映射与切分下,预训练加小量合成微调能同时保持听与说的均衡,而仅合成或零样本不行,阈值校准可以在不重训下利用较强的排序能力。

还缺的验证是真实音频流下的端到端表现,包括识别错误、停顿检测延迟、重叠语音与不同领域分布的影响,以及英文与多语种多轮的系统评测。自建 128 条的结论不能当作部署保证,公开基准的高分也不能推广到无填充或模糊完整性情形。下一步应补小规模目标域验证集上的阈值选择、误打断与漏打断的代价分析,以及推理延迟与计算开销的实测,再决定默认偏保守还是偏积极的动作偏好。

📎 论文与评分元数据

排名:前50% | 文档类型:模型报告 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-10-11 语音/音乐/音频论文速递