英文题目：CharDuplex: Building Character-Consistent Full-Duplex Spoken Dialogue Models

标签：#全双工语音交互 | #强化学习 | #SFT | #数据集 | #语音

评分：7.4/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.3/1.5

👥 作者与机构

  • Donghang Wu：机构信息未在 arXiv HTML 中可靠披露
  • Yisi Liu：机构信息未在 arXiv HTML 中可靠披露
  • Chen Chen：机构信息未在 arXiv HTML 中可靠披露
  • Hexin Liu：机构信息未在 arXiv HTML 中可靠披露
  • Eng Siong Chng：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

本文任务是以角色描述与持续到达的用户语音流为输入，同步生成文本与语音回应为输出，难点是在打断、重叠与多轮追问下保持人格、知识与历史一致。方法先将GLM-4-Voice改造为常开同步双流架构并做通用全双工训练，建立听说并行与轮次对齐能力，其输出模型进入角色条件监督微调。接着用生成器与验证器自动构造角色多轮对话并合成双通道音频，做角色条件监督微调以注入角色行为。最后以FDGym让大模型模拟用户仅依据增量可听片段实时追问或打断，并以交互奖励、角色奖励与确定性时序奖励做组相对策略优化，实现真实因果下的多轮优化。相对PersonaPlex等预录音驱动基线的关键差异是后续用户行为依赖模型真实采样在线生成，实际意义是在闭环交互中直接优化角色一致性而不损失全双工能力。在SpeechRole-Eval基准下，CharDuplex的平均得分为0.785，高于PersonaPlex的平均得分0.651。适用边界是训练与评测角色不重叠但均来自 OmniCharacter 与 SpeechRole 训练集同源角色库与合成语音，真实噪声、真实打断与长时对话外推尚未验证。原文披露监督训练硬件为32卡A100、GRPO硬件为8卡A100，但未披露总训练时长与推理延迟实测。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出是什么，为什么要做角色一致的全双工？

这篇解读的输入是论文正文与 3 张官方原图像素，目标是让刚进入语音对话方向的研究生能复述做法。必须保留的信息包括数据来源与质检条件、双流架构的输入输出定义、监督与强化学习的采样和奖励条件、3 类评测的协议与关键数字。输出是一套按学习依赖展开的方法与实验说明，不做超出证据的效果承诺。

任务可以这样理解。输入是连续的用户语音和一段角色描述，角色描述规定人物背景、知识边界、性格和说话方式。输出是模型的实时语音回应，要求边听边说，允许用户在模型说话中途插话，也允许模型在用户停顿时用简短语气词回应。评价不只看有没有及时开口，还要看连续多轮之后回答是否还像同一个人。

难点在于时间约束和内容约束同时成立。时间约束要求模型在每 1 帧都决定输出等待、说话文本还是结束，稍有延迟就会错过让出时机。内容约束要求每一句回答同时对齐用户最新输入、历史对话和角色设定，用户的 1 次质疑或打断都会改变后文走向。如果只用预先写好的固定对话做监督，模型学到的是背诵既定续写。CharDuplex 因此分成 3 段，先把基础模型改成始终在线的双流结构，再用自动管线批量构造角色对话语音，最后用在线交互强化学习补上动态多轮训练。

同类工作在解决同一问题的哪一段？

可以按输入、目标、监督和运行阶段对照同类路线。第一类是通用全双工语音模型，例如 Moshi 把用户和系统语音做成并行流，Freeze-Omni 冻结大模型主体，SALMONN-omni 探索无编解码器结构，后续还有带时间结构推理的改进。它们的输入同样是流式语音，目标是通用交互与推理能力，运行阶段强调并发听说。CharDuplex 与它们同输入同运行阶段，但目标不同，重点是多轮角色一致的内容生成，同时保留通用能力。

第二类是角色条件语音交互，例如 OmniCharacter 同时建模语言个性和声音特征，SpeechRole 提供大规模角色扮演训练与评测，PersonaPlex 用文本角色提示加语音音色提示做全双工，SteerDuplex 考虑人物语气和风格的更广可控性。它们的输入多了角色描述，目标是像特定人物说话。CharDuplex 处在同一目标下，但更强调回应内容在演进式多轮和打断下的角色一致。

第 3 类是全双工的强化学习，例如 SALMONN-omni 在监督后做偏好优化以处理打断和回应，ORISE 用自动语音奖励做在线策略优化，DuplexPO 把何时说与说什么解耦并分窗口优化。它们的监督已超出逐词元模仿，进入交互行为层。但论文指出，它们的 rollout 多用预录语音或固定上下文，不同的模型回答本应引发不同的用户后文。FDGym 的区别正在于把大模型模拟用户放进 rollout 循环，让后文用户语音在线依赖于模型已生成的部分回应。

要解决的具体问题与评测口径是什么？

论文要解决的是角色一致的全双工语音对话。形式化地说，给定角色描述与流式用户语音记号序列，模型要在同一帧时间轴上逐帧生成应答流，既要处理正常轮替，也要处理用户思考停顿、简短语气词和中途打断。角色一致要求回答同时满足三点，对用户输入有回应，与对话历史逻辑相容，与角色知识和性格相容，并且在追问纠正和话题转移后不自我矛盾。

评测分成 3 类。角色相关能力用 SpeechRole-Eval，报告指令遵循、对话连贯、个性一致和知识一致 4 个维度，都在给定角色描述的条件下评测。通用语音智能用 VoiceBench 中的多组问答推理开放回答与安全集合，外加另外两组问答集，覆盖不依赖角色描述的通用知识。全双工交互用 Full-Duplex-Bench，考察停顿处理、语气词、平滑轮替和用户打断等行为。

一个常见的误解是把音色像某人等同于角色一致。论文的划分是，音色和风格只是外层，知识边界和性格视角才是决定回答能不能说的内层。例如角色不知道某政策细节时应追问或表达不确定，而不是编造具体数字。后续的数据验证与奖励设计都是围绕这一内层展开，指标方向需要逐个确认，不能把越低越好的延迟直接读成分数越低越差。

三段式做法如何串起来？

先看整体链路，再看每段的输入输出。第一段是全双工适配与通用训练，把 GLM-4-Voice 的串行对话流改成同步双流，建立边听边说的能力。第二段是角色条件数据构造与监督微调，用自动管线从开源角色描述批量生成多轮对话并转成双通道语音，让模型学会按角色回答。第 3 段是 FDGym 交互强化学习，用模拟用户与模型实时对话产生动态轨迹，再用角色交互和计时奖励做策略优化。

下面这张图是数据构造管线的总览，阅读时先抓 3 阶段的输入输出，再看循环与质检的位置，这是理解后文监督数据从何而来的基础。

看图路径： 1. 先看上半部分从角色描述到已验证文本的主路径，确认生成与验证循环的返回箭头；2. 再看下半部分语音克隆到说话人验证的分支，确认不合格片段的重合成路径；3. 最后看右下双通道时间轴上语气词叠加与打断截断的相对位置

原论文 Figure 1：Overview of the automated character-conditioned data construction pipeline.

论文图 1。原论文 Figure 1:：“Overview of the automated character-conditioned data construction pipeline.”。

这张图显示管线分为对话生成与验证、语音合成与说话人相似度质检、对齐与音频组装 3 个阶段。第一阶段在生成器与验证器之间来回走，文本通过后才冻结，再单独标注语气词停顿和打断。第二阶段为每位说话人固定参考音做克隆合成，不合格按阈值重合成。第 3 阶段用强制对齐得到词级时间戳，在共享时间轴上把用户与助手语音分别排布。每个训练样本最终保留角色描述、双通道音频、文字记录和时间标注，监督时描述作系统提示，用户音频作输入，助手文字与语音边界决定目标流。

双流架构如何表示听与说？

先沿一个样本走完流程。假设某 1 帧到来时，用户语音已累积到当前帧，模型手头有角色描述、此前用户记号和此前自己输出的控制符与文本。模型把用户流与应答流的嵌入逐帧相加送入因果主干，预测当前帧的应答记号。若用户还在说话且无需回应，就预测等待符。若判断该开口，就输出起始符后接回答文本。

若回答语音播完或被用户打断，就输出结束符并回到等待。语音波形由独立的语音生成模块根据回答文本再合成。

白话解释两个关键术语。用户语音流是指始终在线的输入通道，用冻结的 WhisperVQ 按固定帧率把音频变成离散记号。应答文本流是指同样按帧推进的输出通道，里面混有控制符和真正的回答词。组合时两者共享词嵌入表与因果主干，输入侧逐帧相加，输出侧自回归预测应答记号。

全双工语音对话 × 角色一致性： 全双工语音对话负责听和说同时推进，分工是逐帧决定等待开口、继续说话还是被打断时让出；角色一致性负责说什么内容，分工是约束知识边界、性格表达和前后回答不矛盾。二者搭配的原因是打断会改变后文语境，只有把双流时序控制和角色条件生成放在同一因果主干中联合优化，模型才能在被打断后仍用同一身份续答。

用户语音流 × 应答文本流： 用户语音流负责连续接收输入音频，分工是由冻结的 WhisperVQ 分词器把语音变成离散记号并始终供给；应答文本流负责自回归输出控制符和回答文本，分工是在聆听时输出等待符、开口时输出起始符、结束或被打断时输出结束符。二者搭配的原因是全双工需要在同一时间轴上同步决策，把两流逐帧相加送入同一因果主干，模型才能边听边决定继续说还是停下。

下面这张图展示了架构与 3 阶段监督的安排，重点看控制符序列与冻结关系，这是复现双流切换逻辑的关键。

看图路径： 1. 先沿底部用户语音帧向上看逐帧相加进入主干的主路径；2. 再看顶部应答流中等待符起始符文本词与结束符的出现顺序；3. 比较底部三阶段训练框中哪部分冻结哪部分更新

原论文 Figure 2：Overview of the CharDuplex architecture and supervised training.

论文图 2。原论文 Figure 2:：“Overview of the CharDuplex architecture and supervised training.”。

这张图从下往上是用户语音经冻结分词器得到输入记号，与应答流输入一起查共享嵌入表并逐帧相加，经过大模型主干与输出头得到预测记号，预测文本再经语音生成模块转成助手语音。顶部示例显示监听段为连续等待符，随后是起始符与若干文本词，语音延续段继续等待符，最后以结束符收尾，被打断时提前结束。底部三框说明先做通用全双工训练，再做角色条件微调，最后冻结语言主干单独训练语音模块。

符号与计算目标如下。记用户流为问句记号序列，应答流为包含文本与控制符的序列，角色描述为系统提示，模型参数为可训练权重。条件概率定义了在已知角色、已见用户记号和已生成应答前缀下预测下一应答记号的分布。

\[p_{\theta}(Y\mid Q,c)=\prod_{t=1}^{T}p_{\theta}(y_{t}\mid c,q_{\lt t},y_{\lt t}).\]

该式把整段应答的概率写成逐帧连乘，每一步只依赖过去，不看未来，这是流式生成的因果要求。监督目标是对整条应答流做下一词元预测，把等待起始文本与结束都当作要学会的记号。

\[\mathcal{L}_{\mathrm{text}}=-\sum_{t=1}^{T}\log p_{\theta}\left(y_{t}\mid c,q_{\leq t},y_{\lt t}\right),\]

该式的求和跑遍全部帧，条件中包含截至当前帧的用户输入与此前应答，角色描述只在有角色的阶段作为系统提示出现。分词器在全程冻结，梯度只更新语言主干。语音生成阶段则反过来，冻结语言主干，训练自回归语音编解码预测器，再用流式声码器转波形。

角色对话数据如何生成验证与转成音频？

数据管线分 3 步，每步的输入输出都很具体。第一步是文本对话生成与验证。生成器读入角色描述与采样到的场景目标，按提示产出多轮对话，要求角色的私有或时效事实必须能追溯到角色说明或用户已提供的信息。验证器用两个提示分别核查事实支撑与跨轮一致性，包括数字时间因果与任务完成状态。局部错误做轮级或片段级修改并再验，牵涉面广则整轮重写。通过后，另一组生成与验证负责从规则给出的候选位置中挑选语气词思考停顿和打断点。

生成器 × 验证器： 生成器负责按角色描述和场景目标产出多轮对话初稿与事件标注，分工是覆盖多样问法和话题转移；验证器负责检查事实支撑和跨轮逻辑，分工是定位到轮或片段做最小修复或要求整段重写。二者搭配的原因是单次生成容易编造角色不应知道的价格日程或动作，只有生成与核查交替且修完再验，才能得到可用于语音合成的干净文本。

第二步是语音合成。用 Qwen3-TTS 为每位说话人固定参考音合成每轮文本，再用基于 WavLM 的说话人验证器比较合成与参考的相似度。低于阈值的片段在有限重试预算内重合成，若仍不达标则保留得分最高者并标记。第 3 步是对齐与组装。用 Qwen3-ForcedAligner 得到词级时间戳，调度器在共享时间轴上排布双通道音频，停顿插入静音，语气词叠在进行中的语音上，打断从标注词边界开始。

为说明验证器的价值，先看下面这张独立评测的通过率对照。表前问题是在有无验证器下对话质量差多少，指标方向是越高越好，比较条件是同一生成器输出并由第三方模型独立判定。

数据条件未验证通过率初验直接通过率终验通过率判定模型
生成器直出与完整管线对照65.6%68.8%93.7%gpt-5.6-sol 判定

表后解释是去掉验证后通过率明显更低，完整管线经修复后终验大幅抬高，支持保留生成器加验证器的设计。未胜出项是初验直接通过率本身并不高，说明 1 次生成合格率有限，主要收益来自多轮修复，代价是构造耗时与调用成本上升，复现时需保留标记样本以便排查音色漂移。

FDGym 如何产生动态对话并算奖励做更新？

先讲训练如何组织。监督阶段分通用全双工训练与角色条件微调，优化器与预热步数按原文设置，用户语音特征做增强并混入背景噪声。监督完成后冻结语言主干训练语音模块。强化学习从角色微调检查点出发，每次策略迭代在多组初始条件下各采多条轨迹，每条限制在数十秒仿真对话内，采样温度与截断参数固定，优化器做截断更新并控制迭代预算。

下面这张图是 FDGym 的闭环，阅读时抓住时间同步、可见性约束与奖励分组三件事，这是理解响应依赖采样的关键。

看图路径： 1. 先看上方面板中模拟用户只能看到按估计语速折算的可听文本的约束标注；2. 再看中部四个奖励分支如何汇成总奖励并算出组内优势；3. 最后看右侧更新后参数返回下一轮采样的闭环箭头

原论文 Figure 3：Overview of FDGym for real-time interactive RL.

论文图 3。原论文 Figure 3:：“Overview of FDGym for real-time interactive RL.”。

这张图上方面板显示每轮从角色提示与首轮用户话开始，仿真时钟按固定 tick 推进，模型处理已累积音频并推进应答流，模拟用户只能看到按估计语速折算到当前 tick 的可听文本，并据此决定下一句或是否打断。rollout 期间关闭模型侧波形解码并保留键值缓存，记录音频文本时间戳与对数概率。中部面板显示每条轨迹得到交互角色与两项计时奖励并算组内优势，下方面板显示在完整应答流上做截断策略损失更新，更新后参数用于下一轮采样。

交互奖励 × 角色奖励： 交互奖励负责评价对话是否连贯切题，分工是只看文字记录和计时统计而不看角色设定；角色奖励负责评价是否符合给定身份语气和行为约束，分工是额外读入角色系统提示并惩罚串角色或违反风格。二者搭配的原因是只优化其一会偏科，论文把两者与计时奖励相加形成轨迹总奖励，使模型同时学会好好接话和像指定角色接话。

响应依赖 rollout × 组相对策略优化： 响应依赖 rollout 负责产生训练数据，分工是让模拟用户根据模型已说出的部分内容实时生成下一句甚至打断；组相对策略优化负责更新参数，分工是在同一角色和同一首轮下比较一组轨迹的奖励高低得到优势值并做截断更新。二者搭配的原因是预录用户话术无法反映不同回答会引发不同追问，只有用动态生成的上下文做组内比较，才能把多轮角色表现差异变成可学习的梯度信号。

为说明仿真采样的执行条件，先看下面这张按原文连续句整理的采样规模表。表前问题是每次策略迭代产生多少条轨迹、每条仿真多长，比较条件是同一批策略快照下的分组采样，指标方向是覆盖足够的动态交互而不超出仿真预算。

采样条件每轮轨迹数单条上限tick 时长单条时长
分组同步仿真32 trajectories260 ticks160 ms41.6 s

表后解释是该配置保证每组初始条件下都有多条轨迹可比，为组内优势计算提供方差来源，同时用 tick 上限控制单条对话长度。代价是仿真 tick 不等于真实计算耗时，估计语速与真实语音时长的差异会进入奖励，复现时应记录实际延迟分布再做判断。

计时奖励的计算目标是鼓励及时起音与及时让出。记正常轮结束到模型起音的延迟为一种延迟，用户打断到模型静音的延迟为另一种延迟，成功事件用随延迟线性衰减的函数打分，失败给负分，无合格事件则记零。

\[g(d;D)=\max\!\left(0,1-\frac{d}{D}\right),\quad D_{\mathrm{resp}}=2\,\mathrm{s},\quad D_{\mathrm{yield}}=0.64\,\mathrm{s}.\]

轨迹总奖励是四项相加，交互与角色奖励在零到一之间，另加两项计时奖励。

\[R(\tau,c)=r_{\mathrm{int}}+r_{\mathrm{char}}+r_{\mathrm{resp}}+r_{\mathrm{yield}}.\]

策略优化用组相对优势，把同组轨迹奖励减均值除以标准差并截断，避免除零与过大更新。

\[A_{i}=\operatorname{clip}\!\left(\frac{R_{i}-\bar{R}}{\max(\sigma_{R},\epsilon_{\mathrm{num}})},-A_{\max},A_{\max}\right),\]

原文给出优势截断与概率比截断的设置，以及每批数据只过一遍、每卡一条轨迹的执行方式。需要补验证的是模拟用户与打分模型本身的偏差，这些都会进入奖励但未在主结果中单独量化。

数据模型采样与评测条件如何固定？

数据方面，通用全双工训练用数十万小时量级的连续语音、外加问答与语音问答数据，文本生成与语音合成工具、音色池与噪声来源按原文列出。角色数据来自两个开源角色集的训练划分，生成器与验证器分别用大模型担任，合成与对齐用 Qwen 系列模型，训练与评测角色不重叠。附录对通用数据的三部分小时数、合成工具链与噪声混合信噪比范围有更细说明。

模型与训练方面，CharDuplex 从 GLM-4-Voice 初始化，通用训练与角色微调分别用不同的学习率与预热步数，在数十卡上训练。强化学习的用户仿真与奖励打分用同一大模型，用户语音用流式合成模型在线生成，每次迭代采样 32 条轨迹，仿真 tick 为 160 毫秒，单条上限二百六十 tick，语速估计为每秒 3.4 词。优化用较小的学习率与固定的截断阈值，预算为 500 次策略迭代。

评测方面，角色评测的四项指标方向都是越高越好，通用评测中问答为准确率、安全为拒绝率、开放回答为模型打分，全双工评测中轮替率、语气词频率、散度、延迟与质量分的方向需按表头逐个确认。基线包括开源全双工模型与闭源系统，论文同时报告监督后与强化后的两个版本，以便分离数据与交互训练的贡献。资源状态方面，论文引用的第三方模型与数据集链接在本次核查中显示可用，但这只说明链接可达，不代表权重与评测脚本版本与论文完全一致。

角色通用与全双工三方面各测出什么？

先看角色主结果。表前问题是 CharDuplex 是否在保持可比通用能力的同时提升角色一致，比较对象包括 PersonaPlex 等开源全双工模型与闭源系统，指标方向四项都是越高越好，条件是每段评测对话都给定对应角色描述。

对比条件平均分相对提升个性一致增益知识一致增益
角色扮演设定下与 PersonaPlex 对照0.7850.134+0.186+0.203

表后解释是平均分在所评开源模型中最高，且 4 维全面超过 PersonaPlex，最大增益落在最能代表身份与背景的个性与知识 2 维，支持改进不只来自更听话的指令遵循。未胜出项是与闭源 Gemini 相比，指令与连贯占优但个性与知识仍有差距，且监督后模型本身已强，强化带来的是进一步小幅提升。

再看通用语音智能。表前问题是角色训练是否损害通用知识与回答能力，比较条件是不带角色描述的通用问答与开放评测，指标方向为变化幅度越小越稳定，其中两项正向改进需单独列出。

对比条件稳定变化上限SD-QA 变化BBH 变化总体判断
强化前后通用能力对照1.11%+3.80%+2.40%大体稳定局部改进

表后解释是强化前后多数指标变化很小，另两项为正向改进，论文报告 CharDuplex 在多组事实问答上超过其基础模型，支持角色一致的收益没有以系统性通用损失换来。未胜出项是部分问答与开放打分仍低于非全双工大模型，且个别指标有小幅回落，说明全双工架构本身与通用上限仍有距离。

全双工交互方面，论文报告 CharDuplex 在语气词与打断处理上表现积极，打断质量分高且打断轮替率高，强化前后多数指标稳定。需要提醒的是其中语气词轮替率一项相对变化较大，论文在附录合并表中给出负向变化，解读时不能只看平均稳定，要承认该单项的波动。总体判断是角色管线没有破坏全双工行为，交互后训练主要改变角色维度，时序行为大体保留。

去掉验证器或计时奖励会发生什么？

论文做了两组针对性对照。第一组是数据验证消融，比较生成器直出与完整生成器加验证器管线，用独立大模型做判定。结果是直出通过率明显低于完整管线的终验通过率，初验直接通过率居中，说明质量主要来自验证后的定位修复与重写，而非 1 次生成即合格。若去掉验证，构造更快但语料质量下降，后续需要更多过滤。

第二组是计时奖励消融，去掉两个确定性计时奖励只保留大模型打分。论文报告角色评测没有有意义的提升，而全双工轮替表现轻微下降，因此保留计时奖励。计时奖励按时间戳确定性计算，额外成本可忽略，作用是守住及时起音与及时让出的行为。由于原文未给出该消融的完整数字表，这里只能转述方向性结论，不能复述具体分差。

一个教学例子是打断处理。假设模型正在说一段较长的角色解释，用户中途插话纠正其中一个事实，这只是帮助理解机制的例子，不含新数值。没有计时约束时，模型可能把整段说完才回应，角色内容也许正确但交互失败。有计时奖励时，模型更早输出结束符并停下，再针对用户纠正用同一角色身份续答。这正是论文把内容奖励与时机奖励相加的原因。

哪些结论有边界，哪些量没有被测量？

先区分 3 类表述。论文直接报告的是角色平均分与分项增益、通用指标强化前后相对变化区间、验证通过率与采样规模。有限解释的是计时奖励有助于保留全双工行为、验证器提升语料质量，这些有对照支持但缺少完整数字或显著性分析。未验证推测是该做法能推广到任意角色与真实噪声环境，原文未做跨语种跨音色池或长时部署的系统评测，不能直接推广。

缺失证据不是技术错误，但复现时要补。论文未报告误判打断率、端到端延迟分布、实时因子与推理开销，也未给出不同模拟用户与打分模型下的敏感性。训练资源只给出卡数与迭代预算，没有完整时间与成本核算。输出帧率与实际延迟应分别讨论，仿真 tick 不等于真实计算耗时。此外，角色评测依赖自动打分，自动指标不能等同于人评，数值相同也不代表同一指标。

还有一处需要标注的文本冲突。角色语料的总对话数与总时长在正文与附录出现小数与格式粘连，例如对话数与小时数的数字串中混有花括号与重复小数，复现时应以清洗后的取值为准并记录所用版本，不自行四舍五入或猜新值。本解读因此未把该组粘连数字做成结果表，改用有干净连续原句的通过率与增益表承担证据。

要复现应先准备什么，先跑哪一步？

先做可运行性区分。论文给出的是方法与数据构造配方，不是开箱即用的完整代码包。需要准备基础模型权重、语音合成与对齐模型、生成器与验证器的大模型访问、音色参考池与噪声库，以及 SpeechRole-Eval、VoiceBench 与 Full-Duplex-Bench 的评测脚本。第三方链接本次显示可达，但版本漂移仍可能改变分数，务必锁定模型版本与解码参数。

建议按依赖顺序推进。第一步复现双流表示与控制符逻辑，用小规模通用对话验证等待起始结束的切换与打断截断是否正确，先不碰角色数据。第二步跑通单角色的生成加验证小管线，检查事实追溯与跨轮一致性修复是否生效，再小批量合成并做说话人相似度质检。第 3 步在冻结分词器的条件下做短程角色微调，观察角色指标是否上升且通用问答不塌。

关键超参数与信息条件要保留。监督 2 阶段的学习率与预热步数不同，强化学习的采样温度、组内轨迹数、tick 时长、单条上限、语速估计与截断阈值都影响时序行为。记录每次 rollout 的用户音频文本、模型回应、时间戳与对数概率，便于复算奖励与优势。若资源有限，可先只复现监督后模型，因为论文显示监督后已具备较强的角色行为，交互训练是其上的进一步修正。

何时值得尝试这条路线，还需补哪项验证？

当应用需要长时间维持同一人物身份，且用户会频繁打断追问和纠正时，这条路线值得尝试。它的可取之处在于把时机与内容分开建模又联合优化，用自动验证保证合成数据的事实干净，用响应依赖的在线交互补上预录数据缺失的动态上下文。附录的合并比较显示强化后角色四项全面小幅提升，而通用与全双工多数指标波动有限，这是支持继续投入的主要依据。

不适合的情况也要明确。若任务是单轮问答或固定流程客服，对时机的要求不高，用普通轮替模型加角色提示可能更省。若没有稳定的模拟用户与打分模型，FDGym 的奖励噪声会淹没小幅角色增益，此时应先做小规模人工抽检，确认自动打分与人感一致后再扩大训练。

还需补的验证包括真实用户打断下的让出延迟分布、长对话中的角色漂移曲线、不同音色与噪声下的稳定性，以及去掉任一奖励后的完整数字消融。只有补上这些，才能把当前在合成仿真与自动评测上的结论，推进为可部署的全双工角色语音助手的结论。

📎 论文与评分元数据

排名：前50% | 文档类型：模型报告 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1

  • 评分模型：muse-spark-1.3-contributor

  • 评分请求协议：openai_responses

← 返回 2026-09-30 语音/音乐/音频论文速递