英文题目：Dual-Axis Generative Reward Model Toward Semantic and Turn-taking Robustness in Interactive Spoken Dialogue Models
会议身份：
conference:acl:2026:conference-paper-id:2026.acl-long.6
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#数据集 #知识蒸馏 #强化学习 #全双工语音交互 #轮次切换
评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 1.2/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Yifu Chen：机构信息未能从会议 PDF 纯文本可靠映射
- Shengpeng Ji：机构信息未能从会议 PDF 纯文本可靠映射
- Zhengqing Liu：机构信息未能从会议 PDF 纯文本可靠映射
- Qian Chen：机构信息未能从会议 PDF 纯文本可靠映射
- Wen Wang：机构信息未能从会议 PDF 纯文本可靠映射
- Ziqing Wang：机构信息未能从会议 PDF 纯文本可靠映射
- Yangzhuo Li：机构信息未能从会议 PDF 纯文本可靠映射
- Tianle Liang：机构信息未能从会议 PDF 纯文本可靠映射
- Zhou Zhao：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
全双工口语对话模型需同时解决说什么与何时说，输入为双通道音频交互，输出为整体二值质量分与语义和轮次分项解释，难点在于重叠、打断与长暂停交织下自动指标只看计时或计数而失语义。方法链分三步：先以交互事件识别、说话人分离标注与带时间戳转写做感知接地，再用 Gemini-2.5-Pro 基于文本元数据蒸馏 2670 条解耦思维链学习语义相关性与交互流畅性推理，最后以 GRPO 在合成加少量真实数据上优化格式与二分类准确率奖励。相对预言对齐（Oracle-aligned）代理与行为统计代理，其差异在于生成式双轴推理同时给出可解释诊断与单一奖励，兼顾内容与时机。在 44 例真实人机测试集上模型准确率达 77.27%，高于 GPT-4o 的 68.18% 与 Gemini-2.5-Pro 的 61.36%，但在 53 例真实人人集上以 86.79% 落后于 GPT-4o 的 92.45%。适用边界限于英语双人对话与 6 类预设错误，对多方、噪声与多语言外推未经验证。原文未披露训练时长、推理采样与部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，本文要交付什么？
本文的输入是双通道语音交互录音，每一路对应一个说话人，附带说话人标注与时间戳，目标是判断这次人机交互是否合格。读者刚进入语音对话领域时容易把任务想成转写加问答，但全双工场景多了一个维度：双方可以同时说话，系统要边听边说。输出不是转写文本，而是一个结构化评价：双路思维链分别讲内容是否连贯与时机是否得体，再给一个二值总分作为奖励信号。这个总分的设计意图是直接喂给在线强化学习，做高频反馈。
需要保留的关键信息是双轴解耦、单分输出、面向强化学习，以及训练分 3 段走。资源状态是本次未能确认可达，因此不声称代码模型数据已公开，复现只能依据论文描述的流程与提示词重做。
学习路径先建立任务直觉，再看分类体系如何把重叠与静音变成可判定事件，接着走完一个样本从音频到分数的全链路，然后理解 3 阶段训练如何补感知与推理，最后用实验条件与消融判断结论边界。教学例子在下文会明确标为例子，不代表论文实测数值。
已有路线为什么给不出可用的在线奖励？
第一条路线是帧级计时代理，它对内容不敏感，只要节奏对就给高分，语义崩了也看不见。第二条路线是行为统计，数打断几次、伴随反馈几次，但不判断这次打断该不该发生。第三条路线是指标套件，能给出细粒度诊断，但信号碎片化且延迟高，难以融合成实时统一奖励。第四条是人类评价，信息丰富但贵、不一致、难扩展，更难放进每一步都要打分的在线循环。近期的大模型当裁判路线在单轮文本对话有效，但在双人同时说话时缺乏听觉接地，难以同时评估说什么与何时说。
代理指标 × 人类评价： 代理指标负责低成本自动估计交互质量但多只看计时或表面计数，人类评价负责给出丰富但昂贵不一致的金标准，二者搭配讨论的原因是强化学习需要高频低延迟又可靠的奖励，组合意义在于说明为什么需要一个能同时看内容与时机的生成式裁判来替代两者极端。
论文把这些路线放在同一输入同一目标下比较：输入都是交互录音，目标都是判断交互质量，区别在监督信号与运行阶段。计时代理与统计量适合离线分析，指标套件适合事后诊断，人类标注适合偏好优化，只有解耦且低延迟的生成式裁判才瞄准在线强化学习的高频回路。这一定位决定了后文实验必须同时测合成可控场景与真实复杂交互，不能只报合成准确率。
一个同时犯两种错的对话能说明什么？
看一个例子。用户在回忆演示要带什么，系统先轻轻嗯了一声表示在听，又及时插话提醒是不是投影转接头，用户确认后表示准备好了。到这里时机处理堪称完美。但系统下一句突然说亚马逊雨林年均降雨量约 2300 毫米，用户只能困惑地问什么。这段交互的教训是时机分可以满分，内容分必须零分，总分必须判失败。只看节奏的裁判会放行，只数事件的裁判会记录 1 次伴随反馈加 1 次打断而忽略意义断裂，延迟高的套件能事后指出连贯性差但赶不上训练循环。
下面这张对比图把上述矛盾画了出来，左侧是同一段对话，右侧是本模型分开写的两份分析，左下是 4 种传统方法的缺陷 verdict。
看图路径： 1. 先看左上对话：用户讲演示准备，系统先给出恰当打断与伴随反馈，再突然输出雨林降雨量；2. 再看左下四个传统方法格：代理模型与行为统计给了对勾，人类专家给了错号；3. 最后看右侧本模型两栏：上栏肯定时机控制，下栏指出内容完全脱节并给总分 0
论文图 1。原论文 Figure 1：“Comparison between our interaction-aware evaluator and traditional evaluation methods for interaction quality.”。
从像素可见，左上气泡呈现了从正常准备到突兀降雨量的转折，右上时机分析栏写了完美的伴随反馈与适时打断并给出优秀结论，右下内容分析栏指出最后一句与演示准备零语义连接并导致用户困惑，最终总分为 0。这种一页内同时呈现好时机与坏内容的编排，正是双轴的动机：必须让两个判断各自说话，再由总分执行一票否决。例子仅用于理解任务，不代表任何模型的实测得分。
语义质量 × 时机正确性： 语义质量负责回答说什么是否切题连贯，时机正确性负责判断何时说是否遵守轮次规范，二者搭配的原因是全双工对话中两者可独立失效，组合意义在于把一个总分拆成两条可诊断的推理链，避免时机完美但内容崩坏被误判为好交互。
方法全景：从双轨音频到两条思维链再到一分
全流程可以沿一个样本走一遍。输入是双轨音频加元信息，包括转写文本、说话人、起止时间与已标注的交互事件。模型先做听觉感知，知道哪段是谁在说、哪里重叠、哪里静音过长。然后并行展开两条思维链，一条盯语义，问系统回答是否切题、打断后是否记住修正；另一条盯轮次，问是否抢话、是否延迟、是否无视用户抢话。
最后综合成二值总分，0 为差，1 为优。两条链不是装饰，而是诊断把手，未来可拆成两个奖励通道做多目标优化，但本文只验证单总分。
训练全景分 3 段。第一段教听觉语法，学会检测事件、做说话人切分、写带时间戳转写。第二段用教师模型对合成对话的文本元信息生成金色思维链，学生模型模仿这种分轴推理。第 3 段用组相对策略优化提升鲁棒性，并在最后加入少量真实数据纠正合成偏置。数据侧同步构造了大规模合成双轨音频与小规模真实人机人人对话，保证可控覆盖与真实泛化两端都有抓手。
事件与错误如何判定：地板归属是标尺
论文先定义基本构件。话轮指单个说话人连续的一段话，间隙指两轮之间的静音，重叠指同时说话。平滑过渡是无重叠的理想交接，记为 Est。重叠的判定看重叠结束后谁拿住话轮：原说话者退让、打断者继续说下去就是成功打断；原说话者守住话轮，若打断只是短促支持性信号就是伴随反馈，若打断是有实质竞争内容但被防住就是失败打断。这套规则把波形上的重叠时长转化为地板归属的功能判断，是后文所有错误定义的地基。
成功打断 × 失败打断： 成功打断指打断者通过重叠说话拿到话轮且原说话者退让，失败打断指原说话者守住话轮而打断内容有竞争性，二者搭配的原因是都要从重叠后谁持有话轮来判定，组合意义在于把重叠这一表面现象转化为可执行的地板归属规则。
语义轴的错误以语境不连贯为代表，关键实例是打断后失忆：用户纠正后系统口头应承，转身又沿旧实体旧顺序旧约束继续说。时机轴分过反应与欠反应。过反应包括把用户句内自然停顿误当让话而提前抢话，以及把伴随反馈误当抢话而过早交出话轮。欠反应包括该接话时出现过长静音，以及用户明确抢话时系统充耳不闻继续长篇输出。
伴随性反馈 × 过度谦让： 伴随性反馈指听者短促非竞争性的嗯啊对等信号且不抢话轮，过度谦让指系统误把这种信号当成完整抢话而提前结束自己回合，二者搭配的原因是都发生在一方长话语中的短重叠处，组合意义在于教会模型区分支持性重叠与竞争性重叠。
下面这张分类图把波形、定义与错误示例放在一页，适合对照记忆。
看图路径： 1. 先看顶部的波形与基本块：间隙、话轮、平滑过渡、成功打断与伴随反馈的定义；2. 再看中部语义错误示例：伦敦改都柏林后仍订伦敦，现代艺术后仍推文艺复兴馆；3. 最后看底部四种时机错误波形：抢话、误让、长间隙与无视打断的标注位置
论文图 2。原论文 Figure 2：“Formal taxonomy of interaction dynamics and failure types.”。
从可见像素看，顶部用双轨波形标出间隙、话轮、平滑过渡、成功打断与伴随反馈，中部用伦敦改都柏林与现代艺术改文艺复兴的例子说明纠正后仍走老路，底部用 4 段波形分别标出抢话点、误让点、过长间隙与无视打断。学习时先看顶部判定谁拿话轮，再看中部是否记住新信息，最后看底部反应是太快还是太慢，就能把 1 次交互落到具体错误类型。
模型函数形式上记为从场景到三元组的映射，输入是完整交互场景，输出是语义思维链、轮次思维链与总分。
\[Rθ(x) = (CoTsem, CoTturn, S)\]符号含义是奖励模型参数为 θ，场景 x 包含音频与元信息，CoTsem 负责内容适当性，CoTturn 负责时机规范性，S 为最终二值奖励。计算目标是先各自给出可解释判断再综合，避免一条链掩盖另一条链的失败。
三阶段如何训练：先听清，再学评，最后纠偏
第一阶段是基础听觉接地。对每个音频样本配不同指令，分别练 3 类多任务：识别交互事件并输出类型与时间戳；做说话人切分，给出每段起止；生成带说话人与时间的完整转写。基座是 Qwen2.5-Omni 类音频模型，全参数更新，让模型先学会对话的结构语法，而不是直接学打分。
第二阶段蒸馏交互推理。把合成对话的文本元信息含时间戳转写与说话人送给 Gemini-2.5-Pro 类教师模型，生成解耦的金色思维链与分数，覆盖回应相关性与交互流畅性两个维度。学生用第一阶段 checkpoint 继续微调，样本量为 2670 条思维链数据，目标是复制教师的分轴论证结构。
监督微调 × 组相对策略优化： 监督微调负责把感知结构与教师推理链蒸馏进模型，组相对策略优化负责在同一对话采样一组候选评价并按格式与分数准确性做组内归一化优势更新，二者搭配的原因是前者给起点后者纠偏合成偏置，组合意义在于用少量真实数据把泛化拉到真实人机分布。
第 3 阶段用组相对策略优化提升泛化。对每个对话，当前策略采样一组 K 个候选评价，每个候选按格式与分数准确性加权得标量奖励。
\[r(x, Oi) = λfmt Ifmt(Oi) + λacc Iacc(Oi).\]其中格式项检查是否出现规定的回应思考、流畅思考与总分块，准确项检查抽取分数是否等于真值，权重满足和为 1，论文实现取各 0.5。组内归一化得到优势：
\[ˆAi = r(x, Oi) −µr\]均值与标准差在同组候选内计算，再用裁剪的重要性采样比做策略更新。训练时编码器冻结只更新语言模型部分，候选数与裁剪范围等超参数按附录设置，原文未给出梯度全路径细节处不做推定。关键操作是最后在 GRPO 中混入少量真实人人对话与真实人机对话，用真实分布纠正合成偏置。
数据构造与此并行。来源文本来自开放域社交、任务型与大规模多轮对话，经改写变得短促可合成；再用程序化提示注入成功事件与 6 类主要错误，保持约六成成功 40% 失败；最后用双轨语音合成做出重叠与不同时长静音，并精确记录事件时间。真实侧招募流利英语测试者与主流语音模型定向构造标准回应、句内停顿、听者反馈与竞争打断 4 种行为，各自约一半好坏，并做人工核验。
测什么，和谁比，在什么条件下比？
评估问题是交互质量二分类准不准，外加细粒度错误归类与思维链可信度。数据集分合成与真实两大块。合成侧有分布内 273 条、分布外 233 条、细粒度 40 条，分别测熟悉模式、结构相似但新颖模式与指定错误类型。真实侧有人人 53 段来自公开高交互片段经重叠检测与人工核验，人机 44 段来自与主流模型的自由对话。训练侧合成超 6000 条，其中感知 4904 条、推理 2670 条、优化 3513 条，真实训练用人人 100 段加人机 289 段。指标方向是准确率与宏 F1 越高越好，真实集类别不平衡，更要看 F1。
基线覆盖开源音频模型与闭源大模型，全部零样本统一提示，比较对象包括 Qwen2Audio、AudioReasoner、KimiAudio、Audio-Flamingo3、GPT-4o、Gemini-2.5-Pro 与 Flash，以及未训练的 QwenOmni 基座。本模型是 3 阶段后训练版本。公平条件是同一测试音频与同一评分模板，输出都要含回应思考、流畅思考与总分。需要说明的缺项是延迟与在线训练开销未测量，不能从准确率高推定实时性好；二值分数稀疏性在局限中另议。
主结果：合成上拉开差距，真实上仍需真实数据
先看混淆矩阵的定性信号。三块面板行是真实，列是预测，类别含正确回应、语义错误、慢反应错误与快反应错误。基线在第一列堆积，把多种错误都判成正确或语义，而本模型对角最深，慢反应与快反应基本落对。这说明基线不是不会看内容，就是不会看时机，而解耦推理把两类错误分开了。
看图路径： 1. 先确认三块面板的行列含义：行是真实标签，列是预测标签，含正确回应与三类错误；2. 再比较对角线深浅：本模型对角最深，基线在第一列堆积；3. 最后看慢反应与快反应两行：基线混淆严重，本模型基本落在对角
论文图 4。原论文 Figure 4：“Fine-grained error classification confusion matrix of different evaluators across interaction failure types: (a) Gemini-2.5-Pro, (b) GPT-4o, and (c) our model.”。
从像素可见，左侧与中部面板左侧第一列颜色深数字大，右侧本模型面板对角格数字为 9、7、10、8 左右且颜色最深，非对角多为 0 或 1。这种分布支持论文判断：细粒度上本模型的时机错误识别明显更稳。但像素不能精确读出全部格点数值时不硬写，具体准确率以下表与原文连续句为准。
下表把消融链条中最关键的 4 个可运行配置放在同一指标下比较，比较问题是每一段训练到底带来多少真实泛化，公平条件是同一分布内与真实人人人机测试集，指标方向是准确率越高越好。
| 配置 | 分布内准确率 | 真实人人准确率 | 真实人机准确率 | 训练阶段 |
|---|---|---|---|---|
| 仅第二阶段微调 | 64.96 % | 45.28 % | 63.64 % | 推理蒸馏 |
| 加第一阶段感知接地 | 未报告分布内 | 84.91 % | 72.73 % | 感知加推理 |
| 合成数据上加 GRPO | 97.45 % | 83.02 % | 56.82 % | 感知加推理加优化 |
| 再混入少量真实数据 | 98.54 % | 86.79 % | 77.27 % | 全量 3 个阶段 |
上表显示完整链条在分布内达 98.54 %，真实人人 86.79 %，真实人机 77.27 %，而仅第二阶段在分布内只有 64.96 % 且真实人人仅 45.28 %。主要收益是第一阶段把真实人人从 45.28 % 拉到 84.91 %，补了结构听觉；具体代价是纯合成 GRPO 把真实人机压到 56.82 %，出现合成过拟合，必须用真实数据才回升到 77.27 %。未胜出项是基座与部分开源模型在合成上极低，闭源大模型在真实人人上偶有高准确但 F1 不稳，不能只看一列下结论。表格数字全部来自原文连续句逐字覆盖，未做四舍五入与单位拆分。
案例层面，不当抢话是试金石。本模型能指出助手语义相关但在用户句内停顿处提前打断，构成不当抢话；对照的强基线一个把打断说成即时自然过渡，另一个直接说无明显打断而判流畅。这支持感知接地加解耦推理的解释，但只是单样本反证，不能推广为全程最优。
拿掉哪一段会怎样：感知打底，优化需真实数据
消融按学习依赖倒序验证。拿掉真实数据只留合成 GRPO，分布内仍有 97.45 %，真实人人 83.02 %，但真实人机掉到 56.82 %，说明合成节奏与真实人机地板争夺不一致。拿掉第 3 阶段只留两段监督微调，分布内回落且真实人机约 72.73 %，说明监督能学到格式与基本判断，但对未见错误鲁棒性不足。拿掉第一阶段只留第二阶段加 GRPO 或仅第二阶段，真实人人分别掉到 77.36 % 与 45.28 %，证明没有事件检测与切分打底，高层推理无从接地。概念起点基座本身分布内仅个位数准确率，真实集约 50%，相当于随机附近。
训练成本按原文交代为 4 卡 H20、PyTorch 与 Transformers 环境，超参数分阶段设置学习率与批量，GRPO 候选数与裁剪系数在附录给出，本文不复述未核对的全部数值。部署成本未报告，推理要输出两段思维链加总分，开销必然高于只输出分数的裁判，原文未测量延迟时不承诺实时性改善。失败条件很明确：合成再多也替代不了少量真实交互，缺少真实人机抢话与反馈样本时欠反应与过反应最易误判。
边界在哪里：未做在线验证与二值稀疏
论文明确报告尚未把该奖励模型接入在线强化学习验证其作为在线奖励的效用，受资源限制只做到离线评估与人类一致性。这是关键边界：准确率高不等于能稳定提升对话策略，奖励黑客、分布漂移与延迟都待验证。解耦思维链已预留语义分与轮次分两个通道，未来可做多目标强化学习，但本文未实现。
第二个局限是二值分数稀疏。对区分成功与失败有效，但无法表达程度差异，某些强化学习设置下信号太稀。作者提出用李克特量表等更细粒度偏好标注比较二值与多级评分，但尚未采集。第三个隐含局限是教师蒸馏依赖文本元信息生成金色推理，音频本身的韵律与噪声细节可能未被教师充分利用，学生感知的上限受合成音频与标注流程约束。相关性不等于因果，消融显示的提升支持各阶段必要性，但在新语言新场景是否成立仍是待验证推测。
复现先做什么：数据、提示与检查点顺序
先复现数据管线。收集多源文本对话并改写为短促可合成脚本，程序化注入平滑过渡、成功打断、伴随反馈与 6 类错误，保持成功约六成失败约 40%，用双轨语音合成精确控制重叠与静音并记录时间戳。真实侧按 4 种目标行为定向采集并保留好坏约 1 比 1，人工核验事件与流畅描述。提示词按附录 3 阶段区分：第一阶段 10 种变体分别练事件识别、说话人切分与带时间戳转写；第二三阶段用统一评估模板要求输出回应思考、流畅思考与总分；教师蒸馏用解耦语义与流畅分析模板。
再按顺序训练：先全参数做感知多任务，再在该 checkpoint 上用 2670 条思维链做推理微调，最后冻结编码器只调语言模型做 GRPO 并混入少量真实数据。检查点顺序不可颠倒，否则消融已显示真实泛化大跌。评估时所有基线用同一零样本模板，报告准确率与宏 F1，真实集重点看 F1。超参数与环境以附录为准，缺失的梯度路径与合成语音细节不猜，遇到冲突以表头与正文连续句为准并标注。
何时值得尝试，何时不必照搬？
当你的系统已能说对内容但总在抢话、迟接或无视打断，且需要一个可解释的自动打分进训练循环时，这套双轴思路值得尝试。它的可操作价值在于把总分拆成两份证据，排障时能定位是内容失忆还是时机失守。复现优先级是先把事件定义与标注跑通，再做教师蒸馏，最后才上 GRPO 与真实数据混合。
当场景是单轮问答或纯文本对话时不必照搬重型听觉接地；当延迟预算极紧时两段思维链可能太重，需要先测推理开销再决定是否蒸馏为单分模型。还需补的验证是真实在线强化学习闭环、多级分数是否更有效，以及跨语言跨噪声下的稳定性。下表把传统路线放在同输入同目标下对照，帮你决定是否引入生成式裁判。
| 评价路线 | 输入 | 语义敏感 | 计时敏感 | 运行阶段 |
|---|---|---|---|---|
| 计时代理 | 交互录音 | 否 | 是 | 离线分析 |
| 行为统计 | 交互录音 | 否 | 弱 | 离线分析 |
| 指标套件 | 交互录音 | 部分 | 是 | 事后诊断 |
| 人类专家 | 交互录音 | 是 | 是 | 离线标注 |
| 双轴生成式裁判 | 双轨音频加元信息 | 是 | 是 | 瞄准在线奖励 |
上表不是同条件胜负排名，而是按监督与运行阶段的选型指南。计时代理内容不敏感会放行语义崩坏，行为统计只计数不判得当，指标套件碎片高延迟难进高频循环，人类评价准但慢贵。双轴裁判的代价是需要合成加真实联合训练与较重的生成式推理，收益是同时给出可诊断的两轴解释与统一总分。是否采用取决于你是否真的需要在线高频奖励，否则离线人类抽检加指标套件已够用。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses