📄 两个人一起说话才算数：全双工对话模型的双人评估
英文题目：Conversation Is a Two-Body Problem: Dyadic Evaluation of Full-Duplex Dialogue Models
标签：#全双工语音交互 | #基准设计 | #基准测试 | #轮次切换
评分：7.6/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0.5/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Sungnyun Kim：Korea Advanced Institute of Science and Technology
- Sungwoo Cho：Korea Advanced Institute of Science and Technology
- Jihwan Oh：Korea Advanced Institute of Science and Technology
- Se-Young Yun：Korea Advanced Institute of Science and Technology
📌 核心摘要
全双工语音对话模型需边听边说，轮流发言、重叠与打断由通话双方共同决定，固定录音或固定考官只能测到其中一半行为。DyaFDB以锁步时钟上的模型间桥接替代真人，将一方每80毫秒音频帧输出拼接到另一方输入，使两模型输出流互为输入流直接通话。该桥接输出的双通道录音进入角色化对话环节，模型被赋予合作或冲突私有角色并经1.5秒先发引导，在交换角色与发言顺序下反复录制一分钟对话，共录制7560段对话。对话录音与转录文本再进入离线评分环节，由信道占用与字符串匹配等机械度量及匿名转录本的Opus-5评判者按任务标准给双方打分。任务分为协作类与冲突类，分别考察角色保持、分散信息汇总、话语通道争夺及偏好与保密目标下的施压防守，信息汇总中约半数配对一分钟内无法形成决定。在T1共140个席位以人类专家多数意见为参照的评测设置下，按EM一致率指标，Opus-5为89.3%，高于Sonnet-5的85.0%。论文承认自然度尚未度量，且搭档目前只覆盖模型而非真人。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
全双工对话要解决什么输入输出问题
刚接触语音对话的读者可以先把任务想成两个人同时开着麦克风说话。输入是对方连续不断的语音流，输出是自己连续不断的语音流，目标是在几十毫秒内决定现在该说、该停、该附和还是该打断，同时还要把事情办成，比如约好房间、守住秘密。必须保留的信息包括对方说了什么、何时停顿、何时重叠，以及自己被分配的角色和不能说的内容。已有半双工系统是 1 人说完另 1 人再说，延迟大且丢失语气和抢话时机。
全双工模型则要求边听边说，论文研究的正是这种模型的评价方法，而不是提出新的语音生成模型。论文用 PersonaPlex、MiniCPM-o 4.5 和 Raon-SpeechChat 3 个开放模型做被测对象，共录制 7560 段 1 分钟对话，合计 126 小时，用来说明评价结论成立的条件。
给新同学的例子：一段排练室对话如何走完流程
举一个教学例子帮助复述流程，例子本身不代表论文的数值结论。假设共享情境是周六排练要从 5 个房间选一个，A 私下知道枫木漏水、雪松装修，B 私下知道白杨被录音占用、杜松被合唱团占用，正确答案只能是柳木。录制时 A 和 B 通过桥互相听到对方的语音帧，各自决定何时说话；A 若一直闲聊不说出漏水信息，法官会判未披露；若 2 人都说出信息但 1 分钟内没落到柳木，法官判未决定。
最终得分是决定率与决定后正确率的乘积，时间拉长可能提高说出率，但不保证提高正确率。这个例子对应论文的信息拼凑任务，用来理解输入如何经过桥、轮次和披露 3 步变成输出。
以前的评测把对话伙伴固定在了哪里
论文把已有评测分成 3 类。第一类是刺激反应型，用预先录好的音频播放给模型听，音频不会根据模型的回答改变。第二类是自动考官型，用一个实时语音模型按固定题单追问和打断，但考官自己不被打分。第 3 类是分段教师强制型，把历史对话转成文字喂给模型，等于替模型记住了上文，搭档也无法对模型的即兴发挥做出反应。
论文指出，这些做法在相同输入、相同目标、相同离线打分条件下比较过行为细节，但运行阶段都不让搭档自由发挥，因此无法区分是模型自己决定的，还是搭档把它带偏的。文本对话领域已经转向双人竞技场和智能体间谈判、社会互动评测，语音领域还没有迈出这一步，而语音特有的打断、沉默施压和延迟利用恰恰需要双人互动才能显现。
与文本双人评测和游戏评测的异同在哪里
相同点是都不信任固定对手，游戏用联赛和种群、协作多智能体用交叉配对、文本对话用竞技场和谈判社会基准，都是让被测者互为考官。不同点是语音全双工的耦合发生在毫秒级音频通道，打断、沉默施压和延迟本身就是资源，模型没有停下来思考的机会，必须每几毫秒提交输出。
论文的任务设计借用了行为研究中的隐藏档案和地图任务思想，即把答案拆到 2 人手中，缺一不可，这与文本中拼凑分散信息和保守秘密的评测同源，但搬到语音后新增了通道争夺这 1 维度。因此不能把文本竞技场的胜负直接套用到语音，输入模态、目标中的实时性和运行阶段的同步时钟都不同，同条件比较必须限定在相同桥、相同时长和相同打分规则下进行。
为什么说对话评价是双体问题
论文借用双体问题的比喻：轮次、重叠和打断是两个说话人互相耦合的产物，就像两个天体互相牵引，单独看一侧算不出轨道。如果搭档换了语速、换了是否让话、换了是否跑题，同一模型的分数就会跟着变。论文举例说，同一防守者在不同攻击者面前泄密率在 39% 到 63% 之间浮动，固定考官只能报出其中任意一点。另一个例子是信息拼凑任务中约一半配对在 1 分钟内达不成决定，这既可能是模型没说出已知信息，也可能是 2 人没能把信息拼起来。
因此问题不是模型单方面的能力值，而是 1 对模型在特定任务结构和特定参与意愿下共同产生的结果。要回答这个问题，就必须让搭档的模型和角色都成为可变因素，并且两边都被打分。
DyaFDB 让两个模型直接对话的总体流程是什么
DyaFDB 的总体流程是给两个全双工模型分配共享情境和各自的私人角色提示，然后让它们通过模型到模型桥直接对话 1 分钟，最后把立体声音频和各自文字流存下来离线打分。桥上没有主考官在回路里干预，两边地位平等。打分分两路，一路是机械测量，如独占说话时长占比和秘密字符串是否出现，另一路是外部语言模型法官读匿名文字稿，按是否坚持角色、最终留下哪个选项、是否提出请求等封闭问题判分。
说话顺序和角色分配都做 counterbalanced 交换并重复 3 次，以排除谁先开口带来的偏差。下面的示意图对比了预录音频、自动考官和本文双人桥的区别，重点看箭头是单向还是双向，以及是否两边都被打分。
看图路径： 1. 先看左侧两格固定考官的箭头方向，再看右侧双模型桥的双向箭头；2. 注意右侧每个模型既有私人角色又有共享情境框；3. 看右侧离线打分同时指向两条录音和文字通道
论文图 1。原论文 Figure 1:：“Evaluation framework for a full-duplex model.”。
左图显示预录音频只能单向播放，自动考官虽能实时反应但只按题单提问且不被评分；右图双人桥让 2 个模型在 80 毫秒帧时钟上互相输入输出，录音同时保留两条通道，离线时既有语言模型法官判角色和选项，也有机械方法算轮次和通道占用。这种设计把评价从考一个模型变成考 1 对模型的互动产物。
协作任务 × 对抗任务： 协作任务指双方目标兼容，如坚持角色和拼凑分散信息，对抗任务指目标不兼容，如争夺话语通道和争夺选项或秘密；前者考验配合与信息披露，后者考验施压与克制，两类搭配才能看出同一模型在不同利益结构下行为是否一致。
桥上的时钟、适配器和轮次度量各管什么
桥的核心是锁步时钟，每一拍推进 1 帧 80 毫秒、24 千赫兹音频，每一方在第 t 拍听到的是对方在 t 减 1 拍发出的帧，两边的计算可以并发执行，不受网络抖动影响。PersonaPlex 和 Raon 本身就是逐帧编解码，接桥比较直接；MiniCPM-o 1 次消费约 1 秒音频再决定说还是听，因此外包一个适配器把 80 毫秒帧缓存成块、做采样率转换，并用工作线程跑预填充和生成，落后超过两块时让桥等待，保持它原有的说话决策节奏。
录音后用能量检测切分语音段，阈值和合并规则固定在帧网格上，再把各自文字流按时间对齐到语音段，避免用语音识别引入额外误差。轮次行为用 4 个指标衡量：对方说话时不抢话的短附和、打断后对方让话的打断成功率、在对方短暂停顿时切入的比例和在对方话轮结束时接话的比例。方差分解用来回答每个指标到底由被测模型决定、由搭档决定，还是由特定组合决定，任务只解释约 2% 的方差，因此可以跨任务平均。
\[\eta^{2}_{\text{model}}=\frac{21\sum_{m}(\bar{x}_{m}-\mu)^{2}}{\sum_{t,m,p}(x_{t,m,p}-\mu)^{2}},\qquad\eta^{2}_{\text{model}\times\text{partner}}=\frac{7\sum_{m,p}(\bar{x}_{mp}-\bar{x}_{m}-\bar{x}_{p}+\mu)^{2}}{\sum_{t,m,p}(x_{t,m,p}-\mu)^{2}},\]上式是三因素方差分解中模型主效应和模型与搭档交互项的计算方式，分子是各边际均值偏离总均值的平方和乘以平均的格数，分母是全部任务、模型和搭档格的总平方和，搭档主效应和任务主效应形式相同，余下含任务的交互归入残差。
全双工对话模型 × 模型到模型桥： 全双工对话模型指边接收对方语音边生成自己语音的模型，模型到模型桥指把一方输出音频帧变成另一方输入音频帧的同步通道；前者是被测对象，后者是让两个对象耦合起来的环境，两者搭配后才能观察到打断、抢话和让话等单方录音无法引发的行为。
轮次接管率 × 打断成功率： 轮次接管率指在对方停顿或话轮结束时接过话轮的比例，打断成功率指主动 overlapping 后让对方让出话轮的比例；前者测对静音的处理，后者测对重叠语音的处理，组合起来才能区分是自己爱抢话还是对方容易让话。
本研究训练了什么，没有训练什么
本研究没有训练任何新的语音对话模型，也没有微调 3 个被测模型的参数，3 个模型都按各自官方推理配置和固定音色运行，其中两个按对话设定随机种子以保证可重复。实际的构造工作是搭建桥和适配器、编写场景和角色提示、执行录制协议和离线打分规则。场景分 3 层：任务规定目标类型，原型规定搭档立场或博弈形式，场景给出具体地点和两份不互通的私人提示。
每种原型做 20 个场景，例如医生病人、厨房跑题邻居、5 个排练室排除、贸易展台推销、请假签字、晚餐选址和旅馆房号攻防。文本对照实验调用了 Qwen 系列文本模型走相同角色提示和回合上限，用来判断差距来自语音互动还是来自 backbone 本身的理解能力，这部分同样只是调用已有模型推理，不是训练。
配对、时长和打分条件是如何控制的
评价单元是一个配对，3 个模型自博弈加交叉共 6 种配对，每段对话 1 分钟，指定先开口的一方有 1.5 秒前导，开口角色和说话顺序都交换平衡。主实验外还加录 30 秒和 120 秒窗口看时间是否补足行动，以及索赔和议价两个涉钱原型看博弈本身的倾斜。打分时法官只看到匿名文字稿，说话先者一律记为 A，且先开口已被平衡，因此位置偏见在平均中抵消。角色坚持按是、部分是、否 3 级再二值化，进入和偏离时间取首次进入角色和进入后首次跑题的话语时刻。
信息拼凑和偏好选择由法官读出最终留下的选项再与答案机械比对；攻击是否泄密用秘密字符串在防守方语音中的出现做机械判定。人类专家在 100 段对话的子集上按同样规则多数投票，与法官的一致率被报告用来说明自动打分的可信边界。
自博弈配对 × 交叉配对： 自博弈配对指同一模型跟自己对话，交叉配对指不同模型互相配对；前者暴露模型自身的节奏和稳定性，后者暴露它对陌生说话风格的适应性，两者对照才能把模型自身倾向和搭档诱发的效果分开。
轮次行为到底是谁决定的
要回答轮次是谁决定的，论文把 7 个任务平均后看每个格子是被测模型行还是搭档列的变化更大。下面的表整理了方差分解的关键数字和两个极端组合，比较问题是在相同录制和切分条件下，行为差异多大程度可归因于自身或搭档，数值越大表示该方解释的方差越多。
| 比较维度 | 指标 | 自身效应 | 搭档效应 | 交互效应 | 极端组合例子 |
|---|---|---|---|---|---|
| 短暂停切入 | 暂停接管率 | 0.74 | 0.05 | 0.07 | 自身倾向主导 |
| 话轮结束接话 | 结束接管率 | 0.19 | 0.65 | 0.12 | MiniCPM-o 之后都更易接上 |
| 短附和 | 每分钟附和 | 0.49 | 0.12 | 0.32 | PersonaPlex 对 Raon 每分钟 4.6 次 |
| 打断 | 打断成功率 | 0.29 | 0.49 | 0.05 | 能否打断多看对方是否让步 |
上表说明暂停切入更像个人习惯，结束接话和打断成败更像搭档是否交出话轮，附和则高度依赖特定组合，PersonaPlex 对 Raon 的高频附和和 MiniCPM-o 自博弈时低至 0.1 次的沉默都是组合产物。任务分一侧只有角色坚持主要由自身决定，其余拼凑、通道和目标争夺都是配对属性。这个结论的限制是阈值和切分规则固定，且只在 3 个模型的配对上验证，换搭档分布可能改变分解比例。
采取行动 × 行动后成功： 采取行动指模型是否说出决定、请求或秘密索取等关键话语，行动后成功指一旦说出后是否正确或得逞；前者是参与意愿问题，后者是能力问题，两者相乘才是最终得分，拆开才能发现做得准但很少做、问得少但一问就成的反差。
看图路径： 1. 对比四个轮次矩阵顶部的模型效应与搭档效应数值；2. 找出 PersonaPlex 对 Raon 每分钟 4.6 次附和的深色格；3. 看右侧任务分数方差条中只有角色坚持以模型色为主
论文图 2。原论文 Figure 2:：“Turn-taking metrics (left) and task-score variance (right) across pairings.”。
图中左侧 4 个热力矩阵从左到右按模型效应递减、搭档效应递增排列，颜色深浅表示该行模型对该列搭档的取值，右侧堆叠条显示每个任务分的方差归属，只有角色坚持两条以模型色为主，其余都被搭档色或交互色占据较大比例，直观支持分数是配对属性的判断。
协作任务中角色和信息拼凑表现如何
协作任务比较的是在搭档配合或跑题时能否守住角色，以及 2 人各持一半排除理由时能否拼出唯一答案，指标方向都是越高越好。下面的表用原文报告的平均值呈现排序和搭档立场带来的变化，公平条件是相同场景、相同打分法官和角色交换平衡。
| 比较维度 | 模型 | 融洽搭档 | 跑题搭档 | 拼凑解决率 | 披露与决策备注 |
|---|---|---|---|---|---|
| 角色坚持 | PersonaPlex | 0.51 | 0.29 | 0.12 | 跑题时下滑明显 |
| 角色坚持 | MiniCPM-o | 0.62 | 0.59 | 0.17 | 基本保持 |
| 角色坚持 | Raon | 0.68 | 0.83 | 0.29 | 跑题时反而更坚持 |
| 团队拼凑 | 不含 Raon 队伍 | - | - | 低于 20% | 约半约 1 分钟无决定 |
上表的主要收益是排序稳定为 Raon 高于 MiniCPM-o 高于 PersonaPlex，但搭档立场把三者推向不同方向，跑题让 PersonaPlex 丢失角色却让 Raon 更坚定。代价是信息拼凑整体偏低，只有含 Raon 的队伍超过随机选的水平，失败主要在披露环节而非推理环节，文本 backbone 能披露 74% 并解决 55%，说明差距在语音互动中说出已知信息这一步。未胜出项是 PersonaPlex 自博弈过半未进入角色，且进入慢而偏离少，与 Raon 进入快但自博弈过半偏离形成对照。
看图路径： 1. 先看自博弈进入曲线的中位线 9 秒、21 秒与未达半数；2. 再看偏离曲线中 Raon 过半偏离而另两条长期偏低；3. 对比交叉配对中 PersonaPlex 进入时间推迟到 25 到 27 秒
论文图 3。原论文 Figure 3:：“Timing when models enter or leave the assigned roles (T1-1, engaging partner).”。
图中累积曲线显示 Raon 在 9 到 11 秒进入角色，MiniCPM-o 在 13 到 21 秒进入，PersonaPlex 交叉配对需 25 到 27 秒且自博弈多数未进入；偏离曲线则反过来，PersonaPlex 进入后到 60 秒仅 15.8% 偏离，Raon 自博弈过半偏离，说明进入快不等于守得住，延长时间对两者作用相反。
争夺通道和争夺目标时谁占上风
对抗任务比较的是谁占用更多独占说话时间，以及谁让最终选项或秘密倒向自己，通道占用越高表示说话越多，偏好和攻击得分越高表示争取方越成功。下面的表保留原文实际可运行策略的配对数字，条件是相同一分钟窗口和相同机械加法官打分。
| 比较维度 | 争取方 | 对 PersonaPlex | 对 MiniCPM-o | 对 Raon | 保持方备注 |
|---|---|---|---|---|---|
| 竞争通道占用 | Raon | 0.62 | 0.75 | 0.50 | 处处抢下通道 |
| 竞争通道占用 | PersonaPlex | 0.50 | 0.48 | 0.38 | 与 MiniCPM-o 平分 |
| 回避搭档下占用 | Raon 作争取方 | 0.62 | 0.75 | 0.52 | 安静搭档不增加占用 |
| 回避者让出程度 | MiniCPM-o 作回避者 | 0.53 | 0.62 | 0.39 | 最佳回避者，Raon 最差 |
| 攻击提取率 | PersonaPlex 作攻击方 | 0.46 | 0.30 | 0.63 | 对 Raon 最有效 |
上表说明说话多少更像固定倾向而非对搭档的反应，特意安静的搭档并没有提高争取方的占用；MiniCPM-o 回避时每段对话仅接 5.4 轮而 Raon 接 17.8 轮，防守泄密平均最低 29% 而 Raon 最高 48% 且中位 12.2 秒就泄密。反例是协作最强的 Raon 在两个保持角色上都是最弱，同一防守者换攻击者泄密率在 39% 到 63% 之间，固定考官只能报出区间内任意一点。偏好选择总体仅 38% 达成决定，达成中 80% 以上是 Raon 获胜，说明低分多因无决定而非被说服。
看图路径： 1. 横轴是行动率纵轴是行动后成功率，灰色等积线表示最终得分；2. 看信息拼凑图中 MiniCPM-o 位置高但偏左；3. 看攻击图中空心圆表示未被要求就泄密的额外部分
论文图 4。原论文 Figure 4:：“Scores split into acting and succeeding.”。
散点图把得分拆成横轴行动率与纵轴行动后成功率的乘积，信息拼凑中 MiniCPM-o 行动后正确率 0.40 最高但决定率 0.41 最低，冲突任务中 PersonaPlex 提问最少但一问即成的纵轴最高，Raon 行动最多但单次效果偏低，空心圆还显示部分泄密无需明确索取即可发生。
把行动拆开看以及拉长时间会发生什么
论文把低分拆成没做与做了没做成，并用 30 秒、60 秒和 120 秒三档窗口检验是否只是时间不够。30 秒到 60 秒行动率和得分普遍上升，60 秒之后总体饱和，只有 PersonaPlex 的进入率从 0.46 升到 0.58 且坚持分从 0.46 升到 0.56，Raon 反而从 0.71 降到 0.67 因为多出的时间带来更多偏离。信息拼凑的说出率上升最多但正确率不跟涨，说明第二分钟多说出的事实没有变成答案；回避搭档下的请求率和一致率能涨到 120 秒，Raon 的请求从 0.35 涨到 0.50 是主要贡献。
博弈倾斜方面，回避和防守方天然占优而涉钱的索赔和议价偏向收钱方，但模型间差距可大于角色红利，例如 Raon 作索赔方赢 77% 而 PersonaPlex 仅 32%。下面的表汇总时间与博弈平衡的关键数字，条件是相同场景重录与是否达成才计分的规则区分。
| 比较维度 | 条件 | 关键数字 | 方向 | 限制 |
|---|---|---|---|---|
| 达成决定 | 偏好二选一 | 仅 38% 达成 | 越高越好 | 未达成双方皆负 |
| 时间窗口 | 30 秒到 60 秒 | 行动与得分齐升 | 越长行动越多 | 60 秒后饱和 |
| 博弈平衡 | 索赔与议价 | 收钱方 0.56 与 0.61 | 结构偏向收钱方 | 无交易双方皆负 |
上表支持多给时间只能部分补足缺失的行动，很少改变模型如何尝试；议价中 55% 成交落在一方开价而非中间，说明份额主要记录谁坚持了开价。尚未评测的范围包括更长多轮对话的一致性衰减，以及人类搭档在场的表现，论文把后者留给未来工作。
这些结论在什么条件下才成立，有哪些不足
结论成立依赖 3 个条件：搭档池就是这 3 个开放模型及其角色提示，窗口主要是 1 分钟，法官主要读文字流而非直接听音频。一旦加入新模型，所有按搭档平均的排名都会移动，论文用第 4 个模型 Lychee-FD 的附录说明平均值是相对值，未来需要竞技场式评分。测量上轮次指标只刻画说话动力学，任务分只看目标是否达成，都不评价对话是否自然、有无倾听或说服质量，用忽视对方来坚守角色与用合理论证说服对方会得到相同分数。
模型侧短板有两类：保持角色需要克制，而乐于说话的训练让克制难以被指令触发；说话不等于行动，同样 backbone 在文本中决定、披露和提问频繁得多。附带问题是 Raon 约 5% 会话出现语音与文字分叉，论文用外部语音识别监视并重录污染会话，但这意味着打分文字与搭档实际听到的内容在极少数情况下仍可能不一致。
要复现第一步做什么，需要哪些材料和成本
复现第一步是搭好锁步桥和各模型适配器，让两路音频按 80 毫秒帧互相步进，并实现 1.5 秒前导、角色交换平衡和立体声加文字流录制，而不是先调模型参数。论文承诺公开场景、角色提示和录制打分协议，但本次未确认到可用的代码、模型或数据下载链接，因此应按无现成一键脚本来规划。录制成本是每段对话占两块图形处理器且每卡只跑一个实例，主实验 126 小时对话接近实时录制。
打分需要实现能量检测切分、通道占用集合运算和语言模型法官的封闭问题模板，法官需匿名化且先开口者记为 A。核对时先复现暂停接管、结束接管、附和和打断的方差分解趋势，再复现角色坚持排序和信息拼凑低于 20% 到 35% 的区间，时间窗口实验可只抽部分场景验证饱和现象。
什么时候值得尝试这套双人评价，还缺哪项验证
当你的语音智能体要与真人长时间边听边说、涉及打断、等待许可或保管隐私信息时，值得用双人配对代替单一固定考官，因为固定考官给不出 39% 到 63% 这样的区间和无决定的比例。部署前至少应在不同说话风格和不同利益角色下测一遍防守和回避表现，不能只看融洽搭档下的坚持分。还缺的验证包括人类搭档在场的双盲对比、对话自然度的可扩展测量，以及把行动意愿作为独立社交技能的训练对照。
容易产生的误解是把争取方得分高当成好伙伴，论文明确这是测量方便的锚定，不是价值判断；另一个误解是把无训练当成确定性，实际上采样、网关种子缺失和重录都会带来波动。总体上，论文显示评价全双工模型必须同时评价它的考官，没有任何单一固定搭档能同时扮演好这两面。
📎 论文与评分元数据
排名：前25% | 文档类型：数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses