实时语音智能体为何不能只看一个数字：架构约束、时机恢复与落地状态的联合刻画

英文题目：Evaluating Real-Time Voice Agents: From Component Quality to Grounded Outcomes

标签：#全双工语音交互 | #系统综述 | #轮次切换 | #评测协议 | #模型评估

评分：7.6/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.5/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Shivam Negi：机构信息未在 arXiv HTML 中可靠披露
• Arpit Rawat：机构信息未在 arXiv HTML 中可靠披露
• Rashi Jain：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

本文处理实时语音智能体如何从能说话推进到能办事的评估问题，输入为连续双工音频交互，输出为按时接话、受扰恢复与外部状态一致的任务结果，难点在于延迟、打断重叠与工具调用后果无法用单一转写或问答分数刻画。作者先以种子文献加arXiv检索与程序化PDF校验构建38篇语料，再按产生语音、决定说话时机与判定交互成败划分为6类并逐篇提炼问题机制证据，最后综合为架构受部署约束、评估转向状态验证与多人假设瓦解三项主张并提出TRG报告标准。与已有语音语言模型综述只谈架构训练不同，该工作把级联流水线、轮次投射与智能体评测纳入同一框架，指出双工行为可由控制策略实现而不必依赖双工架构。在自托管延迟评测设置下，流式级联的TTFA指标为755 ms，低于本地Qwen3-Omni的TTFA指标146 s。结论仅适用于英语可读文本语料与近年双工文献，对非英语、硬件差异与长期部署外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/shivamnegi92/voice-agent-eval-corpus — 链接可访问（HTTP 200）

• 数据相关资源：https://github.com/shivamnegi92/voice-agent-eval-corpus — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

为什么实时语音不是把识别加合成拼起来就行？

刚进入语音或对话方向的研究生容易把实时语音智能体理解为识别加语言模型加合成的 3 段串联。论文开篇提醒，这种分解隐含了一个人类会话 constantly 违反的假设，即同一时刻只有 1 人说话，且轮次之间有可检测的静音。真实会话是全双工的，听与说同时进行，人们会预判对方何时结束，会重叠、插话、发出 backchannel，也会被打断。白话说，系统不仅要决定说什么，还要决定何时说、何时停、何时抢回话轮。

传统管线把语音活动检测作为切分开关，先等用户停，再识别成文本，再决策，再合成。这种做法模块清晰、易于调试，也是多数已部署系统的底座，但代价在原文中被精确指出。一是延迟可达数秒量级，二是以文本为中间表示会丢弃情感与非言语声等副语言信息，三是按说话人轮次切分天然无法表示重叠与打断。举例来说，用户边说边犹豫改口，管线可能把半句话当完整指令送去执行，而人类听众会等待或追问。理解这一点，才能理解后文为何把架构、时机与落地评价当作正交问题。

论文的目标读者是需要复述方法的研究者，因此它不推销某个模型，而是把 38 篇一手文献按应用问题组织成 6 类。输入是连续音频流与后端工具状态，输出是连续音频流加对外部世界的状态改变，评价则要同时看时机、恢复与是否真改对数据库。本文后续按学习依赖展开，先讲任务与路线，再讲全景与组件，然后讲构造与实验条件，最后讲结果、反证与复现。需要保留的关键信息是语料规模为 38 篇，检索与校验过程公开，配套语料库当前可用，表格数字不可跨行直接排名。

三个互不引用的社区各自在测什么？

论文认为文献碎片化是首要障碍。语音基础模型社区关心如何由音频直接生成音频，报告延迟与生成质量。轮次接管的心理语言学社区关心如何预测何时说话，报告预测准确率。智能体评价社区关心用户任务是否完成，报告任务成功率。每个数字都真实，但没有一个数字能单独说明已部署智能体是否真的好。一个识别错误率很低的模型，仍可能冻结一张它无权触碰的信用卡。

与之最接近的 2 篇综述被明确区分。1 篇是 Cui 等人关于语音语言模型的综述，范围是端到端语音输入语音输出的架构、训练配方与能力分类。另 1 篇是 Gupta 等人关于直接语音到语音翻译的综述，对象是改变话语语言而非维持对话。论文指出，前两者均未把轮次理论、会话时机与智能体工具使用评价作为一等 concerns，也未把级联生产架构与端到端架构当作竞争性部署选择来对照。本文的范围在模型覆盖上更窄，但在种类上更宽，它把实时语音智能体当作交互系统，架构、时机与落地评价不可分割。

对初学者而言，这节的 actionable 理解是选基线要按同输入、同目标、同监督、同运行阶段对照。拿识别准确率去比任务完成率，或拿离线打分去比在线抢话，都是类别差异而非同条件胜负。后文的分类正是为了避免这种混淆，架构回答如何产生语音，轮次回答何时说话，基准回答交互是否成功。

论文要回答的三个可验证主张是什么？

论文把贡献写成 3 个基于证据的主张。第一，架构选择是部署约束而非定论。2026 年的企业教程报告尚无完全可自托管的端到端系统满足生产约束，而分块级联独立达到了最优的双工行为，说明双工行为可与双工架构分离。第二，评价已从部件质量 decisively 转向落地结果，新基准对照后端状态而非信任智能体的自述，且单个开放系统已在时机、恢复与工具正确性上被联合测量。第三，双人假设正在瓦解，多方轮次与多说话人推理基准显示，决定何时不说、正确推理谁可被告知什么，是一等能力，双人框架测不出。

每个主张都配有最强支持与最严重 complication，这种写法值得学习。主张一的最强支持是自托管延迟对照与 DuplexCascade 的反例，complication 是级联未证明能恢复文本瓶颈丢弃的副语言内容。主张二的最强支持是对数据库断言的评分与感知性失败诊断，complication 是落地验证建造成本高、多数基准仍只报单轴。主张三的最强支持是多人不说话与权限披露测试，complication 是基准跑在建模前面，尚无架构在该规模上补上缺口。

形式上，语料组成为 15 篇种子阅读清单加系统检索所得 20 篇，再加初稿后追补的 3 篇，另有 2 篇定位用综述与 1 篇方法论引用不计入 38 篇。41 个保留 PDF 全部通过程序化校验，即检查有效 PDF 结构并比对首页文本与记录是否一致。该步骤抓到 1 个流传的 Full-Duplex-Bench-v3 标识符误指，正确标识符为 2604.04847。复述时要保留这一校验动作，它是全文可核对性的起点。

六类文献如何按应用问题组织成全景？

论文的分类轴是每项工作回答的问题，而非发表 venue 或时间。端到端语音到语音回答如何不经文本产生语音，级联与混合管线回答如何在可部署条件下获得双工行为，轮次与语音活动投射回答何时说话，会话基准回答在重叠打断多轮下行为如何，智能体与工具使用评价回答是否真改变外部状态，流式合成与神经编解码回答音频何时开始且能否跟上。这种组织让架构、时机与成败不再互相掩盖。

全双工对话 × 语音活动检测分段： 全双工对话指双方可同时听与说、允许重叠与打断的交互方式，负责描述人类真实会话的时间形态；语音活动检测分段指用静音判断轮次边界再逐句识别与合成的做法，负责把连续音频切成可处理的单元。二者搭配的问题在于后者假设 1 次 1 人说话且轮次由静音分隔，无法表示重叠与抢话，因此综述把是否摆脱该分段作为区分传统级联与全双工建模的关键。

沿一个样本走完全流程有助于建立心智模型。设用户在订票电话中说，我想改签到明天，不，后天早上，中间有犹豫与自我纠正，同时智能体需要查询订单并改签。输入是连续波形加订单数据库状态，表示是音频 token 或文本加对话状态，组件依次完成何时插话、何时等待、调用哪个工具填何参数，目标是外部订单行被正确更新且未泄露隐私，输出是确认语音加数据库写操作。若只看 transcript，流利复述改签成功与真改数据库无法区分，这正是后文强调对照状态的原因。

配套语料库当前可用，地址为代码与数据集资源所指仓库，内含检索词文档、每源标识符与分类、校验状态与所分析 PDF 的哈希，以及用原始主机重建本地副本并校验哈希的拉取脚本。论文明确不重分发论文本身，因许可审计发现 41 源中仅一项有显式开放许可。复现时应先跑拉取与哈希校验，再谈数字比较。

何时说话如何被建模为可学习的目标？

语音活动投射是本综述中方法最成熟的一支。白话说，它不依赖人工标注的轮次标签，而是以音频自身为监督，预测双方未来的发声活动。英文为 Voice Activity Projection，缩写为 VAP。零样本下可派生出轮次转移与 backchannel 预测任务。原文指出的理论弱点是先前方法独立建模投射窗口事件，而应建模其依赖关系。

语音活动投射 × 轮次控制策略： 语音活动投射是从音频自身学习预测双方未来发声活动的自监督目标，负责回答何时该说或该停；轮次控制策略是把这种时机判断变成可执行动作的规则或控制符，例如微轮次切分与会话控制符，负责在级联或端到端系统中落实抢话、等待与交接。二者组合的意义在于 duplex 行为可以作为独立的控制层叠加在传统管线上，而不必一定依赖端到端音频建模。

4 个后续研究沿部署相关轴 stress-test 原目标。韵律消融问预测力中有多少来自韵律而非一般声学内容，多语言实验问英语上训练的目标能否跨语言迁移，实时 VAP 问能否在录制语料的事后打分之外做连续在线预测，多模态扩展问视觉等非音频信号是否在音频之外带来增益。读法上，这四项不是新架构竞赛，而是把信号源、语言、延迟与模态逐一隔离，对应复现时要检查的泛化条件。

超越双人的工作是理解第三主张的入口。Triadic VAP 把 VAP 扩到三方对话，MuVAP 针对缺少麦克风阵列与多机位的具身部署，用单摄像头人脸轨迹加单声道音频做因果预测，并引入 Role-Relative Projection，把任意多说话人映射为当前持有 floor 者与下一持有者的固定状态，避免组合爆炸。由于既有视听语料含剪辑切口会破坏因果跟踪，作者贡献了 31 小时未剪辑单机位会话语料。耳戴设备工作则用头动替代易受摆位与光照影响的视觉线索，给出 camera-free 的轮次信号。教学例子是 3 人会议中智能体何时保持沉默，这在双人指标中根本没有位置。

端到端与级联各自解决什么，又各自付什么代价？

端到端一侧去掉文本必经中介，直接生成语音 token，从而保留管线丢弃的副语言信息。Moshi 把对话建模为语音到语音生成，对自身与用户语音做并行流建模，不再有显式说话人轮次，重叠与打断可被原生表示，并提供后文多篇分析的 Mimi 编解码器。Synchronous LLMs 指出预训练语言模型没有时间感，做法是融入时钟时间使模型与真实时间锁步，连静音也生成语音单元。MOSS-Speech 采用按模态分层加冻结预训练，保留文本大模型的推理同时增加原生语音能力。

OmniFlatten 用渐进多阶段后训练把并行语音文本流展平成单序列以处理打断与重叠。Hibiki-Zero 处理同传中何时听何时说的决策，省去几乎不存在的人工口译词级对齐数据。DuplexChat 则直面数据供给约束，规模化构造说话人分离的全双工对话语音。

端到端语音到语音 × 级联管线： 端到端语音到语音指直接由音频生成音频、中间不强制经过文本的架构，负责保留情感、非言语声与韵律等副语言信息；级联管线指语音活动检测、识别、对话决策与合成串行的模块化架构，负责可调试性、可控性与自托管部署。二者搭配比较的理由是前者赢在信息完整性，后者赢在延迟可控与工具调用完整，综述因此把架构选择表述为部署约束下的取舍而非优劣 verdict。

级联一侧的证据是本文最具实践后果的部分。企业教程对照 3 种 Qwen3-Omni 配置，云端实时接口与本地部署在可自托管性、是否支持音频合成与延迟上无法兼得，作者级联达到可用的首音频时间且保留完整函数调用。DuplexCascade 消解二分法，传统级联半双工的根因是语音活动检测切分强制按句轮转，新系统把长轮次切成块级微轮次并引入会话控制符调节接管，无需语音活动检测，仅用 5 万多轮文本对话加轻量 LoRA 适配就在 Full-Duplex-Bench 上达到最优双工接管，同时在 VoiceBench 上保持会话智能。LTS-VoiceAgent 用语义触发与增量推理让思考与倾听重叠，从调度而非换模型降延迟。

代价必须同时讲。DuplexCascade 证明接管时机可与端到端音频建模分离，但未证明级联能恢复文本瓶颈按构造丢弃的情感与韵律细节。语料中尚无系统在副语言保真与自托管可控两轴上被同时评价，权衡是跨研究推断而非同一实验内测量。复述时若只讲级联赢了，就是把部署约束偷换为质量 verdict。

本综述训练了什么？无训练时如何承担方法职责？

本研究是综述，没有训练任何新语音模型，也没有报告新的梯度实验，因此不存在参数冻结更新、梯度路径与优化器设置的待复述项。按无训练论文的规范，这里必须先明确未训练对象，再讲实际执行的构造、检索、标注与计算过程，不能把无训练等同于确定性求解，也不能从冻结参数推定系统输出确定。

实际执行的是语料构造与验证流水线。候选来源有二，一是 15 篇种子清单，二是对种子主题的 arXiv API 系统查询，主题覆盖语音活动投射、全双工口语对话、端到端语音到语音、神经音频编解码、闯入与打断处理、流式合成延迟与具名基准家族，候选按相关性排序后做标题摘要筛选，逐字查询串随语料库的检索策略文档发布而不复述于正文。纳入标准是首要贡献关乎实时或交互式口语交互的架构、轮次模型、基准或流式合成与编解码，排除厂商对比文章、不可解析链接与 1 篇未公开本地文档，仅保留可获取并验证的 PDF。

验证是可重放的计算动作。对每个 PDF 检查有效结构并比对首页文本与记录是否一致，38 篇语料加 3 篇定位或方法引用共 41 个 PDF 通过检查。缺项要明确指出，种子清单的选择标准不受作者控制可能带来主题偏置，关键词检索偏好同词汇摘要的文献，追补的 3 篇可能带来近因偏置。复现先做的是重跑拉取脚本与哈希校验，而非直接引用数字。

如何比较延迟、恢复与落地？条件与指标方向是什么？

实验条件在本文是各基准的协议而非统一对照。VoiceBench 用真实与合成口语指令覆盖说话人、环境与内容因素，测助手鲁棒性。Full-Duplex-Bench 家族测交互行为，初版看停顿处理、backchannel、平滑接管与用户打断，v1.5 补重叠处理，v2 加多轮自动考官，最新多轮扩展把连续全双工音频切成离散轮次打分，考察多轮多维度是否均匀退化。FLEXI 补紧急打断场景，要求智能体主动打断用户。MP-Bench 测多人参与中是否该说话。MSI-Bench 测多说话人记忆、指令遵循与推理中的称谓、权限与披露边界。

智能体侧协议更重状态。VAmoS Bench 每场景播种 PostgreSQL 后端与有私有目标的模拟来电者，约三分之一施加对抗压力，评分器对照含工具调用、参数与返回行的完整轨迹做二值断言。IHBench 测打断后是否回到正确工作流步骤、是否回应插话且不重复。FDB-v3 测自然迟疑与自我纠正下的工具正确性。MTVA-Bench 隔离级联内部语言模型在转写噪声与切分话语下的决策。

SpeechGym 让两个全模态模型在无外部识别合成的原生音频中对话，保持环路可微。合成侧用单字到整句输入同时看典型与尾部体验，强调报告分布与尾延迟而非均值。

指标方向要逐个记住。延迟越低越好，尾延迟比均值更能代表用户体感。正确接管率、backchannel 后恢复率、工具选择 F1 越高越好。打断后退化斜率越平缓越好。中断后恢复质量被报告为相对独立的能力轴。跨行数字因硬件、音频条件与提示制度不兼容而不可直接排名，这是第 11 节的显式警告。

部署约束与联合测量给出什么主结果？

先看部署约束的对照问题。在可自托管条件下，端到端候选能否同时给出低延迟与完整音频合成，级联又能否在保留工具调用的同时逼近实时首音频。公平条件是区分云端可用、本地仅文本生成与本地全管线 3 种配置，并注明首音频时间的测量口径。指标方向是延迟越低越好，但必须同时看是否可自托管与是否支持合成与函数调用。

上表显示，云端数字好看但不可自托管，本地全管线慢到不可用，级联以 755 ms 首音频加完整函数调用成为现实选择，而双工行为可由控制策略而非端到端建模获得。代价是副语言保真未被同条件测量，不能据此宣布级联全面更好。未胜出项是本地端到端的音频合成能力，它在该对照中缺席。

部件质量评价 × 落地状态验证： 部件质量评价指识别准确率、合成自然度或单轮回答质量等孤立指标，负责衡量某个模块说得好不好；落地状态验证指对照数据库行、工具调用参数与工作流位置检查任务是否真完成，负责发现流利但未执行的虚假成功。二者组合的意义在于只有后者能捕捉智能体声称已改卡但数据库未更新、或改对数据库却泄露隐私这两类 transcript 层面不可区分的失败。

再看联合测量的收敛证据。问题是单个开放系统能否在停顿误抢、真实打断接管、backchannel 恢复与工具选择上同时被刻画。公平条件是同一系统跑同一家族的多版本基准加工具基准，而非跨系统拼数字。方向是误抢越低越好，正确接管与恢复率越高越好。

该表支持时机、恢复与工具正确性正被当作一个问题联合追求。反例同样重要，参数准确率与端到端工具执行仍是短板，开源模型在长对话中三轴全面落后，且恢复质量经跨基准分析是 largely 独立轴。重提结果时新增的对照是感知性失败诊断，即智能体选对工具与槽位却填入听错的值，单步听错级联为整呼失败，这在纯文本评价中不可见。

拿掉什么会暴露独立机制？多说话人与中断给出什么反证？

消融在这里不是删模块重训，而是沿机制做隔离。韵律消融隔离韵律对 VAP 的贡献，多语言实验隔离语言迁移，实时 VAP 隔离离线打分与在线连续预测的差距，多模态扩展隔离视觉增益，MuVAP 的 Role-Relative Projection 隔离多说话人组合爆炸的表示问题，耳戴头动隔离对摄像头的依赖。每项都回答若只留音频、只留英语、只做离线会怎样，能否部署取决于这些隔离项而非平均分。

多人参与适当性 × 权限感知的披露： 多人参与适当性指在 3 人及以上场景中判断该说还是保持沉默的能力，负责把不说话作为一等行为；权限感知的披露指推理谁说了什么、对谁说、谁有权知道什么，负责决定哪些信息不可向另一说话人透露。二者搭配的原因是家庭设备等部署天然有多位合法说话人，只有同时建模是否开口与可否告知，才能避免把家长的私密指令流利地告诉孩子这类失败。

中断与多人是两类论文特有细节。FLEXI 报告开源与商业模型在紧急意识、轮次终止与延迟上存在显著差距，紧急时正确行为是智能体打断用户，这与日常礼貌相反。MP-Bench 把是否说话本身当指标，MSI-Bench 用 1152 例中英均衡测试称谓、权限与披露，典型场景是家长私下让智能体订惊喜礼物，孩子稍后问包裹是什么，流利作答即失败。另一细节是 SpeechGym 的诊断，结果奖励稀疏是因为几乎每次 rollout 都以相同方式失败，逐轮过程奖励对每次成功工具调用授信后恢复方差，这说明训练评价不对称，即在音频中测量却在文本中训练。

未评测边界要保留。语料中所有第 4 与第 5 节架构主要在双人对话上训练与评价，没有端到端或级联系统在 MSI-Bench 规模的多方权限推理上被评价。基准已证明缺口存在且流利理解不蕴含正确社会推理，但尚未展示模型补上缺口。复现时若只跑双人基准，会系统性高估家庭与共享空间部署的表现。

这篇综述的边界在哪里？数字为何不能跨行排名？

作者用整节声明边界，值得逐条复述。语料 38 篇是聚焦而非穷尽，15 篇种子选择标准不可控，20 篇关键词检索偏好同词汇摘要，3 篇追补有近因偏置，用不同术语描述同类问题的语音处理或人机交互文献可能欠代表。venue 以 arXiv 预印本为主，若干 2026 年条目尚未完成同行评审，报告的是各论文自述，未独立验证实验结果。

方法上明确不做 meta 分析，不跨论文聚合延迟与准确率，因硬件、音频条件与提示制度不兼容， pooled 数字会虚构可比性。表格因此按各工作自述报告，读者不应跨行读作排名。时效上，Full-Duplex-Bench 一线约 18 个月发布四版，综述需以月而非年为单位修订。语言上仅含英文机器可读文本，非英文与扫描文档未检索。

对初学者的含义是引用数字必须同时核对数据集、模型基线、实验阶段、指标、单位与聚合对象。百分点与相对百分比不同，不同指标差值不可放入模型列，自动指标不可当成人评。若原文表头图注或算术冲突，应标注冲突而非编造划分口径弥合。本文表格已按此原则只做同协议内比较。

要复现这篇综述先做什么？最低报告标准如何落地？

复现分两层，一层是复现综述本身，一层是按其 TRG 标准报告新系统。复现综述先克隆当前可用的语料库仓库，运行拉取脚本从原始主机重建本地副本并校验每份 PDF 的哈希，核对检索策略文档中的逐字查询串与纳入排除记录，再抽查 Full-Duplex-Bench-v3 标识符是否指向多智能体机器人模拟器这类误指。论文自带可填 TRG 报告模板与合规校验器，应一并获取。权重下载与系统可运行要区分，语料库提供的是元数据与校验工具，而非论文 PDF 再分发。

TRG 是时机、恢复、落地的最低报告标准。时机要求在预期部署条件下至少报告一个延迟，写清口径是首音频时间还是音频到音频，写清均值还是尾部统计，用户体感看最坏情况。恢复要求在打断、backchannel 或误停顿后单独报告行为，不与无扰性能混在一起，因恢复是经验上独立轴。落地要求对照外部状态验证任务成功，而非信任智能体自述。多方部署加条件第四轴，覆盖不说话的决策与权限感知披露，严格双人部署不因此被扣分。

何时值得尝试级联加双工控制，何时值得尝试端到端。若需自托管、可控工具调用与快速落地，优先复现分块微轮次加会话控制符的级联。若产品本身是情感、治疗或娱乐等副语言内容，优先接受托管成本试端到端，并补测编解码器表示质量。还需补的验证是同一系统上的受控对照，即在同一任务同时测副语言保真、自托管延迟与状态验证 outcome，否则权衡仍是推断而非测量。

带走什么判断？还剩哪五个开放挑战？

综合全篇，可带走的判断有三。架构无定论，只有约束谱，自托管与可控偏向带双工控制的级联，副语言为产品偏向端到端。评价应收敛到联合报告，只报延迟、只报接管准确率或只报任务成功都等于未刻画系统，落地验证虽贵但应是新基准的目标方法。双人假设已不够，家庭与共享空间部署须把谁可被告知什么写成与任务成功并列的一等需求。

5 个开放挑战按原文保留。感知鲁棒性，即听错参数值级联为整呼失败，文本域评价不可见。恢复作为独立能力，开源差距随轮次拉大。多人交互，双人假设仍嵌在多数模型与数据中，不说话欠测量。编解码器可解释性，端到端继承编解码器的表示选择，但标准 ABX 未能捕捉 token 编码内容。尾延迟优先于均值，最坏体验才是用户记住的体验。

未来方向有三。一是联合而非分轴报告，这正是 TRG 要例行化的事。二是弥合训练评价不对称，在音频中训练而非仅在音频中测量，过程奖励是已有线索。三是受控架构比较，让级联与端到端在同任务同条件下被不同组之外的统一协议测量。方法论寄语同样重要，对数据库状态而非自述打分，因为流利描述未执行动作的系统在 transcript 层面与成功系统不可区分。随着语音智能体获得行动能力，评价必须验证后果而非对话。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-28 语音/音乐/音频论文速递