VISAGENT：把 114 热线从按键菜单变成能派单的语音智能体网

📄 VISAGENT：把 114 热线从按键菜单变成能派单的语音智能体网

英文题目：VISAGENT: An Agent-Based End-to-End Voice Interaction System

评分：6.5/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

👥 作者与机构

• Xiang Wang：Data Science & Artificial Intelligence Research Institute, China Unicom；Unicom Data Intelligence, China Unicom
• Zhaoxiang Liu：Data Science & Artificial Intelligence Research Institute, China Unicom；Unicom Data Intelligence, China Unicom
• Xiang Chen：Data Science & Artificial Intelligence Research Institute, China Unicom；Unicom Data Intelligence, China Unicom
• Liqiang He：Data Science & Artificial Intelligence Research Institute, China Unicom；Unicom Data Intelligence, China Unicom
• Kai Wang：Data Science & Artificial Intelligence Research Institute, China Unicom；Unicom Data Intelligence, China Unicom
• Shiguo Lian：Data Science & Artificial Intelligence Research Institute, China Unicom；Unicom Data Intelligence, China Unicom

📌 核心摘要

读者需要理解的对象是 114 这类公共语音热线，输入是用户来电语音，输出是对话答复或由领域服务完成的交易结果，困难在于菜单僵硬、服务分散、第三方能力难以统一接入。语音对话系统（承担口语理解与应答的系统）先提供可打断的语音交谈，轻量一级路由器判断请求应留在通用对话还是进入某个服务领域，进入领域后再由基于大语言模型（大语言模型，LLM）的二级选择器在该领域注册代理中挑选执行者，用户记忆（跨轮复用的偏好与上下文）同时辅助选择与执行。注册机制把文本接口的任务代理包装成有描述、可调用函数和合成声音的会话实体，从而支持动态上架。与固定多智能体协作不同，本文把选择看作开放市场的服务发现，平台只做发现与上下文传递，业务逻辑留在提供方。URO-Bench 中文子集上 14B 语音交互模型在基础轨平均 71.547 分、专业轨平均 66.510 分，均高于对比模型；319 个代理时两级路由在 100 条查询上保持 100% 准确且延迟低于 1 秒，而单级路由准确率为 98% 到 99% 且延迟升至 8 秒到 10 秒。结论适用于已注册领域和中文热线场景，记忆效果、更大规模市场与执行成功率尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

公共热线为什么难用语音一次办成事

中国的 114 这类热线要接交通、住宿、医疗、本地服务等多种需求，电话本身很方便，不用打开不同应用。但论文指出，一个总机号码并不等于服务被统一了：录音提示、按键菜单、多次转接和分散的业务系统仍然要求用户先搞懂服务是怎么组织的，再找到对的人。

传统做法常用级联管线：语音识别转文字、语义理解、对话管理、语音合成各自独立。这样模块清楚，但前面错了后面跟着错，多个模块串行也增加等待。近年语音语言模型把听、想、说做得更紧凑，能直接处理声音、流式回话、保留文字丢失的语气信息。另一方面，基于大语言模型的智能体能看懂开放指令、调工具、分步执行，多智能体框架则研究智能体之间如何分工协作。

VISAGENT 的背景就是这两条线的交叉点：会话模型擅长兜底闲聊和问答，领域智能体擅长带工具的办事流程，缺的是一个能把一次通话分到对的智能体、并把上下文带过去的统一语音基础设施。本文只讲这篇论文实际做的路由、注册、记忆和语音交互，不展开通用语音教材。

已有路线各解决了什么，还缺哪一块

在端到端语音交互方面，论文回顾了 SpeechGPT、Mini-Omni、Moshi、MinMo 等工作，它们的重点是模型本身能不能听懂、流式说、处理打断、说得自然，以及 CosyVoice 2、HiFi-GAN 等合成与声码器如何提升可懂度、韵律和音色。这些工作证明了语音直接对话的可行性，但主要评价会话模型，没有回答上 100 个独立开发的服务智能体如何被发现、被选中、被交接。

在智能体与多智能体方面，ReAct 把推理和行动观察交错起来，工具学习、规划、任务分解等工作让智能体能操作外部环境，AutoGen 等框架研究为 1 个任务组装的多个智能体如何对话协作。论文强调平台问题与之不同：这里的智能体来自不同提供商、接口各异、能力部分重叠，平台要在智能体开始自己的推理之前先决定把请求给谁，这更像服务发现，而不是固定流程里的内部步骤。

在记忆与任务对话方面，Generative Agents、MemGPT、MemoryBank 研究如何存经验、检索和反思，MultiWOZ、SOLOIST 研究多域状态跟踪和任务完成。但前者多是通用长期记忆，后者多在固定本体和固定后端上跟踪本轮槽位。VISAGENT 的记忆定位是跨异构智能体共享的精简上下文，同时服务选智能体和帮执行，两类用法要分开评价，这是与上述路线可比但目标不同的地方。

VISAGENT 要解决的输入输出和必须保留的信息

输入是用户打进来的连续语音，可能含糊、可能中途改口，可能一句话里既有闲聊又有办事，也可能一次通话里先后提两个服务。输出是合适的语音回应：要么由通用会话模型直接回答，要么由某个领域智能体接手后继续对话、补齐参数、调工具完成业务，并用配置好的声音说出来。

必须保留的信息有 3 类：当前话语加历史对话上下文，不能让用户转接后重说；用户记忆中与本次域相关的偏好和近期任务参数；注册表中智能体的域、功能描述、覆盖地域和可调用接口。系统只根据足够判断域的信息做 1 级分流，把订票日期、乘车人、早餐偏好等业务细节留给被选智能体在执行中收集。

下面这张 114 对比图把问题说得很直观，左侧是传统按键转人工，右侧是直接说需求后分流，读图时重点看用户动作从按键变成了说话，系统动作从固定菜单变成了按意图派单。

看图路径： 1. 先看顶部拨打 114 后分出的左右两条路径；2. 再看左侧听录音、按键、转人工的链条；3. 最后看右侧直接说话后分向领域智能体或通用大模型

论文图 1。原论文 Figure 1:：“Interaction paradigms in the 114 hotline: traditional services rely on recorded prompts, keypad navigation, and human operators, whereas VISAGENT enables callers to express their…”。

图 1 左侧显示用户先听录音提示再按键，再被转到不同人工坐席；右侧显示用户直接说出需求，系统经语音交互后分向领域智能体或端到端会话大模型。这帮助理解本文的任务不是做更好的按键菜单，而是用一次自然语音加两次路由代替菜单导航，同时保留电话接入方式。

系统三层加两个支撑是如何分工的

VISAGENT 总体分三层。最上是全双工用户交互层，提供语音到语音的统一入口，支持低延迟流式对话和用户插话。中间是 2 级分层路由层，先做粗粒度的域分类，再做细粒度的域内智能体选择。下面是可扩展的语音智能体集市，按域存放平台和第三方智能体，只向路由暴露注册元数据，不要求开放内部业务逻辑。

两个支撑模块横跨三层。用户记忆服务维护显式偏好、行为偏好和近期上下文，每次按域检索出与当前请求相关的一小部分，同时给 2 级选择器和被选智能体。语音注册机制把纯文本任务智能体配上预设或定制声音，变成可在共享语音环境中对话的会话智能体，再按域索引入库。

读总体架构图时，先看纵向主通道，再看记忆和注册两条横向支撑分别把上下文和新智能体送进哪里，这能避免把记忆当成执行者、把注册当成业务实现。

看图路径： 1. 先沿中间用户交互层到分层路由层再到智能体集市的主纵线看；2. 再看左侧用户记忆服务用虚线同时指向选择器和被选智能体；3. 最后看右侧注册如何把任务智能体变成会话智能体并接入集市

论文图 2。原论文 Figure 2:：“Overall architecture of VISAGENT. The framework comprises a full-duplex user interaction layer, a two-level hierarchical routing layer, and an extensible voice-agent marketplace.”。

图 2 可见中间纵列是用户到端到端语音模型、再到 1 级意图路由经域类别到 2 级智能体选择器、最后到被选智能体；左侧记忆框用共享上下文同时指向选择和执行，右侧注册框把任务智能体转为会话智能体后送入集市。这对应正文的分工：平台管接入、发现、路由和记忆分发，业务执行留给提供商。

一次请求的处理流程是闭环。语音先转写并保留上下文，1 级路由决定走通用对话还是服务路径。通用或意图不明时由端到端模型继续澄清，可回到路由；域明确后进入 2 级选择，选中后带上请求、上下文和记忆去执行。执行中失败带上下文和失败反馈回 1 级路由，用户新提的服务需求也在同会话内重派单。成功后询问是否还有需求，有则开新一轮，无则做交互汇总、记录结果并更新记忆后结束。

看图路径： 1. 先从用户语音请求经语音处理到一级路由的分支点看起；2. 再看左侧通用对话循环与右侧选智能体加执行的两条支路；3. 最后看执行失败回路由、追问是否还有需求、汇总更新记忆的闭环

论文图 3。原论文 Figure 3:：“Request-processing workflow of VISAGENT.”。

图 3 把上述分支画成流程图：服务请求向右经 2 级选择到执行，通用或不明请求向左经端到端模型澄清；执行信号菱形分出成功后追问、失败回路由、新增需求同会话重路由 3 条边，末端统一经汇总与记忆更新结束。这解释了上下文在多次路由间如何保留，以及失败重派不能凭空解决库存、政策等业务约束的原因。

语音交互组件如何同时输出声音和文本

语音交互组件的主路是语音到语音：音频编码器提声学表示，输入适配器映射到大语言模型能用的表示空间，大语言模型的隐状态驱动流式音频解码器逐段产生离散声学特征，声码器再重建成波形。这样用户听到的是直接生成的语音，不必等整句文字写完。

旁路是辅助 CTC 解码器，它从编码后的语音表示直接产生中间转写。这份文本不用于播报，而是给分层路由和下游智能体的文本接口用。路由用转写加对话上下文判域，被选智能体收到对应文本加上下文做任务对话。主路管听感和可打断，旁路管可路由、可执行，两路共享编码器但输出形态不同。

实现上系统并发处理输入与生成，并做端点回声消除以支持全双工和打断，语音活动检测切出话语边界后再交路由。读下面结构图时注意箭头方向：底部语音向上，顶部语音也向上输出，中间大语言模型是枢纽，右侧旁路是唯一出文本的地方。

看图路径： 1. 先沿底部语音经编码器、适配器、大语言模型到解码器和声码器的主路看；2. 再看从编码器分出的 CTC 解码器到文本查询的旁路；3. 注意主路输出音频、旁路输出文本的去向差异

论文图 4。原论文 Figure 4:：“Architecture of the speech interaction component used in VISAGENT.”。

图 4 可见底部音频经音频编码器和适配器进入大语言模型，再经音频解码器和声码器输出顶部音频；左侧编码器另分一支经 CTC 解码器得到文本查询。这说明一次通话同时产生两类中间结果：流式声学特征走向播报，文本查询走向路由与智能体，理解了这一点就不会把转写质量与对话自然度混为一谈。

端到端语音交互模型 × CTC 转写分支： 端到端语音交互模型负责直接听声音、回声音，保持对话连贯；CTC 转写分支从同一段语音编码中产生文本查询。两者分工是前者管人听得舒服、能打断，后者管机器看得懂，给路由和领域智能体提供可检索、可匹配的文本输入，组合后语音入口和文本后端才能共用一次通话。

全双工交互 × 语音活动检测： 全双工交互指边听边说、允许用户打断和纠正；语音活动检测负责判断一句话哪里起止，再把切分后的语音和上下文交给路由。检测提供可路由的话语边界，全双工提供边说边处理的并发与回声消除，两者配合才把交互延迟拆成模型延迟和端点等待，并支持通话中补充、改向。

两级路由如何把上百个候选缩小到一域

如果每次把所有注册智能体描述都塞给大语言模型，输入长度和推理代价会随集市规模增长。论文因此拆成两步：轻量 1 级路由先定域或留在会话路径，基于大语言模型的 2 级选择再只看该域内的候选。1 级用基于 BERT 的意图分类器实现，输入是转写话语加对话上下文，输出是去端到端模型还是去某个服务域；意图不明时不硬分，先由会话模型多问一句再重判。

2 级选择把当前请求、相关对话上下文、该域智能体描述、能力与覆盖约束、适用用户偏好拼成提示词，再由大语言模型挑出能力匹配的智能体。记忆在这里只是补充上下文，不能覆盖用户当前明确要求，也不能让能力不兼容的智能体中选。选中后，请求、上下文和检索到的记忆一起交给该智能体，后续缺参、确认、调工具都由它负责。

一级意图路由 × 二级智能体选择： 一级意图路由是轻量分类器，只判断去通用对话还是某个服务域；二级智能体选择是基于大语言模型的细粒度匹配，只在该域的候选智能体里挑一个。前者把候选空间先缩小、控制输入长度和推理代价，后者再读请求、对话上下文、记忆和功能描述做精细区分，两级搭配才支撑数百智能体下的快速派单。

集市注册了什么，记忆又存了什么

集市按域索引智能体，允许多个提供商在同一域提供部分重叠但地域、操作、特点不同的服务。注册记录写清身份与提供商、域、自然语言描述、能力、服务标签、覆盖地域、调用地址和函数输入输出模式。平台先做安全审查和运行测试，通过才可被发现和调用；调用时按注册地址传入请求与上下文，内部成败由提供商负责。声音方面提供 40 多种预设音色，也支持短参考录音定制，法律咨询可用庄重声音，心理陪伴可用温和声音，让纯文本智能体也能有稳定可辨的语音形象。

为说明注册字段在框架里的作用，论文给出对照表，读表时先看每行信息是什么，再看它支撑发现、匹配还是调用，不要把描述文字当成可执行接口。

表 1 把注册信息分成 6 组：身份与运营方用于标识，域与描述和能力用于组织候选和匹配，标签与覆盖地域描述服务特点和适用范围，调用地址给出选中后调谁，函数规格给出可调操作与参数模式。这解释了路由器只读描述做交接、不执行具体工作流的分界。

记忆分 3 种：显式偏好是用户说过长期有效的要求，行为偏好是从多次交互归纳的常用选择，上下文是最近订单、行程等临时信息。交互结束后系统生成包含域、所选智能体、任务、调用服务、约束、执行细节和结果的精简执行摘要，只用摘要更新记忆，不把完整对话逐字存成长期记忆。检索时先按域过滤，再用结构化检索取显式与行为偏好、用语义检索取相关近期上下文，交出去的是任务相关的最小子集。

语音智能体集市 × 语音智能体注册： 语音智能体集市是按域组织的智能体目录，存放可被发现和调用的服务；语音智能体注册是入库机制，要求提供身份、域、功能描述、标签、覆盖地域、调用地址和函数接口，并经过安全与运行测试。注册提供路由所需的元数据，集市提供路由可检索的范围，两者结合让第三方任务智能体不改内部业务也能被语音调用。

显式偏好记忆 × 行为偏好记忆 × 近期交互上下文： 显式偏好记忆记用户明确说过长期有效的要求，行为偏好记忆记多次交互归纳出的常用选择，近期交互上下文记最近一次订票、订房等临时参数。三者不混为一谈：前两者帮二级选择区分提供商和服务特点，后者主要供被选智能体执行时直接复用，避免每次重问，组合后才同时服务选谁和怎么做两层需要。

语音模型三阶段训练各冻住谁、练了什么

论文报告的 3 阶段训练只针对语音交互模型，不是训练路由分类器之外的全部系统。第 1 阶段冻住音频编码器和大语言模型，只优化输入适配器，把编码器输出对齐到语言模型输入空间。第二阶段冻住编码器、适配器和大语言模型，只训练音频解码器，把语言模型隐状态映射为离散声学特征，并引入流式生成。第 3 阶段冻住音频编码器，联合微调适配器、大语言模型和音频解码器，让听、想、说 3 段联合适配。声码器负责把解码器输出变成最终波形。

训练语料是约 64000 小时开源中文语音、10000 小时开源英文语音和 1000 小时私有中文语音。论文没有披露优化器、学习率、批量、轮数、切分方式和各阶段数据配比，也没有给出适配器结构、解码器码率和声码器训练细节，因此无法从名称反推梯度路径或算力代价，只能按冻结与可训练划分理解每 1 阶段在学什么。附录的快递注册、苏州酒店记忆和航班订票例子是为讲解接口而缩写的示意，不是训练样本或实测轨迹。

评测在什么数据、什么条件下比

语音对话能力用 URO-Bench 的中文子集评测，含基础 9 套和专业 7 套共 16 套，比较 14B 的 VISAGENT 语音模型与 MiMo-Audio、Step-Audio-mini、Qwen3-Omni，报告各套分数与分轨平均，方向是越高越好。延迟分理论与实际两层：理论延迟是模型级估计，实际是系统端到端实测，约 40 轮取平均，包含语音活动检测 800 毫秒端点等待，应用层测量于 2026 年 2 月 12 日，对比讯飞星火、豆包等时因对方架构与硬件不可控，只能算同测试条件下的系统延迟。

合成质量在 SEEDTTS 中文测试集上比 GPT-SoVITS、F5-TTS、fish-speech、CosyVoice 2，用共享语音识别后端的字错率测内容一致性越低越好，用归一化平均意见分测感知质量越高越好。路由用 100 条用户查询，在 50、100、319 个智能体 3 种集市规模下比单级与 2 级，最大集市跨 15 个域，单级把全部无分类智能体描述给大语言模型，2 级先用轻量分类定域再只给域内候选，选择器轮换 DeepSeek V3、Qwen3、Kimi K2，报告准确率与延迟。记忆服务因可用交互数据有限未做评测，论文明确其效果还取决于智能体如何用给到的上下文。

语音对话 16 套中文测试比出了什么

先看比较问题是否公平：同一 URO-Bench 中文子集、同一批基线、同一指标方向下比平均分。VISAGENT 在基础轨 9 套和专业轨 7 套上的平均分最高，单套上 4 套第一、8 套第二，论文据此称其在高级推理、安全和开放对话上均衡且有竞争力。

表 2 完整呈现 16 套分数与两轨平均，基础轨平均 71.547 超过次优 0.601，专业轨平均 66.510 超过次优 6.379。逐套看，优势集中在 MLC-zh、Safety-zh 等推理与安全相关集合，而 Repeat-zh 等个别集合明显低于 Step-Audio-mini 等基线，说明总平均高不等于每套都赢。限制是只报告 16 套开源中文结果，英文、未公开集和人工听感未覆盖，且未做显著性与方差分析。

教学例子：若用户说帮我找苏州一晚住宿，语音模型要能听懂日期、预算、房型、早餐等约束并用口语追问，这类能力对应表中问答与对话集合的高分；但表中的数字是离线评测分，不等于 114 热线真实通话成功率。

延迟与合成质量要在系统层面读

延迟要分开读：模型理论延迟与系统实际延迟不是一回事。理论上 VISAGENT 语音模型 300 毫秒，介于 Moshi 的 200 毫秒、LLaMA-Omni 的 226 毫秒与 MinMo 的 600 毫秒之间，单看模型不占优；实际端到端 VISAGENT 平均 1.05 秒，低于讯飞星火 2.32 秒、ERNIE 2.50 秒、豆包 2.21 秒。论文说明实际值含 800 毫秒端点检测等待，且对方系统硬件不可控，因此结论只能是所测条件下的系统延迟更低，不能推出其语音模型本身最快。

表 3 上半是理论延迟，下半是实际延迟，单位分别是毫秒和秒。读表时注意理论与实际行不可直接相减，800 毫秒等待是系统策略而非模型推理，约 40 轮平均也未给分布。若端点策略放宽或收紧，实际延迟会跟着变，这是复现时必须固定的条件。

合成质量看内容一致性与听感 2 个方向：字错率越低越好，归一化平均意见分越高越好。VISAGENT 合成字错率 1.360、听感 3.491，均排第二，接近 fish-speech 的 1.340 和 CosyVoice 2 的 3.500，说明在该中文测试集上内容保真和感知质量有竞争力，但未胜出且只覆盖中文单测试集。

表 4 六行三列直接可比，VISAGENT 两项均居次席，与最优差距很小。限制是只用共享后端算字错率，真实电话信道、不同音色和定制声音的稳定性未在此表验证，不能把该表推广为所有场景的语音质量结论。

集市变大时两级路由省了什么

这个对比回答的核心问题是候选变多时代价怎么涨。单级把全部智能体描述一次给大语言模型，2 级先用轻量分类定域再只给域内候选。条件固定为同一 100 条查询、同一 3 种选择器、同一三档规模，指标是准确率越高越好、延迟越低越好。50 个智能体时两者都是 100% 且 1 秒内，看不出差别；319 个时差异拉开。

表 5 显示 319 规模下单级延迟 8 到 10 秒、准确率 98% 到 99%，2 级在 3 种选择器下都保持 1 秒内与 100% 准确。这支持分层把候选空间缩小后，大语言模型输入变短、推理更快且不易选错的解释，代价是 1 级分类错了会直接带偏 2 级，论文未报告 1 级单独误判率。适用条件也要讲清：查询只有 100 条、最大 319 个智能体、每智能体只有简短功能描述，更大规模、描述更长或域边界模糊时的表现尚未验证，不能外推到上千智能体一定同效。

哪些结论出不了这组实验

论文第 6 节明确划了边界。平台能选对智能体不等于能办成事，库存、工具行为、服务政策、智能体对上下文的用法都会影响成败，执行失败回路由只能重选，不能消除业务侧约束。路由评测限于 100 条查询和最多 319 个智能体，更大集市需重测。实际延迟是系统级测量，对比系统硬件不可控，只能说测试条件下的端到端表现。

记忆服务尚未评测，可用交互数据有限，且效果与下游智能体如何解读记忆耦合，无法把记忆的贡献从执行中剥离。未来需把记忆检索、记忆辅助选择与偏好应用、任务执行分开评，并用标准化智能体控制实现差异。跨服务连续和自适应重规划也只是方向：前者要在智能体边界间传递任务相关上下文、识别后续目标关系，后者要在失败、资源变化或需求变更时修订计划、找替代并经用户确认，两者都缺可验证的上下文传递、计划校验与恢复策略。

要复现先固定什么，第一步做什么

复现前先分清三件事：论文未声明代码、模型权重或数据已公开，也未发现可验证的公开链接，因此不能按可下载复现，只能按描述搭建。第一步应先复现可独立验证的 2 级路由：在同一 100 条查询的写法、同一三档集市规模、同一简短描述格式下，先实现 BERT 1 级分类定域，再用同一选择器只读域内候选，对比单级全量候选的准确率与延迟，并单独记录 1 级误判。

语音部分需固定端点检测 800 毫秒、约 40 轮平均的统计方式、理论与实际分开报告，以及 URO-Bench 的 16 套中文划分与平均算法；合成部分固定 SEEDTTS 中文测试集、共享识别后端与双指标方向。记忆部分因无评测协议，先只做构造与检索：按显式、行为、上下文 3 类存执行摘要，按域过滤后取最小子集，再记录智能体是否真正使用了给到的偏好。跨域连续、失败重规划不要当成已有功能去测，留待补验证。

什么时候值得试这个架构，还缺哪项验证

当入口是电话语音、后端是多提供商多域服务、且希望不改业务内部只统一接入时，这个架构值得参考：语音交互保听感与可打断，注册保可发现与可调用，2 级路由保规模扩大时延迟可控，记忆保少重问。114 部署说明电话接入加意图派单在真实公共服务中走得通，但论文给的是可行性证据，不是全业务成功率。

还缺的验证很具体：更大集市与更难查询下的路由曲线、1 级误判的独立统计、电话信道下的合成与打断体验、记忆对选择与执行的分离贡献、以及一次通话内订机票后接订酒店这类跨服务连续。只有补上这些，才能判断该蓝图在你的服务规模、描述长度和业务约束下是否同样成立。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-20 语音/音乐/音频论文速递