英文题目：VCB Bench: An Evaluation Benchmark for Audio-Grounded Large Language Model Conversational Agents
会议身份：
conference:acl:2026:conference-paper-id:2026.findings-acl.1659
✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。
标签：#基准测试 #基准设计 #多语言 #语音对话系统
评分：7.2/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
排名：前50% | 文档类型：数据集与基准
👥 作者与机构
- Jiliang Hu：机构信息未能从会议 PDF 纯文本可靠映射
- Wenfu Wang：机构信息未能从会议 PDF 纯文本可靠映射
- Zuchao Li：机构信息未能从会议 PDF 纯文本可靠映射
- Chenxing Li：机构信息未能从会议 PDF 纯文本可靠映射
- Yiyang Zhao：机构信息未能从会议 PDF 纯文本可靠映射
- Hanzhao Li：机构信息未能从会议 PDF 纯文本可靠映射
- Liqiang Zhang：机构信息未能从会议 PDF 纯文本可靠映射
- Meng Yu：机构信息未能从会议 PDF 纯文本可靠映射
- Dong Yu：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
语音对话系统需直接以语音为输入并以自然口语语音为输出，其难点在于中文真实声学变异、口语化表达与副语言控制无法被英文合成语音基准刻画。本文构建语音聊天机器人基准（Voice Chat Bot Bench，VCB Bench），先由写手撰写任务文本并经第三方专业录制形成受控音频，再从综艺问答与双人对话长音频中切分转写形成知识问答，最后以同一说话人重录叠加说话人、环境与内容扰动形成对照组。音频到音频调用被测模型后按任务分流为直接音频评价或转写后文本评价，从而分离语义正确性与语音表现力。与既有英语中心合成语音基准的机制差异在于全真人语音加中文口语任务加物理扰动对照。代表性证据是在通用知识评测中 Qwen3-Omni 平均得分为 66.86，显著高于 GPT-4o-Audio 的 55.81，而回声与变速等物理扰动可使 Step-Audio 2 mini 在回声下跌至 38.00，较对照组下降 38.00。该结论仅适用于中文短轮语音问答与所选 9 个模型的音频接口表现，未验证长时全双工与实时延迟外推。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，这篇解读要留下什么
这篇解读的输入是 VCB Bench 论文正文与官方原图，目标是让刚进入语音与音乐音频方向的研究生能复述该基准如何构造、如何打分、如何得出结论。需要保留的关键信息是全真人中文语音、3 维任务划分、音频到音频调用加转写与模型打分的评测链路，以及 9 个大音频语言模型的对照结果。输出按学习依赖展开，先讲已有评测为何不够，再讲新基准的全景与组件，接着讲数据构造与实验条件，最后讲主结果、反证与复现要点。
文中教学用的举例会明确标为例子，不虚构论文之外的数值。论文研究的大音频语言模型是指能直接听语音并直接说语音的端到端对话系统，白话说就是不用先转文字再调文本大模型，而是耳朵和嘴连在一起。语音对话智能体是指用这类模型做成的可打断、可连续说话的助手。理解这篇工作要抓住一个矛盾：文本考试考不出开口说话的能力，合成语音又盖不住真实房间与真实口音的麻烦。
已有语音评测走了哪三条路，各自缺了什么
第一条路是把文本基准搬到语音，例如把通用问答改成朗读版。做法是取文本题库，用朗读或合成语音读出来，再让模型回答。这条路的好处是题目多、学科覆盖广，缺的是口语感，题目书面又长，不像日常说话。第二条路是做音频理解与推理，例如考情绪识别、年龄估计、需要多步推理的音频问答。这条路把听的能力拆细了，但多用英文与合成语音，对中文日常对话覆盖不足。
第 3 条路是做双语对话，例如同时测英文与中文的理解推理与对话能力，但语音仍是合成的，缺少真实录音的呼吸、停顿、口误与房间混响。论文把这 3 类工作的共同缺口归纳为三点：以英文为主、对中文挖掘不够；以合成语音为主、声学变化不真；以文本改编为主、内容不口语。教学例子：好比只在消音室用播音腔考试，一到菜市场就听不清。
VCB Bench 的定位就是补上中文真人语音这一块，不是替代所有英文评测，而是提供一个更贴近中文语音助手使用场景的对照尺。
要解决的评测问题如何定义，难在哪里
要解决的问题是：如何可复现地比较中文语音对话模型在真实语音输入下听指令、调知识、扛干扰的能力。输入统一为真人录制的中文语音问题，有的是单轮，有的是 3 到 5 轮对话，有的是带口音噪声或口误的变体。输出要求模型用语音回答，研究者再对语音或其转写打分。难在三处。第一，内容与声音要分开考：模型可能文字答对但语气语速音量做错，或者声音好听但内容跑偏。
第二，知识与听力要分开归因：答错可能是不知道事实，也可能是没听清口语问法。第三，干扰要可比：同一句话要在干净版与加干扰版下都测，才能算出下降多少。为此论文把任务切成 3 个维度：指令跟随看听话与控声，知识看记忆与推理，鲁棒性看加干扰后稳不稳。每个维度再分子任务，避免一个总分掩盖短板。
基准全景：三维任务如何组织一次考试
整个基准像 1 次分科考试。先考指令跟随，含文本侧指令、语音侧指令与多轮对话。文本侧看续写创作共情推荐改写安全模拟，语音侧看情感语言非言语声语速风格音量控制，多轮看深入追问、回溯旧信息与突然换话题。再考知识，含十二学科常识、数学与逻辑推理、2 人对话理解与故事结尾选择。最后考鲁棒性，含说话人变化、环境变化与内容变化。
考试流程是统一的：用户语音进模型，模型语音出答案；语音侧指令直接用音频评，多数内容题先转写再评。转写用中文与英文不同的语音识别工具，开放问答用大模型按 1 到 5 分打分，有参考答案的用是否一致判定。故事续写还对基座模型算两种结尾的负对数似然来选答案，多轮对话按末轮占一半权重计分。
下面这张示例图把 8 类题摆在一起，先看标题建立全景，再看输入输出的对应关系。
看图路径： 1. 先看八个卡片标题，确认指令知识鲁棒三类任务都被举例；2. 再对照每卡蓝色用户语音与黄色模型回答，区分输入与输出；3. 重点看语音指令卡的情感标签和鲁棒卡的口吃重复如何写
论文图 2。原论文 Figure 2：“Examples from the VCB Bench.”。
从图中可见，常识题是短问短答，数理题是圆上弦数，文本指令题是写五言绝句，语音指令题要求用失望语气说旅行泡汤并带情感标签。对话理解题给出带重复口吃的 2 人对话再做单选，多轮对话题是跑步入门的追问，预训练评估题是小李赶飞机选结局，鲁棒题是带嗯啊重复的广州长隆问酒店。这组例子说明同一套录音与评分链要同时容纳事实、创作、风格与抗干扰，复述时可沿一张卡走完用户说什么、模型要回什么、按什么标准算对。
指令跟随组件：内容对与声音对分开怎么考
指令跟随组件要同时回答两个问题：有没有按文字要求做事，有没有按声音要求说话。文本侧用 7 个子任务测生成与理解，语音侧用 6 个子任务测副语言控制，多轮用 3 种走向测上下文管理。中英文都设对应题目，是为了看跨语言迁移。评分上，文本侧与多轮多看转写后的内容分，语音侧还要直接听音频评情感语速等是否做到。论文报告开放问答用 1 到 5 分，参考问答用是否一致，这种分工使内容分与声音分不互相掩盖。
文本指令跟随 × 语音指令跟随： 文本指令跟随负责听懂话的内容、按续写创作共情推荐等要求生成合适文字，语音指令跟随负责听出说话方式并用对应方式说回去，两者搭配是因为语音对话既要说什么对，也要怎么说对，组合后才能测出模型是否只会写字不会说话。
复述操作时可这样走：拿语音指令失望语气题为例，输入是真人用正常语气念出要求，模型要输出带沮丧感的语音，评测既看有没有说清旅行泡汤这件事，也看声音是否沮丧、音量语速是否按要求。若只看转写，就会漏掉声音维度，这正是该组件保留音频直评的原因。
知识与鲁棒组件：记性听力与抗干扰如何拆开
知识组件用 4 组题拆记性与听力。常识覆盖数学地理政治化学等十二科，数学逻辑含基础计算与分析归纳类比，话语理解用真实 2 人对话考分析归纳推断，故事续写要求从两个结尾选更合理的一个，且上下文与结尾同为音频或同为文本。鲁棒组件用 3 组扰动拆干扰来源，说话人变化含儿童老人、天津北京东北四川口音、音量缩放与快读，环境变化含回声户外远场、电视聊天音乐广播与丢包，内容变化含口头禅重复、读错音、病句、 abrupt 换题与中英混说。构造上尽量同一说话人重录同一文本，只改干扰条件，并设无干扰对照组，这样下降量可比。
常识知识 × 话语理解： 常识知识负责从预训练记忆中调出学科事实和数理逻辑，话语理解负责从多轮口语对话里还原事实关系和说话人意图，两者搭配是因为真实问答既依赖脑中有货，也依赖耳中听准，组合后才能区分是记不住还是没听懂。
说话人变化 × 环境变化： 说话人变化负责引入年龄口音语速音量带来的声学差异，环境变化负责引入回声远场噪声和丢包带来的通道损伤，两者搭配是因为现实干扰同时来自人和房间，组合后才能判断模型是认人不稳还是抗噪不行。
音频到文本 × 音频到音频： 音频到文本只要求听懂后写出文字答案，音频到音频还要求把答案用语音说出来且文字与声音一致，两者搭配是因为语音助手最终要开口说话，组合后才能发现文字会对但声音错、或声音含混导致转写失分的对齐问题。
教学例子：把鲁棒题想成同一句话在安静书房与开着电视的客厅各说一遍，若模型前者对后者错，问题更可能在抗噪而非不懂知识。论文还把音量语速等极端情况用后处理生成，以补足实录难以覆盖的边界。
本研究训练了什么，没有训练什么，真实计算是什么
本研究没有训练新的语音对话模型，也没有报告梯度、优化器、冻结层或训练超参数。真实计算是基准构造与评测执行两部分。构造侧的计算包括爬取约 70 小时综艺问答音频并做时间戳切分与转写校对，从 2000 小时 2 人对话中抽 10 小时做话题切分与 1 分钟内语义切分，再用大模型按切分文本生成问答对并人工筛查；第三方录制侧由写手写文本、人工质检、专业录音、音频质检与精选组成。
评测侧的计算是调用各模型音频到音频接口生成语音回答，再按任务走 3 条评分支路：语音指令音频直评，多轮与开放题转写后打分，有参考答案的转写后判一致，基座故事题算似然选结尾。论文未报告各模型内部是否冻结声学编码器或文本解码器，也未报告训练数据配比，因此不能从模型名字推定实现细节，复述时应明确这是评测论文而非建模论文。
测了谁，在什么条件下比，指标方向是什么
被测模型包括 GLM-4-Voice、Kimi-Audio、Qwen2.5-Omni、Baichuan-Audio、Step-Audio 2 mini、MiMo-Audio、GPT-4o-Audio、Qwen3-Omni 与 Fun-Audio-Chat，另对 4 个基座模型做故事续写的预训练评估。比较条件是统一用真实语音输入、统一调用语音输出接口、统一转写与打分流程，实验在 H20 上执行。指标方向都是越高越好：开放与多轮是 1 到 5 分制的平均分，知识与鲁棒是有参考答案的一致率或打分均值，故事是选对率。需要核对的口径是数据集、模型、阶段、指标与聚合对象：同一数值在常识表与鲁棒表含义不同，不能跨表直接比；百分点下降与相对百分比不同，论文括号内多为与对照组的分差。
部分模型因接口不可用缺测，表格中以缺测标记处理，不应把缺测当零分。主观平均意见分只抽每集前 30 条、由 8 位专家打分，与客观模型打分是两套尺，不能混为一列求差后排序。
主结果：谁全面强，谁偏科，哪科最难
比较的问题是：在统一中文真人语音下，哪个模型在指令、知识与鲁棒上更均衡，哪类知识最拉分。公平条件是同题同语音输入、同语音输出、同转写打分，指标越高越好。下表先看常识十二科的平均与前四科分布，Qwen3-Omni 平均领先，GPT-4o-Audio 次之，其余多在四十到五十分段。
| GLM-4-Voice | 41.79 | 44.44 | 38.00 | 52.54 |
|---|---|---|---|---|
| Kimi-Audio | 54.47 | 58.33 | 53.33 | 59.32 |
| Qwen3-Omni | 66.86 | 77.78 | 66.67 | 64.41 |
| Fun-Audio-Chat | 53.89 | 61.11 | 54.00 | 47.46 |
| Avg. | 51.14 | 53.70 | 50.37 | 51.79 |
表后解释：该表显示 Qwen3-Omni 在数学地理等科明显拉开，Fun-Audio-Chat 与 Kimi-Audio 处中游，Baichuan-Audio 平均最低。代价是即使最强的模型在体育文化上也只有五十多分，多数模型在这两科掉到三四十分，说明人文与体育常识是共性短板，而化学物理经济相对好拿分。未胜出项如 Baichuan-Audio 提示知识覆盖不均，不能因其指令分尚可就认为知识也强。
指令与鲁棒的总体格局是 Qwen3-Omni 与 Fun-Audio-Chat 全面靠前，MiMo-Audio 在文本指令与多轮上强，GPT-4o-Audio 在英文语音指令上强但多轮很弱。论文报告中文文本指令 Qwen3-Omni 与 MiMo-Audio 居前，中文语音指令 Fun-Audio-Chat 居前，多轮 Qwen3-Omni 居前。中文语音侧的主观分普遍低于客观分，说明自动打分对声音质感的估计偏乐观。
下面这张鲁棒散点图把干扰的影响可视化，先看落差再定位最难的干扰。
看图路径： 1. 先看每小图横轴九种干扰与无干扰对照点的分组；2. 再比较星形无干扰点与圆点有干扰点的纵向落差；3. 重点找回声老人语速三列下落最深的模型
论文图 3。原论文 Figure 3：“The robustness of LALMs under real-world perturbations. 9 subsets with the most significant performance gaps compared to the control group on the Robustness dataset are chosen.”。
从图中可见，回声、老人语音与快读三列的星形对照点与圆点落差最大，部分模型从八十分以上掉到四十分以下，而口误语法错等内容干扰的落差较小。这支持论文判断：物理层扰动比内容层小错更致命，复述时要强调这是跨 8 个模型的总体趋势，不是每个模型每题都如此。
反证与拆解：对齐、主客观与预训练暴露了什么
要回答的拆解问题是：文字会对是否等于声音也对，机器打分是否等于人听感，基座的故事判断在跨模态下还稳吗。先看文本语音对齐，论文选 4 个中英文差异大的模型与差异大的子集，比较只出文字、又说又写后听转写、又说又写后看文字 3 种方式。公平条件是同题同音频输入，指标越高越好。
| Emotional | Control | Language Control | Non Verbal Vocalization | Pacing Control |
|---|---|---|---|---|
| 83.75 | 50.60 | 60.94 | 71.30 | |
| 68.96 | 40.00 | 35.85 | 43.20 | |
| 86.04 | 66.80 | 64.53 | 73.17 | |
| 81.15 | 53.70 | 51.51 | 68.90 |
表后解释：该表对应中文语音指令的客观分，Fun-Audio-Chat 在情感风格语速上领先，GPT-4o-Audio 在语言控制上强，Qwen2.5-Omni 与 Baichuan-Audio 偏低。结合柱状图看，Fun-Audio-Chat 的只出文字与听转写两柱贴得近，说明文字与声音语义一致且声音清晰；而 Kimi-Audio 等的听转写柱明显低于看文字柱，说明声音含混连累了可懂度。这意味着不能只报文字分，否则会高估语音可用性。
主观客观比较只取平均意见分最高的 4 个模型与差距最大的 4 个子集，条件是同批语音输出分别走机器打分与专家打分。
| Emotional | Control | Language Control | Non Verbal Vocalization | Pacing Control Style |
|---|---|---|---|---|
| 76.00 | 54.00 | 56.60 | 64.60 | |
| 71.40 | 45.40 | 38.60 | 62.00 | |
| 62.00 | 46.00 | 41.40 | 73.40 | |
| 66.60 | 64.00 | 56.00 | 73.40 |
表后解释：该表是中文语音指令的主观分，GLM-4-Voice 与 GPT-4o-Audio 相对靠前，但都低于各自客观分，尤其音量与风格两组人机差距大。这支持自动音频评价仍需打磨，不能把客观分当人评用。未胜出项如部分模型在方言与风格上人评更严，提示评价模板对细粒度音质不敏感。 下面两张图分别对应上述两项拆解，先看对齐柱再看人机条。
看图路径： 1. 先确认图例中三种解码方式的颜色与柱子分组；2. 再比较同一任务下只出文字与又说又写的两根柱子高低；3. 重点看英文下排橙色柱相对蓝色柱的塌陷幅度
论文图 4。原论文 Figure 4：“The Investigation of the Text-Speech Alignment Capability of LALMs: A2T (in which only text is generated from audio input, with the text directly evaluated), A2A W/ ASR (in which…”。
从对齐图可见，上排中文与下排英文中，Fun-Audio-Chat 三色柱最齐且高，Qwen2.5-Omni 与 Kimi-Audio 的橙色听转写柱塌陷明显，英文塌陷更重，说明跨语言与发声清晰度是主要代价。
看图路径： 1. 先按纵轴四组语速风格情感音量找到对应横条；2. 再比较同一模型实色主观条与斜线客观条的伸出长度；3. 重点看音量一组主观与客观差距最大的模型
论文图 5。原论文 Figure 5：“The subjective-objective comparison in SIF.”。
从人机对比图可见，领先模型的两段条长度接近，而 Kimi-Audio 等在音量条上客观段远长于主观段，说明机器对响度控制的给分比人宽容。预训练故事评估显示 Kimi-Audio 基座在音频到文本与音频到音频上都相对最好，但所有基座的音频到音频都低于音频到文本，说明用语音讲出连贯结局仍难。
多轮对话的补充证据如下，条件是每轮用标准上下文作答、末轮占一半权重。
| GLM-4-Voice | 82.56 | 89.73 | 83.20 | 74.76 |
|---|---|---|---|---|
| Kimi-Audio | 82.27 | 85.97 | 89.28 | 71.57 |
| GPT-4o-Audio | 33.59 | 36.50 | 28.47 | 35.80 |
| Qwen3-Omni | 87.17 | 92.43 | 91.94 | 77.14 |
| Fun-Audio-Chat | 85.27 | 91.14 | 90.18 | 74.50 |
表后解释：该表显示 Qwen3-Omni 与 MiMo-Audio 在深入与回溯上领先，GPT-4o-Audio 三项都明显偏低，反映长上下文对话控制的分化。代价是换话题子集全员偏低，说明突然转题仍是共性难点。复述时要注明这是特定计分权重下的结果，换权重结论可能变化。
边界与未验证：哪些结论不能推广
论文明确的边界有 3 条。第一，新模型迭代快，未覆盖的开源模型需要持续补测，因此榜单是快照而非终局。第二，英文只覆盖部分子集，全量子集都有英文版仍是未来工作，所以跨语言结论限于已测子集，不能推广到全部任务。第三，提示词可能未完全激发模型潜力，更优的提示策略待探索，因此低分不等于模型上限低。未测量的量包括延迟、实时率、推理成本与误判率，论文没有报告这些量，不能承诺该基准高分等于线上体验好。
相关性不等于因果：回声下掉分多不等于回声是唯一原因，也可能是语速与口音叠加。总体趋势不等于每组都成立，例如北京天津口音影响小，老人与快读影响大，复述时要分开说。资源状态方面，本次收到的绑定信息未确认代码数据可达，不应声称已公开或可一键复现。
复现先做什么，需要哪些信息条件
复现先做三件事。第一，按论文三源重建数据链：第三方录制要保留文本、说话人、录音条件与质检记录，综艺问答要保留爬取关键词、切分时间戳与转写校对，2 人对话要保留话题切分与 1 分钟内语义切分及问答生成提示。第二，锁死评测链：统一用音频到音频接口，对语音指令用音频直评，其余先用中文与英文各自指定的转写工具再打分，开放题用 1 到 5 分模板，有参考答案用一致性模板，多轮用标准上下文且末轮半权。
第三，对齐聚合口径：常识按十二科平均，鲁棒同时报干扰后分与相对对照的分差，故事报音频到文本与音频到音频两种选对率。值得尝试的时机是做中文语音助手、要调情感语速音量或要上线嘈杂环境时，先用该基准找短板。还需补的验证是英文全量子集、更多口音年龄与更长多轮，以及延迟与成本的同时测量。关键信息条件是录音采样率 16 kHz 以上、首尾静音 2 秒内、同一说话人重录对照组，这些在附录采集说明中有明确要求。
收束：何时用它，如何一句话记住它
当目标是中文真人语音助手的听话、懂事与扛噪时，值得用 VCB Bench 做第一轮体检：先看常识与推理是否及格，再看语音控制是否只是文字好，最后看回声老人快读三关掉多少分。论文显示的排序是 Qwen3-Omni 与 Fun-Audio-Chat 更均衡，但体育文化常识与突然换题仍难，物理干扰普遍比口误病句更伤分，机器音频分比人听感乐观。特有的误解要澄清：合成语音测得高不等于真人语音也高，文字转写分高不等于开口说得好，英文强不等于中文语音控制强。记住它的一句话是：用真人中文语音同时考说什么与怎么说，并用对照干扰算出稳定性，这正是它与以往英文合成评测的最大区别。
📐 原文公式与排版
以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。
另有 1 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses