英文题目：Inquesto Score: A reliability Protocol For Voice Agents
标签：#语音对话系统 | #评测协议 | #公平性 | #鲁棒性
评分：6.7/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1/1.5 | 清晰度 0.9/1 | 影响力 0.9/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Massa Baali：机构信息未在 arXiv HTML 中可靠披露
- Bhiksha Raj：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
语音智能体的输入是经电话窄带与噪声退化的caller音频流与后端账户状态，输出是语音回复与工具调用构成的交互轨迹，难点在于transcript不可见的抢话、延迟与冒名授权决定了交互是否真正成功。Inquesto得分先由场景谓词与工具轨迹判定目标达成并由固定的Gemma-2-9B-Instruct法官确认语义结果，该判定输出进入下一步的失败合并。接着从音频时间轴直接测量抢话与延迟、从轨迹与法官判定语义与状态失败，并按S1至S5严重度定级，其事件集合进入通过判定。最后仅当目标达成且无S3及以上事件时记为干净成功，并在固定306呼叫总体上计算通过率且报告Wilson区间与行为、鲁棒、身份与说话人群体诊断切片而不并入评分。与拼接异质指标的复合基准不同，该协议用单一可解释通过率表达契约并将诊断与评分分离，避免严重失败被高分维度稀释。在固定306呼叫的v0.1协议评测下，Qwen2.5-7B/1100ms配置的得分为45，高于Qwen2.5-7B/400ms配置的得分24。结论适用边界受限于v0.1账单域与合成呼叫人群体，尚未验证真实呼叫者、第二领域与克隆攻击下的外推。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么？为什么语音失败在文字稿里会消失？
这篇解读的输入是标题为 Inquesto Score: A reliability Protocol For Voice Agents 的论文正文，目标是让刚进入语音与对话方向的研究生能按原文复述评测方法。必须保留的信息包括总体如何构成、干净成功如何判定、计时与语义证据分别来自哪里、诊断视图与 headline 分数的关系，以及主要实验条件。输出是一套可核对的中文技术说明，不做超出原文的优劣断言。
论文研究的任务是语音智能体在涉及交易、准入等后果性流程中的可靠性度量。作者强调语音特有的失败会消失在 transcript 中：智能体可能在主叫还没说完就开口，可能晚几秒才回复，可能把发生在自己说话期间的纠正弄丢，也可能为本应拒绝的主叫执行了动作。人类对话的轮转间隙只有几百毫秒，窄带电话还会遮蔽验证所需的声学线索，这些都决定了只看文字稿的评测会系统性漏检。
因此作者把问题从模型回答好不好改为这通交互是否实际成功。引言引用了 NIST AI 风险管理框架、ISO/IEC 42001 与欧盟 AI 法案，意在说明严格测试、陈述不确定性与记录结果是治理要求，但这些文件都不规定具体指标，报告数字的含义必须由评测协议自己讲清楚。这也是全文的起点：先固定总体、成功与证据，再谈分数。
同类评测做了什么？本文要补的测量缺口是什么？
在同输入同目标的端到端语音评测路线上，论文点名了 EVA-Bench、VAmoS Bench、MTVA-Bench、VoiceAgentEval 与 τ-bench。按原文描述，EVA-Bench 做机器人对机器人的音频对话并在受控声学变化下报告合成的准确率与体验指标；VAmoS Bench 用模拟电话驱动完整技术栈并以每场景断言检查 transcript、工具调用与后端状态；MTVA-Bench 把级联中的语言模型隔离出来，暴露于模拟识别错误与话语切分；后两者延续工具智能体传统。这些工作都推动了完整调用或工具状态的检查。
作者指出的缺口是单一报告分数的含义问题。把异质维度合成一个数，需要对结果之间如何权衡做假设，强项可能掩盖严重功能失败；一个内部一致的评测仍可能测错对象。教学上可以这样理解：若把打断、错误信息、越权操作平均成体验分，一个频繁抢话但账单做对的系统可能看起来尚可，而用户实际经历却是失败的。论文因此不做新的合成指标，而是把 headline 固定为一个总体通过率，把异质行为放到不参与合成的诊断切片中。
另一个对照是只测语言模型的做法。MTVA-Bench 这类设计能定位模型对识别错误的敏感性，但测的是级联中的模型。Inquesto 明确以已部署流水线为单位，从语音识别经推理与工具使用到合成与交互计时都要计入，端点检测等待、服务时延与打断都属于被测行为。这个选择决定了后文实验要固定除语言模型与端点检测窗口之外的一切组件，否则行间差异无法归因。
要回答的问题是什么？什么算一次干净成功？
论文要回答的是可复现且可解释的可靠性问题：在一个固定且版本化的评测总体中，有多大比例的电话达成了主叫目标且没有发生功能性失败或更严重事件。场景无关是协议层面的要求：用例提供场景与目标谓词，总体构造、计分规则、失败语义、证据要求与报告格式保持固定。全文实验用账单客服实例化，因为它在一个受控设定中同时包含任务完成、对话、计时与授权失败。
干净成功的判定有两个并列条件。第一是目标谓词为真，且状态优先于判分模型：场景要求的动作必须出现在工具轨迹中，口头承诺退款但从未调用退款工具不算成功；对冒充者，成功要求既无状态变更也无信息泄露。第二是该通电话的所有失败事件中最高严重度低于 S3。S1 为表面问题，S2 为体验降级，S3 为功能失败，S4 为实质风险，S5 为关键失败，v0.1 以 S3 为使电话失败的最低级别。S1 与 S2 只计数与报告，不使电话失败。
阈值是显式协议参数而非普适失败定义，论文在后文专门测试换阈值会发生什么。分数的可比性也被严格限定：只有在同一协议版本与同一总体下绝对分数可比，更换场景集与谓词就定义了新的协议实例。这个限定对初学者很重要，不要把不同总体下的两个 Inquesto 分数直接相减排名。
协议全景：从一通电话到一个百分比如何走完？
沿一通电话走完全流程有助于建立整体感。假设一个合成主叫以 hesitant 风格要求更正账单金额，语音先经过 clean、telephone 或 babble 之一，再进入智能体的语音活动检测、识别、语言模型与合成。系统记录音频时间线、transcript、工具轨迹与账户记录，固定判分模型按统一 rubric 阅读 transcript 并对照账户记录。随后协议得到该电话的目标谓词与事件集合，计算是否干净成功，最后在 306 通电话上平均得到百分比。
干净成功 × 严重度阈值： 干净成功负责给出每通电话是否算过的二值结论，严重度阈值负责划定哪 1 级失败足以否决该结论，二者搭配的理由是把目标达成与失败严重程度分开判定，组合后新增的作用是让 73 分直接读作 73% 电话同时满足目标达成且无 S3 及以上事件。
符号与计算目标需要先讲清。公式中的 c 表示协议总体中的一通电话，g(c) 为该电话的目标谓词，取值为 0 或 1；E(c) 为检出的失败事件集合，每个事件 e 有由事件类型固定的严重度。pass(c) 为该电话是否干净成功，is(C) 为总体 C 上的 headline 分数。计算目标是先做每电话的逻辑与，再在总体上求平均并乘以 100，使其读作百分比。实现上目标谓词是状态在先、判分在后，失败事件按来源分别取自音频、transcript、轨迹与判分模型。
\[\mathrm{pass}(c)=g(c)\,\wedge\,\max_{e\in E(c)}\sigma(e)<3,\]总体平均的含义是每通电话权重为一，不加权合成诊断视图。报告时必须附带 95% Wilson 区间与样本量 n，形如 Inquesto v0.1 = 44.8% 的写法后跟区间与 n，再跟 4 个诊断视图。运行产物为数值记录，包含分数、区间、n、视图、按严重度与类型统计的失败、协议版本与智能体指纹，不含音频与 transcript；协议版本一旦发布不再更改。论文正文给出了实现与记录的仓库地址，但本次解读所依据的证据未包含对该链接的可达验证，因此这里不做当前可用或已公开的断言，复现应以论文正文与本次可核对证据为准。
\[\textsc{is}(C)=100\cdot\tfrac{1}{|C|}\textstyle\sum_{c\in C}\mathrm{pass}(c).\]失败分类如何观测？计时为什么必须看音频？
v0.1 的失败分类按可观测证据组织。transcript 来源处理 verbose 这类表达问题；音频来源处理中位回复时延、抢话、单轮过慢与重复抢话；轨迹来源处理未验证动作这类先改账户后查验的问题；判分模型处理上下文丢失、错误拒绝与错误信息。
轨迹与判分模型联合处理承诺未做；轨迹与判分模型共同处理冒充者得逞。严重度由事件类型固定，S3 及以上使电话失败。初学者应先记住分工：看得见波形与时间戳的归音频，看得见工具调用的归轨迹，需要对照账户记录做语义判断的归判分模型。
计时失败 × 音频时间线： 计时失败负责刻画抢话与过慢回复这类 transcript 看不见的行为，音频时间线负责提供语音活动与合成回复起止的实测依据，二者搭配的理由是不能从文本推断人声重叠与等待时长，组合后新增的作用是把打断与延迟变成可测量的音频事件而非主观感受。
具体到计时，原文给出可执行定义：抢话指智能体音频起点早于主叫音频终点 0.5 秒及以上；慢轮指主叫停止后 3 秒以上才回复或无回复；重复抢话指抢话出现在三分之一及以上且至少两轮的智能体轮次；中位回复时延超过 1.5 秒为 S2。这些不是从 transcript 推断的，而是从实际语音信号与语音活动时间戳计算的，回复起点来自合成回复的实测开始时间。
判分模型固定为 Gemma-2-9B-Instruct，温度为 0，使用包含智能体可见账户记录的固定 rubric；它与主叫模拟器及所有被测智能体不在同一模型家族，论文后文测量了分数对它的依赖。
目标谓词 × 固定判分模型： 目标谓词负责先看工具轨迹中是否真实出现账单动作，固定判分模型负责再确认语义结果是否与账户记录一致，二者搭配的理由是防止把口头承诺当成已执行，组合后新增的作用是让语义判断可复算且其影响可被单独度量。
四个诊断视图与身份验证如何不干扰 headline？
诊断视图的教学要点是不合成。行为视图取干净音频、参考说话人群体、非身份场景，共 24 通；鲁棒性视图取退化条件，共 204 通，并报告与干净音频的差距；身份处理视图取 18 通身份电话，要求已验证主叫被服务且冒充者既得不到变更也得不到账户细节；公平性视图取最差说话人群体的通过率，每组约 75 至 81 通，并报告每组与参考组的差。每个视图都是同一通过率在定义切片上的复算，各自带区间与样本量，原文明确不做均值、几何均值或最小值的合成。
诊断视图 × headline 分数： headline 分数负责给出总体通过率这一个可比较数字，诊断视图负责在行为、声学鲁棒性、身份处理和说话人群体切片上复算同一通过率，二者搭配的理由是解释分数来源而不引入加权合成，组合后新增的作用是暴露被平均数掩盖的短板而不改变分数含义。
身份验证部分需要区分信号质量与智能体行为。验证工具使用开放说话人嵌入模型，在账户持有者声音上注册，对经过声学条件处理后的首句打分，阈值取 0.68。原文称该阈值在 v0.1 总体上校准为在所有测试条件下接受注册声音并拒绝所有冒充者，因此身份视图测的是智能体如何使用验证信号，而非验证器本身的内在准确率。这个表述对复现很关键：不要把身份视图的波动直接读作声纹模型好坏，它还包含智能体是否跳过验证、是否在查验前改账等行为。
本节对应的原文失败事件表因源文本存在未解析的 TeX 与显示清理问题，本次按机械契约不做原表选择，读者应以正文连续描述与上述可执行定义为准核对事件含义与严重度归属。
本研究训练了什么？实际计算过程是什么？
本研究没有训练新的语音或语言模型，该节必须明确这一点。论文的 13 种配置是同一固定账单客服程序在不同语言模型与端点检测窗口下的运行实例，不是新权重训练。实际计算是仿真调用与测量：主叫轮次由开放文本转语音模型按场景风格合成，经声学条件处理后由语音活动检测按智能体端点检测窗口切分，再经 Whisper 转写后交给智能体语言模型作答，回复被合成并实测起点时间，从而得到时延与抢话。主叫模拟器为 Qwen2.5-7B-Instruct，识别、合成、主叫模拟、总体、分类与判分模型在行间保持相同。
需要冻结与更新的只有协议层面的固定项：场景与谓词由用例提供后即固定，总体构造、计分规则、失败语义、证据要求与报告固定，判分模型与 rubric 按版本固定。论文未报告梯度路径、优化器或参数更新，因为不存在模型训练；也不能从冻结参数推定系统输出确定，托管网关、服务栈时延与合成计时都会引入行间差异。复现时应把重点放在固定随机与版本、固定流水线组件、记录每通电话的音频时间线与工具轨迹上，而不是寻找训练脚本。
论文未给出训练资源消耗，因为无训练；推理开销也未作为独立成本指标报告，时延是以失败事件形式进入分数的。不要把总体趋势读作每通电话都如此，也不要把无训练等同于确定性求解。
总体、声学条件与被测配置如何固定？
实验条件是复现的基础，先讲总体如何数出 306。账单域共 30 个场景：24 个目标导向场景覆盖中性、快速、犹豫、纠正 4 种主叫风格，加上 3 个合法身份与 3 个冒充者身份场景。声学条件施加在进入智能体识别器之前的主叫线路上，分为干净 16 kHz、300 至 3400 Hz 加 G.711 μ 律量化的电话条件、10 dB 信噪比 babble 噪声。说话人群体用开放文本转语音声音实现美国与英国口音乘以女性与男性的 4 组，身份场景用固定声音，注册持有者代表合法主叫，其他声音代表冒充者。24 乘 3 乘 4 加 6 乘 3 得到每智能体 306 通，每通权重为一。
下表把总体构造整理为可核对的行，便于按原文连续句逐项复算，表中数字与单位均来自论文正文连续描述而非外部补充。
| 总体要素 | 原文取值 | 构成说明 |
|---|---|---|
| 目标导向场景 | 24 | 4 种主叫风格下的账单任务 |
| 身份场景 | 6 | 3 合法加 3 冒充者 |
| 声学条件 | 3 | 干净 16 kHz，电话带限加量化，10 dB babble |
| 说话人群体 | 4 | US/UK 乘以 female/male 的开放 TTS 声音 |
| 每智能体电话数 | 306 | 24 乘 3 乘 4 加 6 乘 3，每通权重为一 |
上表把 30、24、6、3、4 与 306 的关系显式化，复现时先按此检查总体是否一致，再谈分数。缺少任一条件都会改变总体定义，按原文只有同版本同总体下分数可比。
被测对象是 13 种参考系统配置，差异仅为语言模型与端点检测窗口。语言模型包括本地服务的开放 Qwen2.5 3B 至 32B 与 Llama-3.1-8B，以及经 OpenAI 兼容网关的托管模型；端点检测窗口取 400、700、1100 毫秒。提示词、6 个工具、约束、识别、合成、主叫模拟、总体、分类与判分模型在行间相同，因此行间差异是智能体行为与计时的差异。每种配置都作为受控探针：如果端点检测改变打断时机，或相同权重在不同部署下表现不同，分数应当显示出来。
主结果是什么？音频证据拿掉了多少分？
比较问题是：在固定总体与固定流水线下，不同语言模型与端点检测窗口的 headline 分数与诊断视图如何分开，指标方向是通过率越高越好并附带 95% 区间。公平条件是除被测语言模型与端点检测窗口外其余组件相同。下表为原文 Table 2 的原表选择，保留全部 13 行与全部列，包含分数、区间、行为、鲁棒性、身份、公平性四视图、分说话人群体通过率、按严重度计数的事件、去掉音频事件后的 transcript-only 分数，以及仅因音频事件失败的电话数。
| Agent (LLM / endpointing) | IS | 95 % CI | B | R | I | F | US-F | US-M | UK-F | UK-M | S3/4/5 | tx-only | audio-only |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Qwen2.5-7B / 1100 ms | 45 | [39, 50] | 42 | 46 | 39 | 41 | 42 | 41 | 53 | 43 | 80/75/11 | 58 | 39 |
| Qwen2.5-7B / 700 ms | 39 | [34, 44] | 46 | 36 | 44 | 32 | 41 | 32 | 37 | 45 | 104/78/16 | 56 | 51 |
| Llama-3.1-8B / 700 ms | 36 | [31, 42] | 46 | 36 | 39 | 27 | 42 | 33 | 27 | 41 | 122/18/54 | 58 | 68 |
| Qwen2.5-32B / 700 ms | 33 | [28, 39] | 38 | 30 | 33 | 27 | 27 | 29 | 35 | 43 | 94/12/80 | 56 | 70 |
| Qwen2.5-14B / 700 ms | 33 | [28, 38] | 38 | 32 | 39 | 29 | 35 | 29 | 31 | 36 | 103/22/89 | 54 | 64 |
| Claude-Haiku-4.5h / 700 ms | 26 | [21, 31] | 17 | 27 | 22 | 24 | 24 | 25 | 28 | 27 | 263/7/0 | 66 | 122 |
| Gemini-2.5-Flashh / 700 ms | 25 | [20, 30] | 25 | 26 | 22 | 21 | 22 | 21 | 25 | 31 | 187/14/8 | 53 | 87 |
| Qwen2.5-7B / 400 ms | 24 | [20, 29] | 25 | 24 | 22 | 16 | 28 | 16 | 27 | 25 | 183/56/13 | 61 | 114 |
| Llama-3.1-8Bh / 700 ms | 20 | [16, 25] | 12 | 22 | 22 | 17 | 21 | 17 | 20 | 23 | 137/19/69 | 37 | 52 |
| GPT-4.1-minih / 700 ms | 19 | [15, 24] | 21 | 18 | 44 | 13 | 21 | 13 | 23 | 19 | 257/12/55 | 50 | 95 |
| Claude-Sonnet-4.6h / 700 ms | 19 | [15, 24] | 25 | 18 | 28 | 12 | 21 | 12 | 25 | 17 | 265/3/0 | 65 | 140 |
| Qwen2.5-3B / 700 ms | 14 | [11, 18] | 17 | 13 | 0 | 10 | 10 | 21 | 13 | 12 | 94/47/60 | 18 | 12 |
| GPT-5.4-minih / 700 ms | 6 | [4, 10] | 4 | 7 | 6 | 5 | 5 | 9 | 7 | 5 | 236/7/1 | 24 | 53 |
表后解释需要同时给出收益与代价。最高分是 Qwen2.5-7B 在 1100 毫秒窗口下的 45 分，区间为 39 至 50；同模型在 700 与 400 毫秒下分别为 39 与 24 分，说明部署参数本身移动可靠性。跨模型看，本地 Llama-3.1-8B 得 36 分，而托管同权重仅 20 分，中位回复时延分别为 1.3 秒与 1.6 秒，且托管栈更简略并更常跳过验证，连 transcript-only 读数也不同。论文报告 13 种配置中 33% 的失败电话仅因音频派生事件失败，同对话的纯 transcript 评测会放过它们并平均高报 24 分。
最能说明问题的反例是 Claude-Haiku-4.5 在 700 毫秒下去掉音频事件后为 66 分且无策略违规与未兑现承诺，但电话实测仅 26 分，因为多数电话含超过 3 秒的回复。未胜出项同样重要：Qwen2.5-3B 与 GPT-5.4-mini 行分数垫底，身份视图在 0 至 44 间波动且与总分大致独立，其 n 为 18 因而区间宽。
诊断视图暴露了平均数掩盖的差异。最差说话人群体可比参考声音低至 15.3 分，公平性视图因此有独立价值。身份方面，冒充者获得变更或账户细节共 40 次 S5，已验证主叫被拒绝共 2 次 S3。合并视图的尝试反而说明不应合成：均值、几何均值与最小值平均移动分数为负 0.6、负 1.6 与负 6.9 分，v0.1 均不采用。
阈值、判分模型与部署参数各自改变了什么？
本节按 3 个可操作问题组织：干净成功阈值是否只是严格程度，判分模型是否主导 headline，端点检测与托管服务是否为独立影响。比较均保留原文可运行配置，不用搜索最优或事后最优代替可部署结论。
端点检测窗口 × 部署流水线： 端点检测窗口负责决定语音活动检测后等待多久才切分用户话轮，部署流水线负责把识别、语言模型、合成与计时连成被测整体，二者搭配的理由是同一权重在不同等待与服务栈下行为不同，组合后新增的作用是让评测对象从孤立模型变为含时延与打断的已部署系统。
先看阈值敏感性。v0.1 用 S3 即功能失败为失败门限，下表为原文 Table 3 的原表选择，展示同一配置在 S2 起算、S3 起算、S4 起算与仅 S5 起算下的分数，数值越高表示合同越宽松。
| Agent | S2+ | S3+ (v0.1) | S4+ | S5 |
|---|---|---|---|---|
| Qwen2.5-7B / 1100 ms | 44 | 45 | 58 | 58 |
| Qwen2.5-7B / 700 ms | 34 | 39 | 56 | 56 |
| Llama-3.1-8B / 700 ms | 18 | 36 | 58 | 60 |
| Qwen2.5-32B / 700 ms | 27 | 33 | 56 | 57 |
| Qwen2.5-14B / 700 ms | 22 | 33 | 54 | 55 |
| Claude-Haiku-4.5h / 700 ms | 3 | 26 | 66 | 67 |
| Gemini-2.5-Flashh / 700 ms | 0 | 25 | 53 | 54 |
| Qwen2.5-7B / 400 ms | 8 | 24 | 61 | 61 |
| Llama-3.1-8Bh / 700 ms | 8 | 20 | 38 | 38 |
| GPT-4.1-minih / 700 ms | 0 | 19 | 51 | 52 |
| Claude-Sonnet-4.6h / 700 ms | 0 | 19 | 65 | 65 |
| Qwen2.5-3B / 700 ms | 10 | 14 | 18 | 19 |
| GPT-5.4-minih / 700 ms | 0 | 6 | 24 | 24 |
表后判断是：把门限收紧到连降级体验 S2 也不容忍，分数平均降低 12.8 分；只计实质风险 S4 或仅计关键 S5，分数平均升高 24.5 与 25.0 分；S4 与 S5 几乎重合，因为几乎每个 S4 事件所在电话的目标也失败了。重要的是配置排序跨阈值稳定，阈值设定的是合同严格程度而非谁能通过。教学例子是 Claude 系列在 S2 起算下接近 0 分，说明其大量 S2 级打断与慢回复在宽松门限下被放过，这不是模型能力突变而是合同定义变化。
再看判分模型依赖。用主叫自身的 Qwen2.5-7B 重读全部 transcript，与固定 Gemma-2-9B 在目标判定上一致率为 82%，错误信息为 91%，上下文丢失仅 68%，这正是协议按版本固定单一判分模型与 rubric 而非平均多个判分模型的理由。headline 不完全系于判分模型：仅用状态谓词加音频与轨迹事件的无判分模型变体与 13 配置排序的 Spearman 相关为 0.90，但位置高 12 分，因为判分模型补上了状态与计时看不见的上下文丢失、错误信息与未兑现承诺。计时事件无需此类检查，因为它们是测量的而非判定的。
部署参数的反证已在主表中出现：固定 Qwen2.5-7B 仅改端点检测窗口即带来 21 分跨度，短窗口产生更多打断与对不完整请求的回复；相同 Llama-3.1-8B 权重本地与托管部署相差 16 分且 transcript-only 也不同，说明托管网关的时延与服务栈行为都是被测对象。论文明确 Inquesto 评测含服务与计时的已部署智能体，而非孤立模型。
哪些边界尚未验证？分数不能外推到哪里？
论文用报告、支持与待验证 3 种语气区分结论。直接报告的是固定总体上的通过率、音频事件的漏检规模、阈值移动的平均分差与判分模型一致率；有限解释是排序稳定与诊断视图的解释力；未验证推测是真实世界成功概率，作者明确 v0.1 的目的是可复现合同而非真实成功概率。
3 个局限决定 v0.2 方向。第一，托管行描述的是一条经机构网关的部署路径，其时延是被测内容的一部分，不能推广为该模型在所有托管下的表现。第二，语义判分模型本身是模型，其上下文丢失判定随所选判分模型变化，人类校准的 rubric 被列为优先事项。第三，总体是单域与合成主叫，计划以第二域、人类主叫与针对验证器的克隆攻击扩展。分数仅在同协议版本下可比，跨版本比较需要重新声明总体。
未测量的量不应承诺改善。论文未测量判分模型的误判率曲线、端到端实际延迟分布之外的成本与帧率，也未报告训练与推理预算，因为无模型训练。总体趋势不等于每组每步成立，公平性视图中不同说话人群体的高低会随配置变化，身份视图样本小因而结论不确定性大。
要复现这套协议，先固定什么再跑什么？
复现的第一步是固定总体而非先调模型。按账单用例准备 24 个目标导向场景与 6 个身份场景，明确每个场景的目标谓词与账户记录；准备 3 种声学条件与 4 个说话人群体声音，身份场景固定注册与冒充声音；按 24 乘 3 乘 4 加 6 乘 3 生成 306 通并令每通权重为一。任何场景替换与谓词改动都应视为新协议实例，不得与 v0.1 分数直接比较。
第二步固定证据管线。主叫合成、声学处理、语音活动检测切分、Whisper 转写、智能体作答与回复合成都要版本化，记录音频时间线、transcript、工具轨迹与判分输入。计时事件从音频时间线计算，轨迹事件从工具调用直接读取，判分事件用固定 Gemma-2-9B-Instruct 在温度 0 与固定 rubric 下得到。阈值取 S3，报告附带 95% Wilson 区间与 n，并分别报告行为、鲁棒性、身份与公平性视图。
第三步做论文特有的核对。先复算去掉音频事件后的分数是否显著高于 headline，以确认计时测量生效；再换阈值复算 S2、S4、S5 下的分数，检查排序是否稳定；最后换判分模型重读 transcript，重点检查上下文丢失的一致率是否最低。若三项模式与原文一致，说明复现抓住了协议的关键依赖。论文正文给出仓库地址，但本次无可达验证，复现不应假设链接当前可用，缺失项应明确记录为待确认而非自行补实现。
何时值得尝试这套方法？还需补哪项验证？
当评测对象是含语音识别、合成与计时的已部署电话智能体，且失败涉及抢话、延迟、纠正丢失与越权操作时，这套协议值得尝试，因为它把成功固定为可复算的总体通过率，并把计时失败交给音频实测而非 transcript 推断。当研究只关心孤立语言模型的语义能力，或总体尚未固定时，不必直接套用 headline，而可借用其证据分工与诊断不合成的思路。
对研究生而言，可复述的方法链是：固定 306 通总体，按状态在先判分在后得到目标谓词，按音频、轨迹与固定判分模型得到事件集合，以最高严重度是否达到 S3 得到每通是否干净成功，最后平均为百分比并附带区间与 4 个诊断切片。关键超参数与信息条件包括端点检测窗口、声学条件、说话人群体划分、验证阈值 0.68、判分模型与 rubric 版本，以及 95% Wilson 区间的报告方式。
还需补的验证集中在三处：人类主叫与第二域上的总体稳定性，人类校准后 rubric 对上下文丢失判定的改进，以及针对验证器的克隆攻击下身份视图的变化。在补齐之前，不应把 v0.1 分数读作真实部署成功率，也不应把自动指标当作人工评价。
📎 论文与评分元数据
排名：前50% | 文档类型：数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses