提示词与规则：语音用户模拟器自然度行为的审计与控制

📄 提示词与规则：语音用户模拟器自然度行为的审计与控制

英文题目：Prompts versus Rules: Auditing and Controlling Speech Naturalness Behaviors in Voice User Simulators

标签：#轮次切换 | #评测协议 | #语音 | #大语言模型

评分：6.6/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.1/1.5

👥 作者与机构

• Riqiang Wang：Dialpad Inc.
• Elena Khasanova：Dialpad Inc.
• Harsh Saini：Dialpad Inc.
• Lex Konnelly：Dialpad Inc.
• Parsa Kavehzadeh：Dialpad Inc.
• Matthias Lee：Dialpad Inc.
• Mohamed Attia：Dialpad Inc.

📌 核心摘要

语音智能体评测需要能打电话的模拟用户，输入是被测智能体的实时音频，输出是模拟用户的语音回应，难点是口语特有的不流利、打断和表示在听的短反馈是否按设定出现。论文先审计τ-Voice这类用提示词加语言模型分类器的做法，再提出无模型的规则控制：不流利在合成前按倾向参数改写文本，打断与反馈在200 ms的话中停顿处按等待时长和词数阈值触发。规则做法与提示做法的关键差异是位置与分布可控、可重复，且不增加模型调用。在针对已部署商用智能体的全双工实时通话评测中、每条件20个配对场景下，以每智能体轮次打断率为指标，规则方法将打断倾向从0.3调到1.0时该指标从0.235单调升到0.538，低于τ-Voice基准在20次通话、346个智能体轮次下同指标的0.633次。在同样针对已部署商用智能体的全双工实时通话评测中，以每智能体轮次反馈率为指标，规则方法将反馈倾向从0.3调到1.0时该指标从0.545升到0.844，高于τ-Voice基准同口径下同指标的0.038次。结论只适用于级联式模拟器对特定商用智能体的测试，复杂自我修复式不流利仍未解决。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

语音智能体评测为什么需要模拟用户说得像人

这篇论文研究的对象不是语音智能体本身，而是用来给语音智能体打电话做评测的语音用户模拟器。输入是被测智能体通过电话线路发来的实时音频，模拟器要像真实用户一样听、想、说，输出也是实时音频，最终完成一个结构化任务目标。目标是让评测有效：如果模拟用户从不结巴、从不打断、从不发出嗯啊类的倾听反馈，那么被测智能体在真实电话里会遇到的轮次竞争、识别错误和打断恢复就测不出来。论文把不流利、打断和应答声统称为语音自然度行为。

不流利指填充词、重复、重新开始等口语计划痕迹，打断指在对方说完之前抢夺话轮，应答声指不抢话轮的短反馈，用来表示在听。必须保留的信息是这些行为实际发生了多少、在哪里发生，而不是配置里写了多少。输出是可复现的评测结论。读者要先建立一个观念：模拟器的配置值不等于实际行为值，审计实际行为值才是本文的起点。

已有评测工具只看智能体一侧有什么盲区

论文梳理了两类已有路线。第一类是任务型口语模拟器，例如把预写脚本转成语音的方案，或在文字轮次里加不流利的方案，它们要么不是交互式的，要么权重和运行时没有公开，别人无法做实时全双工复现。第二类是语音评测框架，例如 τ-Voice、FDB v3、EVA-Bench 等。论文指出这些框架普遍只报告智能体一侧的自然度指标，例如智能体的打断率或填充词率，而模拟用户一侧只公布配置，实际产生了多少不流利、多少打断和应答没有被核验。

τ-Voice 的做法最有代表性：它用固定每 2.0 秒轮询 1 次的办法调用专门的语言模型分类器来决定是否打断或应答，用文字提示词要求出现不流利。论文还发现其提示词存在直接冲突，一处要求出现填充词，另一处以简洁为由要求避免填充词。其他框架有的用预录真人音频驱动用户侧，有的在数据集构建时预定打断点，有的干脆关闭自然度控制。共同盲区是缺少对模拟用户实际行为的机会基线审计。

论文的比较都建立在相同输入目标和运行阶段上，不把文字脚本方案与实时电话交互方案混为同条件胜负。

配置要求与实际说出的话之间可能差在哪里

论文要回答的具体问题是：当我们把不流利强度、打断倾向、应答倾向调高时，模拟用户真的按比例说出更多、位置更分散的行为吗。输入处理过程包括三处可能失真。第一处是语言模型对数字和频率词的执行，例如偶尔、大约一半、多数句子这类要求是否被按比例实现。第二处是位置分布，例如填充词是只出现在句首完成任务，还是分布在从句边界和词汇检索困难点。第三处是交互时机，例如打断和应答是否发生在合理的中途停顿上，还是过度打断、几乎不应答。

作用是诊断评测有效性，代价是如果模拟器行为失真，被测智能体的打断处理和倾听体验得分就不可信。论文强调可控性不等于真实感，但可控带来行为多样性，而多样性是真实感和鲁棒评测的必要条件。也就是说，本文先解决能不能调得动，再谈像不像人。

级联模拟器如何接电话并决定何时说话

作者自建的模拟用户是一个级联式管线。级联式用户模拟器首次出现在这里，它指语音识别把对方音频转成文字、语言模型根据任务目标和人物设定生成回复文字、语音合成把文字转成音频发回电话的串联结构。语音活动检测首次出现在这里，它指用 Silero 语音活动检测器监听对方音频流，判断短暂停和轮次结束的模块。整个流程不设中央调度，双方只交换音频。检测到 200 毫秒的中途短暂停时，系统考虑是否打断或应答。

检测到 500 毫秒的轮次结束静音时，触发常规回复生成，把截断的对话历史送给小语言模型决定回复还是继续等。这种事件驱动方式避免了固定轮询的持续开销。默认语音识别、语言模型和语音合成都来自 gpt-4o-mini 家族。被测智能体是部署在商用电话设施上的黑盒，模拟器看不到它的内部转写、权重、提示词和概率。作者承认人类轮次间隔只有 110 毫秒到 130 毫秒，而该系统至少需要 500 毫秒加模型延迟，这是级联方案的实时约束，但不在本文研究范围内。

级联式用户模拟器 × 语音活动检测： 级联式用户模拟器指语音转文字、语言模型生成回复、语音合成依次串联的模拟用户结构，语音活动检测指从对方音频流中检测短暂停与轮次结束静音的模块，二者搭配的意义是检测器决定何时触发打断、应答或正常回复，级联链条提供可改写的文字中间态，使规则可以在合成前确定性插入不流利现象。

不流利规则如何在合成前改写文字

不流利控制发生在语音合成之前，是 1 次纯文字重写。做法是用回复文字本身做随机种子，初始化伪随机数发生器，因此同一句话重播或重合成时插入位置完全相同，保证基准可复现。算法逐个扫描词边界，每个边界以倾向参数乘以每词最大概率决定是否插入，原文中每词最大概率为 0.2。命中后再按比例选择填充词、重复或暂停标记，原文设定填充词概率 0.5，重复概率 0.3。填充词首次出现在这里，它指 um、uh 这类填充停顿词，作用是标记说话计划延迟。

重复首次出现在这里，它指 I- I need 这类词干重复，作用是模拟重新启动。关键保护是遇到包含数字或@符号的词边界直接跳过，例如电话号码和邮箱，避免人为破坏被测智能体的实体抽取。暂停标记的实际语音实现依赖合成器，本文不讨论。规则只改送往合成的文字，不写回对话历史，避免污染后续上下文。

填充词 × 重复： 填充词指 um、uh 这类填充停顿词，重复指 I- I need 这类词干重复或口吃，二者都是不流利的子类型，分工是填充词标记计划延迟，重复标记重新启动，论文把二者分开统计是因为提示词几乎只产生填充词，而规则注入可以同时调节两类，从而比较多样性。

打断和应答规则在每次短暂停时如何取舍

打断倾向和应答倾向是两个 0 到 1 的参数，0 表示关闭行为。每次出现 200 毫秒中途停顿时先判断打断，条件包括本轮还没有打断过、对方已说话时长达到耐心阈值、对方词数达到 12 以上、对方当前不是提问或请求。耐心阈值随倾向变化，高倾向时更早允许打断。如果打断条件通过就立即打断，用对方截断转写做上下文生成短打断并发声，本次停顿不再判断应答。

只有打断未触发时才判断应答，条件包括不是对方首轮、不是提问或请求、词数达到节奏阈值，节奏阈值随应答倾向变化。为了消除合成延迟，应答不实时合成，而是从预合成的短反馈库存里直接播放，例如 mm-hmm、yeah、right。实验时两个参数 1 次只动一个，另一个置零，因为打断一旦执行就会截断当前轮次，抢走后续应答机会。

打断倾向 × 应答倾向： 打断倾向指控制模拟用户在对方说话中途抢夺话轮可能性的参数，应答倾向指控制发送 mm-hmm、yeah 等短反馈而不抢话轮的参数，二者共用同一个每 200 毫秒短暂停的判断入口但打断优先，搭配的意义是可以在同一交互节奏下实现平衡的轮次行为，而不是只打断不反馈。

本文训练了什么以及实际计算来自哪里

本文没有训练任何新的神经网络模型，也没有微调语言模型或更新权重，因此不存在梯度经过哪里、何时重置、监督来自哪里这类训练问题。实际计算来自三部分。第一部分是调用已有指令微调模型生成回复，包括 gpt-4o-mini、gpt-5 和 Gemini 3 Pro Preview，比较不同提示词强度下的不流利产出。第二部分是确定性规则计算，包括按文字种子的伪随机插入和按停顿事件的阈值判断，不需要模型调用。

第三部分是审计统计，包括按每 1000 词统计填充词和重复率、按机会和按轮次统计打断应答率、计算离散指数和趋势检验。无训练不等于输出确定：语言模型解码仍有随机性，规则部分因种子固定才是可复现的。缺失的信息是各闭源模型指令微调的具体数据和惩罚机制，论文对基线几乎零填充词只能给出归因猜测，不能验证。

不流利与轮次行为分别在什么条件下测量

不流利可以在无交互下测量。作者从 131 段成功交互中抽出 858 个用户回复位置，均匀采样 300 个并冻结为评测集，因一个位置上 Gemini 内容过滤返回空而剔除，最终所有模型和条件都在相同 299 个配对位置和相同对话历史下比较。条件包括无指令基线、3 种强度的系统提示、τ-Voice 原文提示词，以及 4 个注入强度。τ-Voice 提示词还做了消融，区分是指令本身弱还是与简洁要求的冲突导致产出低。打断和应答必须在实时全双工通话中测量。

作者定义机会首次出现在这里，它指对方音频中的 200 毫秒中途停顿，排除 500 毫秒以上轮次结束静音和本机正在发声时段。每轮次率首次出现在这里，它指平均每个对方话轮实际发生的次数。τ-Voice 侧在 Retail 数据集上跑 20 段成功多轮通话，共 346 个对方话轮和 1277 次分类器查询；规则侧每个参数取值各跑 20 段配对场景。

机会 × 每轮次率： 机会指对方说话中出现的 200 毫秒中途停顿且排除轮次结束静音和本机正在发声的时段，每轮次率指平均每个对方话轮实际发生的打断或应答次数，二者搭配是因为只看绝对次数会被话轮长短干扰，同时报告机会转化率和每轮次率才能判断控制是否真正随参数变化。

提示词的不流利产出在数量类型位置上有何偏差

不流利比较要回答的核心问题是：提示词加强时实际填充词和重复是否按比例增加，位置是否自然。公平条件是同一 299 个位置、同一历史、同一计数规则，指标方向是每 1000 词率越高表示行为越多，句首占比越低一般表示分布越分散。下表整理关键数字，覆盖填充词率、重复率和句首占比，注入行与模型无关。 表前说明到此结束，下面给出整理表。

表后解释从此开始。提示词从偶尔到大约一半增幅明显，再到多数句子几乎停滞，说明数字约束很快饱和。

类型上提示词几乎只产填充词，最高强度在 gpt-4o-mini 也只有 2.96 每 1000 词的重复，而注入在最高档达到 47.06 每 1000 词，且提示词完全没有多词自我修复。位置上提示词把 60% 以上填充词放在轮次首词，模型在句首交差后其余部分保持流利。注入的句首占比只有 11.1% 到 15.6%，随强度先升后降，因为句首槽最多触发 1 次，而中部边界随强度继续增加。限制是注入按词边界选择，偶尔会切开动词与代词这类紧密句法单位，也不能生成复杂多词修复。

离散指数 × 泊松基线： 离散指数指每轮次不流利计数的方差与均值之比，泊松基线指独立随机放置时该比值为 1.0 的参照，二者搭配的意义是低于 1.0 说明各轮次分布过分均匀，高于 1.0 说明存在符合人类口语的成簇现象，从而用量化方式评价提示词输出 uniformity 是否自然。

打断与应答的设定值能否单调转化为实际行为

轮次行为比较要回答的问题是：调高打断或应答倾向时，机会转化率和每轮次率是否单调上升，τ-Voice 的实际画像是什么。公平条件是同一被测智能体、同一机会定义，指标方向是转化率和每轮次率越高表示行为越频繁，但过高会损害评测保真度。下表整理规则侧与 τ-Voice 侧的关键数字。 表前说明到此结束，下面给出整理表。

表后解释从此开始。

规则侧随参数单调上升，打断从每轮次 0.235 升到 0.538，应答从 0.545 升到 0.844，每个设置与基线的配对符号秩检验都显著，未校正 p 小于千分之一。τ-Voice 呈现一侧过强一侧缺失：平均每 3 轮就有约两轮被打断，而应答在 1277 次查询中只成功 13 次，机会转化率仅约 1.02%，平均每段通话只有 0.65 次应答。代价是 τ-Voice 即使应答几乎不发生，仍要为每次 2.0 秒轮询支付接口开销。

限制是参数到实际行为的映射非线性，因为耐心和节奏阈值与被测智能体的语音节奏相互作用，且打断会截断轮次使机会总数收缩，最高打断档机会数降到 194 就是例证。

离散程度与消融能否排除提示词冲突的解释

这一节展开两类特有细节。第一类是轮次间离散程度。离散指数首次出现在这里，它指每轮次不流利计数的方差与均值之比。泊松基线首次出现在这里，它指独立随机放置时期望值为 1.0 的参照。人类口语因难题集中而高于 1.0。

提示词各条件为 0.6 到 1.0，表现为过分均匀，注入为 1.15 到 1.29，表现为自然的过度离散。下表整理离散指数区间。 表前说明到此结束，下面给出整理表。

表后解释从此开始。

提示词的均匀性意味着它把不流利平均摊到每轮，而不是在困难轮次成簇，这是不自然的第二层证据。注入因随机种子和句子长度差异自然形成簇。第二类是 τ-Voice 提示词冲突消融。作者同时跑原文含简洁要求版和去掉该行版，两版比值在 3 个模型上为 1.22、0.94、0.94，说明产出低主要是指令本身弱，而非冲突行抵消所致。未胜出项是 gpt-5 的句首占比明显低于其他模型，Gemini 的重复率明显更高，说明正确行为可能通过针对性数据微调学到，但当前通用模型还不行。

参数变化是否只改变次数还是改变了打断位置

另一类特有细节是打断在轮次内的位置随参数漂移。比较问题是：调高倾向是简单乘以次数，还是改变了首次可打断点的时间。条件是同一被测智能体，其中位不间断语音长达 7.9 秒，因此低档需要等更久。在打断 0.3 时只有 13.9% 的打断落在首个可用中途停顿，多数落在第三或第 4 个停顿；在打断 1.0 时 56.1% 直接抢首个中途停顿。

这说明参数改变了打断相对轮次起点的位置，而不仅是输出倍增。下表整理位置与统计检验信息。 表前说明到此结束，下面给出整理表。

表后解释从此开始。

主要收益是单调可控且位置可解释，代价是校准依赖特定智能体的停顿分布，换到语速明显更快或更慢的智能体不能直接迁移。反例是机会分母收缩：最高打断档因提前截断使后续停顿消失，机会数下降。论文明确单调性是观察到的而非相邻档两两检验的结论，且实验 1 次只开一种行为，双行为同时开启时的相互抢占还没有建模。

这些结论在什么边界之外不再成立

论文用一节专门说明限制。第一，轮次实验是单变量评测，打断和应答 1 次只开一个，因为打断优先会抢占应答机会，双开时的实际产出率还需要建模。第二，耐心和节奏阈值是按特定商用智能体的语音分布校准的，对话节奏不同的智能体需要重新校准。第三，注入按词边界选择，可能切开紧密句法单位，也不能生成复杂多词自我修复。第四，电话传输抖动和处理延迟使 200 毫秒和 500 毫秒阈值明显高于人类 110 到 130 毫秒的轮次间隔，这是级联管线的实时约束。

第五，只在 3 个模型、特定级联结构、固定被测智能体和特定提示技术下验证，换实时多模态模型或完全不同条件时效应可能不成立。容易产生的误解是把规则胜出理解为规则更像人，原文只说规则可控、多样、分布更合理，且是非线性映射，仍是不完整方案，长期需要用目标口语数据训练专门模型。

复现第一步要准备什么以及成本在哪里

复现要分三件事：代码是否公开、权重能否下载、系统能否运行。本文证据中没有发现来源绑定且完成验证的资源，因此不能声称代码模型数据已公开。第一步是按原文重建可审计的测量口径，而不是先调参数：固定 299 个配对位置的冻结评测集用于不流利，定义 200 毫秒中途停顿机会并排除轮次结束静音和本机发声，用于轮次行为，同时记录机会转化率和每轮次率。关键超参数要保留：不流利每词最大概率 0.2、填充词 0.5、重复 0.3，打断需对方词数 12 以上，应答用预合成库存。

信息条件是黑盒电话对接，只能用音频交换。成本上规则侧省掉轮询语言模型的延迟和接口费用，τ-Voice 侧 20 段通话就有 1277 次查询开销。还需要补的验证包括双行为同时开启、不同语速智能体上的重校准、句法感知的插入，以及实时多模态模型下的对照。

什么时候值得尝试规则方案还缺哪项验证

什么时候值得尝试：如果评测需要在电话线路上反复回归，且需要报告模拟用户实际打断了几次、应答了几次、不流利分布在哪里，规则注入和阈值控制提供了单调可调、位置可解释、重播可复现的起点，尤其适合把实现象从配置值转向实际值。复现第一步是先实现机会计数和按 1000 词计数，再接入倾向参数。还需要补的验证是双行为并发时的抢占模型、跨智能体节奏的自适应阈值、句法感知插入和复杂修复，以及用目标口语数据训练专门模型的长期路线。

论文的直接结论是通用语言模型仅靠提示词不足以实现细粒度自然度控制，规则方案在所选条件下恢复了可控性和多样性并消除了额外模型调用，但映射非线性且依赖语音节奏，因此评测框架应审计并报告实际行为而非只公布配置。任何关于延迟改善或误判率下降的承诺都超出本文测量范围，需要另行测量。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-11 语音/音乐/音频论文速递