说话方式不变任务信息也能更像队友：口语人机组队实验解读

📄 说话方式不变任务信息也能更像队友：口语人机组队实验解读

英文题目：A study on human-agent teaming through spoken interaction: the impact of human individual traits and agent characteristics

标签：#语音交互 | #用户研究 | #数据集 | #语音

评分：6.5/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Lara Gauder：机构信息未在 arXiv HTML 中可靠披露
• Martin Bernardo Meza：机构信息未在 arXiv HTML 中可靠披露
• Javier Krick：机构信息未在 arXiv HTML 中可靠披露
• Alejandro Masin：机构信息未在 arXiv HTML 中可靠披露
• Luciana Benotti：机构信息未在 arXiv HTML 中可靠披露
• Marcos Luis Pietto：机构信息未在 arXiv HTML 中可靠披露
• Luciana Ferrer：organization=Instituto de Investigación en Ciencias de la Computación, UBA-CONICET, addressline=Pabellón Cero+Infinito, Ciudad Universitaria, city=Buenos Aires, postcode=C1428EGA, country=Argentina；organization=Departamento de Computación, Facultad de Ciencias Exactas y Naturales, Universidad de Buenos Aires, addressline=Pabellón Cero+Infinito, Ciudad Universitaria, city=Buenos Aires, postcode=C1428EGA, country=Argentina；organization=Universidad Nacional de Córdoba, addressline=Pabellón Argentina, Av. Haya de la Torre s/n, Ciudad Universitaria, city=Córdoba, postcode=X5000HUA, country=Argentina；organization=Instituto de Educación, Universidad Nacional de Hurlingham, UNAHUR-CONICET, addressline=Tte. Origone 101, Villa Tesei, city=Hurlingham, postcode=B1688, state=Buenos Aires, country=Argentina

📌 核心摘要

该研究处理口语人-智能体组队中的感知问题，输入是被试与虚拟智能体在找物与放物游戏中的自由口语问答，输出是任务成绩、对智能体队友相似度的评分以及被试语音特征，难点是任务能力、启动语期待与沟通方式容易混在一起。方法先固定任务相关信息完全相同，只改变中性工具型智能体与团队建设型智能体的开场白、共情安慰、指小词等亲近表达与热情语气，再用向导式巫师解析口语后接自动回答树保证回答一致。接着用完整版与单题版队友相似度问卷、大五人格量表、人际取向量表与自动化信任量表收集感知与特质数据，最后用随机森林对韵律特征做按说话人划分的块级二分类检验说话方式是否变化。与只改变任务能力的已有操纵不同，该工作把沟通质量从解题能力中分离出来，实际意义是改几句提示语即可复用。在Teaming-UBA数据集74人主样本中每种智能体各完成4试次后的终测自主智能体队友相似度问卷（1–5分，分数越高越像队友）上，团队建设型智能体相比中性工具型智能体得分更高，其中关系建设差值均值0.557分、利他差值均值0.517分，校正后p均小于0.0001。结论适用于结构化高互依口语指认任务，向更开放协作的泛化尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://github.com/habla-liaa/Teaming-UBA — 链接不可用（HTTP 404）

• 第三方资源：https://ri.conicet.gov.ar/handle/11336/296934 — 链接不可用（HTTP 404）

• 第三方资源：https://github.com/snakers4/silero-vad — 链接可访问（HTTP 200）

• 第三方资源：https://learn.microsoft.com/en-us/azure/ai-services/speech-service/language-support?tabs=tts — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

这篇论文到底要解决什么组队问题

论文研究的是人机组队中一个很具体的感知问题：当智能体的解题能力和可靠性完全不变，只改变它说话的方式，人是否会更把它当队友而不是工具。作者强调，人机组队要求双方互相依赖完成共同目标，而人是否把智能体当合法队友，既影响信任和情感，也可能影响协作行为。以往 76 项研究的综述发现，口语是研究最少的沟通通道，只有 2 项以口语为唯一通道，而且多数研究默认实验操作一定会被被试按预期感知，只测量成绩、负荷和信任，不单独检验感知本身。

举例来说，同样成绩的智能体可能被信任程度完全不同，口头宣布组队有时有效有时无效。因此论文把设计上的改动和感知上的变化分开报告，专门检验极简的社交性说话策略是否足以提升队友感。读者需要记住的输入是被试的口语提问和问卷评分，目标是分离沟通质量与解题能力，输出是感知评分、游戏成绩和语音特征的变化，适用条件是高度互相依赖的口语协作任务。

已有文献在自主性可靠性和沟通上说了什么

论文回顾了 4 个相关维度。自主性指智能体独立决策的程度，共享决策时更高的自主性常带来更好成绩和偏好，但任务简单才有效且可能增加负荷，对熟练操作者过高自主性反而有害，若不提供协调手段还会损害联合成绩。可靠性指任务执行的精确度，但其对信任的影响取决于人的信念而非真实精度，例如同样可靠的智能体在好名声或此前合作顺利时被更信任，感知到的能力也预测人是否愿意调整流程接纳它。

任务互相依赖指双方为共同目标互相需要，口头告知共同评价有时提升相似感和合作感，但概念重复实验并未复现，真正由任务设计强制的互相依赖研究很少。沟通行为名义上是中介变量，实际都被当作实验者操控，研究发现主动沟通、合乎任务的情绪表达和温暖感会影响是否被当平等队友，关系建设是预测队友感知和投入的最强因子。

本文的切入点是沟通是唯一不改动解题能力也能改动的变量，而口语还携带表示亲和与信任的声学韵律线索，此前已有工作发现人对虚拟助手的不信任会体现在语音中，但尚无工作研究智能体沟通风格是否反过来改变人的语音。

四个研究目标和四个假设是什么关系

论文提出一个总目标和一个次目标：检验与技术能力和可靠性无关的简单行为改动能否改善队友感知、任务成绩和口语互动；考察个体特质是否与队友感知和成绩有关。细化为 4 个目标：目标一按智能体类型比较游戏成绩；目标二按智能体类型比较队友感；目标三按个体特质比较队友感，个体特质操作化为大 5 人格、信任自动化系统量表和人际取向量表。

目标四按智能体类型比较语音特征。对应 4 个假设：团队建设型智能体带来更好成绩；团队建设型被评为更高队友感；高信任倾向、高亲和需求、高外向或高开放的人给分更高；两种智能体会引发不同韵律模式。

假设一和假设二用单样本和双样本 t 检验，假设三用线性回归，假设四用可解释机器学习分类器。理解这组对应很重要，后文所有图表都是按这 4 个假设组织的，成绩不显著不代表感知也不显著，特质只解释总体偏高还是偏低，不直接解释两种智能体的差值。

What-Where 游戏让人和智能体如何互相需要

核心方法是自创的 What-Where 口语协作游戏，改编自研究人与人互动的 Objects Game。被试当跟随者，智能体当描述者，共 12 轮，每轮 2 个阶段。第一阶段目标识别：被试看到 30 个同类物体，例如狗、桌子、伞、车，靠问智能体找出唯一目标，1 次只能问一个区分维度，问得太笼统智能体只回答类别，迫使多轮提问，被试可点击高亮候选，选错会换位置重来，选对才能进入第二阶段。

第二阶段目标定位：棋盘出现 5 个不同类物体，被试要把目标拖到智能体才知道的正确位置，只能问相对位置，没有厘米单位和网格，必须多问几次，提交后显示正确位置的半透明影子和按重叠率给出的差、一般、好、极好反馈。2 阶段都设计成单方无法完成：识别阶段只有智能体知道目标，定位阶段只有智能体知道位置，被试掌握操作和提问权。这种强互相依赖保证了口语是必需的，也为后文比较成绩和语音提供了相同任务底座。

训练 4 轮加每种智能体各 4 轮，难度固定为简单、难、中、难，两种棋盘组镜像对称以平衡难度。

两种智能体只差在哪里

被试依次与中性工具型智能体和团队建设型智能体各玩 4 轮，顺序平衡。训练用的一直是中性行为，不纳入分析。两种实验智能体在任务信息量和质量上按设计完全相同，差异只有两处。第一是启动前的文字引导，中性呈现能力 4 星、沟通合作 3 星加只谈任务的假用户评价，团队建设型呈现能力同样 4 星但沟通合作 5 星加谈投入、亲切和默契的评价，目的是把被试带入预期。

第二是实际说话行为，中性只等提问并直接给信息，团队建设型每轮第一阶段主动开场，例如问候并表示很高兴一起玩、随时可以帮忙，偶尔用西班牙语小称显得亲近，在肯定回答时更热情，例如把鞋在狗右边说成没错鞋就在小狗右边，每轮结束按成绩庆祝或安慰，例如可惜这次没成但我们更了解彼此了下次再来。名字 Iris 和 Ambar 轮换对应两种类型，界面右上角名字和横条颜色随类型变化。

中性智能体 × 团队建设型智能体： 中性智能体只给完成任务必需的位置和特征信息，语气直接等待提问；团队建设型智能体给出完全相同的任务信息，但额外加问候、鼓励、共情和更热情的措辞。两者分工是把解题能力固定住，只让沟通风格变化，组合后才能检验感知差异是否来自说话方式而非能力。

对语音音乐音频方向的新生来说，关键是这种操控几乎零成本：不用改推理模型，只改模板和开场结束语，就能做对照实验。

口语输入如何经过人工听懂再变成固定风格回答

为避免口语理解错误污染对照，智能体前半段用人工向导模拟，后半段全自动。被试戴耳机用自己电脑远程参与，语音经 PeerJS 连到实验者端并存成波形文件。实验者听后只点按钮做语义编码，例如听到犹豫加问狗是否在桌子附近，就点狗、附近、桌子 3 个按钮，不决定回答内容，也看不到棋盘、目标位置和成绩反馈，因此无法偏向成绩。

按钮序列送入后端决策树生成回答文本，再用微软语音合成的阿根廷西班牙语女声 ElenaNeural 提前合成常见回答，不常见回答实时合成，延迟时播放请稍等我正在思考。棋盘按钮按帧式对话智能体设计，覆盖 2 阶段所有合法提问加重复、问候、跑题等特殊按钮。这种分工的代价是被试直到实验结束才被告知有人参与听懂环节，优点是两种智能体收到的语义输入处理完全一致，输出的任务命题相同，只有包装语言不同，感知差异才能归因于风格。

目标识别 × 目标定位： 目标识别是第一阶段，在 30 个同类物体中问出唯一目标并提交；目标定位是第二阶段，把已选目标拖到棋盘正确位置。识别考验提问是否覆盖区分属性，定位考验相对位置描述的精度，两段串起来才构成必须双方互补信息的完整协作。

向导模拟 × 自动回答模块： 向导模拟指由实验人员实时把被试的口语转成按钮语义帧，只做听懂不做决策；自动回答模块根据语义帧按决策树生成回答并控制两种风格的措辞。前者保证口语理解稳定，后者保证任务信息一致，组合后既有自然口语输入又有可控的风格对照。

教学例子：可以把 1 次定位提问想象成被试说目标在中间吗，向导只抽出目标加中间，决策树查真值后中性说不在中间偏右，团队型说完全正确它在中间偏右一点加油，两句真值相同。

本研究训练了什么又没有训练什么

本研究没有为完成游戏训练新的对话或语音识别模型，游戏回答靠规则决策树和预合成语音，听懂靠人工点击，因此不存在游戏策略模型的梯度更新、参数冻结或重置问题。唯一的机器学习训练出现在最后的语音分析环节：用随机森林 500 棵树、不限制深度、最小分裂样本 2，按说话人划分 7 折交叉验证并按智能体顺序和性别分层，重复 10 个随机种子评估，用块级曲线下面积评价能否从韵律特征预测智能体类型，融合方式是每块 4 轮的试次分数平均。

另有一套学习式韵律表征直接借用他人已训练好的模型做特征抽取，本文不再训练该自编码器和蒸馏学生网络，只调用它对每段语音输出 16 维向量。换句话说，训练成本只在验证性分类器层面，部署时不需要重新训练，推理开销主要是语音活动检测、基频响度抽取和随机森林打分。原文未报告这部分耗时和硬件预算，也未比较不同分类器，因此不能从随机森林高于随机就推出任何韵律分类器都行。

被试问卷语音和数据筛选如何保证可比

被试招募要求 18 到 65 岁、布宜诺斯艾利斯口音、色觉和视力正常。主实验 99 人完成，分析剔除断网重连、性别无法平衡、不投入任务者后剩 74 人，46 女 28 男，男女内中性先和团队先各半，平均 32.2 岁。另有 18 人做中性引导对照，剔除后剩 15 人，用于检验启动文字是否起作用。问卷分 2 天：第一天异步做人口学、大 5 人格 44 题、亲和动机 25 题、信任自动化 12 题。

第二天同步先读平衡文本和看图说话 30 秒以上作为中性参考语音，再练 4 轮，然后与两种智能体各玩 4 轮，每轮后做 4 题简版队友感问卷，每种智能体结束做 53 题完整版，含自主、利他、合作、关系建设、沟通、心理模型同步和能力 7 个子量表，每题 1 到 5 分越高越像队友。游戏成绩用重叠率和中心欧氏距离双指标，因为重叠为零时无法区分远近。语音只用第二阶段，因其更长更多变，连续录音先去静音和耳机漏音，再用 Silero 语音活动检测切出停顿不超 0.5 秒的间隔并人工核查。

投入度筛选用距离差且话轮少同时落在极端四分位的试次标为离群，累计多轮离群者剔除。

难度和练习效应是否先成立

在比较智能体之前，先要确认难度操控和练习效应成立，否则后文差异无法解释。下图展示按组块和试次划分的成绩分布，上半为重叠率越高越好，下半为距离越低越好，箱体为中位和四分位，须线到 10% 和 90% 分位。

看图路径： 1. 先看上下面板纵轴方向：重叠率越高越好，距离越低越好；2. 对比同一试次在组块 1 和组块 2 的中线位置变化；3. 看绿色简单试次与其他颜色试次的箱体高低

论文图 3。原论文 Figure 3:：“Distribution of performance scores across trial number, separated by block order (block 1 vs.”。

从像素可见，绿色简单试次在两个组块都明显高于黄色中等和橙色困难试次，第二组块整体又高于第一组块，符合先难后熟的预期。整理后的数字对比更直观，比较问题是相同难度序列下组块顺序是否带来提升，公平条件是棋盘镜像难度相同，指标方向为重叠率越高越好。

简单轮确实更容易，第二组块简单轮从 Good 升到 Excellent 说明有练习效应，但四分位距很大说明个体差异极大，中位数稳健但不能代表每人轨迹。该结论只在结构化参照游戏内成立，推广到开放协作还需验证。

手工韵律特征 × 学习式韵律表征： 手工韵律特征指基频和响度的均值标准差加话轮数和时长，可解释但粒度粗；学习式韵律表征指用自编码器教师模型从基频能量学到的 16 维向量再蒸馏到频谱学生模型，对噪声更稳但难解释。两者对照使用，才能同时检验可解释线索是否足够以及更抽象的韵律分布是否存在条件差异。

换了说话风格游戏成绩会变好吗

目标一检验团队建设型是否让人问更多从而放得更准。下图按试次和智能体类型展示距离分数和被试话轮数，每个点 1 人，顶部标注为被试内差值的单样本 t 检验经试次 Bonferroni 校正。

看图路径： 1. 对比每个试次下两种颜色箱体的中线和分布重叠程度；2. 看顶部标注是否出现显著性标记还是均为不显著；3. 同时对照上面板距离分数和下面板话轮数的趋势是否一致

论文图 4。原论文 Figure 4:：“Distribution of distance score (top) and number of subject turns (bottom) per trial and agent condition (N agent: neutral tool-like; T agent: team-building).”。

像素显示两种颜色箱体几乎重合，4 个试次顶部均为不显著，无论距离还是话轮数都没有可测差异，只按先中性或先团队分组重复分析结论相同。也就是说，更热情的说话方式没有让被试显著多提问，也就没有带来更精确的定位。这是一个明确的负结果，必须与后文感知显著区分开：感知好不等于干得好。限制是每种智能体只有 4 轮，样本 74 人，检验力只够发现中等以上效应，更长互动或更难任务下是否会出现成绩差异尚未评测。原文把该结果与前人发现一致，即把智能体框定为队友常改善情感和感知，但不自动转化为成绩，除非加结构化团队建设干预。

哪几个队友感维度真正被说话方式抬高

目标二用完整版问卷比较 7 个子量表和均值，统计是对被试内差值做单样本 t 检验，7 个子量表做 Bonferroni 校正，均值不校正。下图展示两种智能体的最终评分分布，分数 1 到 5 越高越像队友。

看图路径： 1. 逐个子维度对比蓝色团队型与黄色中性型的箱体位置；2. 注意关系建设和利他两个维度差距最大；3. 看能力和沟通维度虽差距小但仍达到显著标记

论文图 5。原论文 Figure 5:：“Distribution of final Autonomous Agent Teammate-Likeness (AATL) questionnaire scores (scores range from 1 to 5, higher is more teammate-like) across all seven subscales and their…”。

可见蓝色团队型在所有维度中线都略高，但显著集中在五处。整理数字表比较问题是任务信息相同时风格是否改变感知，公平条件是两者解题信息量质相同，指标方向为分数越高越像队友。

表后解释：最大效应在关系建设和利他，符合其社交标记最直接；最值得注意的是能力也被显著抬高，尽管两者能力按设计相同，说明温暖线索会连带让人觉得它更能干。自主和合作无显著差异，说明被试并未觉得它更独立或更互相依赖。限制是差值标准差都很大，个体间分歧明显，且能力效应的显著性较弱，需结合顺序分析谨慎解读。

自主智能体队友感 × 能力感知： 自主智能体队友感是人把智能体看作队友而非工具的总体判断，下含利他、关系建设、沟通等七个子维度；能力感知是其中关于能否准确高效解题的子维度。两者搭配的意义在于，即使任务信息完全相同，社交性措辞也可能连带抬高能力评分，说明温暖感和能力感在实际评价中并不独立。

人的特质如何影响给分高低

目标三用 3 套特质量表预测队友感的均值和差值，预测变量和结果都先标准化，报告标准化回归系数和样本内拟合优度。下图上排为拟合优度，下排为系数热力图，星号为 Bonferroni 校正后显著。

看图路径： 1. 先看顶部两排柱状的样本内拟合优度大致范围；2. 再看底部热力图中标星的三个格子所在行列；3. 注意自动化信任整行偏暖而神经质整行偏冷的趋势

论文图 8。原论文 Figure 8:：“OLS regression results for predicting final AATL questionnaire scores, for the difference across agent conditions Δ s_ik (left) and the mean across agent conditions s_ik (right),…”。

像素可见拟合优度在 0.089 到 0.221 之间，属于样本内拟合不是跨样本预测，不能当部署精度读。唯一显著的差值关联是亲和动机中社会比较越强，沟通维度的团队减中性差越大；均值层面自动化信任越高总体给分越高，神经质越高总体给分越低，外向开放和亲和需求均无显著关联。原文强调散点很分散，只是弱趋势。这部分支持假设三的一小部分：信任倾向正向、神经质负向符合情绪稳定方向，但外向曾被报道与信任机器有关，此处未复现，且神经质的负向此前缺乏组队特异证据。限制是回归为相关非因果，样本 74 人做 10 个预测变量，检验力有限，显著项少可能与多重校正严格有关。

顺序启动文字和简版问卷会改变结论吗

论文做了 3 组对照来划定结论边界。第一是顺序效应，把团队减中性差值按先中性和先团队分组分别检验，再用双样本 t 检验比较两组差值，并只用第一组块做组间比较。结果是关系建设、利他和均值在两种顺序下都显著，其余 4 个维度只在先中性组显著，但跨顺序的差值比较无一显著，合作维度原始 p 为 0.0106 校正后 0.0740 也不显著，第一组块组间比较同样无显著但团队型数值上仍更高。

作者解释为对比效应：先见中性再见热情会让任务功能维度的优势更显眼，先见热情则缺乏中性基线。第二是启动文字对照，74 人主动引导对 15 人中性引导比较差值，双样本 t 检验校正后全不显著，且中性引导组在利他和关系建设上差值反而更大，说明感知优势更可能来自实际行为而非启动文字，但对照组仅 15 人检验力弱，只能说无证据表明启动起作用，不能证明启动完全无效。

第三是简版问卷，每轮后单题每维度追踪显示关系建设 4 轮全显著、均值后两轮显著，其余单轮都不显著，与完整版用单题重算的模式一致，说明简版因每维度只有一题而稳健性下降。综合看，社交维度的优势最稳健，任务功能维度的优势依赖直接对比。

这项研究的局限在哪里

除样本和检验力外，还有三点局限。第一是任务泛化，游戏是高度结构化参照任务，目标和位置都封闭，结论能否推广到开放式复杂协作未知。第二是语音分析的粒度，手工基频响度加话轮特征的 3 类归一化都未显著高于随机，只有 16 维学习式表征在原始和按说话人归一化下显著高于随机，按试次位置再归一化反而略降，作者认为归一化统计量估计不稳。学习式特征虽有效但不可解释，具体是语速、语调还是能量分布被改变尚不清楚，留作未来工作。

第三是数据切分代价，按顺序拆组后每组 37 人，许多有趣趋势达不到显著，原文明确说受时间和经费限制无法扩大样本。对音频新生而言，还要注意录音为远程自备设备加人工核查，耳机漏音和静音已剔除，但混响和麦克风差异仍在，说话人归一化部分缓解了该问题，跨设备泛化仍待验证。

要复现第一步该做什么

复现分行为实验和语音分类两条线。行为线先搭 What-Where 2 阶段网页，含 30 选 1 识别加 5 选位置定位、难度按目标邻近和对齐预设、棋盘镜像两套、顺序平衡，先跑 4 轮中性训练。智能体文本用决策树保证任务命题一致，团队型只加开场、热情肯定、小称和结束语，语音用同音色合成以固定音色变量，听懂可用人工或现成识别但必须保证两条件理解错误率一致。

问卷用原文 53 题 7 维度完整版加每轮 4 题简版，个体特质用阿根廷版大五、亲和 25 题和信任自动化 12 题，分析用被试内差值 t 检验加 Bonferroni 校正。语音线先只取第二阶段，用语音活动检测切间隔，剔除非被试语音，对每间隔抽基频响度均值标准差并按试次聚合成 8 维加话轮数时长成 10 维，同时调用同类韵律自编码器抽 16 维，块级平均后做说话人不重叠的随机森林交叉验证并自助法给置信区间。

作者资源方面，论文称数据和分析代码公开，但本次核验中论文提到的 2 个数据集与代码链接当前不可达，只有语音活动检测和语音合成文档链接可达，因此复现应先按论文附录重建协议和问卷，不要默认能直接下载到完整数据和代码。

什么时候值得尝试还缺哪项验证

值得尝试的场景是已有口语助手但不便改动核心解题模型，只想低成本改善人感知的场景，例如语音导航、口语答疑或协作标注，加上主动问候、热情肯定和失败安慰可能提升关系建设和利他感知，甚至连带抬高能力评价，但前提是任务本身高度互相依赖且有多轮口语。不能期待的是成绩自动提升，本文和前人一致显示感知好不等于放得更准，若要提成绩需另加结构化协作设计。

个体层面，对自动化信任高、情绪更稳定的人总体更宽容，部署时可做分群评估而非一刀切。语音层面，若用人声做满意度或信任监测，应优先用学习式韵律表征而非简单音高响度均值，且必须做说话人归一化和跨说话人评估。还缺的验证包括更大样本下的顺序效应确证、开放任务泛化、学习式特征的可解释定位，以及延迟成本和误判率测量，原文未测延迟和成本，不能承诺更快更省。

容易误解的是把启动文字当主因，实际上中性引导对照显示行为才是更可能的来源；把能力评分高当能力真强，实际上两智能体任务信息相同，那只是温暖感的外溢。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-11 语音/音乐/音频论文速递