双语者向真人与语音助手靠拢吗：元音时长与嗓音起始时间的影子实验证据

英文题目：Bilingual Speaker Phonetic Alignment to Voice Assistants

会议身份：conference:interspeech:2026:conference-paper-id:allen26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#人类参与评测 #多语言 #语音 #语音属性识别

评分：5.6/10 | 创新 1.2/2 | 技术严谨 1.1/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Alyssa Allen：机构信息未能从会议 PDF 纯文本可靠映射
• Kathryn Campbell-Kibler：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本研究输入为墨西哥西班牙语主导的西英双语者基线朗读与人类/语音助手刺激语音，输出为是否发生语音趋同的判断，难点在于自动语音识别偏向标准美音而在线录音噪声大且英西语音起始时间基线差异明显。方法链分三步：先以西班牙语与英语双语块采集基线朗读再分人类与机器条件采集跟读样本，其跟读样本进入蒙特利尔强制对齐器与AutoVOT自动切分元音时长与嗓音起始时间并经人工校对，其校对后声学参数再进入线性组合与距离差检验判断跟读是否被刺激预测且更接近刺激。与仅做单语或单特征的人机趋同工作不同，该文在被试内同时比较双语与人机维度并引入性别、方言区与可懂度评价作调节，具有检验类人趋同社会敏感性的实际意义。在词汇跟读任务条件下，嗓音起始时间刺激主效应的指标t值为2.05，高于刺激、条件与语言三阶交互的指标t值-1.34。结论限于50名墨西哥成年女性声刺激、在线录音与单词跟读情境，外推到对话、男性合成声或实验室音质尚未验证。原文未披露训练、推理或部署成本，声明未使用生成式AI参与构思与写作。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

为什么要在双语者身上检验对语音助手的语音靠拢？

这篇论文的输入是人与语音助手对话中一个可观测的行为问题：当自动语音识别更偏向标准美国英语时，非标准英语或非母语英语使用者会如何对待机器声音。目标不是评价助手好坏，而是把语音趋同当作社会接受度的行为探针。白话来说，语音趋同就是说话人不知不觉把自己的发音向刚听到的对方靠拢，英文叫 phonetic alignment 或 convergence。作者关心的矛盾是，一方面人们会用人称代词称呼助手、赋予其性格和社交角色，另一方面识别错误主要发生在用户说给设备听的方向。

如果双语者对机器语音的趋同模式与对真人语音一致，就报告为把机器当作类人对话者对待的证据；如果机器条件趋同更弱，则支持仍区分人与机器。需要保留的关键信息是被试为居住在墨西哥的西班牙语主导的西班牙语母语英语二语双语者，任务覆盖西班牙语和英语两种语言，每种语言都比较真人与机器两种刺激音，声学指标固定为元音时长和清塞音的嗓音起始时间。

嗓音起始时间白话是爆破音松开到声带开始振动的时间差，英文为 voice onset time，缩写 VOT，送气越强数值越长。后续所有结论都依赖这个双语言乘以双说话人身份的设计，不能只看单一语言或单一指标就推广。

已有路线如何把人化感知与语音模仿连起来？

相关工作沿两条线展开。第一条是语音助手的人化。计算机作为社会行动者范式认为人们会把年龄、性别、性格等人类属性赋予计算机，英文为 Computers Are Social Actors，缩写 CASA，拟人化则更广义地指向把动机情绪赋予非人类实体。论文引用了德国学生把语音助手看作物与人的混合体、合成音越机械越不友好等证据，说明期待被理解本身就会引发类人对话期待。第二条是语音趋同。

人类在语体、句法、语音层面都会向对话者靠拢，影子任务中即使只是听录音跟读也会出现趋同，但幅度受方言、性别、年龄和对 interlocutor 的态度调节。双语趋同还受语言主导性和最近使用语言影响，例如巴西葡英双语者的 VOT 会向 interlocutor 漂移但偏向主导语言。对合成语音的趋同已有英语单语和德语句子影子的证据，显示会趋同但幅度可能小于真人条件。本研究的特有位置是把双语的跨语言限制与人机身份操纵放在同一实验里，且被试是识别错误风险更高的西班牙语主导群体。

语音趋同 × 社会行动者范式： 语音趋同负责度量发音向对话者靠拢的可观测变化，社会行动者范式负责解释为何人们会把无生命系统当作社会对话者；二者搭配的理由是只有把趋同幅度当作接受程度的行为指标，才能检验合成语音是否被当作类人 interlocutor，组合后新增的作用是把主观人化判断转化为元音时长和嗓音起始时间上可检验的斜率与距离变化。

理解这座桥才能读懂全文逻辑：不是因为趋同有趣才测趋同，而是因为趋同幅度对社会因素敏感，才可以用它反推被试是否把机器当作社会行动者。

研究问题究竟在问什么，能回答到哪一步？

论文提出的研究问题是：在墨西哥的西班牙语母语英语二语双语者中，对真人语音的趋同是否大于对合成语音的趋同，以及英语条件与西班牙语条件的趋同模式是否存在质的差异。这是一个关于语言与说话人身份交互的问题，不是关于识别词错误率的问题。作者的预测写得很明确：两类语音都会引发趋同，因为存在拟人化；但真人条件的趋同幅度可能更大，与之前德语人机影子研究一致。

若幅度差异只出现在母语西班牙语而在二语英语中消失，则说明二语情境下人机区分被语言难度或音位感知掩盖。需要提醒初学者的是，词汇影子任务刻意压低了对话复杂度和社交互动，优点是能分离刺激音身份的影响，代价是不能直接推广到多轮对话中的礼貌、轮换和适应策略。

调查问卷中关于被理解感和理解助手感的评分、性别和方言区只是作为调节变量进入模型，用来检验社会信息是否以与真人对话同样的方式调节人机趋同，而不是作为独立的因变量。

词语影子任务的全景：一个人走完要经历什么？

方法全景可以沿一个被试的 1 次试验走完。被试在线上通过 PsychoPy 与 Pavlovia 完成实验，先做基线朗读，再做影子跟读，语言块顺序随机。举例说明，假如英语块先开始，被试先在屏幕上 1 次看到一个词如 seat，红圈出现时读出该词，此时没有任何提示音频，这就是基线。随后进入影子阶段，指导语明确告知接下来是成人女性真人还是女性合成语音，被试听到说话人说出 seat，看到红圈后再说出 seat。西班牙语块流程相同但指导语翻译为西班牙语。

每个语言块内真人与机器条件的顺序随机，词在块内随机。刺激音说话人全部为成年女性听感：英语真人为美国单语者，西班牙语真人为非沿海墨西哥西英双语者，机器均为 Siri 的对应语言设置。声学处理先用 Montreal Forced Aligner 对齐词与音段，再用 AutoVOT 计算 VOT，第一作者逐条人工核对，基线或影子任一不可用则成对删除。分析对两个指标各做两种统计：线性组合分析看影子值能否被刺激值预测，距离差分析看影子是否比基线更接近刺激。

本段先建立任务流的整体图像，再用下图核对屏幕与音频的对应关系，该图是理解基线与影子区别的唯一视觉依据。

看图路径： 1. 先沿左侧纵向两行看基线与影子阶段的顺序：先无音频朗读，再听刺激音后跟读；2. 再看指令屏中红色标注的说话人身份描述，区分成人女性与女性合成语音；3. 最后核对提示音频、提示屏与录音屏三列的对应关系，确认每次只说一个词

论文图 2。原论文 Figure 2：“Visualization of the lexical shadowing task flow for English. Information in brackets represents audio content.”。

从像素可见，图按行分为基线一行与影子两行，按列分为指导屏、提示音频、提示屏与录音屏。基线行提示音频明确标注无音频，提示屏显示词形，录音屏显示词形加红色圆圈。影子两行区别仅在指导语中红色高亮的身份描述，一行为成人女性，一行为女性合成语音如 Siri 或 Alexa，而提示音频均为说话人说出该词，录音屏只有红圈无词形。这种设计把词汇内容保持恒定，只让说话人身份成为可比变量，也解释了为何后续模型能把刺激声学值作为预测变量。

刺激词与声学指标是如何构造的？

组件层面要讲清词表与指标定义。英语选 9 个单音节词，覆盖 9 个单元音，例子包括 cook、cost、cup、fat、hot、test、tooth、seat、sick，特点是低词频但高熟悉度，词频用 Brown Verbal Frequency 衡量，均值很低，熟悉度均值较高，目的是减少因不认识词带来的差异。目标元音就是词中唯一的元音，VOT 只分析词首清塞音如 cook、cost、cup、test、tooth 中的 k 与 t。西班牙语选 9 个词如 caspa、chisme、croqueta、lactosa、maceta、machismo、mapache、mocoso、sustituta，低频标准用 zipf 分数，高熟悉度用 prevalence 分数，目标元音取重读音节的元音，覆盖 i、e、a、o、u，其中部分元音重复出现以凑足每语言样本量。VOT 分析取重读音节前的清塞音 k、p、t，多数为词中但音节首，有清晰爆破可测。

指标定义上，元音时长为对齐器给出的元音段毫秒数，VOT 为爆破起点到嗓音起始的毫秒数。英语清塞音通常比西班牙语更长，因为词首送气更强，这为后文英语 overshoot 的解释埋下语音学基础。

元音时长 × 嗓音起始时间： 元音时长负责刻画元音段的持续时间，受语言元音系统大小和方言弱化影响，嗓音起始时间负责刻画清塞音从爆破到声带振动的时间间隔，反映送气程度；二者搭配的理由是它们分别覆盖元音与辅音两类不同发音机制，避免单一指标的偶然性，组合后新增的作用是可以同时检验双语者在母语与二语中是否以同样方式向机器语音靠拢。

线性组合分析 × 距离差分析： 线性组合分析负责检验影子产出能否被刺激音的声学值预测，正斜率即趋同证据，距离差分析负责比较基线到刺激的距离减去影子到刺激的距离，正值即靠近；二者搭配的理由是前者看跟随关系是否成立，后者看靠近幅度与方向，组合后新增的作用是能区分本研究中出现的跟随但 overshoot 现象，即线性关系成立而距离差为负的特殊情况。

把这两座桥放在一起的原因是：只有同时理解指标互补性与两种统计的互补性，才能明白为何论文要报告 4 套结果，即元音时长的线性组合与距离差、VOT 的线性组合与距离差，而不是只挑显著的一套。

本研究训练了什么，没有训练什么？

本研究没有训练任何神经网络声学模型或语音助手，也没有微调识别器或合成器，因此不存在优化器、梯度路径、参数冻结与更新、训练轮数或早停等概念。真实的计算过程是既有工具推理加人工校对加统计建模。对齐与测量阶段调用 Montreal Forced Aligner 与 AutoVOT 对已采集的录音做推理式标注，输出元音边界与 VOT 数值，不涉及反向传播。

统计阶段使用线性混合效应模型做显著性检验，固定效应包括刺激声学值、说话人条件、语言、基线值、目标音段以及性别、方言区和可懂度评分等调节变量，随机效应按被试与条目设置最大结构再为收敛而简化，最终只保留被试随机截距。缺项需要明确指出：论文未报告混合模型的随机斜率保留情况细节、未报告声学对齐器的超参数、未报告在线录音的采样率与设备分布，这些缺失不影响对趋同方向的理解，但会影响逐毫秒复现。

若把无训练误解为结果确定，会忽略在线噪声、人工校对主观性与样本删除带来的不确定性。

被试、分组与可懂度条件是否可比？

实验条件部分按可复述的粒度交代。共通过 Prolific 招募 67 人，最终纳入 50 人，17 人因背景噪声、未在提示时间内录音或设备设置错误被第一作者人工剔除。纳入者均为居住在墨西哥的西英双语者，自评西班牙语主导，3 岁前学西班牙语，英语平均 7 岁习得，多数日常与朋友家人主要说西班牙语。性别上男女各半，族群为混血与欧裔墨西哥白人各半，年龄 20 岁到 39 岁，均值 30 岁。方言区 32 人为非沿海，14 人为沿海，4 人未披露，沿海方言常有音节尾 s 弱化并伴随元音拉长，作者称在数据中可听辨。

设备使用上多数每天使用语音助手，助手语言设置半数为西班牙语，近三成中英切换。清洗后元音时长有影子 token 与基线 token 数量为 2 倍关系，VOT 样本明显更少，因为只有含目标塞音的词才能进入 VOT 分析。条件可比性方面，词表在熟悉度上控制为高熟悉，语言块与人机条件顺序随机，指导语明确告知身份，避免被试猜测。

语言主导性 × 刺激音人机条件： 语言主导性负责限定被试的语音库存与感知范畴，本研究固定为西班牙语主导以控制跨语言干扰，刺激音人机条件负责操纵被试听到的是否为真人或语音助手；二者搭配的理由是要在母语与二语两种语言情境下分别比较人机差异，组合后新增的作用是可以判断趋同差异究竟来自语言能力还是来自对机器身份的社会认知。

可懂度评分是理解调节效应的前提，评分采用 1 到 6 分，1 为完全不懂，6 为完全懂，分别询问觉得自己被助手理解的程度与觉得自己理解助手的程度，并分语言提问。下图展示了 4 个方向的堆叠分布，是后文把评分作为调节变量的事实基础。

看图路径： 1. 先看横轴四个评分方向：听懂英语助手、听懂西班牙语助手、英语中被听懂、西班牙语中被听懂；2. 再看纵轴百分比堆叠中深蓝色 6 分段的高度差异，特别是英语中被听懂一柱明显最矮；3. 最后对比同一语言下两个方向的不对称，确认不平衡主要出现在英语被理解侧

论文图 1。原论文 Figure 1：“Intelligibility ratings by participants.”。

从像素可见，四根柱子均为百分比堆叠，深蓝色 6 分段在听懂英语助手一柱最高，在英语中被听懂一柱最低且出现 2 分与 3 分浅色段。西班牙语两柱相对均衡，6 分占比介于中间。原文用数字进一步锚定：西班牙语中被听懂给 6 分者占 46%，英语中被听懂给 6 分者仅 20%，听懂西班牙语助手给 6 分者 48%，听懂英语助手给 6 分者 76%。这种不对称支持论文背景中识别偏向标准美国英语的论述，也解释了为何后文重点检验听懂与被听懂评分对趋同的调节。

主结果测了什么：元音时长是否跟随刺激时长？

结果按问题组织。测的是影子元音时长能否被刺激元音时长预测，以及靠近幅度。比较在语言乘以人机四格内进行，指标方向是线性组合斜率为正即趋同，距离差为正即靠近。关键数字是元音时长线性组合出现刺激时长、条件与语言的三重交互显著，VOT 线性组合中刺激 VOT 主效应显著而不受条件语言调节，VOT 距离差出现条件与语言交互显著。支持的判断是双语者对机器语音也出现类人趋同，但西班牙语中人机斜率差异大于英语。

限制是斜率事后比较本身未达显著，距离差在元音时长上未发现趋同，英语 VOT 距离差为负需另行解释。 比较公平性与指标方向需要先说清：四格共享同一批被试与同一套混合模型结构，基线值与目标音段已作为协变量控制，因此斜率差异可归因于语言与身份操纵而非词表差异。下表整理样本量与核心统计，数据表不能替代结果表，此处第二张为结果表。

表后解释主要收益与代价：收益是 4 套分析共同指向机器语音也被当作可趋同对象，且西班牙语中真人斜率最大、机器斜率最小的排序与德语研究一致。

代价是元音距离差无显著截距，说明靠近幅度证据弱于跟随关系证据，未胜出项必须保留。英语负距离差不是简单的发散，后文用频谱人工核查解释为对抽象音位目标的趋同。 下图为元音时长的散点与拟合线，是判断斜率为正的最直接视觉证据。

看图路径： 1. 先看左右两面板的横轴范围差异：英语刺激时长延伸到 250 毫秒以上，西班牙语集中在 140 毫秒以下；2. 再比较每个面板内深色机器线与浅色真人线的斜率，均为正斜率即趋同；3. 最后观察西班牙语面板中真人线起点与斜率与机器线的细微差异

论文图 3。原论文 Figure 3：“Participant shadowed vowel duration (ms) in relationship to the stimulus vowel duration (ms) for each language (Spanish and English).”。

从像素可见，左英语面板横纵轴均为毫秒，刺激时长约 110 到 260 毫秒，被试时长约 50 到 400 毫秒，深浅两条拟合线均向上倾斜且位置接近。右西班牙语面板刺激时长约 60 到 140 毫秒，被试时长约 30 到 210 毫秒，两条线同样上扬，但浅色真人线在低刺激端起点略低、上升稍陡，深色机器线更平坦。原文报告三重交互 t 值为负 2.00，p 为 0.05，斜率分析显示英语两条件相似，西班牙语真人最大、机器最小，但斜率两两差异未达显著，因此只能报告为模式提示而非确证的人机差异。

反证与调节：英语负距离差与社会因素如何改变结论？

这一节承担失败条件与调节变量的教学任务。首先处理反证：VOT 距离差按定义为基线距离减去影子距离，正为靠近。结果却是英语两条件均为负，西班牙语两条件均为正，且条件与语言交互显著。若只看符号会误判英语在发散。作者的人工核查发现被试在英语基线与影子中对 t 与 k 产生擦化或超送气，这本身会拉长 VOT，基线平均比刺激短 5.28 毫秒，影子平均比刺激长 7.70 毫秒，即平均跨过了刺激值。

这种 overshoot 被解释为向英语音位应有的长 VOT 范畴靠拢，而非向原始声学值靠拢，与已有关于原始声学与归一化音位趋同竞争的研究一致。西班牙语则为正距离差，符合向原始声学值靠近。其次看调节：元音时长三重交互受方言区与 3 个可懂度评分调节，非沿海者的人类条件效应更强，自评在英语或西班牙语中被理解差或理解助手差者的人类条件效应反而更强。

VOT 线性组合中女性效应更强，非沿海效应更弱，自评不懂西班牙语助手者效应更强而自评不懂英语助手者效应更弱；VOT 距离差中语言对条件的影响在自评不懂英语助手者中减弱。这些调节支持社会因素以与真人对话同样的方式作用于人机趋同。

原始声学目标 × 抽象音位目标： 原始声学目标指逐毫秒模仿听到的具体时长值，抽象音位目标指朝向说话人心中该音位应有的范畴规范靠拢；二者搭配的理由是英语距离差为负时无法用简单的远离解释，必须区分模仿不足还是超越，组合后新增的作用是解释了西班牙语主导者把英语清塞音发得比刺激音更长更送气的 overshoot 行为。

下表把调节与反证的关键统计放在同一框架下，便于核对方向而非只看显著性。

表后需要强调代价与边界：所有调节均为观测性交互，不能解读为提高可懂度必然改变趋同的因果。

沿海被试仅 14 人，方言调节的估计不稳定；可懂度为自评 1 到 6 分，不是客观识别错误率，因此不能承诺改善识别就能改变趋同。未评测的边界包括元音共振峰、句子级影子与多轮对话，这些在局限中继续讨论。 本节用柱状图核对距离差的方向与误差范围，该图是理解负值含义的关键。

看图路径： 1. 先看纵轴距离差零线：正值为靠近，负值为影子后更远；2. 再对比左侧英语两柱均在零线以下，右侧西班牙语两柱均在零线以上；3. 最后比较同语言内浅色真人柱与深色机器柱的高度差，西班牙语中真人柱明显更高

论文图 4。原论文 Figure 4：“VOT DID results (ms) for both Spanish and English.”。

从像素可见，纵轴为毫秒距离差，红色虚线为零线，横轴为英语与西班牙语，浅蓝真人与深蓝机器各一柱并带误差线。英语两柱均在零线以下约负 1 到负 2 毫秒，西班牙语两柱均在零线以上，真人柱约 4 毫秒且误差线较长，机器柱约 1 毫秒。原文报告语言主效应与条件语言交互显著，证实语言决定了距离差的符号，而条件决定了幅度，西班牙语中真人高于机器与元音时长斜率排序一致。

哪些设计选择限制了结论的推广？

局限按原文交代三点。第一，VOT 刺激位置不统一：英语均为词首，西班牙语主要为词中音节首，虽然多数有清晰爆破可测，但位置差异本身会影响 VOT 绝对值与可比性，作者建议未来统一用词首塞音并增大 VOT 样本。第二，在线实验的录音质量与环境不可控，尽管用人工逐条核对弥补，但背景噪声与设备差异仍是误差来源，实验室环境会更一致。

第三，指标与情境覆盖窄：只测了元音时长与 VOT，未测共振峰等频谱指标，只做了词语影子，未做句子影子或对话，且可懂度分组在本样本中分布不均，多样性不足时调节估计不稳。这些局限意味着当前证据支持在受控词语跟读中双语者以类人方式对待机器语音，但不支持推广到自然对话、所有音段或所有 proficiency 群体。

论文明确声明生成式人工智能未用于构思或写作，资源状态方面本次未发现可验证的代码模型数据公开链接，因此不能声称材料已公开，复现需按方法描述重建。

若要复现，先做什么才能得到可比的趋同估计？

复现应按学习依赖排序。先重建被试与语言画像：招募居住在墨西哥的西班牙语主导双语者，记录 3 岁前西班牙语习得、英语习得年龄、日常亲友语言、性别、方言沿海与非沿海分区以及助手使用频率与语言设置，这些是后文调节变量的信息条件，缺失则无法检验社会调节。次重建词表：英语 9 词低频高熟悉单音节，西班牙语 9 词低频高熟悉并标注重读音节，用原文词表逐词复用，不要自行替换近义词，因为词频与重音位置直接影响时长。

再重建刺激音：成年女性听感 4 种声音，英语真人、西班牙语真人、Siri 美式英语、Siri 墨西哥西班牙语，保持性别听感一致以避免引入新的性别交互。任务流程严格执行基线先于影子、语言块随机、人机条件随机、词内随机，并在指导语中明确告知身份，因为身份告知是操纵人化的关键。声学端用相同对齐与 VOT 工具加逐条人工校对，成对删除不可用 token。

统计端对两指标各跑线性组合与距离差，固定效应包含刺激值、条件、语言、基线与音段，随机效应从最大开始为收敛简化，并单独检验性别、方言与 4 个可懂度评分的三重或两重调节。还需补的验证是客观英语水平测试、实验室录音复测与共振峰补充，只有补上才能区分自评可懂度反映的是态度还是能力。

何时值得借用这套人机趋同检验，还需补哪项验证？

综合判断分 3 层。论文直接报告的是：元音时长跟随关系成立且受语言人机调节，VOT 跟随关系成立且不分条件语言，VOT 距离差在西班牙语为正、英语为负且英语 overshoot 可用抽象音位目标解释，女性与特定方言可懂度分组调节趋同。这些是可用作引用的事实。有限解释是：趋同模式与真人对话预期一致，支持把语音助手当作类人对话者，但斜率事后差异不显著与元音距离差不显著意味着人机差异证据是提示性的，不是确证的。

未验证推测是：改善识别或更换声音必然提升接受度，原文未测量延迟、误判率与成本，不能承诺这些量得到改善。当你的研究同样面对非标准口音用户对机器的信任问题，且能在词语级控制词频与重音时，值得借用这套双指标加双统计的设计；当你的场景是多轮对话或需要实时延迟保证时，不应直接套用本结论。

初学者常见误解是把负距离差等同于拒绝机器，纠正方法是同时看线性组合斜率与原始均值差：跟随成立但跨过目标仍是趋同，只是目标是音位范畴而非原始毫秒数。另一个误解是把自评可懂度当作客观水平，纠正方法是记住它既可能是能力也可能是态度，调节显著只说明社会信息重要，不说明因果方向。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总