真诚与反讽没有时间差吗：用注视时间检验基频与谐噪比如何实时引导语义选择

英文题目：An exploratory eye-tracking study into the time course of sincere and sarcastic speech recognition

会议身份：conference:speechprosody:2026:conference-paper-id:warner26_speechprosody

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#心理声学实验 #韵律 #言语感知 #语音 #口语理解

评分：5.5/10 | 创新 1.0/2 | 技术严谨 0.8/1.5 | 实验充分 0.7/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 0.2/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Isabella Noor Warner：机构信息未能从会议 PDF 纯文本可靠映射
• Sueah Kim：机构信息未能从会议 PDF 纯文本可靠映射
• Thomas Zhao：机构信息未能从会议 PDF 纯文本可靠映射
• Ryuki Matsuura：机构信息未能从会议 PDF 纯文本可靠映射
• Seth Wiener：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该研究处理英语口语讽刺意图实时识别任务，输入为陈述句加回应的连续声学信号与分别描绘真诚与讽刺解释的配对图像，输出为关键短语时间窗内对目标图像的注视选择，难点在于讽刺韵律线索微弱且依赖视觉语境支撑才能直接通达。构建陈述加回应最小对立材料并仅在回应关键短语保留真诚与讽刺两种录制韵律，其输出进入人工智能图像生成环节形成语义配对的极简视觉语境，随后通过网络视觉世界范式同步播放音频并用家用摄像头连续记录眼动，最后以强制对齐定位关键短语并用广义线性混合模型检验声学预测效应。与既往离线辨别和阅读眼动研究不同，该设计把连续声学输入与视觉支撑语境直接耦合，意在检验互动观与模块观关于讽刺加工时程的预测差异。在关键短语前1000ms窗注视预测任务条件下，F0主效应的指标回归系数β为.16，高于F0×讽刺韵律交互的指标回归系数β–.27。结论适用边界仅限受控英语材料与强视觉支撑语境，受限于预览期真诚偏置、约一半眼动帧损耗与两项目超90%误判剔除，无法裁决互动与模块之争且尚未验证向自然对话与跨语言的外推。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://osf.io/g8wbf/ — 链接可访问（HTTP 200）
• 数据相关资源：https://osf.io/g8wbf/ — 链接可访问（HTTP 200）
• 复现相关资源：https://osf.io/g8wbf/ — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，哪些信息必须保留？

本文的输入是英语口语对话中的陈述加回应配对，例如一个人说这本书很有趣，另一个人回应说它太引人入胜了，简直不敢相信是人类写出来的。目标是判断听者在实时听觉加工中，如何利用声音层面的韵律线索来选择说话人到底是真诚赞美还是反讽贬低。必须保留的信息包括说话内容相同的条件下只有发音方式不同，听者同时看到两幅分别描绘真诚与反讽含义的卡通图像，听者的注视位置被连续记录并作为语义假设的读数。研究者明确把这项工作定位为探索性研究，首要问题是真诚与反讽加工的时间进程是否不同，以及基频和谐噪比等声学线索如何影响注视。

反讽在这里指字面为褒义而意图为贬义或相反的表达，真诚在这里指字面与意图一致的表达。白话说，前者是话里有话，后者是话就是字面意思。英文名是 sarcasm 与 sincere prosody。韵律是 prosody，指通过音高、时长、响度与嗓音质量等声学手段改变语调与重音模式的做法。理解这组概念是后续全部方法的基础，因为实验把词汇内容固定住，只让发音方式携带意图差异。

反讽 × 韵律： 反讽指字面意义与交际意图矛盾的表达，真诚指按字面理解的表达，韵律指语调与重音等声音层面的声学操作；三者搭配的理由是本文把语义是否反转的判断锚定在可测量的声音变化上，组合意义在于让注视行为可以直接检验听者是否用声音线索实时选择了字面或反转解释。

模块式加工是 modular account，交互式加工是 interactive account。白话说，前者认为听者必须先算出字面义再推翻它，所以反讽一定更慢，后者认为在语境支持下可以直接得到反讽义，所以两者可以一样快。英文缩写本文没有另设，后文沿用模块式与交互式。本文把配对图像当作视觉语境，按照交互式预测，有图像支持时反讽不应慢于真诚，这是全文理论检验的逻辑起点。

模块式加工 × 交互式加工： 模块式加工主张必须先解释字面义再拒绝它因而反讽恒慢于真诚，交互式加工主张在视觉等语境支持下字面义与反讽义可并行直接通达；两者搭配的理由是本文同时提供声音与图像语境，组合意义在于用真诚与反讽目标注视时间是否有延迟来区分两种理论预测。

本解读的输出是一套可核对的方法复述与结果边界说明。读者学完应能说清刺激如何构造、眼动与声学如何对齐、模型预测了什么、哪些数字支持了基频与谐噪比的作用、哪些设计缺陷使理论结论只能停留在可能与待验证层面。所有事实只来自论文正文证据与本次收到的官方原图像素，不引入外部评价。

前人已经知道什么，争议点在哪里？

前人已经报告，即使去掉交际语境，仅凭韵律线索，听者仍能在一定程度上辨别反讽，并且在控制语义线索后仍倾向于利用更低的音高与更大的振幅等线索。常用线索是音高即基频，但反讽声音到底对应更高还是更低的基频，研究之间存在冲突。论文引用的英语研究发现，基频降低是最突出的反讽标记，其次是基频变化与谐噪比降低。谐噪比是 harmonic-to-noise ratio，缩写为 HNR，白话说是声音中有规律的谐波成分相对于噪声成分的比例，比例越低声音越粗糙或越气息化。

争议的第二个层面是语言特异性。论文回顾了粤语与英语的对比研究，指出反讽的韵律操控方式在不同语言中并不相同，粤语研究选择了与英语完全分离的语言来检验基频的作用，荷兰语研究也报告了句子层面的韵律编码差异。跨语言识别研究进一步报告，听者不能仅凭不熟悉语言的韵律准确预测反讽，说明具体的反讽韵律模式具有语言特异性。这意味着不能把英语的基频降低规律直接推广到其他语言。

第三条路线是实时加工。论文引用的阅读眼动研究检验了书面反讽理解中熟悉度与语境的作用，其结果与标准语用模型不一致，提示周围线索可能影响听者感知。但那项研究看的是阅读时间，本文转而看听觉加图像条件下的注视反应。另一项情绪韵律眼动研究显示，情绪韵律的声学线索可以影响实时注视行为，本文把这一思路扩展到句子层面的真诚与反讽韵律。教学例子是，如果只给文字说昨晚太疯狂了，听者难以判断褒贬，但如果同时看到一张狂欢图像与一张冷清图像，注视会随声音线索漂向其中一幅，这正是视觉世界范式想要捕捉的过程。

本文要回答的具体问题是什么？

本文要回答两个相互关联的问题。第一，在配对图像提供视觉语境的条件下，听者看向反讽目标与真诚目标的时间进程是否不同，是否存在反讽加工延迟。第二，在关键短语时间窗内，逐窗测量的基频与谐噪比能否预测看向目标的概率，以及这种预测是否因韵律类型而异。研究者的先验是，根据英语反讽产生研究，眼动最可能被基频与谐噪比预测，其中基频是主要线索，谐噪比是次要线索。

需要强调的是，这两个问题都依赖公平比较。时间进程比较要求在听到声音之前两幅图像没有系统性偏置，否则后续的目标优势可能是对初始偏置的恢复而非声音驱动的识别。声学预测比较要求词汇内容固定、韵律操控集中、声学测量与眼动测量在同一时间粒度上对齐，否则基频效应可能混入语速或时长差异。本文的探索性定位正是对这些条件尚未完全满足的诚实标注。

从可证伪角度看，模块式预测反讽目标注视的上升应系统晚于真诚目标，交互式在视觉支持下预测两者相当甚至反讽更快。本文的零假设检验对应于韵律类型主效应是否为零，而声学机制检验对应于基频主效应、基频与反讽韵律的交互、基频与谐噪比与反讽韵律的三重交互是否显著。后文结果部分将逐项核对这些系数的方向与显著性。

整个流程如何从一句话走到一次注视判断？

先沿一个样本走完全程。试验开始时屏幕显示注视十字，同时播放男性说话人录制的陈述句，例如那场聚会太疯狂了。陈述句播放结束后屏幕出现两幅人工智能生成的极简卡通图，一幅描绘真诚的热闹聚会，一幅描绘反讽的冷清聚会，左右位置在试次间平衡。经过 1000 毫秒预览后播放女性说话人录制的回应句，例如昨晚太疯狂了之类共 21 或 22 个音节的长句，其中只有关键短语部分的韵律被要求按真诚或反讽方式产生。被试的任务是用鼠标点击更符合所听语音的图像，头戴式耳机与网络摄像头同时记录眼动。

视觉世界范式是 visual world paradigm，指边听边看、边看边选的实验框架。眼动预测窗是 prediction frames，指剔除屏外注视后保留的、可用于预测语义选择的注视帧。本文把声学测量与眼动分析都切成 50 毫秒窗，并在关键短语前 1000 毫秒内建模看向目标的概率，同时把眼动时间整体后移 200 毫秒以补偿发起眼跳所需的生理延迟。

视觉世界范式 × 眼动预测窗： 视觉世界范式指边听语音边在两幅意义对立图像间选择并记录注视的方法，眼动预测窗指关键短语前 1000 毫秒内按眼动延迟校正后的分析窗口；两者搭配的理由是注视位置被当作实时语义假设的外部读数，组合意义在于可以用看向目标的概率随基频与谐噪比的变化来推断声音线索何时被整合。

下面这张图是理解任务的关键，因为它展示了被试实际看到的配对图像类型。左侧与右侧分别对应真诚与反讽解释，画面都包含人物与聚会相关物体，风格一致且不含文字，目的是让词汇内容相同而只有意图解读不同。请先看整体构图，再比较人物表情与动作，最后思考这种图像差异本身是否可能带来偏好。

看图路径： 1. 先确认左右两图是同一聚会主题的真诚与反讽配对，人物与蛋糕等物体是否对应；2. 再比较左侧人物表情与动作幅度是否更欢快，右侧人物表情与姿态是否更平淡；3. 最后检查画面风格是否极简、无文字，判断图像本身是否引入了额外的语义提示

论文图 1。原论文 Figure 1：“Example display showing sincere (left) and”。

这张示例图左侧呈现多人围绕蛋糕欢呼、彩带飞扬的热闹场面，人物手臂上举、表情愉悦，右侧呈现同样围着蛋糕但人物站立不动、表情平淡、彩带稀疏的冷清场面。两图在官方像素中均为白底极简线条人物，物体种类对应而情绪氛围对立。这种设计的好处是把语义对立视觉化，代价是图像本身的吸引力可能不相等，论文后文也承认真诚试次在预览期就出现了更强的目标偏置，提示图像趣味性或构图差异可能已经介入了选择。

刺激的哪些部分被固定，哪些部分被操控？

陈述句被固定为表达对具体可视主题的积极情感，长度为 5 至 8 个音节。回应句被固定为 21 或 22 个音节，结构是三音节、约 440 毫秒的载体短语加关键短语加剩余句子。载体短语是 carrier phrase，例如我觉得它是之类的引入语，关键短语是 keyphrase，例如如此引人入胜之类的评价核心。白话说，载体短语是开场白，关键短语是真正携带褒贬反转的评价词。英文缩写后文沿用 carrier 与 keyphrase。

关键短语 × 载体短语： 载体短语是回应句开头约三音节的固定引入部分，关键短语是随后承载韵律操控的两三个词；两者搭配的理由是把声学操控集中在可对齐的时间窗内，组合意义在于眼动与声学都可以在同一关键短语窗口内按 50 毫秒切分并逐窗建模。

操控集中在关键短语的韵律上。同一条目录取真诚与反讽两种韵律版本，陈述句由男性说话人录制以营造对话感，回应句由女性说话人录制以区分角色。录制在安静房间用笔记本内置麦克风完成，回应句以 44100 赫兹保存为波形文件。从更大的刺激集中选出 20 个陈述加回应条目，共 40 条回应录音。图像用两种人工智能图像模型按统一提示生成，要求同一句子配对绘制真诚版与反讽版，每图包含人物与相关物体，保持极简风格且不含文字。

基频是 fundamental frequency，缩写为 F0，单位为赫兹，白话说是听到的音高高低。谐噪比是 harmonic-to-noise ratio，缩写为 HNR，单位为分贝，白话说是声音干净还是粗糙。本文沿用前人结论，把基频视为主线索、谐噪比视为次线索，并在关键短语内以 50 毫秒窗连续测量基频轮廓与嗓音质量。这种把操控窗口收窄到关键短语的做法提高了眼动对齐的精度，但也牺牲了自然口语中整句都可能存在韵律差异的真实性。

基频 × 谐噪比： 基频是声带振动频率对应的音高线索，谐噪比是周期性谐波能量与噪声能量之比对应的嗓音质量线索；两者搭配的理由是前人英语研究指出基频降低是最主要的反讽标记、谐噪比降低是次要标记，组合意义在于模型可以同时检验音高单独作用与音高加嗓音质量的联合作用如何推动看向不同图像。

声学与眼动如何测量并对齐到同一时间轴？

声学端遵循前人做法提取 12 种声学度量，但本文建模聚焦基频与谐噪比。研究者用基于深度神经网络与 wav2vec 2.0 的强制对齐工具定位关键短语，用 Praat 默认基频上下限提取基频与振幅，用 PraatSauce 计算谐噪比，用 Python 计算时长、语速与三分之一倍频程谱。关键操作是在关键短语内每 50 毫秒取一个窗口的基频与谐噪比，并剔除每种韵律类型下偏离均值 2.5 个标准差的极端测量约 2%。剔除极端值的目的是避免对齐错误或爆破音导致的瞬时跳变主导回归。

眼动端遵循网络眼动数据整理流程。先剔除点击错误图像的试次与反应时偏离被试均值 2.5 个标准差的点击，再剔除超过 90% 被试都选错目标的两个问题条目，最后只保留预测帧并剔除屏外注视。剩余眼动数据约占一半，中位帧率为 23.2 赫兹，与近年网络眼动研究相当。眼动同样按 50 毫秒聚合，并把分析起点后移 200 毫秒以补偿眼跳潜伏期。分析窗口取关键短语的前 1000 毫秒，即 11 个连续的 50 毫秒窗，与声学窗口形成对应关系。

建模采用广义线性混合模型，逻辑连接函数，用 R 的 lme4 包实现。输出是是否看向目标的二值变量，固定效应为标准化后的基频、标准化后的谐噪比、韵律类型以及它们之间的两两与三重交互，韵律类型以真诚为参照水平。随机效应只包含被试与条目的随机截距，因收敛问题未加入随机斜率。该模型设定意味着基频主效应回答音高升高是否总体推向目标，三重交互回答在反讽韵律下音高加嗓音质量联合升高是否推离反讽目标。

本研究有没有训练模型，真实计算是什么？

本研究没有训练神经网络声学模型，也没有训练眼动分类器，training 一节在此等价于刺激构造与统计拟合流程。需要明确说明未训练的部分包括 wav2vec 2.0 对齐器、Praat 声学提取与 lme4 混合模型中的固定效应估计之外的任何深度参数。wav2vec 2.0 在此只是被调用的现成强制对齐工具，用于给出关键短语边界，不更新权重，不计算梯度，不存在冻结与解冻的切换。人工智能图像模型也只是按提示生成配对图像的现成生成器，不在本文数据上微调。

真实计算分为 3 段。第一段是声学计算，对每个关键短语按 50 毫秒窗输出基频赫兹值与谐噪比分贝值，并做按韵律类型的标准化与极端值剔除。第二段是眼动整理，按试次剔除错误点击、极端反应时、问题条目与屏外帧，再按 50 毫秒窗聚合为是否看向目标的二值序列。第 3 段是统计拟合，用最大似然估计广义线性混合模型的固定效应系数与随机截距方差，输出每个系数的估计值、标准误、Z 值与 p 值。监督来源不是人工标注的帧级别意图标签，而是试验设计的意图条件与被试点击正确的试次筛选，模型学到的是声学值与注视目标概率之间的关联，而非因果识别器。

缺项必须指出。论文未报告混合模型的优化器细节、收敛阈值与随机数种子，未报告 12 种声学度量中除基频与谐噪比外其余 10 种的具体分布，也未报告强制对齐的边界误差。这些缺项不构成技术错误，但意味着他人用同一代码重新拟合时可能在收敛路径与对齐边界上出现微小差异。复现时应先固定对齐边界与剔除规则，再比较系数方向而非纠缠小数点后第二位。

被试、试次与在线采集条件是什么？

被试通过 Prolific 招募并付费，要求第一语言、主要语言与流利语言均为英语且出生于美国，年龄在 18 至 50 岁之间，无言语或听力障碍。实验托管在 Gorilla 平台，要求使用带网络摄像头的电脑与有线耳机。正式眼动任务前先做双耳音高任务筛查耳机佩戴，再做 9 点眼动校准，最多 2 次校准机会，少于 4 个成功点则剔除。眼动任务共 20 个试次，无填充试次，一半目标为真诚一半为反讽，两个呈现列表平衡每个条目的韵律版本。每次试次先呈现注视十字并播放陈述句，再呈现两幅图像并在 1000 毫秒预览后播放回应句，被试点击更符合语音的图像，全程约 8 分钟。

比较公平性依赖三处平衡。第一，目标与竞争者图像的左右位置在试次间平衡，避免空间偏好。第二，同一条目的两种韵律版本分到不同列表，避免被试在 1 次实验内听到同一文本的两种读法。第三，声学与眼动都按 50 毫秒对齐，避免用整句均值掩盖关键短语内的动态变化。但论文也承认图像归一化并未完全消除预览期偏置，这是后文解释时间进程零效应时必须保留的边界条件。

下表整理了被试从招募到最终纳入的筛选链条。读表前请先提出比较问题：最终 46 人的样本是在哪几道筛查后剩下的，每道筛查剔除了多少人。公平条件是所有剔除规则在分析前预先设定并按人次计数，指标方向是剔除人数越多则剩余数据越干净但样本代表性越窄。表格有 5 列，分别给出阶段、人数、筛选动作、保留含义与证据指向，便于一步核对样本损耗主要来自校准失败还是耳机筛查。

表后需要解释主要收益与具体代价。收益是经过耳机与校准双重筛查后，剩余数据的中位帧率达到可用水平，眼动与声学的对应关系更可信。代价是 32 人的校准失败占初始样本近三分之一，加上其他剔除后仅剩 46 人，且眼动数据再经错误点击与问题条目剔除后只剩约一半，这直接限制了统计功效与 1000 毫秒大窗口内细分时间动态的能力。未胜出项是帧率低于 5 赫兹的 2 人虽然人数最少，但它提示网络眼动研究在硬件与网络条件上的硬约束，未来复现必须预留更高的招募冗余。

注视时间进程与声学曲线显示了什么？

上排时间进程图是全文最直观的结果载体。横轴是毫秒时间，竖线依次标出预览、载体、关键短语与剩余句子的边界，纵轴是看向目标与竞争者的比例，虚线为目标、实线为竞争者，颜色按图像类型区分，橙色为反讽图像、蓝色为真诚图像。左图为反讽试次，右图为真诚试次。在反讽试次中，目标虚线在预览期已高于竞争者并在关键短语与剩余句子中保持优势。

在真诚试次中，预览期目标优势更强，随后竞争者曲线从低位爬升并在载体与关键短语边界附近接近目标线，之后两线平行。下排声学曲线横轴为归一化时间，左下为基频轮廓，右下纵轴为谐噪比分贝值，两图中蓝色真诚线系统高于橙色反讽线，说明反讽录音确实实现了更低的基频与更低的谐噪比。

下面这张图必须结合像素细节来读。先确认上排左右分面标题分别为反讽与真诚，横轴标注时间毫秒，下排横轴标注归一化时间。再比较虚线与实线的相对位置随竖线的变化，判断目标优势是扩大、收敛还是反转。最后核对下排两条曲线的上下关系，确认声学操控是否如正文所述在两种韵律间分离。请特别注意真诚试次预览期的高起点，这正是后文讨论偏置恢复的关键视觉证据。

看图路径： 1. 先看上排左右两图的横轴时间与竖线划分，确认预览、载体、关键短语与剩余句子的位置；2. 再比较反讽条件下目标虚线是否全程高于竞争者，真诚条件下两线在预览期后是否收敛；3. 最后看下排归一化时间上的基频与谐噪比曲线，确认橙色反讽线是否系统低于蓝色真诚线

论文图 2。原论文 Figure 2：“(A) Time course of looks in sarcastic (left)”。

像素层面的解释是，反讽分面中橙色目标虚线全程位于蓝色竞争者实线上方且带状标准误较窄，说明被试较早且稳定地看向反讽图像。真诚分面中蓝色目标虚线起点最高随后缓慢下降，橙色竞争者实线从低位上升，两线在载体与关键短语交界处最接近但并未交叉，之后保持小间距平行。这意味着在听到关键声学信息之前已经存在目标偏置，且真诚偏置强于反讽偏置。

下排基频与谐噪比曲线均为平滑下降或上升的分离双线，真诚线始终在上，反讽线始终在下，与论文声称的声学差异一致。不能把上排曲线的缓慢漂移直接读成逐毫秒的识别时刻，因为曲线是平滑后的聚合趋势，且眼动已整体后移 200 毫秒，精确到 50 毫秒窗的推断只能依赖混合模型系数。

总体时间进程结论是，当不考虑声学值时，韵律类型主效应不显著，看向反讽目标与真诚目标的时间进程没有可测量的延迟差异。这一零效应表面上与交互式预测一致，但由于预览期偏置的存在，它也可能反映了从初始偏置中恢复的过程，因此不能单独作为支持交互式的强证据。

哪些声学效应显著，哪些是零效应？

主结果的机制部分依赖混合模型系数。显著项包括基频主效应为正，说明基频升高时更可能看向真诚目标。基频与反讽韵律的两两交互为负，说明基频升高时更不可能看向反讽目标。基频与谐噪比与反讽韵律的三重交互为负，说明两者同时升高时更不可能看向反讽目标。零效应包括韵律类型主效应、谐噪比主效应、谐噪比与反讽韵律的两两交互、基频与谐噪比与真诚韵律的三重交互。这些零效应说明谐噪比单独作用不足以推动注视，只有与基频联合并在反讽条件下才显现预测力。

读下表前请先提出比较问题：在相同模型与相同 1000 毫秒关键短语窗口内，哪些系数显著且方向符合基频为主、谐噪比为次的先验，哪些系数为零。公平条件是所有系数来自同一广义线性混合模型，条件决定系数为 0.20，随机效应只含被试与条目截距。指标方向是估计值越大则看向目标的对数几率越高，Z 值绝对值越大、p 值越小则证据越强。表格有 5 列，分别给出效应名、估计值、标准误、Z 值与 p 值，便于逐项核对方向与显著性。

表后解释主要收益与具体代价。收益是基频单独与联合效应方向一致且显著，与前人英语反讽产生研究相互印证，支持了基频为主要线索、谐噪比为次要线索的判断。代价是谐噪比的三项相关系数中有两项为零，说明次要线索的证据较弱且依赖与基频的联合。未胜出项必须保留：韵律类型主效应接近于零且标准误相对较大，谐噪比主效应与交互也为零，这些零效应提示仅凭类型标签不能预测注视，必须回到逐窗声学值。

反证是两个条目因超过 90% 被试选错而被整体剔除，说明部分刺激在语句、图像或音频任一环节存在问题，模型的显著性是在剔除这些问题条目后才成立的。

哪些设计缺陷使理论结论只能停留在探索层面？

第一个局限是预览期偏置。真诚试次在尚未听到任何声音时已显示更强的目标偏置，说明两幅图像的内在吸引力不相等。论文明确指出，尽管已尽力归一化图像，但初始偏置意味着关键短语窗口内的零差异可能只是从偏置中恢复，而非两种韵律加工速度真的相等。复述时必须把这一偏置作为首要边界，因为它直接削弱了用时间进程检验模块式与交互式的能力。

第二个局限是样本与数据损耗。最终样本为 46 人，眼动数据经多道剔除后只剩约一半，1000 毫秒大窗口是将多个 50 毫秒窗合并以提高统计功效的折中做法。自然度代价也很具体：韵律操控只集中在关键短语两三个词内，而自然口语中整句都可能存在韵律差异；词汇选择为控制语义而标准化，进一步降低了自然度。论文还指出反讽与真诚并非绝对范畴，真诚地反讽或反讽地真诚都可能存在，把韵律从句法词汇层与情景语境中剥离本身就很困难。

第三个局限是自动化测量与图像质量。全部声学测量为自动化流程，缺少人工标注与文本网格校正， specificity 与可靠性可能受损。人工智能生成图像被报告为意外但值得注意的问题来源，尽管提示词与全部图像已公开，作者仍认为生成任务本身对细微韵律差异过于复杂，更直接的图像提示可能更好。教学含义是，视觉语境本应是交互式的支持条件，但当视觉刺激本身有偏时，它既可能是支持也可能是混淆，未来研究需要先做图像偏好范化再进入主实验。

要复现这项研究，先做什么，需要哪些材料？

复现的第一步是获取公开材料。论文声明刺激、数据、代码与附加研究信息可在开放科学框架获得，资源状态核验显示代码、数据集与复现材料当前可用，链接为开放科学框架上的项目地址。需要下载的内容包括 20 个条目的陈述与回应音频、配对图像与生成提示全文、逐窗基频与谐噪比表格、眼动原始帧与整理脚本、混合模型代码。由于录制使用笔记本内置麦克风且在安静房间完成，复现录音时应保留相同的设备层级而非追求录音棚质量，否则基频与谐噪比的绝对值可能系统偏移。

第二步是重建时间对齐。先用同样的强制对齐工具定位关键短语，再用 Praat 默认上下限提取基频与振幅，用 PraatSauce 计算谐噪比，按 50 毫秒窗聚合，并执行按韵律类型偏离均值 2.5 个标准差的剔除。眼动端按点击正确、反应时偏离被试均值 2.5 个标准差、问题条目、屏外帧的顺序剔除，只保留预测帧，中位帧率应接近 23.2 赫兹量级。分析时取关键短语前 1000 毫秒共 11 个窗，并整体后移 200 毫秒补偿眼跳延迟，再拟合以真诚为参照的逻辑混合模型。

第三步是预注册验证项。必须预先规定图像偏好范化标准，例如在无声音预览条件下两图注视比例无显著差异，否则主实验的时间进程比较不公平。必须预先规定问题条目的剔除阈值与合并窗口的宽度，避免在看到结果后调整窗口来寻找显著性。还需要补做的验证包括人工核对对齐边界、报告除基频与谐噪比外其余声学度量的分布、扩大条目数并加入幽默、中性等对照语境，以及在其他语言中检验基频方向是否反转。

何时值得尝试这种方法，还需补哪项验证？

当研究问题是声音线索何时被用于语义选择，而非离线判断准确率时，值得尝试这种视觉世界加逐窗声学建模的做法。它的优势是把基频与谐噪比从整句均值还原为时间序列，并用注视概率作为连续读数，适合检验主要线索与次要线索的联合作用。当已有明确的韵律产生先验，例如英语反讽对应更低的基频与谐噪比时，这种方法可以直接检验感知端是否沿同一方向使用这些线索。

不值得直接套用模板的情况包括图像语义难以视觉化、两种解读无法配对为同一主题的两幅图、在线眼动校准通过率过低导致样本严重自选择。本文的教训是，视觉支持条件必须先证明中立，否则交互式预测的检验前提不成立。对于刚入门的研究生，可复述的方法链条是固定文本、操控关键短语韵律、配对生成图像、平衡左右与列表、在线采集加双重筛查、逐窗对齐声学与眼动、混合模型检验主效应与交互。

还需补的验证按优先级排序。首先是无声音图像偏好基线，用独立被试检验配对图像本身是否带来目标偏置。其次是缩小分析窗口或增加试次后的时间动态精细分析，以区分早期整合与晚期恢复。最后是跨语言扩展，因为韵律操控具有语言特异性，英语的基频降低规律不能直接推广。只有在这些验证完成后，才能判断实时注视证据究竟支持直接通达的交互式加工，还是仅仅反映了有偏起点后的回归。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 15 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 speechprosody-2026 论文汇总