双人协作对话中时间压力可听见，脑力负荷却藏在轮替不均里

英文题目：Predicting Cognitive Load from Speech and Interaction Dynamics in Dyadic Conversations

会议身份：conference:interspeech:2026:conference-paper-id:chowdhury26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#评测协议 #RNN #统计分析 #语音 #语音属性识别

评分：5.6/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Tahiya Chowdhury：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该文输入为双人协作对话中每人分通道语音，输出为NASA任务负荷指数六维感知负荷的连续分数，难点在于自然对话中负荷标注粗糙且与任务类型和说话风格强耦合。方法先将任务级音频切分为连续窗口并用语音活动检测屏蔽静音，再分别提取静态声学、时序差分和基于说话时序的交互特征形成双人配对序列。随后由共享门控循环单元编码加均值池化拼接双人表征，最后经全连接层以双头回归同时预测双方分数并平均得到对偶均值。与既往离散分类和随机切分不同，该工作坚持连续回归与跨对偶泛化，直接检验交互结构能否带来可迁移信号。在留一对偶交叉验证设置下，时间需求对偶均值的CCC指标为0.42，高于时间需求个体水平的CCC指标0.32。该结论仅适用于任务结构固定的远程协作对话，未验证跨任务、跨语言与细粒度时序追踪能力。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，读完要能复述什么？

本文的输入是远程视频会议中双人协作完成多项任务的语音，目标是预测每人在每项任务结束时自评的美国国家航空航天局任务负荷指数分数。初学者可以这样理解任务：两个人用英语讨论找不同、看地图、荒岛求生和阅读理解等 9 类任务，系统只听声音的声学属性和谁何时说话，不看文字内容，就要猜出他们感到时间有多紧、脑力花了多少、付出了多少努力以及觉得自己做得如何。

输出是 0 到 21 分之间的连续分数，不是高低两类，评价时看预测分和自评分在陌生人组合上是否既同向变化又数值接近。读完这篇解读，你应当能复述数据如何从任务切成 30 秒窗口、3 种特征如何构造、双头门控循环单元如何把两条序列变成两个分数、为什么用留 1 对交叉验证，以及哪几个负荷维度有信号、哪几个没有。

资源状态方面，本次没有发现来源绑定且完成安全验证的代码或数据资源，因此不能说代码、模型或数据已公开，只能按论文文字复述 AVCAffe 数据集的描述和处理步骤。

此前研究走了哪条路，为什么本文要换成回归？

此前语音认知负荷研究多在驾驶、航空管制、模拟操作等受控场景，把负荷切成离散等级做分类，用基频、能量、语速等声学特征加卷积网络或多模态融合判断高低。另一条线用自评量表做个性化估计，但在单任务数据上训练，测试常采用随机划分，同一说话人或同一任务的片段会同时出现在训练和测试，容易夸大性能。还有工作只用个人声学特征，较少系统比较时间差分和轮流、重叠、角色切换等对话结构特征。

本文的转向是把负荷保留为连续分数做回归，因为协作中负荷是渐变的，切成两类会丢掉任务推进过程中的细微起伏。同时把评价收紧到跨二元组泛化，即测试的两个人必须在训练中从未出现，这样才能回答远程协作系统遇到新团队时是否还有效。教学例子：好比考试只分及格不及格会掩盖 58 分和 88 分的区别，回归就是直接预测具体分数，跨二元组就是换一拨全新考生再考 1 次。

要回答的三个问题是什么，难在哪里？

论文提出 3 个递进问题。第一，双人对话语音样本能否作为回归输入建模认知负荷。第二，互动特征和时序动态声学特征是否在静态声学之外提供互补增益。第三，预测信号在多大程度上反映的是任务自带的互动模式，而不是负荷本身。难点在于三处。

第一，标签是任务级自评，每项任务只有一个分数，但语音是长达数分钟的窗口序列，需要把多窗口信息汇总成 1 个任务分数，时间粒度不对齐。第二，双人行为高度耦合，时间压力可能来自对方打断，脑力负荷可能表现为一方主导，单人声学看不到这种关系。第三，不同任务时长和协作方式不同，找不同需要频繁对照，重讲笑话偏向开放讨论，任务结构本身就会改变重叠和切换频率，如果模型只是记住哪类任务通常分高，就会在新任务分布下失效。

因此实验必须同时报告个人头和二元组平均，并用特征消融和置换重要性拆开任务结构与负荷信号。

从一段任务音频到两个分数，全流程走一遍

拿一个二元组完成一项任务为例。系统先为 A 和 B 各取一条单通道音频，重采样到 16 千赫兹，再按任务切成连续无重叠的 30 秒窗口，平均每任务约 11.6 个窗口，最少 2 个，最多 27 个。对每个窗口运行 Silero 语音活动检测，估计有声秒数和有声占比，几乎静音的窗口在声学提取时被屏蔽，但其时间信息仍可用于计算互动特征。有声窗口用 OpenSMILE 的 eGeMAPS 配置提取 88 维静态声学向量，描述韵律、频谱、倒谱和嗓音质量。再对相邻窗口做 1 阶差分得到 88 维动态向量，首窗口差分为零。

另对整个二元组任务计算 10 维左右的互动特征，包括双方都有声窗口占比、都无声占比、仅 A 有声、仅 B 有声、平均说话占比、占比差、切换次数、切换率等。随后把 A 的窗口序列和 B 的窗口序列对齐成等长配对样本，不足处补齐，全集共 475 个输入样本对应 950 个任务记录。两条序列送入共享权重的门控循环单元编码器，各自平均池化成定长嵌入，拼接后经 128 维全连接、线性整流激活和 0.2 丢弃率，分别由两个回归头输出 A 和 B 的分数，二元组分数取二者平均。

训练用双方均方误差之和，推理时同样输出 3 个数：A 分、B 分和平均分。

声学快照和变化量各自算什么？

静态声学特征是理解负荷的基础词汇。白话说，它是每 30 秒的声音体检表，英文是 static acoustic features，用 eGeMAPS 的 88 维向量表示。时序动态声学特征是体检表之间的变化，英文是 temporally dynamic acoustic features，计算为当前窗口向量减上一窗口向量。初学者容易把差分当成更高级的特征，其实它只是显式告诉模型变快了还是变慢了、变响了还是变轻了，让模型不用自己从序列中减 1 次。论文的动机是任务复杂度随时间变化，负荷也应有时间轨迹，只看平均会抹掉爬坡过程。

实现细节是差分在特征维度逐维进行，首窗口无前值记零，保持与静态同维度，方便拼接或替换。后续实验显示，单用差分或把差分拼到静态上，对 4 个主要负荷维度普遍没有提升，只有时间需求有小幅波动，这提示 30 秒粒度的简单相减可能太粗，或者负荷变化更多体现在轮流组织而非个人音质漂移。

静态声学特征 × 时序动态声学特征： 静态声学特征负责刻画每个 30 秒窗口内的音色和韵律快照，用 88 维 eGeMAPS 描述基频、响度、频谱斜率、抖动和微光等平均状态，时序动态声学特征负责刻画相邻窗口之间的变化，用 1 阶差分记录负荷随任务复杂度起伏的方向和幅度，二者搭配的理由是前者回答当前说成什么样，后者回答相对上一段变了多少，组合后模型既能看到状态又能看到趋势。

只看时间不看内容，互动特征如何捕捉协作？

互动特征的白话解释是只用谁何时说话的时间表来描述协作，英文是 interaction features，不用词内容和音质。构造依赖语音活动检测的窗口级判断：统计双方都有声、都无声、仅 A 有声、仅 B 有声的窗口占比，计算双方平均说话占比及其差值以指示主导，计数说话人切换次数、切换率以及从 A 独占到 B 独占的切换率等。这些量刻画了对话的节奏和协调成本，例如时间紧时更易打断和重叠，烧脑讨论时可能出现一方长时间主导。

它与声学特征互补，因为声学回答嗓音累不累，互动回答组织顺不顺。论文明确用它检验对话结构是否携带可跨人泛化的负荷信号。需要注意，它与任务结构纠缠，例如限时地图任务天然切换频繁，开放讨论天然重叠少，因此高预测力不等于纯负荷信号，需要后文的任务混杂讨论来限定解释。

互动特征 × 声学特征： 互动特征只用语音活动检测的时间信息描述谁在说、何时重叠、何时切换，不依赖词内容和音质，声学特征描述声音本身的属性，二者搭配的理由是前者捕捉双人协调节奏，后者捕捉个人发声状态，组合后可以区分是说话方式累了还是轮流组织乱了。

模型如何训练，随机森林基线做了什么不同事？

训练对象是共享门控循环单元加双头回归，英文是 two-head gated recurrent unit encoder。损失是双方均方误差之和，即预测的 A 分与 A 真值之差平方加预测的 B 分与 B 真值之差平方，没有额外正则项描述。优化用亚当优化器，学习率 0.001，训练 25 轮。特征在每折内只用训练二元组做标准化，避免测试信息泄漏。结果对 0 到 9 共 10 个随机种子平均，以评估稳定性。

基线是随机森林回归，英文是 random forest regression，配置为 300 棵树、叶最小样本 2。它不建模时序，先把整个任务时长的窗口特征聚合成向量，再把 2 人向量拼接后回归，作用是检验时序建模是否必要。论文还试了带注意力机制的门控循环单元变体，假设注意力能聚焦关键窗口，但小样本下未见增益。

需要指出的缺项是论文未报告批量大小、补齐掩码如何参与池化、丢弃是否在测试关闭之外的细节，也未说明注意力具体形式，因此复现时只能按常规做法补齐并记录假设，不能从模型名推定实现。

门控循环单元编码器 × 双头回归： 门控循环单元编码器负责把每个人的窗口序列压缩成定长嵌入并保留时序依赖，双头回归负责把拼接后的二元组嵌入同时映射为 A 和 B 各自的 0 到 21 分负荷值，二者搭配的理由是先用共享时序编码器学到可比的个人表示，再用两个头保留个体差异并取平均得到二元组分数，组合意义是 1 次前向同时完成个人预测和协作平均。

数据、划分和指标如何保证测的是陌生人泛化？

数据用 AVCAffe，106 人组成 53 对，来自 18 个国家，年龄 18 到 57 岁，其中 75% 在 21 到 30 岁，含 52 名男性、53 名女性和 1 名非二元性别者。原始音频 44.1 千赫兹，处理时重采样到 16 千赫兹。九项任务顺序固定，包括开放讨论 7.5 分钟、讲笑话 7.5 分钟、找不同 10 分钟、两段地图匹配各 2.5 分钟、荒岛求生 10 分钟、两段阅读理解各 5 分钟和一项多任务。每人每任务自评 6 个维度：脑力需求、时间需求、努力、挫折、表现和身体需求，量程 0 到 21。划分采用留 1 对交叉验证，共 53 折，每折测 1 对全新的人，训练用其余对，这是比随机划分更严的协议。

指标以一致性相关系数为主，英文是 Concordance Correlation Coefficient，缩写 CCC，同时报告皮尔逊相关系数和均方根误差。白话说，皮尔逊只看升降同步，均方根误差只看平均差了几分，一致性相关系数两者都看，系统性偏高或偏低会被扣分。统计上用威尔科克森符号秩检验比较门控循环单元与随机森林在 53 对上的逐对差异，并用霍姆邦费罗尼校正多维度比较。

一致性相关系数 × 皮尔逊相关系数： 皮尔逊相关系数只衡量预测与真值线性同升同降的程度，一致性相关系数同时衡量相关和绝对一致即偏离对角线要扣分，二者搭配的理由是在跨二元组泛化时既要趋势对又要分值准，组合后可以发现只相关高但系统偏高或偏低的虚假好结果。

标签、窗口和聚合口径如何对齐？

标签对齐是复现最易错处。标签是任务级，每人每任务一个分数，输入却是多窗口序列，模型先对窗口序列编码再输出 1 个任务分数，属于多对一回归。二元组分数是 2 人预测的算术平均，不是另训一个头，这意味着个人误差会直接传到平均。窗口是 30 秒连续无重叠，静音窗口屏蔽声学但保留计数，因此互动特征的分母与声学序列长度可能不一致，复现时要保留原始窗口索引。聚合分两层：折内对窗口平均池化得到嵌入，折间对 53 折和 10 种子平均得到报告均值和标准差。

论文表格中的正负号是 10 种子的标准差，不是折间标准差，解读稳定性时不要混淆。指标方向是 CCC 和皮尔逊越高越好，均方根误差越低越好，量纲与 0 到 21 分相同，差 1 分即量表上差 1 格。

留一二元组交叉验证 × 随机划分： 随机划分允许同一对说话人同时出现在训练和测试，留一二元组交叉验证每次留出一整对说话人的全部任务做测试，训练只用其余 52 对，前者分工是快速调试，后者分工是模拟遇到陌生协作对的真实部署，二者搭配的理由是只有后者能暴露靠记住说话人或任务结构的捷径，组合意义是用更严的协议得到不乐观但可信的泛化估计。

哪些维度可预测，个人与平均有何差异？

先看仅用静态声学加门控循环单元的 6 维结果，比较问题是连续分数能否从对话语音中泛化到陌生组合，公平条件是同为留 1 对、10 种子平均，指标方向是 CCC 越高越好。表前需要明确：个人头与二元组平均同表对比，能看出负荷是个人属性还是互动涌现。

表后解释要抓住不对称。

时间需求的二元组平均 CCC 达到 0.42，高于任一单人，说明时间压力是共享的，双人信息平均后更稳。脑力需求则相反，A 的 CCC 为 0.31 而 B 仅 0.13，平均后 0.22，提示信号集中在先说话者或特定角色，简单平均会稀释。论文据此把挫折和身体需求视为近乎无信号而不再展开，努力和表现保留为弱信号。这种不对称也提醒复现时不要只看平均，要同时检查两头，否则会误以为模型对 2 人都同样有效。未胜出项是挫折和身体需求，它们的 CCC 在 0.1 附近，说明不是所有自评维度都能从声音时间组织中读出。

看图路径： 1. 先看横轴一致性相关系数从负值到接近 1 的分布，再看纵轴均方根误差随横轴增大而下降的趋势；2. 找出左下偏离主趋势的个别二元组点，体会平均数掩盖的异质性；3. 沿蓝色回归线与浅色置信带观察高相关区误差仍然有几分的 spread

论文图 2。原论文 Figure 1：“Per dyad CCC vs. RMSE. Note that CCC for some dyads is as high as 0.6 −0.9 indicating high variability across dyads.”。

上图是逐二元组的一致性相关系数与均方根误差散点。横轴是每个陌生组合上的 CCC，纵轴是同组合的 RMSE，每个点是 1 对人，斜线是总体趋势及置信带。可见多数点集中在 CCC 为 0.5 到 0.8、RMSE 为 3 到 6 分，但左端有低至负相关且误差超 7 分的点，右端有高达 0.9 且误差低于 2 分的点，证实平均数 0.5 背后异质性极大。趋势是 CCC 越高 RMSE 越低，说明相关好时绝对分也更准，而非只赢趋势。复现时应同样画出逐对分布，而不是只报均值，否则会高估对困难组合的可用性。

换特征与换模型，增益从哪里来？

再看特征消融，比较问题是动态差分和互动时间表是否在静态声学之外带来可部署增益，公平条件是同模型同划分，只换输入特征集，指标仍看二元组 CCC。

表后解释要区分两类特征。动态差分单用或拼到静态上普遍无提升，只有时间需求小幅波动，支持论文判断：30 秒差分没有提供跨人稳定的额外信息。

互动特征单用即把时间需求从 0.42 推到 0.51，静态加互动进一步把脑力从 0.22 推到 0.32、努力推到 0.34、表现推到 0.31，说明轮流节奏是强信号。但代价是任务混杂，互动特征可能记住限时任务切换多、开放任务重叠少，而非纯负荷。模型对比同样克制：随机森林在脑力上 0.22 与门控循环单元 0.23 基本持平，时间上 0.33 对 0.41 看似领先，但 53 对符号秩检验校正后 p 为 0.41，不显著，带注意力变体在时间上 0.43、脑力上 0.22，也未超越。因此不能宣称时序深度模型显著更好，小样本下简单聚合仍有竞争力。

看图路径： 1. 先对比左右两块面板最长的横条，确认时间需求靠重叠切换而脑力需求靠说话占比差；2. 再看每条横条右侧的误差线长度，判断该重要性在不同折上是否稳定；3. 自上而下数时间需求前三与脑力需求后几位的排序差异

论文图 1。原论文 Figure 2：“Permutation feature importance for interaction fea- tures in predicting temporal and mental demand.”。

上图是互动特征的置换重要性，左右分别为时间需求和脑力需求，横轴是打乱某一特征后 CCC 的平均下降量，横条越长越重要，细线是折间标准差。左侧时间需求前三为重叠、切换率和前一切换，说明时间压力体现在打断和频繁交接。右侧脑力需求最长条为说话占比绝对差，远超静音和重叠，说明烧脑协作易出现一方主导。注意右侧首条误差线很长，提示主导效应的强度因组合而异。教学时应让学生逐条读出排序，而不是只记结论，这样才能把时间紧等于节奏乱、脑力高等于参与不均的机制对应到可计算的时间量上。

什么还不能说，边界在哪里？

论文明确报告的是相关性和一致性，不是因果。互动特征与负荷相关，不代表制造重叠就能制造时间压力，更可能是限时任务同时推高两者。样本仅 53 对 475 个任务样本，序列模型尤其带注意力时容量受限，这是作者解释注意力无增益的理由。标签是任务级自评，无法验证任务内的时变轨迹，30 秒窗口的动态建模仍是粗粒度。模态仅用语音活动的时间信息加声学，未用词义、注视、表情和动作，因此对需要语义理解的脑力负荷可能欠充分。

评价虽用留 1 对，但任务顺序固定且任务类型有限，跨新任务类型的泛化未测。统计上门控循环单元对随机森林的领先不显著，不能写成显著更好。此外，挫折和身体需求接近零信号，努力和表现虽有提升但绝对值仍在 0.3 附近，属于弱到中等信号，部署为实时监测前还需补延迟、误报率和跨语言文化验证，这些在原文均未测量，不应承诺改善。

要复现，先固定哪几步，再补哪些验证？

复现先固定数据管线。按任务取每人单通道，重采样 16 千赫兹，切 30 秒无重叠窗口，记录平均 11.6 窗的分布。用 Silero 语音活动检测算有声秒数和占比，屏蔽静音窗的声学提取但保留其索引用于互动计数。用 OpenSMILE eGeMAPS v02 提 88 维，逐维做相邻差分补 88 维动态，按描述算 10 维左右互动占比与切换率。每折只用训练对做标准化，门控循环单元共享编码、平均池化、拼接、128 维全连接、线性整流、0.2 丢弃，双头输出 0 到 21 分，损失为双方均方误差和，亚当 0.001 训 25 轮，10 种子平均并报告 CCC、皮尔逊和均方根误差。

随机森林基线用任务级聚合向量、300 树、叶最小 2 做对照。值得尝试的场景是已有双人会议录音且关心时间压力过载的团队，可先用互动特征做离线分析。还需补的验证是打乱任务标签后是否仍有预测力以排除任务识别捷径，跨任务类型留一任务测试，以及记录推理延迟和逐对误差分布。致谢显示数据集由加拿大女王大学人工智能与移动实验室采集整理，生成式人工智能仅用于表格图形排版，不影响方法结论。

一句话收束：何时信它，何时不信？

当你需要从双人协作语音中估计时间压力时，可以相信轮流、重叠和切换率携带可跨陌生组合泛化的中等信号，静态声学之上加入互动时间表是论文中最可复述的增益。但当你关心的是个人脑力负荷的精确分值，或想推广到新任务、新文化和实时闭环时，应把当前结果视为有限解释：脑力信号不对称且弱，逐对差异极大，动态差分无增益，深度时序对简单聚合无显著优势，且任务结构混杂尚未解开。下一步不是堆更大模型，而是做更细的时间标签、多模态互补和任务解耦，只有在这些验证补齐后，语音负荷估计才能从离线分析走向可信的协作支持。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总