同一批人、同一任务、两种媒介：VIP-MINGLE 如何把视频会议与面对面的差异可比化

英文题目：VIP-MINGLE: A Corpus for Videoconference and In-Person Multimodal Interaction in Group Language Engagement

会议身份：conference:interspeech:2026:conference-paper-id:chang26f_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #数据集构建 #音视频 #轮次切换

评分：6.3/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Andrew Chang：机构信息未能从会议 PDF 纯文本可靠映射
• Abhinay K Bodi：机构信息未能从会议 PDF 纯文本可靠映射
• Wenxin Deng：机构信息未能从会议 PDF 纯文本可靠映射
• Junrui Huang：机构信息未能从会议 PDF 纯文本可靠映射
• Venu G Kadamba：机构信息未能从会议 PDF 纯文本可靠映射
• Sumanth B H Karanam：机构信息未能从会议 PDF 纯文本可靠映射
• Dhiwahar A Kennady：机构信息未能从会议 PDF 纯文本可靠映射
• David Poeppel：机构信息未能从会议 PDF 纯文本可靠映射
• Dustin Freeman：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作处理小组会话在面对面与视频会议之间的行为分布偏移难以量化的问题，输入为同一小组在两种场景下的多人群聊音视频与会前心理测量基线，输出为逐人时间对齐的多模态特征矩阵与时间分辨人工体验标注。方法上采用组内被试设计让32组105人分别完成面对面与经Zoom采集的视频会议家族问答协作任务，顺序经平衡处理，再经说话人分离标注（speaker diarization）与大词汇量语音识别转写形成带说话人标签的时间戳文本，并行提取韵律时序、句法复杂度与头部姿态视线与面部动作单元（Action Unit）与离散情绪概率，最后将视频切分为10秒片段进行众包愉悦度与流畅度评分与事件标注。相对以往孤立于单场景的AMI、ICSI或孤立于远程的CANDOR、RoomReader，以及依赖非配对网络视频的跨场景比较，其差异在于用人员与任务配对控制混杂，从而分离通信媒介本身效应。视频会议轮次间隙系数β为0.113，话语时长系数β为-0.094，面对面平均依存距离显著性p为.017。在面对面与视频会议配对评分任务下，愉悦度差异的显著性指标p值为.001，低于流畅度差异的显著性指标p值.465。结论仅适用于英语青年学生半结构化问答协作，尚不能外推至正式会议或跨文化场景。原文未披露训练与部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：为什么群组对话值得单独建库？

这篇解读的输入是会议论文正文与 3 张官方原图，目标是让刚进入语音与多模态方向的研究生能复述数据构造与分析方法，必须保留的信息是被试量、分组方式、两种场景的配对关系、信号处理链路、统计口径与主要显著性结论，输出是 1 篇按学习依赖展开的中文技术说明。

群组对话之所以难，是因为它同时包含多个人、多个通道和快速交替的话轮。两个人对话时谁在说、谁在听相对清楚，三四个人围坐或连线时会出现重叠、抢话、回馈声和视线分散，单靠一段混合音频很难还原每个人的行为。白话说，研究者想要的是按人、按时间对齐的多路记录：每个人的声音、脸、文字和主观感受都能放在同一时间轴上比较。英文叫多方互动，英文为 multiparty interaction，后文简称多方互动。

视频会议让问题更复杂。原文强调它不是面对面的降质版本，而是质性不同的互动形式。压缩和延迟只是信号层差异，更重要的是轮替、注意力和非言语行为被重组了。例如线上更容易出现长停顿和碎片化发言，线下更容易出现重叠和快速接话。如果模型只在面对面会议语料上训练，直接搬到线上就会遇到域偏移，英文为 domain shift，后文简称域偏移。理解这种偏移需要同一批人在同一任务下两种场景的数据，否则说话人、任务和数据集差异会混进媒介效应里。

已有路线卡在哪里：单场景大库与非配对比较有何不足？

同输入同目标的已有工作可以分成 3 类。第一类是面对面会议大库，代表是 AMI 与 ICSI 会议语料，它们保真度高，保留了视线方向、空间音频线索和流畅的附和声，适合训练传统会议分析模型，但天然缺少视频会议分支。第二类是线上自然对话库，代表是 CANDOR 的数千段双人对话和 RoomReader 的 30 组线上多人互动加多模态特征，它们刻画了远程场景，但停留在远程域内，无法直接回答跨场景差异。第 3 类是跨场景比较，有人用哔哩哔哩等自然视频比较线上与线下轮替，有人用严格控制的实验比较时间特征，但前者任务与协议不配对，后者多不公开可复用的录制。

按同监督同运行阶段对照，本文的差异在于同时满足配对、公开和多模态。配对指同一组被试完成两种场景，公开指提供原始音视频与处理后特征，方便他人换模型重提特征，多模态指覆盖音频、视觉、文本和人工评价。已有工作往往只占其中一两项，因此难以把媒介效应与说话人特质、任务差异和数据集伪影分开。本文正是要补这块横向桥接，而不是追求任务多样性最大化。

要回答什么问题：视频会议只是变差了吗？

本文的核心问题是视频会议是否只是把面对面通信变差，还是引发了行为模式的实质变化。如果只是变差，那么加降噪、提带宽或做域自适应就够了，如果是模式变化，那么话轮、句法、表情和主观体验都会出现非均匀移动，建模时就要按场景分别处理。

为此作者把任务固定为家庭问答式游戏，英文原名为 Family Feud-style game，后文简称问答游戏。研究者先当主持人，随后参与者轮流当单轮主持人提问，题库随机抽取，其他人自由回答，全程用英语并用化名保护隐私。这种半结构任务的好处是能诱发不受限的轮替与协作解题，又不至于像自由闲聊那样不可比。

被试内设计 × 域偏移： 被试内设计指同一组被试先后完成面对面和视频会议两种条件，域偏移指模型在一个场景训练后到另一场景性能或行为分布发生变化；该文用被试内设计把说话人特质和任务固定住，让剩下的差异更可能归因于媒介本身，从而为跨场景域偏移提供可直接配对检验的试验床。

对照设计上，每组 2 至 4 人，两种场景顺序做了平衡，以控制顺序效应。总流程在 2 小时内完成，心理基线在实验前几天采集，涵盖人格与情绪量表。这样同一组在两种场景下的差异可以在组内配对检验，统计时再用混合效应或符号秩检验控制组内依赖。

方法全景：从同一组人到可比特征要走哪几步？

沿一个样本走完全程有助于建立整体感。假设第 5 组有 3 名被试，他们先在共享会议室围桌而坐完成一轮问答游戏，再各自进隔离房间用个人笔记本电脑连线完成另一轮。两轮都用 Zoom 录制个人音视频、动态视图与画廊视图，线下额外加一台放在桌中央的 360 度相机。随后音频做说话人分离与转写，视频做人脸几何与情绪特征，全部切成 10 秒片段请第三方标注流畅度、愉悦度和事件类型，最后按会话聚合做配对比较。

下面这张总览图把上述链路画成了三列，左列是原始数据，中列是处理，右列是多模态特征，实线框是本文直接提供的内容，虚线框是可派生但本次未完全提供的空间姿态类特征，阅读时先看主路径再看分支汇合处。

看图路径： 1. 先从左侧原始数据框区分视频会议与面对面两路音视频加人口学心理量表；2. 再沿中间处理列数出语音日志、个人视频、360 度视频和人工标注四条支路；3. 对照右侧五类多模态特征框，确认虚线框为可派生但本次未直接提供的空间特征；4. 注意个人视频优先取自画廊视图而非 360 度相机的选择

论文图 1。原论文 Figure 1：“Schematic of the VIP-MINGLE data, signal processing pipeline and multimodal features across in-person and videoconfer- ence settings.”。

从像素可见，左侧原始数据框上下并列了视频会议四宫格与面对面围坐画面，下方还有人口学与心理量表图标。中间处理列从上到下依次是语音日志波形、个人视频条带、线下独有的 360 度长条全景，以及人工标注图标。右侧特征框用不同颜色区分了话轮间隙与话语时长、语言复杂度、面部特征与情绪、可派生的姿态与注视方向，以及沟通事件与主观评分。箭头颜色与分支一一对应，说明音频、语音到文本、个人视频、360 度视频和人工标注是 5 条并行支路，其中 360 度视频只在线下存在，这是跨场景不对称的关键细节。

音频与文本支路：混叠语音如何变成按人的转写？

音频支路要解决的核心矛盾是线上天然隔离、线下严重混叠。视频会议时每人在隔离房间，音轨本身就是按人隔离的。面对面时多人共处一室，笔记本麦克风会互相串音，目标与干扰说话人距离比远低于常用的 3 比 1 经验规则。做法是录制时调低麦克风增益以减少串音，后期再恢复，同时给每人佩戴夹在下巴下方的外置领夹麦克风。

具体操作是先把录音下采样为 16 千赫单声道波形文件以适配说话人日志管线，英文为 speaker diarization，后文简称日志管线。本文调用 pyannote 的说话人日志管线，根据高频成分、总说话时长和频谱特性为每人选出最优麦克风，抽出该人的主说话人信号，非说话区间用静音填充以保留精确的对话时序，最后编码为 32 千赫单声道纯音频文件再与视频重混对齐供标注使用。

说话人日志 × 语音转写： 说话人日志负责回答谁在何时说话，给出带时间戳的说话人分段，转写负责回答说了什么内容，给出带时间戳的文字；两者搭配的理由是只有把文字与说话人标签按时间对齐，才能得到可按人聚合的话轮时长、句法复杂度和语言困惑度，否则文本指标无法归因到人和场景。

文本支路先把音频统一为单声道波形并固定在 16 千赫采样率，再用 Whisper 大模型生成带词级或段级时间戳的鲁棒转写，输出为结构化的文本与结构化表示文件。随后把每段转写与日志给出的说话人标签按时间对齐，得到带说话人归属和时间戳的文本，再做标点归一和重叠语音整理，方便下游分析话语结构与语言风格。

话轮间隔 × 话语时长： 话轮间隔指一个人结束到下一个人开始之间的间隙时长，话语时长指 1 次连续发言持续多久；两者分工不同，前者刻画交接的紧凑程度，后者刻画单次表达的信息量，组合起来才能判断视频会议是变慢还是变碎，该文发现间隔变长同时话语变短，因此概括为更慢且更碎片化。

话轮边界的计算采用 Heldner 与 Edlund 模型，区分停顿、间隙与重叠。间隙与话语时长都做了对数变换以缓解右偏，再用线性混合效应模型控制组内依赖。这种先取对数再建模的选择很重要，因为原始时长分布拖尾严重，直接平均会被极端长停顿主导。

视频与标注支路：脸部特征与主观评价如何对齐？

视频支路先从 Zoom 画廊视图录制中抽出个人视频流，经过自动化管线加人工质检。作者明确优先用画廊视图分块而不用 360 度房间相机，原因是前者人脸分辨率更高、视角更接近正面且更稳定，这对可靠的表情分析至关重要。360 度视频只作为线下补充，提供统一空间参考系，可派生注视、头部与身体朝向等同步空间细节，而线上没有对应采集。

脸部特征选了两套互补方案并按公共帧索引同步。OpenFace 负责估计 3 维头部姿态、视线方向以及动作单元的存在与强度，分析保持在原始帧率约 25 至 30 帧每秒以保留时序动态，检测失败的偶发帧标记为缺失而不做插值。DeepFace 负责输出每种情绪随时间的概率序列，最终拼成每人每帧的统一特征矩阵，把可解释的几何标记与深度情感表征放在同一时间轴上。

动作单元 × 深层情感表征： 动作单元指 OpenFace 估计的眉、眼、口等局部肌肉动作的存在与强度，是可解释的几何标记，深层情感表征指 DeepFace 输出的快乐、惊讶等情绪概率，是高层情感判断；两者搭配是因为前者能定位是哪块面部在动，后者能概括整体情绪观感，组合后才能区分整体变弱但局部增强这种非均匀变化。

人工标注支路把视频切成 10 秒片段，在问卷平台上请 192 名通过可靠性筛选的标注者评价，每人看 120 个片段。标注者在安静环境按自己节奏完成，内容覆盖 5 点量表的流畅度与愉悦度，以及多标签事件。共得到 7077 个已评分片段，评分与事件先在片段级采集，再按会话平均后做统计分析。这种先片段后会话的聚合口径是复现时必须对齐的细节，否则会把片段数当成独立样本而夸大显著性。

有无模型训练：本研究训练了什么、复用了什么？

本研究没有训练新的神经网络，也就没有梯度路径、参数冻结与更新、优化器与早停等训练要素。必须明确这一点，避免把特征提取器的调用误当成端到端训练。所有深度模型都是以预训练推理方式调用的，包括说话人日志管线、Whisper 大模型、OpenFace 与 DeepFace，以及句法分析用的英语依存句法器和困惑度估计用的预训练语言模型。

真实的计算过程是数据构造与统计检验。构造侧是重采样、日志、转写、文本清洗、人脸特征抽取与帧对齐，标注侧是众包评分与可靠性过滤，分析侧是对数变换、混合效应建模、符号秩检验与错误发现率校正。原文未报告特征提取器的阈值搜索细节和超参数，也未报告训练算力，因为不存在训练预算。复现时应把重点放在管线版本与采样率 1 致性上，而不是调参。缺项是各预训练模型的具体版本号与置信度阈值在正文中交代不全，需要到随附脚本中核对。

实验条件：被试、设备与统计口径如何保证可比？

数据规模与人口学是复现的第一组条件。下表把分散在正文中的规模数字收拢为一行，阅读时注意总数与平均数的聚合对象不同，总时长与片段数是全库求和，平均时长是按会话平均，人数是去重后的被试数。

上表覆盖了全库约 59 小时录制、平均每会话 21 分钟、105 名被试组成 32 组、共 7077 个已标注片段的核心规模，被试年龄 17 至 28 岁，性别组成为 29 名男性、69 名女性与 7 名其他性别，每组 2 至 4 人，标注由 192 名合格标注者完成且每人看 120 个片段。表后需要强调的代价是样本来自同一所大学并以课程学分作为报酬，年龄与语言背景较窄，全程英语问答游戏也不代表开放办公会议，因此跨人群与跨任务的推广需要额外验证。

录制条件控制了设备与环境。两类场景都用 Zoom 录制个人音视频、动态视图与画廊视图，笔记本加领夹麦克风。视频会议被试在隔离房间，面对面被试围桌而坐间隔约 1 至 3 米，笔记本屏幕调暗且扬声器静音，桌中央放 360 度相机且不遮挡视线接触。顺序在组间平衡，化名贯穿全程，知情同意与伦理审查已获批。统计口径区分了 3 层：语音时序用对数变换加线性混合效应模型，语言复杂度先按人算再按会话平均，表情与主观评分用会话级符号秩检验，动作单元还做了错误发现率校正。

主结果：哪些行为真的随媒介移动了？

比较问题是在任务与被试配对、设备尽量一致的条件下，哪些指标仍出现显著的跨场景差异，指标方向是面对面减视频会议的差值，正值表示面对面更大。下表把正文报告的关键系数与显著性收拢，公平条件是同一组、同一任务、会话级聚合，显著性阈值沿用原文报告。

上表显示视频会议话轮间隙显著更长而话语时长显著更短，句法复杂度的平均依存距离在面对面显著更高而词汇多样性、平均词 surprisal 与困惑度无显著差异，主观愉悦度面对面显著更高而流畅度无显著差异。具体代价是语音时序的效应量不大但高度一致，语言语义指标多为近似且只有句法一项显著，说明不能把视频会议简单概括为全面退化。未胜出项同样重要：流畅度评分组间无差异，其他三项语言指标显著性均未达到阈值，这为后文湍流但愉快的解释留了余地。

下面这组配对比较图把语音、语言与表情的分布差异画在同一版式中，读图时先确认纵轴是差值而非原始值，再结合零线判断方向，不要把箱体向下直接读成性能变差。

看图路径： 1. 先看 A 与 B 纵轴为面对面减视频会议的会话平均差值，零线以上表示面对面更大；2. 再核对 A 中箱体整体在零线上方而 B 箱体中线在零线下方所对应的方向；3. 看 D 与 E 中绿色为面对面更强、橙色为视频会议更强、灰色为不显著的图例含义；4. 注意 E 左侧为存在时长占比、右侧为平均强度的不同单位

论文图 2。原论文 Figure 2：“Pairwise behavioral feature comparisons between set- tings: (A, B) speech temporal features, (C) language (syntactic) complexity, and (D, E) facial expressions (note: OpenFace…”。

从像素可见，面板 A 话语时长的箱体与散点整体位于零虚线上方，标注显著性小于 0.001，表示面对面话语更长。面板 B 话轮间隙的中线位于零线下方但上尾拖得很长，标注显著性 0.037，表示视频会议间隙更长且存在极端长间隙样本。面板 C 平均依存距离的箱体中线同样在零线上方，标注显著性 0.017。面板 D 情绪强度中恐惧、快乐与惊讶偏向面对面，厌恶与中性偏向视频会议。面板 E 动作单元左侧存在时长与右侧平均强度并非同向，大多数单元面对面更强，但上睑上抬、酒窝等少数局部单元在视频会议更强，灰色为校正后不显著项。

流畅度 × 愉悦度： 流畅度是观看者对对话是否顺畅的评分，愉悦度是对观看体验是否令人愉快的评分；两者搭配的理由是顺畅不等于好听，该文发现面对面打断和间隙更多但愉悦度更高而流畅度无显著差异，组合后才能提出表面湍流可能是自然互动必要成分的解释。

下面这组人工评价图把主观评分与事件频率放在一起，读图前先确认左图是会话平均差值、右两图是评分者比例均值，星号表示显著项。

看图路径： 1. 先看 A 左图流畅度与右图愉悦度的零线位置与箱体中线高低；2. 再看 B 左图中打断与间隙两组柱子面对面高于视频会议而无事件柱相反；3. 核对 B 右图中无人说话为最主要的不流畅原因且两条件都占三成左右；4. 注意星号标记的显著项与误差线表示的评分者比例变异

论文图 3。原论文 Figure 3：“Human-rated conversational qualities and annotated events.”。

从像素可见，左图 A 愉悦度箱体中线在零线上方且底部标星，流畅度箱体横跨零线且不显著。中间栏打断与间隙两组绿色柱高于橙色柱且标星，无事件柱则橙色高于绿色且标星，表示视频会议更平淡无事件。右栏无人说话占比最高且两条件都超过 4 分之一，说明沉默是双方不流畅的首要原因。综合起来，面对面打断与间隙更多却更令人愉快，支持了湍流可能是自然互动必要成分的有限解释，但原文也只表述为可能关联而非因果。

反证与边界：哪些差异不是全局缩放？

把视频会议理解为整体调低音量或整体变慢，是一种容易误导的简化。本文的反证在于多个模态都出现了非均匀移动。表情上多数动作单元在面对面更显著，但少数局部单元在视频会议显著增强，情绪上快乐、惊讶与恐惧偏向面对面而厌恶与中性偏向视频会议，如果只是全局缩放，不应出现方向相反的显著项。语言上句法复杂度下降但词汇多样性与困惑度未见显著差异，也不支持全面退化。

另一个边界是主观评价的分离。流畅度无显著差异而愉悦度有显著差异，说明观看者能区分顺畅与好听。事件频率上视频会议无事件比例更高，打断与间隙更少，表面更干净，但愉悦度反而更低。这一组合不支持用减少打断来提升体验的简单策略，反而提示过度干净可能是缺失自然动态的结果。

未评测的边界同样要交代。360 度视频只在线下有，线上没有可比的空间参考，因此姿态与注视方向的严格配对比较尚未完成。人脸特征依赖画廊视图分辨率，极端遮挡帧直接标缺失，缺失率本身是否随场景变化未报告。语言困惑度依赖的预训练模型与分词细节也未完全展开，因此语义无差异的结论应视为近似。

限制：这座桥能承多重？

原文明确承认任务单一是主要限制。问答游戏能诱发轮替与协作，但不能代表头脑风暴、教学、医疗问诊或开放闲聊。作者的定位是做横向桥接，把以往孤立在各自场景的研究连起来，而不是纵向覆盖所有任务类型。未来需要把该库与其他任务的语料对齐，才能谈更广的泛化。

样本与场景控制是第二组限制。被试来自同一所大学且年龄集中，语言为英语，面对面与视频会议的设备、房间、座位距离和 Zoom 版本仍是特定实现，增益、串音处理和画廊视图选择都会留下痕迹。心理基线只在实验前几天采集 1 次，无法刻画状态情绪的动态变化。

资源可达性是必须如实说明的缺项。本次收到的证据中资源状态为未发现可验证的可用资源，不得声称代码、模型或数据已公开。正文虽给出数字对象标识符，但本次未能确认其可达性，复现前应先核验该标识符是否可访问以及原始与处理后数据的许可范围。生成式人工智能辅助了代码与文稿润色，作者对准确性负责，这意味着细节仍需回到脚本与数据核对。

复现先做什么：按什么顺序重跑才不易错？

复现的第一步是核验数据与脚本的可达性与目录结构，确认原始 Zoom 录制、个人音视频、360 度视频、心理量表、处理后特征与 7077 个片段的标注文件是否齐全，再核对采样率、帧率与时间戳单位。建议先重跑一组完整会话，检查日志给出的说话人分段、Whisper 转写的时间戳与 OpenFace 帧索引能否对齐，缺失帧是否按标记缺失处理而非插值。

第二步是锁定聚合口径。语音时序先取对数再做混合效应模型，语言复杂度先按人计算再按会话平均，表情与主观评分先在片段级采集再按会话平均后做符号秩检验。把片段数当样本量会夸大自由度，把会话平均与片段平均混用会改变结论，动作单元还需做多重比较校正。

第三步是复刻关键数字的符号方向。先看话轮间隙系数为正而话语时长系数为负是否复现，再看平均依存距离与愉悦度的显著性是否成立，最后检查表情中方向相反的少数显著项是否稳定。硬件方面原文提到使用了大学高性能计算资源，但未给出具体预算，复现时应记录自己环境的模型版本与运行时间，方便他人判断成本。

何时值得尝试这个语料？

当你的目标是让群组对话模型在面对面与视频会议之间稳定工作，或者想量化媒介本身带来的行为变化，这个语料值得优先核验。它提供了同一批人、同一任务、两种场景的配对记录，以及按人按时间对齐的声音、文字、脸部与主观评价，适合做跨场景域偏移分析、鲁棒性测试和视频会议系统改进的探索。

当你的任务是开放域闲聊、跨文化比较或实时低延迟系统，这个语料只能作为起点，还需补充其他任务、更宽年龄与语言分布，以及延迟与计算开销的实测。不要把愉悦度更高直接读成面对面一定更好，也不要把打断更多直接当成质量更高，原文的表述是湍流可能与愉悦正相关，仍是待验证的解释。

给初学者的可执行建议是先用个人视频与转写复现语音与句法的主效应，再深入表情的非均匀变化，最后结合人工事件理解主观评分的分离。只有沿输入到表示到组件到目标的链路走通，才能判断哪类特征真正跨场景可迁移，哪类需要按场景分别建模。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总