📄 CARE: A Multimodal Corpus for Studying Speech and Non-Verbal Communication Across Multiple Medical Conditions

标签：#音视频理解 #多模态模型 #数据集 #医疗音频 #基准测试

7.9/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 0.7/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5

✅ 7.9/10 | 前25% | 文档类型：数据集与基准 | 评分置信度：高 | #音视频理解 | #多模态模型 | #数据集 #医疗音频 | arxiv

👥 作者与机构

• 第一作者：David Gimeno-Gómez（PRHLT, Universitat Politècnica de València, Spain; 与 Catarina Botelho 共同第一作者）
• 通讯作者：未说明
• 作者列表：David Gimeno-Gómez（PRHLT, Universitat Politècnica de València, Spain）、Catarina Botelho（Sword Health, Portugal; INESC-ID, Portugal）、Carlos-D. Martínez-Hinarejos（PRHLT, Universitat Politècnica de València, Spain）、Isabel Trancoso（INESC-ID, Portugal; Instituto Superior Técnico, Universidade de Lisboa, Portugal）、Alberto Abad（INESC-ID, Portugal; Instituto Superior Técnico, Universidade de Lisboa, Portugal）

💡 毒舌点评

这是一个野心勃勃、工程扎实的多模态医疗数据集，覆盖12种疾病和多维行为特征，其规模和结构化的元数据弥足珍贵。然而，数据集本质上仍是二手数据再加工，缺乏原生的临床验证和标准化录制协议；控制组的构成也使得疾病 vs 健康的对比难以做到纯粹，基于文本叙事推断的情绪和症状元数据更需谨慎使用，否则可能沦为大规模噪声源。

📌 核心摘要

1. 要解决什么问题：解决现有语言/非语言多模态医疗语料库规模小、只聚焦单一疾病、缺乏关键混杂变量（教育、用药、共病、情绪状态）记录的问题，为多条件、多模态的自动疾病和症状检测提供统一基准。
2. 方法核心：从HEXI在线平台收集612位个体的访谈视频（622个档案），覆盖12种疾病+对照组，提取语音、面部表情、目光、头/身体运动和语言等多模态描述符，并利用大语言模型自动提取结构化的临床和情绪元数据。
3. 与已有方法相比新在哪里：相比于仅音频的ADReSS、ComParE或单一疾病的ParkCeleb等，CARE同时提供多疾病覆盖、多模态特征（语音、面部、姿态）以及自动提取的LLM结构化元数据，包括用药、共病、生活影响和情绪。
4. 主要实验结果如何：论文作为数据集论文，未进行主实验；提供了LLM元数据提取的验证表（gpt-oss-120b在手动标注子集上平均准确率0.63、Jaccard相似度0.48、BERTScore 0.75），并给出了示例工作流（Control vs. Parkinson’s的SVM基线）。
5. 实际意义是什么：为多疾病环境中的言语和非言语数字生物标志物研究提供了一站式测试平台，支持跨条件分析、共病建模和情绪化语音/多模态行为研究。
6. 主要局限性是什么：数据源于半受控的真实访谈，视角、帧率分辨率不一；元数据由LLM自动生成，其可靠性依赖叙事文本的充分性；样本分布不平衡，部分疾病样本极少；对照组的存在本身不是健康对照，而是照护者和专业人士。

CARE v1.0 语料库的构建遵循一个精心设计的两阶段串行流水线，整体上实现了从非结构化访谈视频到结构化多模态数据集的端到端转换。其完整链路为：以 HEXI 平台的原始档案为输入，经过“数据策展”与“元数据检索”两个核心阶段的处理，最终输出一个包含对齐后的多模态描述符、结构化元数据以及配套工具包的标准化数据集。

该语料库覆盖了12种不同的医疗条件（加上对照组）。下图展示了各条件的样本数量、性别比例和年龄分布，直观呈现了数据集的规模和多样性。

🔗 开源详情

• 代码：特征提取脚本和示例评估工作流随数据集一同托管在 Hugging Face 数据集仓库（论文通过引用[20]提供访问链接），可公开获取。
• 模型权重：未提及预训练模型权重发布；所有描述符提取依赖公开的第三方模型（如 XLS-R、EmoNet 等），但未提供额外的微调权重。
• 数据集：CARE v1.0 通过 Hugging Face Dataset 仓库发布，提供完整的结构化元数据、多模态特征及配套 Python 包 care-dataset，可直接下载。原始数据来自 HEXI 平台（https://hexi.ox.ac.uk/）。
• Demo：未提及。
• 复现材料：特征提取脚本和示例评测流程（包括 CONTROL vs. PARKINSON 的 5 折交叉验证、SVM 基线）均在 Hugging Face 仓库中提供，但论文未给出具体的仓库直接 URL，需通过引用[20]获取。
• 论文中引用的开源项目（文中仅以名称或版本号引用，未提供直接链接）：
  • gpt-oss-120b（元数据提取）
  • vLLM（模型推理引擎）
  • DiariZen（说话人日记化）
  • eGeMAPS v2.0（音频特征集）
  • DisVoice（发音、韵律、发声描述符）
  • XLS-R wav2vec 300M（语音表示）
  • TRILLsson 4.1（语音嵌入）
  • OpenFace v2.2.0（面部表情、注视、头部姿态）
  • EmoNet（面部情感嵌入）
  • MediaPipe（身体关键点）
  • WhisperX（转录对齐）
  • all-mpnet-base-v2（Sentence Transformer 语言嵌入）
  • BERTScore 评估（microsoft/deberta-xlarge-mnli）

🏗️ 方法概述和架构

CARE v1.0 语料库的构建遵循一个精心设计的两阶段串行流水线，整体上实现了从非结构化访谈视频到结构化多模态数据集的端到端转换。其完整链路为：以 HEXI 平台的原始档案为输入，经过“数据策展”与“元数据检索”两个核心阶段的处理，最终输出一个包含对齐后的多模态描述符、结构化元数据以及配套工具包的标准化数据集。

第一阶段：数据策展

此阶段是整个流水线的入口，旨在从海量原始资源中界定出一个高质量、多疾病、多模态的研究样本集。其输入为 HEXI 平台 A–Z 索引下的全部主题及参与者档案。每个档案作为一个数据单元，内部包含短访谈视频片段、逐字转录文本、叙事摘要以及基本人口统计信息。

该阶段内部由两个串行的功能模块构成：

1. 条件选择模块：此模块的功能是根据研究目标从全部 HEXI 主题中筛选出符合要求的医疗状况。其实现依据是基于文献的临床知识驱动策略，专门选出那些在言语和非言语交流上已知或预期会有特异性表现的 12 种疾病，涵盖神经/运动障碍、呼吸/结构性疾病、慢性疼痛/疲劳及精神健康四大类别，例如帕金森病、抑郁症、哮喘等。同时，该模块也构建了一个对照组，其成员并非传统意义上的“健康人”，而是由照护者、丧亲者、医疗专业人员和倡导者组成，其动机在于提供一个与疾病经验紧密相关的、更具生态效度的对照基线。
2. 档案过滤模块：该模块接收条件选择模块输出的主题列表，并对其下的每一个具体档案进行细粒度质量审查。其功能是剔除不满足计算分析要求的数据，确保最终语料库的完整性和一致性。其内部规则包括：保留至少含有一个完整视频且叙事文本可用的档案；排除因视频文件损坏、隐私限制、黑屏、AI 合成或由演员表演而不可用的档案。经此模块处理后，最终保留了 445 个患者档案和 177 个对照档案，对应 612 个唯一身份个体。

第二阶段：元数据检索

此阶段的目标是从非结构化的叙事文本中自动提取结构化的临床和人口统计学信息，这是本数据集区别于其他数据集的一个关键设计。其输入为第一阶段筛选出的档案中的叙事文本，输出为结构化的逗号分隔值表格。

该阶段的核心组件是一个基于大语言模型的自动化信息提取流水线：

• 功能：将参与者长篇的、自然语言描述的经历，转化为可供统计分析的标准字段。
• 内部结构与实现：选用 gpt-oss-120b 作为核心推理引擎，这一选择是基于在小规模人工标注验证集上对五个主流大语言模型的性能对比结果。针对患者和对照组，分别设计了包含 15 个和 10 个字段的查询模板。特别地，在情绪字段的提取上，模型被明确指令将输出约束在 Ekman 定义的八种基本情绪类别中。为保证结果的可复现性和确定性，所有推理过程均通过 vLLM 推理引擎执行，并将温度参数严格设为 0。模型被明确指示在信息不足时返回“na”，以此控制幻觉。整个组件通过接收叙事文本和预定义的字段提示，输出一个字典，后经后处理转换为最终的逗号分隔值文件。

第三阶段：多模态描述符批量提取

此阶段是整个架构中计算最密集的部分，它对第一阶段筛选出的 4,281 个视频片段进行全面的分析，提取语音、视觉和语言三模态特征。数据流在此处分为三个并行的处理通道：

1. 音频处理通道： 此通道的输入为原始视频中的音频轨道。首先进行预处理，将所有音频统一重采样至 16kHz 单声道，以消除格式差异。接着，一个核心预处理组件是说话人日志，它利用 DiariZen 模型识别并标记出音频中不同说话人的时间片段，其功能是精确隔离出被试的言语段，从而排除了采访者插话的干扰。此后，在纯净的被试语音段上，并行地调用多个特征提取器：

• eGeMAPS v2.0：提取帧级的低层声学描述符和段级的高层统计函数，涵盖频谱、韵律和音质特征。
• DisVoice：专注于提取与发音、韵律和发声动作相关的病理语音特征。
• 深度学习嵌入提取器：加载预训练的 XLS-R wav2vec 300M 和 TRILLsson 4.1 模型，从语音信号中生成深层、抽象的表征向量。
• 情感计算模块：提取唤醒度、效价和支配维度的连续轨迹及其潜在嵌入。

2. 视觉处理通道： 此通道的输入为原始视频帧流，它会根据说话人日志的边界信息，最终将帧级特征与语音段对齐。其核心是通过多个工具对每一帧画面进行分析：

• 面部与眼部模块：基于 OpenFace 2.2.0，其功能是提取 68 个面部几何标志点、28 个眼部标志点、一系列面部动作单元的强度值以及 3D 凝视方向向量。此外，它还负责估计头部的三维姿态（偏航、俯仰、翻滚）。
• 面部情感模块：基于 EmoNet 模型，其功能是生成帧级别的深层面部情感嵌入，并同时输出连续的效价-唤醒度评分以及 Ekman 八类基本情绪的概率分布。这是对标文本模态情绪元数据的核心视觉特征。
• 眨眼检测模块：基于眼部标志点计算的眼睛纵横比（EAR） 指标，实现对眨眼事件的自动检测。
• 身体姿态模块：基于 MediaPipe 框架，提取上身的 33 个关键点坐标，以捕捉姿势和体态的动态变化。

3. 语言学处理通道： 此通道的输入是 HEXI 提供的逐字转录文本。首先，使用 WhisperX 模型将文本与音频进行时间戳级别的强制对齐，这是实现多模态同步的关键步骤。随后，它调用特征提取器计算一系列结构化的语言学指标，包括词数、语速、词汇多样性、填充词/回馈词频率，以及对笑、哭、呼吸等非言语声音事件的计数。此外，还通过 all-mpnet-base-v2 句子转换器模型，为每个被试的对话轮次生成密集的语义嵌入向量，作为其语言内容的分布式表征。

关键设计选择与动机

• 数据源选择：选择HEXI平台，利用其已获得伦理批准、拥有高质量逐字转录和研究者撰写的叙事摘要的优势，解决了自建数据的高成本和伦理复杂性。
• 对照组界定：将照护者等作为对照组，而非“健康人群”，是因为他们的生活经历与疾病紧密相连，但本身不患病，这为研究长期照护压力、移情等与疾病相关但又非病理性的行为模式提供了一个更具挑战性和现实意义的基线。
• 使用大语言模型进行元数据提取：这是一个核心创新。相比于依赖参与者不完整或不准确的自我报告，从叙事文本中自动提取信息能系统性地获取用药、共病、生活影响等关键混杂变量，为下游分析提供解释性背景，极大地提升模型训练的可控性和结论的可靠性。
• 特征提取的保真度与隐私平衡：在整个多模态特征提取流水线中，所有深度学习模型的嵌入（如 XLS-R， TRILLsson， EmoNet， all-mpnet-base-v2）均仅在参与者对话轮次的级别上进行聚合后提供，而不发布帧级或毫秒级的完整嵌入序列。此设计选择明确地旨在降低从发布特征中还原原始语音内容或重建特定面部帧的风险，是在支持复杂建模与保护参与者隐私之间做出的审慎权衡。

💡 核心创新点

1. 首个大规模、多疾病的言语与非言语多模态基准数据集。之前的数据集多局限于单一疾病（如ADReSS仅阿尔茨海默症）或仅音频，CARE覆盖12种疾病+对照组且统一提供语音、面部、目光、姿态和语言多视角描述符。
2. 使用LLM从叙述文本中自动提取结构化的临床和情绪元数据，并进行了5个LLM的对比验证。这为大规模语料库补充了用药、共病、生活影响和情绪等关键混杂变量，这在以往的语音/视频数据集中几乎空白。
3. 系统化的特征工程流水线和开放复用：提供了完整的说话人日志→帧级/段级特征提取→嵌入计算的脚本，以及示例评估协议，便于社区直接复现和公平比较。
4. 多维度对照组设计：对照组不是无相关背景的普通人，而是照护者、丧亲者、医疗专业人员和倡导者，使得跨组对比可以排除部分“健康交谈者无疾病经验”的混淆，但也引入了对照组的特殊性。

📊 实验结果

本文为数据集论文，无传统的分类/检测主实验。提供了两类实验证据：

• LLM元数据提取验证：在34个手动注释档案（10对照+24患者）上评估五个LLM（Llama-3.1-8B, Llama-3.3-70B, Qwen-2.5-70B, Qwen-3-Next-80B, gpt-oss-120b），使用准确率、Jaccard相似度和BERTScore。gpt-oss-120b平均准确率0.63，Jaccard 0.48，BERTScore 0.75，优于其他模型且唯一坚持Ekman情绪约束。完整结果见下表，分对照组和患者组列出全部字段与模型的ACC/JS/BertS值。

全数据集情绪提取中，gpt-oss-120b在手动评估子集上唯一遵守了Ekman类别约束，但仍存在少量幻觉（如焦虑、挫折、震惊，<1%）和缺失（约5%的档案）。

下图基于LLM提取的元数据，进一步可视化了全部参与者在不同医疗条件下的主导情绪分布情况，可以看到“中性”和“悲伤”情绪在多数条件下占比较高。

对照组（Controls）

患者组（Patients）

说明：带有“*”标注的表示模型情绪预测是否限制在允许的类别集合内。对于单值字段，JS和BertS部分可能无值或未报告，按原文呈现。全数据集情绪提取中，gpt-oss-120b在手动评估子集上唯一遵守了Ekman类别约束，但仍存在少量幻觉（如焦虑、挫折、震惊，<1%）和缺失（约5%的档案）。

• 示例基线工作流：以 Control vs. Parkinson’s 为二分类任务，采用5折交叉验证、线性SVM、参与级聚合，但论文未报告具体分类性能指标，仅说明其为演示用途。

🔬 细节详述

• 训练数据：不适用，但特征提取依赖预训练模型：XLS-R wav2vec 300M、TRILLsson 4.1、EmoNet、all-mpnet-base-v2。LLM验证使用手动标注的34个档案。
• 损失函数：未说明
• 训练策略：未说明
• 关键超参数：gpt-oss-120b推理温度设为0（确定性输出）；视频原始帧率15-60 fps，约96%为25 fps；分辨率 352×288 到 1920×1080，68%为360×288；音频重采样至16kHz单声道。
• 训练硬件：未说明
• 推理细节：大语言模型使用vLLM引擎，温度0；说话人日志用DiariZen；语音对齐用WhisperX。
• 正则化或稳定训练技巧：未说明

下图展示了数据集在文件系统层面的组织结构。核心产物包含元数据表、原始视频、提取的特征文件等，并按组、子组和参与者档案层级进行组织，便于研究者按需访问。

⚖️ 评分理由

• 创新性 (1.3/2)：首次构建覆盖12种疾病、多模态（语音、面部、姿态、语言）的大规模基准，并开创性地用大语言模型从叙述文本中自动提取结构化临床与情绪元数据，弥补了既往数据集单一疾病、缺少混杂变量记录的空白，但数据本身是对现有采访视频的二次加工，缺乏原生标准化录制与临床验证，因此创新性受一定限制。见[A_SUMMARY]第3点、[A_METHOD]元数据检索。

• 技术严谨性 (1.2/1.5)：数据策展与元数据检索流水线逻辑清晰、步骤完备，说话人日记化、多模态特征提取及基于大语言模型的元数据自动抽取方法选择有明确对比验证，且在设计上通过只发布聚合嵌入来平衡隐私。流水线整体无推导错误或不合理假设，但因缺少对跨录制帧率/分辨率条件下特征稳定性的系统分析，严谨性略有不足。见[A_METHOD]完整流水线描述、[A_RESULTS]大语言模型验证部分。

• 实验充分性 (0.7/1.5)：作为基准数据集，论文未报告任何具体分类性能指标，仅提供了Control vs. Parkinson’s的示例工作流却无结果，导致无法衡量任务难度和基准有效性；大语言模型元数据提取的准确率有限（平均准确率0.63，部分字段极低），情绪标签存在少量幻觉和缺失，且未评估录制条件异质性对特征稳定性的影响，实验验证与基准强度不足。见[A_RESULTS]示例基线未报告指标、大语言模型验证表及说明，[A_LIMITS]审稿人问题中缺少基准性能和跨条件特征稳定性评估。

• 清晰度 (0.9/1)：论文结构清晰，从背景、方法、数据记录到技术验证层次分明，图表丰富，数据组织方式与字段定义描述详尽，讨论部分也明确列出了局限性，整体可读性与信息完整性高。见[S_HEAD]摘要与背景、[A_METHOD]方法概述、[S_MIDDLE]数据记录与图1-6、[A_LIMITS]局限与问题。

• 影响力 (1.0/1.5)：为多疾病言语和非言语数字生物标志物研究提供了多样化的测试平台，支持跨条件分析和共病建模，在多模态语音健康领域具有明确应用前景；但人群偏向英国/爱尔兰白人、部分疾病样本极少、对照组为照护者而非健康人，限制了结论的泛化与临床转化影响力。见[A_SUMMARY]第5点、[A_LIMITS]论文承认的局限。

• 开源 (1.5/1.5)：核心产物（CARE v1.0数据集，包含结构化元数据与多模态特征）通过Hugging Face完整公开发布，附带配套Python包care-dataset及特征提取脚本、示例评估工作流，文档与访问说明完备，符合数据集论文核心产物完整开放的标准。见[A_OPEN]数据集、代码和复现材料项。

• 可复现性 (0.5/0.5)：论文披露了完整的特征提取流水线、所用预训练模型及关键参数（如温度设为0、音频重采样至16kHz），并提供了提取脚本和示例评测流程，环境依赖明确，对于数据集构建任务，已充分支持结果复现。见[A_METHOD]流水线与超参数细节、[A_OPEN]复现材料。

• 工程/实践价值 (0.8/1.5)：提供了端到端的多模态描述符批量提取流水线和Python包，支持按条件筛选、模态选择和机器学习工作流集成，具有一定工程复用价值；但未提供演示或更完善的工具链支持，整体工程化程度中等。见[A_OPEN]代码与care-dataset包、[A_METHOD]第三阶段多模态描述符批量提取。

🚨 局限与问题

论文明确承认的局限：

• 多数参与者为英国或爱尔兰白人，种族多样性不足；部分疾病（唇腭裂、肺癌等）样本量极少。
• 对照组并非无疾病经验的“健康”人群，而是照护者、丧亲者、专业人员和倡导者。
• LLM提取的元数据可能不完整或出错；部分情绪字段预测超出预定义集合，少数配置文件情绪缺失。
• 视频质量、视角和录制条件存在一定的异质性。

审稿人发现的潜在问题：

• 数据集无法提供真实临床标签信息，所有症状、共病、情绪均来自自我陈述的文本叙述，LLM自动解析可能引入系统偏差或过度简化。
• 视频中偶尔有采访者介入，尽管使用说话人日志过滤，但被试的说话内容可能受采访者引导影响，而论文未分析这种交互作用对情绪或行为特征的影响。
• 所提取的特征（尤其是深度学习嵌入）虽然声称能降低语音还原风险，但并未提供隐私风险评估，也未讨论潜在的重新识别风险。
• 缺少基准性能报告使得研究者无法判断任务难度，作为“基准测试”的有效性待确认。
• 跨录制帧率和分辨率的特征稳定性没有系统评估，可能对动作单元、注视和姿态特征产生较大影响。

← 返回 2026-07-29 语音/音乐/音频论文速递