📄 DASWeave:把四种说话场合的差异织进抑郁焦虑压力筛查
评分:6.2/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Binyan Chen:University of Science and Technology of China, Hefei, China
- Tong Pan:University of Science and Technology of China, Hefei, China
- Yadong Liu:University of Science and Technology of China, Hefei, China
- Xin Yun:University of Science and Technology of China, Hefei, China
- Shangfei Wang:University of Science and Technology of China, Hefei, China
📌 核心摘要
输入是同一青少年在四种说话条件下的音视频与转写,输出是抑郁、焦虑、压力三个二值筛查标签。难点在于单段行为受个人习惯影响,而条件间变化更能反映心理状态。共享会话编码器把每段音视频与局部文本映射到同一空间的会话表示,再做掩码平均得到参与者表示。两层树融合用有监督提升树从数万维行为统计中学习与标签相关的划分,叶子索引经嵌入后在聚合前后分别残差加入。参与者语言融合用微调语言模型通读全部回答与相对朗读的行为差异描述,再把语言表示残差加入。训练时另有固定多模态大语言模型表示上的辅助分类器提供软目标。在 ACM Multimedia 2026 AdoDAS 挑战赛 Track 1 隐藏测试集上,DASWeave 平均 F1 为 0.5853,相对官方音视频基线 0.4604 提升 27.1%,平均 AUROC 为 0.8019。结论适用于同一协议下未见参与者的量表筛查,跨学校与跨设备迁移尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
筛查任务的输入是什么,要输出什么
这篇论文做的是儿童青少年的抑郁、焦虑、压力三项筛查,输出是每个参与者 3 个二分类概率,分别对应抑郁、焦虑、压力是否为阳性。标签来自 DASS-21 量表,每项 7 个题目计 0 到 3 分,加倍到 0 到 42 分后按切分定正负,抑郁至少 10 分、焦虑至少 8 分、压力至少 15 分为阳性,官方用固定 0.5 阈值把概率变成判定。
输入不是一段录音,而是每人 4 段说话,代号为朗读 A01、讲述昨天 B01、回忆最开心 B02 和最难过 B03。官方提供的是 25 Hz 对齐的特征序列、会话级声学汇总和开放回答的匿名转写,不是原始音视频。模型必须把 4 段证据汇总成一个人级结论,还要处理缺失会话和音视频有效性不同的情况。
初学者容易误以为多模态就是把音频加视频加文本拼起来。这里的关键是说话场合不同时行为会变,朗读时大家说同样文字,反映的是习惯性声音表情,开放回答与朗读的差受个人习惯影响较小,悲喜回忆之间的对比反映对情绪内容的反应强度。论文要利用的正是单段录音内部看不到的这种跨场合差异。
已有两条路线为什么还不够
论文把已有抑郁检测归纳为两条路线。第一条是为任务设计网络结构,学习一次访谈内的时序模式和跨模态交互,例如问答序列和音视频线索随时间的配合。这类网络只用带标签的抑郁数据学习,而这类数据规模有限。第二条是迁移大规模预训练的语音和语言模型知识,再用大语言模型引入心理学知识,但预训练目标是通用目的,不是为抑郁检测服务的。
两条路线都主要建模单次回答内部的行为和说了什么,较少关注行为随说话场合的变化。DASWeave 的定位是把跨场合差异变成显式证据,同时保留神经网络学任务特异模式、用有监督树学行为统计量、用语言模型引入大规模预训练知识并为任务微调。理解这一点就能明白后文为什么既有编码器,又有树分支和语言分支。
跨场合差异具体指哪两种比较
论文把跨场合证据落实为两种可计算的比较。一种是以朗读 A01 为基线,比较开放叙述 B01 与朗读的差,记为 B01 减 A01。因为朗读文字固定,减去它可以在一定程度上去掉个人习惯性音色表情的影响。另一种是比较悲伤回忆 B03 与开心回忆 B02 的差,记为 B03 减 B02,反映同一人面对不同情绪内容时行为变化的幅度。
这两种差既出现在参与者层树统计量的输入构造里,也以文字描述形式进入语言模型的提示,例如开放回答相对朗读的响度音高比、回答时长和短回答计数等。也就是说,差异不是抽象口号,而是有具体特征相减和具体提示字段支撑的。消融实验后面会检验拿掉这些跨场合信息后分数掉了多少。
四段回答如何走完一条预测主路
DASWeave 的预测主路由 4 个组件串起来。共享会话编码器把每段会话编成 256 维会话表示,会话树融合在聚合前加入会话统计量的树标记,会话聚合把有效会话平均成参与者初表示,参与者树融合在聚合后加入参与者统计量的树标记,参与者语言融合再把微调语言模型的表示以残差方式加进来,最后由线性头输出三任务概率。训练专用的多模态大语言模型辅助监督只在训练时提供软目标,预测时不用。
下图是理解分工最好的入口,主链从左到右,上方卡片是离线准备好的侧表示,下方是训练专用分支,实线与虚线的含义不同。
会话 × 参与者: 会话指一次录音回答,参与者指同一个孩子贡献的四次会话集合;会话表示刻画一次回答内部的声音表情动态,参与者表示是四次会话汇总后的整体画像,两者搭配才能既保留每次回答的特点又比较场合之间的变化。
读图时先确认 4 个会话框如何进入同一个编码器,再确认聚合模块前后各有一个六边形融合,最后确认圆形语言融合与右侧预测框的关系,这样就不会把训练才有的辅助分类器当成预测必需环节。
看图路径: 1. 先沿左侧四会话经共享编码器到右侧 D/A/S 预测的主链看表示流动;2. 再看上方两处树表示卡片在聚合前后分别接入的位置;3. 区分实线表示流与下方虚线辅助监督的训练专用路径
论文图 1。原论文 Figure 1.:“Overview of DASWeave for participant-level D/A/S screening.”。
这张总览图确实显示左侧音频视频文本进入共享会话编码器,4 会话经会话树融合进入会话聚合,再经参与者树融合和参与者语言融合到达 D/A/S 预测,下方固定 MLLM 表示经辅助分类器以截断软目标连到一致性损失,训练专用的标注和虚线辅助监督与实线表示流是分开画的。它帮助确认分支在聚合前后汇合的位置,以及语言与树信息都是以小残差方式加入主表示,而不是替换主表示。
共享会话编码器怎样表示一次回答
共享会话编码器对每段会话分别处理,但参数在 4 种场合间共享,使 4 段表示落在可比空间,再用 16 维会话类型嵌入标识场合。音频侧用对数梅尔描述、梅尔倒谱系数、语音活动检测特征和中文 XLSR wav2vec 2.0 嵌入,视频侧用头部姿态、面部行为、质量指标、汇总语音活动和 SigLIP-SO400M 嵌入,序列都对齐到 25 Hz 并带各自有效掩码。
每组特征先经层归一化加线性投影加 GELU 加 Dropout 的适配器到 64 通道,同模态内拼接后再投影到 256 通道,分别过 6 个残差块、每块两卷积、核 3、扩张 1、2、4、8、16、32 的时序卷积网络,逐步扩大时间感受野。注意力统计池化同时算加权均值和标准差,权重同时看编码帧、语音活动和视频质量,保留一次回答的典型水平和内部起伏,每模态汇总为 512 维。
开放回答还用冻结的中文 MacBERT-base 把问题加转写当句子对读,768 维 CLS 状态经可训练投影到 64 维文本向量,朗读则用零向量。加上 64 维池化声学向量和上述嵌入,多层感知机融合成 256 维会话表示。共享编码的代价是必须仔细处理缺失特征组和缺失会话,论文用零填充和有效掩码解决,缺会话则聚合时直接掩掉。
两层树融合在聚合前后各加了什么
两层树融合的输入是人工汇总的行为统计量,不是序列。会话层每会话 4207 维,包括 HuBERT-large 和 ViT-base 嵌入的均值标准差、对数梅尔倒谱统计、语音活动、头部姿态、面部行为、质量描述和 4 个会话指示,每会话用其参与者标签监督。参与者层 47150 维,把 4 会话向量与其逐元素均值、标准差、最小、最大以及 B01 减 A01、B03 减 B02 两组差拼接起来,使分类器能同时用单场合和跨场合信息。
每层对抑郁焦虑压力分别拟合 LightGBM 分类器,树按标签监督选统计量阈值分裂,样本落到的叶索引记录了标签相关的统计量组合。主模型固定树,只学习叶嵌入,把每目标每棵树的叶索引映射为 32 维向量后按树和可用折平均,再投影为 256 维树标记,每层每样本 3 个标记。训练参与者的可用折只含没见过该参与者的那一折,验证测试则用全部五折,这是堆叠泛化中防泄漏的折外构造。
聚合前的会话树融合以会话表示为查询,以 3 个树标记为键值做四头注意力,再以很小的可学习通道缩放做残差相加,公式含义是让会话查询决定 3 个任务树标记如何组合。
\[\widetilde{\mathbf{h}}_{s}=\mathbf{h}_{s}+\boldsymbol{\gamma}_{\mathrm{S}}\odot\operatorname{MHA}\left(\operatorname{LN}(\mathbf{h}_{s}),\operatorname{LN}(\mathbf{T}^{\mathrm{S}}_{s}),\operatorname{LN}(\mathbf{T}^{\mathrm{S}}_{s})\right).\]聚合是带有效掩码的平均再过两层 MLP,得到参与者初表示。
\[\mathbf{u}_{0}=\operatorname{MLP}_{\mathrm{agg}}\left(\frac{\sum_{s\in\mathcal{S}}m_{s}\widetilde{\mathbf{h}}_{s}}{\max(1,\sum_{s\in\mathcal{S}}m_{s})}\right).\]共享会话编码器 × 会话聚合: 共享会话编码器用同一套参数把四种场合的音视频文本映射到可比的 256 维空间,会话聚合再对有效会话做掩码平均并经 MLP 得到参与者初表示;前者保证跨场合可比,后者把多次证据压缩为一个筛查向量。
聚合后的参与者树融合把 3 个参与者树标记与初表示拼接过两层 MLP,再以小残差缩放加回,输出 256 维表示交给语言融合。
\[\mathbf{u}_{\mathrm{T}}=\mathbf{u}_{0}+\boldsymbol{\gamma}_{\mathrm{P}}\odot\operatorname{MLP}_{\mathrm{P}}\left([\mathbf{u}_{0};\mathbf{t}^{\mathrm{P}}_{D};\mathbf{t}^{\mathrm{P}}_{A};\mathbf{t}^{\mathrm{P}}_{S}]\right).\]两处缩放都初始化为 0.005,使新增分支开始时只是小残差,贡献由学习决定。
参与者语言融合怎样读全部回答
参与者语言融合用微调的 Qwen3-8B 把一个人全部答案一起编码。中文提示按会话顺序组织,A01 的声学视觉汇总作朗读基线,每段开放回答给问题、转写、SenseVoice 情绪标签和声视行为汇总,跨会话部分给回答时长文本长度、短回答计数、开放回答相对朗读的响度音高范围比和视觉质量,以及训练分布分位数位置标签,末尾加固定中文总结锚点以便总在同一位置读取最后词元 4096 维隐状态。
微调只用 LoRA 作用于查询键值输出投影并加三输出分类头,折外状态在主训练时固定,验证测试用全量训练集再训的模型提取。融合时把 4096 维经层归一化和 512 隐单元 MLP 投影到 256 维,作为单键值词元,与参与者表示做四头注意力,再以小残差缩放加回。
会话树融合 × 参与者树融合: 会话树融合在聚合前加入单次回答统计量的树标记,参与者树融合在聚合后加入含跨场合差值的统计量树标记;前者在单次层面校正会话表示,后者在整体层面补充朗读基线差与悲喜回忆差等变化证据。
\[\mathbf{u}_{\star}=\mathbf{u}_{\mathrm{T}}+\boldsymbol{\gamma}_{\mathrm{L}}\odot\mathbf{r}_{\mathrm{L}}.\]因为只有一个键值词元,这个注意力实质是提供投影后的语言残差,缩放控制它相对其他表示的比重。
参与者语言融合 × 局部文本特征: 局部文本特征指共享编码器内用 MacBERT 对单个开放回答的问题加转写文本的 64 维编码,参与者语言融合指微调 Qwen3-8B 把全部回答加行为差异描述一起读出的整体语言表示;前者保留每问说了什么,后者关联说了什么与怎么说随场合的变化。
这部分是唯一在预测路径中同时看到全部答案文字及其跨场合行为描述的环节,与只看单问文字的局部特征形成互补。
主目标、会话目标与辅助软目标如何联合训练
主训练同时优化会话编码器、叶嵌入、融合模块和预测头,侧分支的树叶、语言状态和 MLLM 表示都固定。预测头把融合后参与者表示映射为三任务 logits,同一线性头也对树增强后的每会话表示预测,以加权二元交叉熵做参与者损失和会话损失,正类权重按训练集负正比开方后截断到 1 到 4,照顾三任务阳性率不同。另有一个会话类型分类器从融合前会话表示预测 4 种场合,鼓励保留会话身份。
多模态大语言模型分支把 4 会话的 HuBERT-large 和 DINOv2-base 经池化投影为每模态每会话一个词元共 8 个,再经 Q-Former 重采样每模态每会话两个查询共 16 个,加上会话模态嵌入,共 24 个多模态词元放在中文提示文本之前,提示含 3 段开放回答的问题转写情绪标签。拟合时训练投影、LoRA 和分类头,之后取最后文本词元 4096 维状态并做 L2 归一化,主训练时在其上另学一个辅助分类器,用同样参与者标签和类别权重监督。
辅助分类器的截断概率作软目标,以无加权一致性损失监督主头,停止梯度保证只更新主路径。总目标把参与者损失加 0.2 倍会话损失加 0.15 倍类型损失,再加随前 5 轮从 0 ramp 到 1 的 0.05 倍辅助损失加 0.02 倍一致性损失,因为辅助分类器从零训练,需要先拟合标签再让软目标起足作用。输入正则化在有效帧加零均值高斯噪声,并对至少有两个有效会话的参与者随机去掉一个有效会话,更新聚合与会话监督掩码。
多模态大语言模型辅助监督 × 一致性损失: 多模态大语言模型辅助监督指在固定 MLLM 表示上另训练一个辅助分类器学参与者标签,一致性损失指把该辅助分类器截断梯度后的软概率作为主预测头的额外目标;前者提供音视频文本联合信息的来源,后者把这种信息在训练时蒸馏给主路径,预测时不再使用。
任务偏置调整不是重训,而是为每个任务在验证集上搜 logit 偏移,最大化该任务 F1,候选从负 3.0 到 3.0 步长 0.1,平局取升序首个最大值。由于 Sigmoid 单调,加偏移等价于改阈值,不改变任务内排序。最终提交偏移为负 0.6、0、0,3 个任务独立搜索即最大化平均 F1。
\[\delta^{\star}_{\ell}=\underset{\delta\in\mathcal{B}}{\operatorname{arg\,max}}\operatorname{F1}^{\mathrm{val}}_{\ell}(\delta).\]数据划分与评价规则在什么条件下成立
实验用官方 AdoDAS 第一赛道数据,6000 名儿童青少年在 10 所匿名学校按标准化流程录制,共 24000 段,每人 4 段且 4 段同属一个划分,每所学校在训练验证测试中都有出现。官方训练 4200 人 16800 段,验证 600 人 2400 段,测试 1200 人 4800 段,测试标签隐藏。训练集阳性率抑郁 21.55%、焦虑 28.24%、压力 12.86%,压力最稀少,这解释了后文压力 F1 更低且改进空间更大。
下表说明划分的比较基础,人数与段数对应每人 4 段的关系。
| Split | Participants | Segments |
|---|---|---|
| Training | 4,200 | 16,800 |
| Validation | 600 | 2,400 |
| Test | 1,200 | 4,800 |
该表确认训练验证测试是参与者不相交的,且段数是人数的 4 倍,复述消融与隐藏测试结论时必须带上这一前提。结果只度量在采集条件大致匹配、学校集合相同的未见参与者上的 DASS-21 筛查,不能直接推广到留出学校或不同录制条件,论文结论也把跨学校迁移列为未来工作。
评价由官方计分器把提交概率对到匿名参与者标识,在固定 0.5 阈值下算每任务正类 F1 再平均得平均 F1 排名,平均 AUROC 用于打破并列。主模型用验证集选检查点并调任务偏移,固定后再报隐藏测试。消融在官方验证集 600 人上重训比较,种子 123,共享训练预算、检查点选择、参数平均和偏移搜索,保证去掉某个组件前后的操作点选择方式一致。
隐藏测试集上第二名的分数意味着什么
以 USTC-AC 队名提交的 DASWeave 在 95 支合格队伍中排第二,平均 F1 为 0.5853,平均 AUROC 为 0.8019。组织方音视频基线平均 F1 为 0.4604,平均 AUROC 为 0.7169,提高 0.1249 对应相对 27.1%,AUROC 提高 0.0850。与第 1 名 HITSZ_HLT 的 0.5921 差 0.0068,比第 3 名高 0.1106 以上,且平均 AUROC 是前五中最高,比第 1 名高 0.0367。
下表是前五与基线的同条件比较,指标方向都是越高越好。
| Rank | Method | Mean F1 ↑ | Mean AUROC ↑ |
|---|---|---|---|
| 1 | HITSZ_HLT | 0.5921 | 0.7652 |
| 2 | USTC-AC (ours) | 0.5853 | 0.8019 |
| 3 | cog-simulation | 0.47 | 0.7051 |
| 4 | HEALTH FIRST | 0.4710 | 0.7320 |
| 5 | Ritsumei | 0.4665 | 0.7282 |
这张表说明名次判断依赖平均 F1,DASWeave 的优势在于三任务平均后的判定与整体排序能力兼顾,但它并没有在平均 F1 上超过第 1 名,不能夸大为全面最优。分任务看,抑郁 F1 为 0.6288、AUROC 为 0.8134,焦虑 F1 为 0.6421、AUROC 为 0.7962,压力 F1 为 0.4851、AUROC 为 0.7960,平均即上述总数。
平均 F1 × 平均 AUROC: 平均 F1 是抑郁焦虑压力三个二分类任务在 0.5 阈值下正类 F1 的平均,决定挑战赛排名,平均 AUROC 是三任务排序能力的平均,用于并列打破;前者看选定工作点的判定好坏,后者看不依赖阈值的排序好坏。
下表给出 3 个任务的原始分数与均值。
| Target | F1 ↑ | AUROC ↑ |
|---|---|---|
| Depression | 0.6288 | 0.8134 |
| Anxiety | 0.6421 | 0.7962 |
| Stress | 0.4851 | 0.7960 |
| Mean | 0.5853 | 0.8019 |
该表揭示压力的 F1 明显低于抑郁焦虑,但 AUROC 与焦虑接近,说明排序能力尚可而选定工作点的判定较难,这与压力阳性率最低、F1 依赖更少阳性样本的性质一致。所有结论只在官方隐藏测试集、固定阈值与任务偏移已定的条件下成立。
拿掉每个组件后验证集分数掉了多少
消融比较 6 种配置,主干只保留共享会话编码器加聚合与预测头,完整方法再加两层树融合、参与者语言融合与 MLLM 辅助监督,其余 4 种每次从完整方法去掉一项。完整方法验证集平均 F1 为 0.6038,比主干 0.5305 高 7.33 个百分点,且三任务各自最高。去掉参与者语言融合降到 0.5604,减少 4.34 个百分点,去掉两层树融合降到 0.5755,减少 2.83 个百分点,去掉 MLLM 辅助监督降到 0.5900,减少 1.38 个百分点,去掉 MacBERT 局部文本降到 0.5943,减少 0.95 个百分点。
下表是同一验证集、同一偏移搜索下的原始 F1 对照。
| Configuration | F1-D ↑ | F1-A ↑ | F1-S ↑ | Mean F1 ↑ | Δ mean F1 ↑ |
|---|---|---|---|---|---|
| Backbone (audio-visual + MacBERT) | 0.5704 | 0.6007 | 0.4205 | 0.5305 | −0.0733 |
| Full method | 0.6377 | 0.6520 | 0.5217 | 0.6038 | 00 |
| w/o participant language fusion | 0.5904 | 0.6209 | 0.4699 | 0.5604 | −0.0434 |
| w/o two-level tree fusion | 0.6103 | 0.6354 | 0.4809 | 0.5755 | −0.0283 |
| w/o MLLM auxiliary supervision | 0.6277 | 0.6449 | 0.4973 | 0.5900 | −0.0138 |
| w/o MacBERT | 0.6327 | 0.6447 | 0.5054 | 0.5943 | −0.0095 |
这张表支持论文的核心解释,带来跨场合证据的两个预测路径组件贡献最大,语言融合是唯一同时编码全部答案的环节,树标记即使在语言融合存在时仍有增益,MLLM 增益来自训练监督因为预测路径相同,局部文本与整体语言表示互补。压力从主干 0.4205 到完整 0.5217 增 10.12 个百分点,且每次移除后压力下降幅度都最大,说明新增信息对最稀少目标帮助相对更大,但这仍是验证集 600 人上的观察,不能直接当作部署保证。未胜出项也要看到,MLLM 与 MacBERT 的增益较小,且所有消融都经过各自偏移调优,F1 已含工作点选择的影响。
这些结论的边界与容易误解之处
首先,所有学校都出现在每个划分,验证与测试度量的是采集条件大致匹配下的未见参与者,没有评测留出学校或不同录制条件,跨场景迁移仍待验证。其次,F1 依赖固定 0.5 阈值与验证集选出的任务偏移,AUROC 只反映排序,压力 F1 低不等于模型对压力完全无区分力。
其次,侧分支拟合先于主训练,树、语言、MLLM 分支用同标签学习并以折外方式提供输入,主训练时固定。复现时若直接用全量数据准备训练输入会泄漏标签,必须按五折、参与者 4 段同折、折内估计插补与归一化的流程缓存。最后,没有收到代码模型数据可用性证据,不能声称已开源,来源未确认也不是技术缺陷,解读时只谈论文内容与有证据的结论。
复现第一步做什么,需要哪些配置
复现按论文附录流程走。先按参与者和会话对齐特征与转写并保留官方划分,再在 5 个参与者折上拟合侧模型并为每个训练参与者提取其余四折模型的折外叶与语言 MLLM 状态,验证测试用五折树叶与全量训练的语言模型,主训练固定侧输入并用 AdamW 优化编码器、叶嵌入、融合与预测头,选验证平均 F1 最高的 3 个检查点做参数平均,再用平均模型的验证 logits 搜偏移,测试时固定偏移输出每人三概率。
主训练关键配置在原文表中有完整记录,学习率主参数 0.001、树与语言融合组 0.0001、权重衰减 0.01、参与者批量 48、最多 30 轮、预热 3 轮、早停耐心 8 轮、Dropout 0.2、特征噪声标准差 0.01、会话丢弃概率 0.1、梯度裁剪 1.0、BF16 混合精度、种子 123。树分支学习率 0.03、特征采样 0.7、最小叶 20、L2 系数 2.0,会话层每任务每折 800 树、参与者层 1200 树、最多 31 叶。语言分支 LoRA 秩 16、文本限 2048 词元,MLLM 文本限 512 词元。环境区分主预测与侧表示准备,LightGBM 版本范围与 Transformer 版本按原文指定,缺失会话用零填充加假掩码处理。
什么时候值得尝试,还缺哪项验证
当每个被试有多段不同说话任务,且怀疑单段习惯性声音表情掩盖状态差异时,值得尝试这种先共享编码再聚合、并在聚合前后分别加入统计量与语言差异描述的思路。朗读基线差与情绪回忆差的构造可直接借用,但需确认自己数据中有无可比的固定文本与情绪对比条件。
复现第一步是重建参与者折与折外侧输入,而不是直接训练端到端大模型,否则容易把侧分支的标签信息泄漏进主模型。还需要补的验证是留出学校与不同采集设备的迁移,以及对压力这类稀少目标的阈值稳定性与误判分析,论文也指出任务特异监督与跨会话聚合值得进一步研究。
📎 论文与评分元数据
排名:前50% | 文档类型:方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses