日记里说的是什么比怎么说的更能猜中今天的心情

英文题目：Daily Affect Inference from Longitudinal Speech-based Journals: A Comparison of Acoustic and Linguistic Models

会议身份：conference:interspeech:2026:conference-paper-id:schlicher26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据集构建 #模型比较 #零样本 #语音 #语音情感识别

评分：5.6/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Michelle D Schlicher：机构信息未能从会议 PDF 纯文本可靠映射
• Andreas Triantafyllopoulos：机构信息未能从会议 PDF 纯文本可靠映射
• Nadine N Schmitt：机构信息未能从会议 PDF 纯文本可靠映射
• Johanna Löchner：机构信息未能从会议 PDF 纯文本可靠映射
• Bjoern Schuller：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文任务是以德语每日自由回顾语音及其转写为输入，输出多维心境问卷效价与唤醒分数及知觉压力量表分数，难点在于反思性叙述混合全天体验且个体内波动小、问卷难以分离效价与强度。方法链分三步：先用能量切分与Whisper Large-v3转写得到短语级音频与重叠文本窗，输出进入下一步建模；再用声学支路提取eGeMAPS与wav2vec2情绪预测并训练随机森林、用语言支路微调GBERT-large并零样本调用Mistral-7B-Instruct，分别输出三目标分数；最后在群体层面汇合评估并在个体层面用混合效应模型检验声学关联。相对已有方法的关键差异在于直接对比自由日记中副语言与语义流的信息量，表明效价偏语义而唤醒在该反思场景下声学贡献极弱，具有指导采集范式选择的实际意义。在说话人无关5折交叉验证评估设置下，Mistral-7B-Instruct在效价维度上的CCC指标为.466，高于GBERT-large在效价维度上的CCC指标.227。结论仅适用于群体间特质差异，对个体内日常波动的外推尚未验证，高唤醒与高压力个体的误差模式也显示脆弱性。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要回答什么？

本文的输入是大学生连续两周每天晚上 6 点后录制的语音日记，题目固定为回顾今天的高光与低谷，输出是同一天多维心境问卷中的唤醒度与效价，以及感知压力量表短版测得的压力分数。目标读者是刚进入语音与心理健康交叉领域的研究生，需要先建立一个可核对的事实底座：研究只用说话组的数据，最终保留 61 名说话人和 769 条录音及配套分数，所有目标在分析中被缩放到 0 到 1 区间，但在人群层面表格里均方根误差仍按原始量表报告。

研究要回答的核心问题是，在纵向自然日记这种反思性自由讲述中，到底是说了什么的语义流更能反映每日情绪，还是怎么说的副语言流更能反映每日情绪。作者明确把平静度维度排除，因为该维度在人与人之间和每个人内部的标准差都很小，缺乏可建模的变化。理解这个取舍很重要，后续所有声学与文本比较都只围绕唤醒度效价和压力 3 个目标展开，不涉及平静度。

资源状态方面，本次收到的证据中没有发现来源绑定且完成验证的开源代码模型或数据，不得声称代码模型或数据已公开。

此前路线在诱发方式与测量时间窗上有何分歧？

此前工作可以按两条轴线划分。第一条是诱发语音的方式，一派用语义中性的固定内容，例如持续元音重复音节或朗读，假设心理状态主要藏在副语言里，另一派用开放问题诱发自由讲述，例如今天感觉怎么样，允许语义与声学联合建模。第二条是心理测量时间窗，一派用量表回看过去一到两周的心境与行为，另一派让被试评价此刻的心情。时间窗不同直接改变监督信号的含义，回看两周更像特质或阶段标签，评价此刻更像状态标签。

本文选择每天回顾当天，与日记文本的时间指向一致，相当于一种介于此刻与两周之间的日尺度反思标签。作者回顾说，无论用传统统计还是深度学习，以往语音与自评的关联多为中等以下，甚至接近零，最高性能往往来自个性化或按人内变异分析，全局建模仍然困难。这个判断为本文的人群层面与说话人层面双轨评估埋下伏笔。

本文的增量在于收集可比的德语纵向自由日记，并把唤醒度效价压力分开检验，同时对比手工声学深度声学微调文本与零样本大语言模型 4 类做法。

为什么反思性日记让唤醒度与压力更难从声音推断？

一个具体的学习难点是，日记不是在情绪爆发瞬间录制的即时表达，而是晚上对全天的总结性叙述。说话人当下的激活状态例如疲劳，可能与叙述内容所指的 1 天的唤醒度并不一致。声学更可能跟随录音时刻的嗓音状态，文本更可能保留对事件好坏的语义评价。另一个难点是自评本身的局限，问卷要求从预设选项中选择，可能无法精确装下真实体验，作者提到焦点小组中被试也报告了这种困难。

数据还显示效价与唤醒度相关达到 0.61，说明被试没有把体验有多好与体验有多强烈完全分开。这对初学者是一个关键提醒，监督标签不是金标准物理量，而是带解释变异的主观报告。当标签本身把两个维度混在一起时，声学模型即使学到真实的嗓音激活，也可能与反思性唤醒度标签对不上。举例来说，同样讲述一件坏事，疲惫的人语速慢音量低，积极复盘的人停顿少用词正面，声学与语义指向不同层面，这是后文声学整体偏弱而文本相对较好的重要背景。

一个样本如何从录音走完到三个分数？

沿着一条日记样本走完全流程最容易建立整体感。第一步是采集，当天晚上被试回答高光与低谷并录音，同时填写反映当天的心境与压力问卷。第二步是预处理，波形重采样到 16 千赫，用基于能量的切分把长录音按至少 1 秒的停顿切成短语，静音操作化为比文件平均响度低 14 分贝的片段。第三步是转写与分窗，用 Whisper Large-v3 转写，再把转写按 5 个连续短语为一窗、步长 3 个短语切成重叠窗口，保留上下文。

第四步是建模，声学分支把短语级特征平均成每人每天一条向量，文本分支把每个窗口分别打分再平均到样本级。第五步是评估，人群层面把所有折测试样本汇合计算一致性相关系数与均方根误差，说话人层面再看每人误差与平均情绪的关系，并用线性混合效应模型检验声学特征的日内偏离是否跟随情绪的日内波动。整个流程中，短语平均与窗口平均都是关键聚合动作，它们把变长日记压缩成固定监督粒度，也抹掉了一部分时序细节。

声学分支与文本分支各自算什么？

声学分支有两套做法。第一套是 eGeMAPS 加扩展特征，用 openSMILE 提取 88 维 eGeMAPS 版本 2 特征，再加入预训练情绪模型给出的效价唤醒度支配度预测，以及音素总数元音辅音时长变异性说话速率构音速率相对说话时长总时长与停顿数等节奏特征，共 92 维，归一化后用多输出随机森林同时预测 3 个目标。第二套是 wav2vec2-large-robust-12-ft-emotion-msp-dim，通过自训练工具加池化层与线性头微调做回归。文本分支也有两套做法。第一套是德语 GBERT-large 加丢弃与线性回归头做多目标微调，第二套是零样本 Mistral-7B-Instruct-v0.2，用德语提示让模型扮演心理学家，只返回 3 个维度的分数，8 比特量化加贪心解码保证确定性输出，失败生成被剔除。

语音日记 × 生态瞬时评估： 语音日记负责提供自然讲述 1 天高光与低谷的连续语音和转写文本，生态瞬时评估负责用多维心境问卷与感知压力量表给出当天的效价唤醒度与压力分数，二者搭配的理由是让同一天的自由表达与结构化自评对齐，从而检验语音能否替代或补充问卷完成每日监测，组合意义在于把非结构化叙述变成可与量表分数直接比较的监督信号。

初学者容易把声学与文本对立起来，更准确的理解是它们监督来源相同但信息载体不同，声学看发音方式，文本看事件评价，本文正是要比较在日尺度反思任务中哪条流与量表更对齐。

效价 × 唤醒度： 效价负责区分体验是积极还是消极，唤醒度负责区分体验的激活强度是强还是弱，二者搭配的理由是 2 维情绪模型要求同时回答方向与强度才能定位 1 天的心境，组合意义在于本文发现参与者难以在回顾 1 天时把二者分开，效价与唤醒度高度相关，进而解释了声学模型在唤醒度上失灵的一个测量学原因。

记住效价管好坏、唤醒度管强弱，有助于理解为什么作者预期唤醒度应在副语言中更强、效价应在语义中更强，而实际结果却偏离了这一经典预期。

停顿与情绪预测为什么被单独拿出来检验？

在大量声学特征中，作者参照前人工作挑选了可解释的子集，重点包括流畅度与样本级特征，例如说话速率构音速率停顿率平均停顿长与停顿数，以及韵律发声共振峰与预训练模型预测。挑选的理由不是这些特征一定最强，而是它们在抑郁与情绪文献中有明确含义，便于检验日内变化。

线性混合效应模型的做法是把每个声学特征做人内中心化，也就是减去该人自己的均值，只保留今天比平时高还是低，再用随机截距吸收个体基线差异，固定效应控制天数趋势。系数经过伪标准化，便于跨特征比较。结果层面真正通过多重校正的只有效价相关的两个特征，停顿数负向，预训练模型预测的效价正向。从机制上说，今天比平时停顿少、被情绪模型判为更积极的讲述，更可能对应更高的自评效价。

eGeMAPS × wav2vec2 情绪模型： eGeMAPS 负责用 88 维手工声学参数加韵律与停顿特征刻画音高强度音质与流畅度，wav2vec2 情绪模型负责从波形学习并输出预训练的效价唤醒度支配度预测作为补充声学特征，二者搭配的理由是同时覆盖可解释的传统参数与面向情绪微调的深度表征，组合意义在于即使两路声学信息叠加，本文的人群层面回归仍然接近零，说明问题不在特征多少而在反思性日记与静态声学的错位。

这说明声学并非完全无信号，而是在全局回归中被个体差异淹没，只有剥离人均后才能看到微弱的日内关联。

哪些模型被训练，哪些只是推理，优化条件是什么？

GBERT-large 是被微调的文本编码器，训练 10 轮，批量 16，梯度裁剪 1.0，用 AdamW 加差分学习率，编码器主体与回归头分别设置学习率并加权重衰减，线性调度加 10% 热身。wav2vec2 情绪模型也是被微调的声学模型，用 Adam、批量 16、最多 12 轮加早停，通过自训练工具把分类骨干改成池化加线性头的回归器。eGeMAPS 随机森林没有梯度训练，而是按全局训练统计做均值方差归一化后拟合多输出回归。Mistral-7B-Instruct 明确是零样本，没有微调，直接在全数据集上推理打分，因此它的指标是全量直接计算，不经过说话人独立的交叉验证划分。

需要指出的缺项是，原文没有报告完整的超参数搜索空间与每折最优超参数，也没有报告随机种子与训练时长硬件预算，不能从模型名称推定具体实现细节。复现时应把可核对的部分固定下来：16 千赫重采样、1 秒停顿切分、5 窗 3 步长、短语或窗口平均到样本级、说话人独立划分，这些才是影响公平比较的关键。

数据、划分与指标如何保证比较公平？

数据来自德国大学生的两周观察性研究，入选要求年满 18 岁、在读、德语流利、有智能手机，被试随机分到打字组或说话组，本文只用说话组。依从率低于 50% 或无法生成转写者被剔除 7 人，剩余结构在后文表格中核对。评估分人群层面与说话人层面两部分。

人群层面除零样本模型外一律用 5 折固定说话人独立 80 比 20 划分，超参数在每折训练集内 20% 验证集上用均方误差选择，短语与窗口预测平均到样本级后再把各折测试预测汇合计算指标，并用自助法给出 95% 置信区间，均值预测器用训练集均值作为基线。指标用均方根误差与一致性相关系数，前者越小越好，后者越大越好。说话人层面一方面计算每人误差并与平均情绪做相关，另一方面用线性混合效应模型检验人内声学偏离，P 值经 Benjamini-Hochberg 错误发现率校正。

一致性相关系数 × 均方根误差： 一致性相关系数负责衡量预测与自评在相关性和绝对一致性上的吻合程度，均方根误差负责衡量预测分数偏离真实量表分数的平均幅度，二者搭配的理由是只看相关会忽略系统偏置，只看误差会忽略趋势一致，组合意义在于本文压力预测出现一致性相关系数较高但均方根误差与均值基线相近的分化，必须两项一起读才能判断模型是真能定量还是只能排大小。

以下先核对数据规模与分布，再进入主结果。录音时长与目标分布的形态决定了基线强弱与误差可比性，压力偏态与效价唤醒度的分散程度都需要先看清楚。

看图路径： 1. 先看左侧录音时长直方图的横轴秒数与纵轴频数，确认多数样本集中在短时长一侧并带长尾；2. 再看右侧三个小提琴图的纵轴归一化分数，比较唤醒度效价与压力的分布形状与集中位置；3. 对照图注中目标已缩放到 0 到 1，区分原始量表与归一化显示；4. 注意压力分布明显偏向低分端，这会影响均值基线的误差表现

论文图 1。原论文 Figure 1：“(a) Distribution of recording durations, and (b) target distributions: MDBFA(arousal), MDBFV(valence), and PSS-4 (stress). Targets were scaled between [0,1].”。

左图显示录音时长呈右偏分布，多数样本集中在数十秒到 250 秒之间，柱高在 100 秒附近达到峰值，尾部延伸到 750 秒以上但频数很低。右图 3 个小提琴显示唤醒度与效价分布较宽且覆盖整个归一化区间，压力则明显堆在低分端，高分样本稀少。这种偏态意味着用均值预测压力也能拿到不大的均方根误差，但一致性相关系数会暴露其无法排序的弱点，这正是后文压力出现误差与相关分化的前提。

人群层面谁赢了，代价是什么？

下面先看人群层面的总体精度对比，比较均值基线、两套文本模型与两套声学模型在效价、唤醒度与压力 3 个目标上的表现，为后文讨论收益与代价提供统一口径。

表后需要同时读出收益与代价。收益是文本明显占优，效价上 Mistral 达到 0.466，压力达到 0.360，GBERT 在唤醒度上达到 0.122 且为全场最好，置信区间与基线及声学模型分离。代价有三处，第一是唤醒度整体仍然很弱，最好的 0.122 也远低于可用的监测水平，第二是声学两套做法在唤醒度与压力上接近或低于零，效价也只有 0.031 与 0.017 的微弱提升，第三是压力的均方根误差上 Mistral 的 3.81 与均值基线的 3.80 几乎相同，说明相关性强不等于绝对分数准。未胜出项必须点名，eGeMAPS 随机森林与微调 wav2vec2 在 3 个目标上都没有进入前二，唤醒度甚至为负，这与以往唤醒度应由声学主导的经验直接冲突。

以下从说话人层面看人群高分是否等于能跟踪每 1 天的变化。导读是横轴为每人平均情绪，纵轴为该人误差，若模型真能跟踪状态，误差不应系统随平均水平漂移。

看图路径： 1. 按从上到下三行分别确认横轴是每人平均唤醒度效价与压力，纵轴是该人的预测误差；2. 观察每行蓝色散点随横轴的变化趋势，再读橙色虚线回归方程的斜率正负；3. 比较唤醒度行明显上扬与压力行明显下行的差异；4. 注意效价行斜率接近零，说明误差相对不随平均效价变化

论文图 2。原论文 Figure 2：“Speaker-level root mean squared error (SL RMSE) for the best-performing model Mistral-7B-I on the full dataset.”。

三行散点加回归线显示，唤醒度误差随平均唤醒度上升而上升，斜率为 0.836，压力误差随平均压力上升而下降，斜率为负 0.789，效价行斜率仅 0.177 相对平稳。可见零样本大模型更擅长区分人之间的稳定差异，而非同一人每天的上下波动，高唤醒与低压力人群的误差模式也提示模型存在系统偏置。结合人群层面效价最好、唤醒度最弱的结论，可以判断当前全局模型更像特质排序器，而不是状态监测器。

声学日内关联的反证在哪里，哪些特征真正显著？

这一节承担反证任务，即在控制个体基线后，声学特征的日内偏离是否还能解释情绪的日内波动。方法上每个特征单独拟合线性混合效应模型，人内中心化加随机截距，报告伪标准化系数与 95% 置信区间，并做多重校正。先看整体形态，三行系数大多贴近零线，置信区间普遍跨零，量级与前人纵向研究相近，说明单一声学参数的日内解释力很有限。再看显著点，只有预测效价维度的两个特征通过校正，效价行中停顿数显著为负，预训练模型预测的效价显著为正。

若把置信区间不含零也算作提示，则效价还浮现 3 组弱信号，停顿时长类、总时长类与模型预测类，前两组与既往抑郁心境监测的报告一致。唤醒度与压力没有任何通过校正的声学关联，压力仅在更长时长与更多停顿方向上有未校正的倾向。

看图路径： 1. 先按顶部标题区分三行分别对应唤醒度效价与压力，再按列区分样本流畅度韵律发声共振峰与模型预测分组；2. 纵轴是标准化回归系数，横向虚线为零，先看置信区间是否跨零；3. 按图例区分圆圈方形与三角，找出效价行中达到显著的停顿数与预测效价两点；4. 对照唤醒度与压力两行几乎全部跨零，确认声学的日内关联整体微弱

论文图 3。原论文 Figure 3：“Speaker-level (SL) standardized regression coefficients from linear mixed effects models for acoustic features predicting MDBFA, MDBFV, and PSS-4.”。

像素细节支持上述判断。第一行唤醒度所有点几乎都贴着零线，橙色流畅度与红色韵律点的误差棒都跨零。第二行效价最右侧橄榄色三点明显上偏，其中中间一点用三角标出达到更严格显著，对应预训练效价预测，左侧橙色停顿数用方形标出显著为负。第三行压力左侧蓝色总时长点上偏但未显著，整体仍以跨零为主。这个反证的教学价值在于，它把人群层面声学接近零拆成两个结论，声学不是完全没有效价信号，而是信号只在剥离个体均值后微弱可见，全局回归学不到。

哪些边界会推翻对声学无用的简单结论？

首先是样本结构，女性占 90.2%，平均年龄 23.0 岁，学生群体同质性高，结论外推到其他年龄性别与临床人群时需要重新验证。其次是标签与录制条件的混杂，自评可能受回忆偏置社会期望与理解差异影响，录制时间疲劳与录音质量也可能系统影响声学，但原文没有量化这些混杂。再次是日内变异本身不大，部分被试每天分数几乎不变，混合效应模型在低变异个体上难以估计斜率，随机斜率还因收敛问题被去掉，只保留随机截距，这会低估个体差异。

再者是聚合粒度的代价，短语平均与窗口平均抹掉了情绪高点与转折，停顿与时长的分布信息被压缩成均值。最后是时间对齐问题，声学反映录音时刻的即时激活，标签反映对全天的反思评价，二者本来就不在同一时间尺度上，不能把声学在唤醒度上的失败直接读成声学无用。更谨慎的表述是，在日尺度反思标签下，未个性化的全局声学模型监测能力有限。

复现先固定什么，再补哪项验证？

为说明复现代价与推广边界，下表先把来源证据与对应量化记录并列整理，后文再逐项解释其含义与适用局限。

表后要说明代价与补项。主要代价是超参数搜索空间、随机种子与计算预算报告不全，直接复跑很难逐位对齐，只能先求趋势一致。还需补的验证包括按性别与依从率分层、按录制时段分层、加入个性化适配后声学是否回升，以及把窗口平均换成注意力或峰值聚合是否改善状态敏感性。在没有这些补充之前，不应把本文结论推广为自由讲述一定优于结构化任务，只能说在本文的日记任务与全局建模条件下文本占优。

何时值得尝试语音日记，首选哪条技术路线？

当目标是每天低负担地补充问卷、且允许用户自由讲述当天事件时，语音日记值得尝试，因为它同时留下语义评价与嗓音状态，比固定朗读更贴近真实反思过程。技术路线上，若只能选一个全局起点，应先做文本，德语可用 GBERT 类编码器微调，资源允许时可用指令大模型零样本打分，但要接受它偏向特质排序的局限。声学不应作为主预测器单独上线，但应保留停顿数总时长与预训练情绪预测作为个体内变化的辅助信号，并在混合效应框架下先验证再使用。

若目标是跟踪同一人每天的起伏，则必须加入个性化，例如按人校准截距或适配少量样本，否则人群层面的效价 0.466 与压力 0.360 会高估实际监测能力。最后要回到测量本质，日记标签是对 1 天的总结性评价，不是秒级情绪真值，模型误差中有一部分来自标签本身的模糊性。未来的工作应把重点放在提高时间敏感性与个性化上，而不是继续加大全局声学特征的堆叠。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总