📄 在真实生活里听歌时,身体发生了什么:BEATS 数据集解读
英文题目:The BEATS Dataset: Towards Understanding Music-Physiology Dynamics in Real-World Scenarios
评分:7.7/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.9/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Benjamin Gutierrez Serafin:University of Glasgow, United Kingdom
- Tanaya Guha:University of Glasgow, United Kingdom
- Fahim Kawsar:University of Glasgow, United Kingdom;OmniBuds Ltd, United Kingdom
📌 核心摘要
真实聆听伴随活动环境变化,实验室短片段难复现运动伪影与个体差异,现有同步生理信号数据集多为短片段或单一心率记录。该文以日常连续佩戴腕带采集的多通道生理信号与流媒体播放记录为输入,以与音乐功能关联的主观功能评价及情感变化为输出,其中效价指愉悦不愉悦之分,唤醒度指激活高低,难点是无控下信号质量与因果归因。研究先按情感调节、意义追寻与目标达成三种康养功能提取描述文本嵌入并计算流行度与声学适配度加权评分,输出共享曲库送入专用账号供自由聆听,再以腕带、手机应用与云端同步记录生理与播放时间戳并触发问卷,最后整理输出原始波形、衍生分钟级生物标志物、播放日志、动静态声学特征及人格量表。相比以往实验室曲库,该设计结合共享刺激、连续日常监测与多模态同步,支持跨被试比较与长时行为分析。在BEATS数据集844个会话共262.2小时的对齐聆听记录上,目标达成类总聆听时间为176.4小时,高于情感调节类的54.4小时,三类音乐的稀疏逻辑回归三折验证平均F1为0.785。结论仅适用于30名18至49岁被试佩戴研究级腕带日常活动并听指定歌单的21天记录,运动伪影与体温调节致皮肤电变化等混杂未控、活动环境差异大或聚合到被试层面会掩盖细粒度动态而失效,跨人群跨设备泛化与长期康养干预因果效果尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
代码相关资源:https://github.com/gtzben/beats-dataset — 链接可访问(HTTP 200)
第三方资源:https://beats-dataset.github.io/ — 链接可访问(HTTP 200)
第三方资源:https://developer.spotify.com/documentation/web-api — 链接可访问(HTTP 200)
第三方资源:https://huggingface.co/sentence-transformers/all-mpnet-base-v2 — 链接可访问(HTTP 200)
第三方资源:https://www.empatica.com/en-gb/embraceplus/ → https://www.empatica.com/embraceplus/ — 链接可访问(HTTP 200)
第三方资源:https://www.empatica.com/embraceplus-compatibility/ → https://www.empatica.com/compatibility/ — 链接可访问(HTTP 200)
第三方资源:https://support.empatica.com/hc/en-us/articles/9843547409821-Download-the-Care-App — 链接不可用(HTTP 403)
第三方资源:https://librosa.org/doc/latest/index.html — 链接可访问(HTTP 200)
第三方资源:https://neuropsychology.github.io/NeuroKit/ — 链接可访问(HTTP 200)
第三方资源:https://github.com/lciti/cvxEDA — 链接可访问(HTTP 200)
第三方资源:https://support.empatica.com/hc/en-us/articles/17405877853981-How-to-access-Avro-files-with-Python — 链接不可用(HTTP 403)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
为什么要在真实生活里研究音乐与身体的关联?
音乐常被用来调节情绪、缓解压力,也被尝试用于疼痛管理、记忆支持以及帕金森病、进食障碍等神经与精神健康的辅助。它不侵入身体,没有药物那样的副作用,成本也相对低,所以很受关注。但具体是哪些声音特性在起作用,比如音高、速度、音色如何牵动身体反应,目前并没有清楚的答案,这限制了音乐干预真正产生期望的助益效果。
情绪会调节自主神经系统活动,自主神经系统是连接大脑与心脏、血管、汗腺的调控网络,情绪变化会通过它反映在心跳和出汗等反应上。由此得到两个常用客观线索。光电容积脉搏波是用光照射皮肤测量血容量脉动的光学信号,心率变异性是从心跳间隔变化中提取的调节指标,前者是高时间分辨率的原始波形,后者是反映波动状态的衍生量。皮肤电活动是测得的皮肤电导变化,主要与交感神经激活有关的出汗反应相关。效价与唤醒度常被用来描述情绪,前者是愉悦与不愉悦的维度,后者是激活程度高低的维度。
光电容积脉搏波 × 心率变异性: 光电容积脉搏波是腕部光学传感器记录的原始血容量脉动波形,连续但易受运动干扰;心率变异性是从心跳间隔序列算出的调节指标,反映自主神经波动。两者搭配的意义是前者提供连续原始输入,后者把节律转成可比的情绪相关量,组合后才能从原始光信号走到可解释的生理标记。
实验室能控制光线、姿势和任务,却也改变了听歌的心境。现实里听歌往往是伴随性活动,一边工作、放松或冥想一边听,歌单也按场景和心情组织。流媒体和可穿戴设备让长时间野外采集成为可能,但也带来运动伪影、体位变化,以及环境温度通过体温调节影响皮肤电活动等问题。理解这些条件,是读懂后面采集设计的前提。
已有带生理信号的音乐数据集卡在哪里?
要判断 BEATS 补了什么,先要把已有数据集放在同一维度下比较。比较的问题是:在同样想研究音乐与生理时间对齐关系时,各数据集用的刺激多长、是否所有人都听同一批刺激、听歌时机由谁决定、是否记录个体差异、用的是什么设备、在实验室还是野外。指标方向很直观:刺激越短、带歌词和画面越多,越难分清是声音本身还是语义视觉在起作用;听歌时机不可控,就难以比较日常主动听歌;没有个体差异,就难以解释为什么同一首歌对不同人效果不同。
下表完整呈现原文汇总的已有数据集与 BEATS 的对照,重点看刺激、样本量、听歌控制权、个体差异、设备与场景这几列。
| Dataset | Stimuli | Participants | †Samples | ‡Lstn. Ctrl. | Data Collected | §Indiv. Diff. | Device | Setting | Available |
|---|---|---|---|---|---|---|---|---|---|
| DEAP [43] | 40 music video excerpts (60s) | 32 | 1,280 | ✗ | EEG, GSR, EMG, BVP, face video, self-reports | ✗ | Biosemi ActiveTwo | Lab | ✓ |
| PMEmo [44] | 794 pop chorus excerpts (11-88s) | 457 | 7,940 | ✗ | EDA, static/dynamic valence-arousal ratings | ✗ | Biopac MP150 | Lab | ✓ |
| Emotion in Motion (EiM) [35, 45, 46, 47] | 53–81 song excerpts (∼90 s) | ≥20,000 | 6,509 | ✗ | EDA, HR, self-reports | ✓ | POX-OEM M15HP and BioEmo | Field | ✗ |
| HKU956 [48] | 956 full-length CC-licensed songs (∼50 s avg.) | 30 | 956 | ✓ | BVP, EDA, skin temperature, HR, valence/arousal ratings | ✓ | Empatica E4 | Lab | ✓ |
| SiTunes [49] | 307 tracks (varied duration) | 30 | 2,006 | ✗ | HR, activity, location, valence/arousal, liking, duration | ✗ | Smart wristband | Field (1 week) | ✓ |
| BEATS | 117 tracks across 3 contexts (varied duration) | 30 | 5,173 | ✓ | BVP, EDA, skin temperature, tri-axial ACC, 1-min biomarkers, binary self-reports | ✓ | Empatica EmbracePlus | Field (21 days) | ✓ |
从表中能读出 3 个缺口。第一,多数研究用几十秒的流行歌曲片段,常带人声或视频,生理反应很难归因到声学特性。第二,有的实验没有保证所有人听同一批刺激,跨人比较不公平。第三,实验室占主导,唯一的周级野外研究只记录心率,没有可算多种指标的原始多模态信号。BEATS 的定位正是共享的 117 首曲目、听者自主决定何时听、记录人格偏好等个体差异、用研究级手环在 21 天野外采原始信号。表中 5,173 是与生理重叠的有效听歌实例数,844 是文中另一定義的听歌会话数,两者口径不同,不能直接混为一谈,这个限制在用数据时要记住。
BEATS 究竟要补上什么样的证据?
BEATS 全称是助益声景带来的生物标记、体验与情感,目标是支持健康、音乐心理、情感计算与信号处理研究。它要提供的不是一个模型,而是一份可在真实条件下研究音乐生理动态的数据。具体包括四块:用研究级手环在自由活动中采的传感器数据;听歌活动记录、刺激元数据、声学特征与听后自评;人口学、音乐偏好、音乐素养、人格等个体特征;参与数周前后测的情绪、压力与抑郁症状。
输入是连续生理原始信号加自动记录的播放时间戳与曲目信息,目标是让研究者能把某段音乐与同时段身体变化对齐,并结合主观评价与个体差异做分析。必须保留的信息有 3 类:原始波形的时间精度,听歌起止的准确对齐,以及听歌意图与场景。输出是匿名化后的 3 个目录:生理、心理测量与刺激,附带分钟级生物标记与静态动态声学特征。
效价 × 唤醒度: 效价指愉悦与不愉悦的维度,唤醒度指激活程度高低的维度,两者共同描述情绪。论文用它们组织生理指标的意义在于,心率变异性和皮肤电导等信号单独看含义模糊,放到效价与唤醒度的框架里才能对应放松、紧张等状态,也才能解释为什么要同时采心电相关与皮电信号。
论文报告的总体规模是 30 人 21 天,原始生理记录 10,725 hours,其中与听歌重叠的为 262.2 hours,涉及 117 首 curated 曲目与 844 个听歌会话。规模大并不等于因果成立,它只说明有足够长的自然听歌与生理并行记录去做相关与建模探索,野外混杂仍在,这是后文验证部分反复提醒的前提。
21 天野外采集是如何组织起来的?
先看整体链路再看细节,会更容易复述。参与者在实验室完成知情同意并领到编号,手环戴在非惯用手上并与手机应用配对,手机后台定期把生理数据传到云端。同时每人分到一个预装 12 个 curated 歌单的专用听歌账号,被要求当作个人账号使用,但数据集中只收录与研究歌单相关的播放。21 天里大家保持日常作息,想从音乐获益时就去听,只需待在对应场景里,比如办公、放松或冥想,尽量一次听完 30 分钟歌单,中断越少越好,在意他人时用耳机,独处时可用外放。
下面这张流程图把 3 条线画在了一起,读图时先找生理线、播放线与问卷线,再看它们在哪里交汇,生理与播放的交汇靠时间戳,播放与问卷的交汇靠听歌触发邮件。
看图路径: 1. 先沿左上 21 天日历到手环再到右上原始生理数据的箭头看主采集链;2. 再看下方定期活动检查如何同时分出播放状态监测与问卷触发两条线;3. 最后看听歌手机与问卷手机如何都指向中间的听歌人
论文图 1。原论文 Figure 1::“Overview of the in-the-wild data collection procedure, illustrating continuous physiological monitoring, automated logging of music listening activity, and time-triggered email…”。
这张图确实可见的是:左上 21 天日历指向手环,手环向右给出原始生理数据,向下指向听歌人;下方定期活动检查同时向上监测播放状态、向右记录听歌活动并触发问卷,问卷经邮件到达听歌人再形成主观评价。它帮助理解的关键是,生理是连续采的,播放是每 30 秒轮询接口并用播放时间戳交叉校验的,问卷不是听完立刻弹,而是在 09:00 或 21:00 统一发,且只在过去 12 小时有听歌时才发,目的是减少打扰并提高回应率。设备充电安排在洗澡或低电量时,尽量保证连续佩戴。伦理批准来自格拉斯哥大学科学与工程学院,编号 300240032,完成后给 50 英镑亚马逊券。
三类助益音乐的歌单是如何算出来的?
刺激选择要解决两个困难:一是让不同人听同一批歌以便比较,二是让歌单贴合日常按功能听歌的习惯。论文按促进健康的功能选了 3 类:情绪调节类用于改善情绪与减压放松,幸福感类的内省冥想类用于内省冥想与头脑清晰,目标达成类用于工作学习中的专注坚持。每类限定在具体现实场景里,避免场景混杂。
计算流程是先从平台编辑歌单出发,把歌单描述与健康关键词都用 all-mpnet-base-v2 变成文本向量,再算余弦相似度。相似度分两路,一路是描述与声学标准如器乐、无人声的相似度,一路是描述与功能关键词的相似度,再加上人气即关注数对数归一化值,三项加权得到每个歌单对每个功能的得分。权重经验设为 0.3、0.3、0.4,功能相关性稍高,因为这样分出的归属更好,同时保留人气与声学合适度的贡献。
人气 × 声学标准 × 功能相关性: 人气指播放列表关注数的对数归一化值,代表流行度;声学标准指描述与器乐、无人声等预设声学要求的语义相似度;功能相关性指描述与助益功能关键词的语义相似度。三者分工是流行度保证可听性,声学标准控制混杂,功能相关性保证助益指向,组合成加权分后才能在众多歌单里选出每类功能最合适的一张。
第一个公式计算加权相关分数,它要回答每个候选歌单对每个功能有多合适。式中下标 i 指第 i 个歌单,j 指第 j 个音乐功能,Pi 是人气,Ai 是声学标准相似度,Mi,j 是功能相关性,w1 到 w3 是权重且和为 1,先形成三项再线性相加,结果用于排序。
\[{S}_{i,j}=w_{1}P_{i}+w_{2}A_{i}+w_{3}M_{i,j},\qquad\sum_{k=1}^{3}w_{k}=1\]第二个公式做归属,它要回答每个歌单最终算哪一类。做法是对同一歌单比较它在 3 个功能上的加权分,取最大者对应的功能作为归属,每类取排名最高的一张,再各切成 4 个 30 分钟歌单,共 12 张。
\[R_{\mathrm{music}}(i)=\arg\max_{j}S_{i,j}\]下面示意图把向量化到加权的过程画了出来,读图时注意文本如何变成数字再变成选择,不要把示例里的歌单封面当成全部刺激。
看图路径: 1. 先看左侧歌单库与健康关键词如何各自变成中间的向量;2. 再看右侧相似度、人气、声学标准三路如何汇入加权求和圆圈;3. 注意示例里平静钢琴与环境音乐的描述对应哪一路相似度
论文图 2。原论文 Figure 2::“Schematic overview of the stimuli selection process.”。
这张图确实可见的是:左侧歌单库与健康关键词分别指向中间的描述文本与向量,向量再指向右侧相似度、人气、声学标准三格,最后汇入加权求和圆圈。它帮助理解的是,选择不是人工拍脑袋,而是把流行度、声学可控性与功能指向放在同一分数里权衡,缺点是权重是经验值,没有报告换权重后的敏感性,复用时要意识到这是启发式而非最优证明。
手腕信号与播放记录是如何对齐的?
生理侧用 Empatica EmbracePlus 腕戴设备,连续记录光电容积脉搏波、皮肤电活动、腕部外周皮温与三轴加速度。原始文件为 Avro 格式,另提供对齐到 00:00 并修正跨天断点的 parquet 处理信号,以及设备方专有算法算出的分钟级生物标记,涵盖心血管、脉率变异、呼吸、皮电、皮温、活动、睡眠、步态与佩戴检测等。佩戴检测低于 75% 的时段会被滤掉,以减少未佩戴时的伪影。
播放侧通过听歌接口每 30 秒拉取播放状态,记录曲目起止时间戳、元数据、播放时长、场景、设备类型与是否播完,并用播放时间戳交叉校验保证时间准确。听歌记录用微秒级 Unix 时间戳标记每个样本起止,字段名在刺激元数据、播放记录与自评间保持一致,便于关联。主观回应是单题二值问卷,问歌单是否支持了其预设功能,答 True 或 False,与对应会话绑定。
下面示例把对齐效果画了出来。读图时先确认最上方轨道写的是 PPG (PR),它给出脉率随时间的变化,而非 ECG 波形;再对照最下方 AUDIO 频谱的能量段与橙色播放段是否一致,最后比较其余通道在段内外的变化。单次波动不能直接当成普适效应。
看图路径: 1. 先确认最上方轨道标的是 PPG (PR)、纵轴显示的是脉率范围,而不是 ECG 波形;2. 再对照最下方 AUDIO 频谱的能量段与橙色播放段是否左右一致;3. 然后比较橙色段内外 ACC (MAG) 的尖峰数量,并看 EDA (SCL) 与 TEMP 在段内外的缓慢变化
论文图 3。原论文 Figure 3::“Sample snippet from our datasets showing multimodal physiological signals aligned with music listening activity.”。
这张图确实可见的是 5 条时间对齐的轨道:最上方是 PPG (PR),纵轴范围约 50–200,画的是脉率序列,不是心电波形;往下依次是 EDA (SCL) 皮肤电导水平、TEMP 皮温、ACC (MAG) 三轴加速度幅值,最下方是 AUDIO 音频频谱。橙色段对应音乐播放中,前后黑色段对应听前与听后。橙色段内 ACC 的尖峰明显更少,EDA 由较低值上升后在播放后段回落,TEMP 呈缓慢变化,PPG (PR) 仍有起伏但整体是脉率轨迹。图中没有独立的 ECG 通道。
它帮助理解的是,数据集的核心价值在于把播放记录与多模态生理信号按同一条时间轴对齐,并在播放前后保留可比较的基线;但单一片段受运动和佩戴影响大,不能凭 1 例推广到所有人。
问卷与声音特征分别记录了什么?
个体差异与身心状态用问卷覆盖,目的是解释为什么同一首歌对不同人效果不同,以及长期听歌前后是否有变化。登记时采人口学与听歌习惯,含非惯用手、招募批次、工作场景等;特质侧采人格、音乐偏好与音乐素养;前后测采情绪、压力与抑郁症状。问卷均为成熟量表,题数与计分在下表给出,读表时注意量程与总分方向不同,不能跨表直接比大小。
下表说明问卷比较问题:在需要控制个体差异与评估前后变化时,各量表测了什么、用多少题、量程多大、总分怎么算,方向是越高越喜欢、压力越大还是症状越重。
| Type | Full Name | Items | Response Range | Overall Score |
|---|---|---|---|---|
| Demographics | N/A | 22 | Varied formats | N/A |
| Personality | Ten Item Personality Inventory (TIPI) [56] | 10 | 1–7 (Disagree to Agree) | Average score for each trait |
| Music Sophistication | Goldsmiths Musical Sophistication Index (Gold-MSI) [57] | 38 | 1–7 (Disagree to Agree) | Five subscales and composite index |
| Music Preference | Short Test of Music Preference (STOMP) [58] | 23 | 1–7 (Dislike to Like) | Four broad preference dimensions |
| Affect | Positive and Negative Affect Schedule (PANAS) [59] | 20 | 1–5 (Very Slightly to Extremely) | Sum of responses for each subscale |
| Perceived Stress | Perceived Stress Scale (PSS) [60] | 14 | 0–4 (Never to Very Often) | Total score; higher values indicate greater stress |
| Depression Severity | Patient Health Questionnaire (PHQ-9) [61] | 9 | 0–3 (Not at All to Nearly Every Day) | Sum of item scores indicating depression severity |
表中 TIPI 测大 5 人格 10 题 1 到 7 分取平均,Gold-MSI 测音乐素养 38 题 1 到 7 分含 5 个子量表与综合指数,STOMP 测流派偏好 23 题 1 到 7 分归为 4 个维度,PANAS 测正负情绪各 10 题 1 到 5 分求和,PSS 测过去一月压力 14 题 0 到 4 分越高越有压力,PHQ-9 测过去两周抑郁 9 题 0 到 3 分求和。限制是自评受记忆与社会期望影响,且前后测没有对照组,不能据此断言听歌降低了压力或抑郁。
静态声学特征 × 动态声学特征: 静态声学特征是对整首曲目帧级描述子取均值和标准差得到的全局量,共 234 维,刻画一首歌的总体音色节奏;动态声学特征是按 0.25 秒不重叠窗取均值得到的时序量,共 116 维、4 Hz 分辨率,可与生理信号对齐。两者搭配的意义是前者用于比较曲目间的类别差异,后者用于做随时间变化的生理关联,组合后兼顾曲目画像与过程追踪。
声音侧因版权不能分发原始音频,给的是链接、元数据与预计算特征。低层描述子用 Librosa 按默认参数提,n_fft 为 2048,hop_length 为 512,win_length 为 2048,方法上沿用短时傅里叶变换思路,另用音频可压缩比量化复杂度。静态特征是对全曲帧级量取均值与标准差,共 234 维;动态特征是按 0.25 秒不重叠窗取均值,共 116 维、4 Hz 分辨率,便于与生理对齐。不重叠是为了避免相邻窗的时间泄漏与滤波效应。复用时要注意链接可能随时间失效,特征是基于当时可获取音频算的,重新抓取可能有版本差异。
这篇论文训练了什么,又没有训练什么?
这是 1 篇数据集论文,没有训练语音或音乐生成、检索用的神经网络,也没有端到端优化生理预测模型。实际执行的计算分 4 类:用已有的句子向量模型做歌单描述与关键词的嵌入与余弦相似度,该模型按原文是直接调用,没有报告微调,参数可视为冻结;用固定信号处理流程提声学特征,属确定性计算;用带 L1 正则的逻辑回归做 3 类音乐功能的判别验证,这一步是真正学参数的,用三折交叉验证,L1 把不重要特征系数压向零,最后剩 10 个以节奏音色为主的特征,平均 F1 为 0.785;用 t-SNE 把 10 维特征降到 2 维可视化,只为看分布,不做分类决策。
监督来源要分清:歌单选择没有人工逐首标注的监督,靠文本相似与加权排序;逻辑回归的监督是 3 类功能标签,来自前面的歌单归属,不是生理标签;生理前后对比没有训练,只是按规则选基线、标准化与配对 t 检验。梯度只存在于逻辑回归的优化里,不经过手环、接口或问卷,也没有反向更新嵌入模型。
缺口也要说清:逻辑回归的正则强度、优化器、随机种子没有报告,t-SNE 的困惑度与初始化没有报告,嵌入模型版本号只给了模型名,复现时只能按默认或常见设置补齐,并说明这可能带来微小差异。无训练不等于确定性求解,接口轮询、佩戴与邮件触达都有随机性,同一流程重跑不会逐秒相同。
参与者、设备与数据文件是如何组织的?
参与者 30 人,按设备可用分批招募,2025 年 5 月到 12 月采集,年龄 18 到 49 岁,多数 25 到 34 岁共 24 人,男女各 15 人,文化背景多样,无听力问题,需承诺 21 天全程、有兼容手机并安装伴随应用,签署知情同意,研究完成给 50 英镑券。数据匿名化为 P01 这类编号,分生理、心理测量与刺激 3 个目录。
下表说明设备比较问题:在野外连续采多模态信号时,每种传感器量程与采样率是否够用,方向是采样越高时间分辨率越好但功耗与存储越大,需按生理快慢权衡。
| Sensor | Measurement Range | Sampling Rate | Description |
|---|---|---|---|
| PPG | – | 64 Hz | Photoplethysmography signal used to estimate blood volume pulse and derive cardiovascular-related biomarkers. |
| EDA | 0.01–100 μS | 4 Hz | Electrodermal activity measuring skin conductance changes associated with sympathetic nervous system activation. |
| IMU | ±16g, ±±2000dps | 64 Hz | Triaxial acceleration capturing body movement and physical activity levels. |
| Temperature | 0–50∘C | 1 Hz | Peripheral skin temperature measured at the wrist. |
表中光电容积脉搏波 64 Hz 用于估计血容量脉搏并衍生心血管标记,皮肤电活动 0.01 到 100 微西门子 4 Hz 反映交感相关的皮电变化,三轴加速度正负 16 g、正负 2000 dps 共 64 Hz 记录身体运动,皮温 0 到 50 摄氏度 1 Hz 测腕部外周温度。限制是腕部信号本就易受运动与环境影响,采样率是设备固定值,研究者不能在数据发布后更改,只能在处理时滤波或分段。
文件组织上,原始 Avro、处理后 parquet 与分钟级 csv 并存,parquet 已对齐并滤掉低佩戴时段,csv 便于快速筛查佩戴、睡眠与低活动段。听歌只收录研究歌单的播放,个人其他播放不在数据集中。30 人中听歌量差异大,后文会看到目标达成类远多于另两类,这是自然选择的结果,分析时要按人或按会话加权,不能直接把小时数当成效果大小。
三类音乐在声音上真的不一样吗?
这个问题检验刺激是否具备可区分的声学画像,否则后文生理差异很难与音乐关联。方法是用静态特征的均值标准差做逻辑回归三分类,L1 选出 10 个特征,三折平均 F1 为 0.785。权重最大的分别是情绪调节类的频谱对比、内省冥想类的起音强度包络、目标达成类的平均起音频率。频谱对比量化频带峰谷差,起音包络反映相邻帧功率谱变化率,平均起音频率近似每秒音符起音数。解释是目标达成类音符事件更密,情绪调节类音色起伏更大,内省冥想类进行更平滑少突变。径向图与 t-SNE 进一步显示目标达成在声学上更靠近情绪调节而非内省冥想,且类别间呈连续过渡而非硬边界。
下表不是方法与基线的胜负表,而是数据集规模与验证数的汇总,比较问题是数据量是否支撑长期野外分析,指标方向是时长与会话越多覆盖越广,但分布越偏则结论越偏向高听歌场景,限制是 F1 只说明刺激可分,不说明生理必然可分。
| 统计对象 | 指标 | 原文数值 |
|---|---|---|
| 30 人 21 天原始生理记录 | 总时长 | 10,725 hours |
| 与生理对齐的听歌 | 总时长 | 262.2 hours |
| 对齐的听歌会话 | 会话数 | 844 listening sessions |
| 助益歌单曲目 | 曲目数 | 117 curated tracks |
| Goal-Attainment 听歌 | 分功能时长 | 176.4 h |
| Affective 听歌 | 分功能时长 | 54.4 h |
| Eudaimonic 听歌 | 分功能时长 | 31.8 h |
| 听后问卷 | 回应率 | approximately 90.8% |
| 三分类声学判别 | 平均 F1 | 0.785 |
表中 10,725 hours 是原始多通道并行时长,不是听歌时长;262.2 hours 是重叠听歌;844 与 5,173 口径不同,前者是会话,后者是原表中的有效实例;176.4 h、54.4 h、31.8 h 说明听歌高度集中在目标达成类,多因工作学习场景更易长时间播放;approximately 90.8% 是回应率,其中肯定回答占多数,但二值题只能反映是否支持预设功能,给不出情绪强度。F1 为 0.785 在小样本三分类上算可分,但样本是 117 首曲目,换曲库或换特征可能变化,不能当成通用音乐情感分类性能。
听歌前后身体指标出现了什么变化?
这个问题看听歌段的生理是否与前后不同。做法是对每人找出所有听歌段,并各取前后 1 小时窗口,都切成 1 分钟小窗,提心率变异、皮电、皮温与加速度特征。为吸收个体与日期差异,先为每人每天定一个最稳基线:要求清醒且正确佩戴,心率变异侧用 15 分钟滑动平均找低心率叠加低运动,皮电侧用低紧张叠加低运动与皮温稳定,低指低于当日 30 分位,皮温稳定指在当日四分位距内,再用当日基线均值标准差把全天窗口转成 z 分数,最后按人按时期平均,每人每时期一个代表值,30 人做配对 t 检验。
佩戴检测 × 每日基线 × 标准化: 佩戴检测是设备给出的每分钟佩戴质量指标,用于剔除未佩戴时段;每日基线是每人每天最稳定的生理状态均值与标准差,用低心率、低皮电、低运动和体温稳定等条件选出;标准化是用当日基线把窗口特征转成 z 分数。组合的意义是先用佩戴检测保证数据有效,再用每日基线吸收个体与日期差异,最后用标准化把不同人放到同一尺度比较听前听中听后。
下面箱线图是该分析的核心证据,读图时先看零线与箱体位置,再看星号,不要把单人散点当成总体,也不要把运动下降直接读成情绪改善。
看图路径: 1. 先看每幅图横轴三段与纵轴 z 分数零线的相对位置;2. 再看听中箱体是否低于听前以及星号数量;3. 最后对比听后与听中在皮电、皮温上是否标为不显著
论文图 7。原论文 Figure 7::“Distributions of normalised physiological markers across the three temporal segments.”。
这张图确实可见的是 4 组指标:心率变异 SDNN、皮肤电导反应平均幅值、皮温斜率、加速度幅值曲线下面积,纵轴都是 z 分数,横轴为听前、听中、听后。听中运动显著低于听前听后;心率变异、皮电与皮温在听中更靠近或低于个人基线;听后皮电与皮温仍靠近基线,听前听后运动无显著差异而听中听后运动差异显著,显著性标为 p 小于 0.05、0.01、0.001 与不显著。论文的措辞是生理在听中趋稳、听后有持续调节的迹象,但明确提醒野外混杂未控、按人平均会抹掉细粒度动态,只能算趋势并值得深究,不能读成音乐降低了压力或改善了情绪,更不等于因果。
野外数据的结论在什么条件下才成立?
野外是优势也是限制。运动与姿势会污染脉搏与加速度,环境温度会通过体温调节改变皮电与皮温,日间事务与社交情境会影响听歌选择与身体状态,这些在采集中都没有实验控制。听歌分布高度不均,目标达成 176.4 h,情绪调节 54.4 h,内省冥想 31.8 h,结论天然更偏向工作学习场景,另两类样本少,跨功能比较时要小心样本量与场景差异。
测量本身也粗。二值问卷只问是否支持预设功能,给不出效价唤醒度的强度与时间曲线;分钟级生物标记来自设备方专有算法,细节不公开,复现时只能当黑盒用;原始音频不分发,链接可能失效,重提特征可能有版本差。前后测按高低听歌量分组的心理量表变化,没有随机对照,不能归因于听歌,年龄集中在 25 到 34 岁,30 人规模对个体差异建模也偏小。
统计上按人平均与天级标准化有助于可比,却会抹掉曲内动态与日内波动。听中运动显著更低,本身就可能拉低心率与皮电波动,不控制活动就难以分清是音乐还是安静坐着的效果。论文对此是诚实的,多次强调需在混杂与细粒度动态上继续验证,读者也应把听中趋稳当作待验证的相关趋势,而非疗效证明。
如果要复用这份数据,第一步该做什么?
先分清三件事:代码、数据与可运行系统。论文称数据集可通过项目网站获取,源代码在代码托管平台公开,本次核验中代码链接当前可用,项目网站只是论文提到的第三方链接,不能据此断言作者已开源或长期可达。复用时先读数据记录节,按生理、心理测量、刺激 3 个目录核对文件,用编号关联同一人的信号、问卷与播放。
第一步建议做质量筛查而非直接建模。用分钟级生物标记看佩戴检测、睡眠与低活动段,只保留佩戴高于 75% 的会话,再用听歌时间戳切出听前听中听后,检查图 3 那样的对齐是否成立。生理处理推荐从提供的最小处理 parquet 出发,如需自定义,可用 NeuroKit 与 cvxEDA 做指标提取与皮电分解,原始 Avro 按设备方文档读取。声学侧直接用提供的 234 维静态与 116 维动态特征起步,0.25 秒 4 Hz 动态可直接与生理对齐,避免自己重提引入版本差。
问卷侧先核对量程与计分方向,TIPI、Gold-MSI、STOMP、PANAS、PSS、PHQ-9 各不相同,前后测按人配对看,不要跨量表比大小。播放侧注意只含研究歌单,时间戳为微秒级 Unix 时间,字段在三处一致,便于合并。自评为二值,回应率约 90.8%,无回应与否定要分开处理,不能都当成无效。把这些筛查与对齐跑通并记录佩戴、运动与场景分布,再谈建模,结论才站得住。
什么时候值得用 BEATS,还缺哪些验证?
当问题是日常长期听歌与生理如何共变,且需要个体差异与主观评价一起看时,BEATS 值得尝试。比如比较不同声学特征与心率变异皮电的时序关联,按人格、偏好与音乐素养做分层, 或用动态声学对齐生理做探索性建模。它的关键超参数与信息条件要记住:歌单权重 0.3、0.3、0.4,嵌入用 all-mpnet-base-v2,声学默认 n_fft 为 2048、hop_length 为 512,动态窗 0.25 秒,基线取当日 30 分位与四分位距、15 分钟滑动平均,佩戴低于 75% 滤掉,邮件在 09:00 或 21:00 且过去 12 小时有听歌才发。
复现第一步是跑通佩戴筛查与时间对齐,画出类似图 3 的单会话多通道图与类似图 7 的按人 z 分数分布,确认听中运动更低这一基本模式是否在你选的子集里仍在,再看皮电皮温是否仍靠近基线。若子集很小或只选某一功能,分布会变,这是正常的适用条件变化。
还缺的验证很具体:需要控制活动与姿势的精细分析,区分安静坐着与音乐本身的贡献;需要更细的情绪标注替代二值题,至少给出效价唤醒度的强度与时间;需要更大更多样的人群与对照设计,才能谈干预效果;需要公开或可复现的生物标记算法,替代黑盒分钟值。用 BEATS 做相关发现是合适的,用它直接承诺减压或治疗效果则超出了证据,论文本身也没有这样主张。
📎 论文与评分元数据
排名:前25% | 文档类型:数据集与基准 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses



