📄 CardioState-JEPA: Delay-Aware Cross-Modal Learning of a Shared Cardiac Representation

标签：#音频分类 #自监督学习 #多模态模型 #Transformer #医疗音频

7.2/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5

✅ 7.2/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音频分类 | #自监督学习 | #多模态模型 #Transformer | arxiv

👥 作者与机构

• 第一作者：Hamza Shafiq（机构未明确；文中“Affiliation: Jun Hu”标注异常）
• 通讯作者：Aaqib Saeed（Eindhoven University of Technology, Netherlands；a.saeed@tue.nl）
• 作者列表：Hamza Shafiq（机构未明确）、Hung Manh Pham（Singapore Management University, Singapore）、Bin Zhu（Singapore Management University, Singapore）、Pan Zhou（Singapore Management University, Singapore）、Aaqib Saeed（Eindhoven University of Technology, Netherlands）

💡 毒舌点评

本文把 ECG、PPG、PCG 之间的生理学延迟建模为可学习的一等公民部件，延迟感知 latent prediction 加上两阶段课程在多个下游任务中确实带来显著提升，尤其对过去较弱的心音 PCG 任务贡献清楚。跨模态对齐不是简单拼接，而是通过可微高斯核和生理 anchor 监督把延迟估计嵌入训练目标，这比 naive timestamp alignment 有实质进步。但论文在无代码、无权重、部分关键训练细节未交代的前提下，仍把“统一心脏基础模型”的叙述推得较满，复现性和工业可信度明显打折；PCG 基线选择和统计显著性也仍有可诟病之处。

📌 核心摘要

本文要解决的问题是：ECG、PPG、PCG 作为同一心脏周期的互补观测，却通常被单独建模，缺乏一个跨电、血流动力学、声学三种传感模态的统一心脏表征。方法核心是 CardioState-JEPA，一种生理感知的联合嵌入预测架构：轻量模态专属 tokenizer 将不同波形映射到公共 token 空间，共享 ViT-B Transformer 编码器提取潜在心脏状态，通过 intra-modal 掩码潜在预测学习单模态结构，再通过 delay-aware cross-modal 预测在潜在心脏时间中对齐 ECG、PPG、PCG。与已有方法相比，其关键区别在于不使用原始波形重建或负样本对比，而是显式估计并监督跨模态生理延迟，使电气、机械、血流动力学事件在对应心脏相位互相对齐。实验上，该冻结编码器在 25 个下游任务上达到 PPG 分类平均 AUROC 80.4（最强自监督基线 72.2）、PPG 回归 MAE 9.1（基线 10.9）、ECG 18 设置平均 AUROC 84.1（自监督基线最佳 68.5）、PCG CirCor 97.9（AudioMAE 79.1），并在若干 ECG benchmark 上接近或超过使用临床文本或监督标签的模型。实际意义在于为减少单一传感器独立模型、构建跨 ECG/PPG/PCG 的统一心脏基础模型提供了可行路径。主要局限性包括缺少代码与模型权重、关键训练细节未公开、跨模态配对数据稀缺以及仅评测冻结编码器线性探测。

下图展示了ECG、PPG和PCG三种信号如何从不同生理时间观察同一心脏周期。

图中可见，ECG记录电信号，PPG记录血流动力学信号，PCG记录声学信号，它们在同一心脏周期中存在时间延迟，这激励了学习一个共享的心脏表征。

🔗 开源详情

• 代码：论文中未提及代码链接；论文仅说明模型基于 PyTorch 实现，但未给出代码仓库地址。
• 模型权重：论文中未提及模型权重或预训练检查点的具体下载链接。
• 数据集：论文使用以下数据集，但未给出具体下载链接或开源协议：
  • 预训练/多模态数据：MIMIC-IV-ECG（800K 段 12 导联 ECG，500 Hz）、PPG-EXT（大规模 PPG，125 Hz）、BMD-HS（PCG，4000 Hz）；第二阶段还使用 VitalDB（同步 ECG-PPG）、EPHNOGRAM（ECG-PCG 同步）、SensSmartTech（三模态同步）。
  • ECG 下游任务：PTB-XL（superclass、subclass、form、rhythm）、CPSC 2018、CSN。
  • PPG 下游任务：来自 PulseLM 的 17 个任务，包括心律失常检测、压力与活动识别、呼吸率、心率、血压、SpO2、HRV 估计等。
  • PCG 下游任务：CirCor DigiScope（杂音检测）、CinC2016（异常心音检测）。
  • 获取方式与开源协议：论文中未提及。
• Demo：论文中未提及在线演示或 Demo 地址。
• 复现材料：论文附录提供了较完整的训练配置：Stage I 训练 300K 步，batch size 196，峰值学习率 1.2e-4 余弦衰减至 1e-6；Stage II 再训练 200K 步，batch size 64，峰值学习率 6e-5 余弦衰减至 1e-6；优化器为 AdamW，weight decay 0.05；共享编码器为 ViT-B（12 层、12 个注意力头、hidden dimension 768）；动量编码器 EMA momentum 从 0.998 线性增至 0.9999；预训练在单卡 NVIDIA H100 GPU 上进行。下游评估冻结编码器，仅训练线性头，具体下游训练设置见附录 Table 5。附录还包含 Algorithm 1 两阶段训练流程、输入长度消融（Table 6）与损失权重敏感性分析（Tables 7–9）。论文中未提及代码仓库或检查点下载。
• 论文中引用的开源项目：论文提及 ST-MEM、ECGFounder、ECG-FM、HeartLang、D-BETA、PaPaGei、AnyPPG、AudioMAE、CLAP、PulseLM 等第三方方法/项目，以及实现工具 PyTorch；但论文中未提供这些项目的具体 URL 链接。

🏗️ 方法概述和架构

CardioState-JEPA 是一个两阶段训练的统一心脏基础模型，总体流程为：输入 ECG、PPG 或 PCG 单通道/多通道波形 → 模态专属 tokenizer 映射到公共 token 空间 → 共享 Transformer 编码器提取 latent cardiac code → 预训练完成后冻结编码器，在下游任务上训练线性头。Stage I 只使用大规模单模态数据学习各模态内部结构与相位感知；Stage II 使用少量同步配对或三模态数据学习跨模态对齐，并通过可学习延迟头校正 ECG 到 PPG/PCG 的生理时移。整个过程是自监督预训练，不依赖下游标签。

问题形式化：论文将 ECG、PPG、PCG 视为同一潜在心脏状态 \(\mathbf{c}(t)\in\mathbb{R}^{d_c}\) 的三种不同观测。每种传感器通过各自的 transduction 和延迟观测该状态：\(\mathbf{x}_m(t)=\mathcal{O}_m(\mathbf{c}(t-\tau_m(t)),\mathbf{u}_m(t))\)，其中 \(\mathcal{O}_m\) 是模态专属渲染，\(\mathbf{u}_m\) 是传感器噪声/放置干扰，\(\tau_m\) 是从电激活开始的生理延迟。ECG 近乎即时，PCG 受 electromechanical coupling 影响，PPG 需要等 pulse transit，所以同一拍事件在不同传感器中处于不同时间点。这一形式化产生两个要求：单一模态的部分观测足以恢复共享状态；不同传感器在去除延迟 \(\tau_{m\rightarrow n}=\tau_n-\tau_m\) 后应对齐一致。论文不在原始波形上显式建模 \(\mathbf{u}_m\)，而是依靠潜在空间预测和模态不变压力来降低对它的依赖。

模态专属 tokenizer \(f_m\)：输入为 \(x_m \in \mathbb{R}^{C_m \times T_m}\)，\(C_m\) 是通道数，\(T_m\) 是采样点。tokenizer 由 strided convolution、multi-scale depthwise block 和线性投影组成。strided convolution 的 stride 按模态设置，使 ECG、PPG、PCG 输出 token 速率相近；multi-scale depthwise block 用于注入 QRS 波、PPG upstroke、第一心音等短时事件的局部上下文。输出为 \(h_m \in \mathbb{R}^{N \times d}\)，再加入正弦位置嵌入和模态嵌入，使单个共享编码器能区分 token 来源模态。

共享 Transformer 编码器 \(g_\theta\)：采用 ViT-B 配置，12 层、12 个注意力头、隐藏维度 \(d=768\)。所有模态共用同一参数，不设置模态专属层。编码器输出 \(H_m = g_\theta(h_m)\)，再经共享 projector \(\pi\) 映射到 cardiac code \(Z_m = \pi(H_m)\)。预训练期间，另一个动量编码器 \(\bar{g}_{\bar{\theta}}\) 对完整未掩码信号前向计算，以指数滑动平均更新，提供 stop-gradient 目标。

Stage I：Intra-modal JEPA。对单模态 token 使用大面积连续块掩码，只将可见 context 输入在线编码器，轻量 predictor \(q_\theta\) 预测被掩码位置的 cardiac code。损失为 \(\mathcal{L}_{\text{intra}} = \frac{1}{|\mathcal{T}|} \sum_{i \in \mathcal{T}} \mathcal{H}(\text{LN}(\hat{z}^i), \text{LN}(\bar{z}^i))\)，其中 \(\mathcal{H}\) 是 Smooth-L1。目标来自动量编码器，LayerNorm 用于稳定训练。由于掩码常覆盖整拍甚至多拍，模型必须从相邻心动周期推断缺失状态，促使表示学习节律与相位结构，而非局部波形插值。

Stage II：Delay-aware cross-modal JEPA。在同步配对数据中，先由 delay head \(h_\delta\) 结合源模态 code \(z_m^i\) 和目标模态嵌入 \(e_n\) 生成有界时移：\(\tau^i = \tau_{\max}\tanh(h_\delta([z_m^i; e_n]))\)。对每个源 token，使用以 \(t_i + \tau^i\) 为中心的高斯核在目标模态 token 时间轴上做 soft gather：\(a_{ij} = \text{softmax}_j(-\frac{1}{2}(\frac{t_j - t_i - \tau^i}{\sigma})^2)\)，得到对齐目标 \(\tilde{z}_n^i = \sum_j a_{ij} \bar{z}_n^j\)。soft kernel 使时移可微，且比 nearest-token 选择提供更稳定梯度。每个位置的权重 \(w_i\) 基于 attention entropy：\(w_i = 1 - H(a_i)/\log N_i\)（\(N_i > 1\)），越尖锐的对齐权重越接近 1，为空或过宽的窗口权重设为 0。cross-modal loss 是熵加权 Smooth-L1：\(\mathcal{L}_{\text{cross}} = \frac{\sum_{i \in \mathcal{T}} w_i \mathcal{H}(\text{LN}(\hat{z}_{mn}^i), \text{LN}(\tilde{z}_n^i))}{\sum_{i \in \mathcal{T}} w_i + \epsilon}\)。同一 predictor \(q_\theta\) 在 Stage II 中基于 \(\tau^i\) 进行条件化，从而保持两个目标在同一表示空间内。

延迟监督与辅助目标。为防 delay head 学到平凡偏移，论文引入 beat detection anchor：ECG-PCG 使用 R-peak 到第一心音 S1 的间隔，ECG-PPG 使用 pulse arrival time，并用 Smooth-L1 回归该 anchor。只有可靠 anchor 存在时监督；无 anchor 时仅保持 cross-modal 梯度路径。此外，cross-modal VICReg 项 \(\mathcal{L}_{\text{state}}\) 拉近配对模态表示并防止坍缩；phase 项 \(\mathcal{L}_{\text{phase}}\) 从 beat anchor 预测 intra-beat 相位，使表示绑定心动周期。完整损失为加权和：\(\mathcal{L} = \lambda_{\text{intra}}\mathcal{L}_{\text{intra}} + \lambda_{\text{cross}}\mathcal{L}_{\text{cross}} + \lambda_{\text{delay}}\mathcal{L}_{\text{delay-sup}} + \lambda_{\text{state}}\mathcal{L}_{\text{state}} + \lambda_{\text{phase}}\mathcal{L}_{\text{phase}}\)。

课程训练。Stage I 使用单模态批次，只激活 intra-modal 和 phase 损失；Stage II warm-start 后以概率 \(p\) 采样 paired batch，否则继续采样单模态 batch，防止单模态 code 漂移。下游评估冻结编码器，只用线性 head。

关键设计动机是：波形重建会迫使模型记住传感器噪声和形态细节；对比学习在生理信号中会因不同受试者或片段共享节律/疾病而产生歧义；因此选择潜在状态预测。延迟建模是因为 ECG、PCG、PPG 同一拍事件天然存在 electromechanical 和 pulse transit 时间差。

💡 核心创新点

• 统一的跨模态心脏基础模型：首次将 ECG、PPG、PCG 三种异质心脏信号映射到同一潜在空间，并共用单个 Transformer 编码器，而非训练三个模态专属模型。此前模型几乎都是单传感模态，这一设计使电气、血流动力学、声学信号可以互相提供监督。
• 延迟感知的跨模态 JEPA：提出可学习 delay head，隐式估计 ECG 到 PCG/PPG 的生理时移，并使用可微高斯核 soft gather 与 entropy-based weight 完成对齐。相比 naive timestamp alignment 或最近邻 token 选择，它既可训练又能抑制低置信对齐。
• 两阶段课程适配数据不对称：先用大规模单模态数据学习模态内部结构，再用稀缺的同步配对数据做跨模态对齐，同时继续混入单模态批次。这种课程有效利用大量无配对 ECG/PPG/PCG 语料。
• 潜在空间预测而非波形重建：将 JEPA 目标放在共享 cardiac code 上，避免重建传感器噪声与外观特征，使表示聚焦节律、时相与生理状态，减少波形形态捷径。
• 生理锚点监督与辅助约束：用 R-peak→S1、pulse arrival time 等生理 anchor 监督 delay head，同时引入 cross-modal VICReg 和 phase 预测，既不依赖精细标注，又能防止表示坍缩并增强心动周期相位意识。

📊 实验结果

本文在 25 个下游任务上评测冻结编码器的线性探测性能，覆盖 ECG、PPG、PCG。

PPG：CardioState-JEPA 分类平均 AUROC 为 80.4，最强基线 AnyPPG 为 72.2；回归平均 MAE 为 9.1，最强基线 AnyPPG 为 10.9。关键任务中，MIMIC AF 达到 97.7（AnyPPG 93.3），DaLiA Activity 90.3（AnyPPG 79.0），BIDMC RR 78.4（AnyPPG 53.2），BCG SBP 4.4（AnyPPG 13.5），BCG DBP 2.8（AnyPPG 4.5）。

ECG：在 6 个数据集 × 1%/10%/100% 标签比例的 18 个设置下，CardioState-JEPA 平均 AUROC 为 84.1，自监督信号基线中最好的是 MoCo-v3 为 68.5。对比使用临床文本或标签的模型，CardioState-JEPA 超过 ECGFounder 83.5、HeartLang 78.0、MERL 78.1、ESI 71.0，略低于 D-BETA 85.9，与 ECG-FM 84.0 基本持平。代表性个体指标：PTB-XL Rhythm 100% 为 96.4，PTB-XL Form 100% 为 83.9，CPSC 100% 为 95.8，CSN 100% 为 93.8。

PCG：CirCor murmur detection 达到 97.9±0.1，超过 AudioMAE 79.1±2.7、CLAP 75.3±1.8、StethoLM 64.9±1.2；CinC2016 异常心音检测为 66.8±0.4，超过 AudioMAE 62.4±0.7。

消融：预训练模态组合。ECG only 平均 AUROC 89.7±0.5；PPG only 分类 78.5±2.6 / 回归 10.7±0.6；PCG only 60.2±0.9；ECG+PPG 91.4±0.4 / 80.6±2.8 / 10.1±0.8；ECG+PCG 88.4±0.6 / 79.7±0.7 / 对应 PPG 指标未列出；完整三模态 90.9±0.3 / 80.4±2.5 / 9.1±0.6 / 82.3±0.2。完整三模态在 PPG 回归和 PCG 上最佳，在 ECG 和 PPG 分类上与最强 bimodal 变体处于噪声范围内。

消融：自监督目标对比。在控制数据与架构不变的前提下，SimCLR 89.5±0.5 / 70.1±2.9 / 11.1±0.6 / 80.0±0.7；BYOL 89.3±0.4 / 66.7±3.8 / 11.0±0.5 / 80.3±0.4；BarlowTwins 88.6±0.4 / 64.1±4.4 / 11.3±0.5 / 78.8±1.0；MAE 84.4±0.5 / 62.0±3.8 / 11.8±0.5 / 78.1±0.3。CardioState-JEPA 的 JEPA 目标在四项汇总指标上总体第一或接近第一，验证了潜在状态预测优于重建或实例判别。

消融：辅助损失。去掉 cross-modal prediction、state alignment、delay modeling、phase supervision 均导致性能下降。例如去掉 cross-modal prediction 后 PPG Cls 从 80.4 下降到 63.9；去掉 delay modeling 后 PPG Cls 降至 68.9。完整模型在四项汇总指标上总体最佳。

跨模态空间可视化：Stage I 后 modality silhouette 为 0.121，Stage II 后降至 -0.006，表明传感器身份几乎被消除；同时下游任务类结构改善。在 MIMIC AF 二分类中，PPG 特征的 class silhouette 从 Stage I 的 0.03 升至 Stage II 的 0.12；六类心律失常任务从 0.01 升至 0.09。注意力图显示共享编码器在 ECG 上关注 QRS 复合波，在 PPG 上关注 upstroke 和收缩峰，在 PCG 上关注局部心音爆发。延迟对齐可视化确认学习到的时移能对准 PPG systolic upstroke 和 PCG S1。

下图显示了模型在PPG信号上的注意力热图。

注意力关注脉搏波的上冲和收缩峰，显示模型学习了PPG的生理特征。

下图显示了模型在ECG信号上的注意力热图。

注意力集中在QRS复合波等尖锐电事件，表明共享编码器能捕捉ECG的模态特定表现。

下图通过t-SNE可视化展示了编码器在Stage I和Stage II后产生的心脏码分布。

Stage I后模态分离明显（silhouette +0.12），Stage II后模态高度对齐（silhouette -0.01），表明跨模态学习成功消除了传感器身份差异。

输入长度消融：CardioState-JEPA 在 2.5s/5s/10s 窗口下，PTB-XL Super、Sub、Form 三个 ECG 任务组的跨长度标准差分别为 0.5、0.3、1.8，均低于 ST-MEM、ECG-FM、ECGFounder；Rhythm 任务标准差 2.5，不是最小，但总体波动多数更小。损失权重敏感性中，默认权重在 PPG Cls 与 PPG Reg 上最优。

表格如下。表中保留主方法、最强基线与关键消融项。

表A：跨模态下游汇总结果

表B：关键消融结果

注：表A中 ECG 基线为 MoCo-v3，PPG 基线为 AnyPPG，PCG 基线为 AudioMAE 两任务均值（计算值：\((79.1+62.4)/2=70.75\)）；表B中 ECG Avg 为 six ECG datasets full labels 均值，与表A的 18 设置均值不同。

🔬 细节详述

• 训练数据：Stage I 使用 MIMIC-IV-ECG（约 800K 12 导联 ECG，500 Hz，训练集 710,560，验证集 78,951）、PPG-EXT（4,611,607 训练片段，512,401 验证片段，125 Hz）、BMD-HS（3,436 训练 PCG，382 验证，4000 Hz）。Stage II 使用 PPG-EXT 和 VitalDB 的同步 ECG-PPG、EPHNOGRAM 的 ECG-PCG、SensSmartTech 的三模态数据。具体同步配对数、去重与预处理管线未说明。
• 数据增强：论文中未提及明确的时域、频域或掩码增强策略。
• 损失函数：Intra-modal JEPA 使用 Smooth-L1 作用于 LayerNorm 后的预测与动量目标；cross-modal loss 是 entropy 加权的 Smooth-L1；delay supervision 是对 anchor 偏移的 Smooth-L1；state 项为 cross-modal VICReg；phase 项预测 intra-beat phase。权重中 \(\lambda_{\text{cross}}=1\)、\(\lambda_{\text{delay}}=1\)、\(\lambda_{\text{state}}=0.05\)；\(\lambda_{\text{intra}}\) 和 \(\lambda_{\text{phase}}\) 未说明。
• 训练策略：Stage I AdamW，weight decay 0.05，peak LR \(1.2\times 10^{-4}\)，cosine decay 到 \(1\times 10^{-6}\)，batch size 196，训练 300K steps。Stage II peak LR \(6\times 10^{-5}\)，decay 到 \(1\times 10^{-6}\)，batch size 64，训练 200K steps。EMA momentum 从 0.998 线性增加到 0.9999。Stage II 配对采样概率 \(p\) 未说明。
• 关键超参数：ViT-B，12 层、12 头、hidden 768。tokenizer 输出统一到公共 token rate，但具体 stride 和输出 token 数未说明。掩码为大面积连续块，具体掩码比例和块长度未说明。可学习 delay 限于 \([- \tau_{\max}, \tau_{\max}]\)，\(\tau_{\max}\) 和高斯核 \(\sigma\) 未说明。predictor \(q_\theta\) 和 delay head \(h_\delta\) 的具体层数和宽度未说明。
• 训练硬件：单张 NVIDIA H100 GPU。训练总时长未说明。
• 推理细节：下游线性探测使用冻结编码器；每个任务训练 100 epochs，AdamW，batch size 16，LR \(1\times 10^{-3}\)。分类任务输出 macro-AUROC，回归任务输出 MAE。无生成解码、温度或 beam search 设置。
• 正则化或稳定训练技巧：LayerNorm、stop-gradient 动量目标、EMA、VICReg 防坍缩、entropy-based alignment weighting、cosine decay。

⚖️ 评分理由

• 创新性 (1.5/2)：[A_METHOD] 提出 delay-aware cross-modal JEPA，将 ECG/PPG/PCG 映射到共享心脏码，并用可学习延迟对齐、生理 anchor 监督及两阶段课程解决跨模态时移与数据不对称，具有明确新颖性；[A_SUMMARY] 显示其不是简单重建或对比学习，而是潜在状态预测。

• 技术严谨性 (1.2/1.5)：[A_METHOD] 方法以潜在心脏状态形式化三种传感观测，delay-aware soft gather 与熵加权给出可微对齐，动量编码器和 LayerNorm 目标设计有稳定性依据；[A_LIMITS] 中对 delay aligner 依赖可检测 beat 的假设有边界说明，未发现明显推导错误或不合理假设。

• 实验充分性 (1.2/1.5)：[A_RESULTS] 提供 25 个下游任务、三类模态的强基线比较和消融，跨数据集泛化证据较丰富；但 [A_LIMITS] 指出 ECG/PPG 主要结果缺少多次运行方差和统计显著性，患者分离细节未披露，PCG 基线协议可比性受限，延迟对齐缺少定量误差或命中率，削弱结论的确定性。

• 清晰度 (0.8/1)：[A_SUMMARY] 总体结构从问题、方法、实验到局限清晰连贯，公式与流程描述完整；但 [A_LIMITS] 指出 phase 任务的具体定义不够清晰，辅助损失机制理解受影响。

• 影响力 (1.2/1.5)：[A_SUMMARY] 统一 ECG/PPG/PCG 表征并在 25 个下游任务取得明显提升，尤其 PCG 心音任务从 AudioMAE 79.1 到 97.9，对医疗音频与可穿戴信号社区有较强参考价值；[A_RESULTS] 表明跨模态监督能反哺声学任务。

• 开源 (0.0/1.5)：[A_OPEN] 论文未发布核心代码、模型权重或数据资源，也未给出明确的后续开源承诺。

• 可复现性 (0.1/0.5)：[A_METHOD] 附录给出了主要训练步骤、优化器和部分超参数，但 tokenizer 具体 stride、掩码比例/长度、τmax/σ、predictor 与 delay head 结构、配对采样概率 p 及 λintra/λphase 等关键配置未披露，属于关键配置大量缺失，因此给 0.1。

• 工程/实践价值 (1.2/1.5)：[A_METHOD] 共享 ViT-B 编码器和冻结后线性探测降低多模态部署与适配成本，[A_RESULTS] 显示单卡 H100 能训练并在 PPG/PCG 上取得实用级别提升，说明工程可行性与实际价值较充分。

🚨 局限与问题

论文明确承认的局限：

• Stage II 同步配对和三模态数据远少于单模态数据，跨模态监督受限。
• PCG 预训练数据量最小，声学表征可能更多依赖跨模态迁移。
• 在 ECG 上，三模态模型与最强 bimodal 变体处于噪声范围内，加入第三模态对 ECG 的增益不如 PPG/PCG 明显。
• delay aligner 假设源信号可检测到可靠参考事件；噪声过大、无法定位 beat 时只能退化为无监督对齐。
• 所有结果均为 frozen encoder + linear probing，未探索 full fine-tuning 或更大编码器。

审稿人发现的潜在问题：

• 论文声明“All downstream evaluations are performed using patient-disjoint splits”，但未给出具体去重规则、患者 ID 级别的重叠检查或划分失败案例，外部验证难以完全确认泄漏控制的质量。
• ECG/PPG 主要结果没有报告多次运行的均值和方差，难以判断提升是否稳定；PCG 报告了 3 个种子的均值和方差，但其余模态没有。
• “matches or exceeds cardiac models trained with privileged clinical text or supervised labels” 的表述部分过于强，因为整体 ECG 平均仍低于 D-BETA，且 PTB-XL Form 等子任务上落后于 ECG-FM。
• PCG 基线选择不够严格：StethoLM、CLAP、AudioMAE 不一定是同协议下最优的可比基线，且未说明它们是否同样以冻结编码器线性探测评估；CinC2016 上 StethoLM 和 CLAP 的均值明显低于 AudioMAE，但未说明造成差异的原因。
• 延迟对齐只有可视化和 silhouette 变化，缺少定量误差、anchor 命中率或跨受试者一致性指标；attention maps 和 delay alignment 可视化作为定性证据，但未转化为可量化验证。
• VICReg 的方差/不变性/协方差项及实现细节未给出，phase 任务的具体定义也不清晰，削弱了对辅助损失的严格评估。

← 返回 2026-08-14 语音/音乐/音频论文速递