心音被噪声盖住时：先理解整段心跳，再修补被挖空的表示

英文题目：CLEAR: Clinical LLM Embedding and Attention-based Reconstruction

会议身份：conference:interspeech:2026:conference-paper-id:wazed26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#医疗音频 #生成对抗网络 #图神经网络 #生理信号 #音频分离

评分：3.5/10 | 创新 1.0/2 | 技术严谨 0.5/1.5 | 实验充分 0.4/1.5 | 清晰度 0.6/1 | 影响力 0.4/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.5/1.5

排名：后50% | 文档类型：方法研究

👥 作者与机构

• Eashita Wazed：机构信息未能从会议 PDF 纯文本可靠映射
• Hieyong Jeong：机构信息未能从会议 PDF 纯文本可靠映射
• Choonsung Shin：机构信息未能从会议 PDF 纯文本可靠映射
• Shima Okada：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

临床听诊需在10 dB医院环境噪声下从含噪波形恢复含第一心音、第二心音与杂音的干净波形，难点是噪声非平稳且与心音频带重叠并掩盖微弱病理纹理。CLEAR以冻结预训练Whisper编码器提取全局声学嵌入并构图，掩码图注意力网络预测0到1有界掩码相乘去噪得到残缺嵌入。隐空间生成对抗网络再愈合流形并经轻量解码器合成16000 Hz宽带波形，以全序列自注意力利用长程周期先验、图拓扑解耦噪声、低维对抗避开高维传输与相位失配。在BUET多病种心音数据集10 dB合成噪声评测设置下，增强输出的PESQ为4.6433，高于含噪输入的PESQ 1.0304。在 BUET 多病种心音数据集 10 dB 合成噪声下，最优单样本峰值感知语音质量评估（Perceptual Evaluation of Speech Quality，PESQ）4.6433 与尺度不变信失真比（Scale-Invariant Signal-to-Distortion Ratio，SI-SDR）64.3566 dB，相对含噪输入 1.0304 与 -29.3715 dB 巨幅提升；测试集均值则为 PESQ 2.9958、对数谱距离 1.7898、背景抑制 2.6713 与总体质量 3.3865。结论仅适用于该单数据集单信噪比合成评估，未验证真实听诊器采集、多信噪比、跨设备与下游疾病分类增益，未披露训练推理成本与开源产物。其适用边界尚未验证跨设备真实采集与多信噪比外推，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，哪些信息必须保留？

输入是听诊器录到的含噪心音波形，目标是从中恢复出可供听诊的干净心音波形。论文把干净心音明确为 S1、S2 以及与多种心血管疾病相关的杂音，要求在分离后仍然保留这些成分的频率纹理与周期结构。噪声不是简单的稳态底噪，而是医院与日常环境中的谈话声、医疗设备运转声与室内混响，实验中按 10 dB 信噪比与干净心音人工混合，刻意制造杂音被环境声重度掩蔽的 harsh 条件。

输出是经解码器映射回时域的波形，医生可以直接听，也可送给下游计算机辅助诊断系统做多分类。对研究生而言，关键动作是先把任务理解为保留诊断特征的分离与重建，而不是单纯让信噪比数字变大。传统带通滤波与小波变换依赖平稳假设，当噪声与心音频带重叠时容易损伤杂音；卷积与循环网络能学时频映射，但原文指出它们偏重局部声学特征，缺少对整个心动周期的高层语义理解。

CLEAR 的立场因此是先用大规模音频模型提取长序列声学嵌入，再做关系建模与流形修复。本解读没有代码、模型或数据可用性证据，资源状态为 NONE，不得声称已公开。

同类路线各解决了什么，又在哪里受限？

第一条路线是信号处理增强，例如改进谱减法、带通滤波与小波变换。它们在平稳噪声下建立了降噪基础，计算直观，但依赖对噪声轮廓的平稳假设。遇到非平稳临床噪声或带内重叠时，滤波器分不清心音与噪声，容易把诊断特征一起削掉。第二条路线是语音与音频增强、声源分离与去噪，包括轻量实时语音增强、双路径 Transformer、球形麦克风阵列功率谱估计等。

它们在语音任务上推进了时频建模，但在心音上提升有限，因为心音能量弱、周期性强、杂音细微，语音的先验不能直接搬运。第三条路线是数据驱动的心音去噪，例如轻量全卷积网络处理谱图、端到端实时去噪框架。原文肯定了这些工作，但指出它们仍受困于带内噪声掩蔽杂音，且多聚焦局部能量，缺乏长程生理上下文。第四条路线是引入注意力与 Transformer、多视角去噪网络，以及近期针对心杂音微调音频大模型做分类。

CLEAR 与最后一条最接近，但区别在于不把大模型只当分类器，而是当作嵌入主干，后接基于图的掩码分离与潜在空间恢复。学习依赖是先分清输入是否相同、目标是分类还是波形重建、监督是否需要干净波形配对，再谈优劣，避免把分类准确率与分离保真度混为一谈。

为什么非平稳噪声下的心音分离特别难？

难点有 3 层。第一层是重叠，环境噪声的频带可能正好压在 S1、S2 与杂音上，线性滤波无法在不伤心音的前提下切除噪声。第二层是非平稳，谈话起伏、器械启停、摩擦与呼吸都是突发性的，局部帧可能完全被破坏，只看邻近几十毫秒无法判断该帧原本属于心动周期的哪个阶段。第 3 层是保真要求，临床靠人耳听杂音的细腻纹理，去噪时若引入音乐噪声或过抑制，波形在数值上可能变干净，但听感机械，反而导致误诊。

举例来说，这只是教学例子：若某一段收缩期杂音恰好与一句谈话重叠，逐帧能量门限会把两者一起保留或一起砍掉，因为门限没有心动周期先验。论文把这一直觉形式化为卷积嵌入的感受野限制与互信息衰减：要捕捉距离为 τ 的 S1-S2 依赖，卷积需要约 τ 除以 K 层深度，远距离互信息迅速趋零；而自注意力在整个序列上计算相似度，路径长度为 O(1)，能维持全局非零互信息下界。因此问题定义不仅是信噪比低，更是局部可观测性丧失时如何靠全局结构补全身份判断。

CLEAR 让一个样本走完三步时发生了什么？

跟着一个 10 dB 的含噪样本走一遍。第一步，预训练 Whisper 编码器把原始波形映射为语义嵌入序列 E_LLM，同时对干净波形也提取 E_clean 作为真值嵌入。这一步的目标是拿到携带长程周期与频率纹理的全局先验，而不是直接输出干净音频。第二步，把 E_LLM 的每 1 帧看作图节点构建语义图，掩码图注意力网络预测有界掩码 M，再做逐元素相乘得到掩码嵌入。掩码抑制了噪声主导的成分，但也把表示打碎，连续生理流形出现空洞。

第三步，潜在生成器把破碎嵌入修复为估计的干净嵌入，判别器判断其分布是否贴近真值干净嵌入，并用余弦相似度语义损失约束方向一致。推理时修复后的嵌入经轻量声学解码器变回波形。下面这张架构图把上述主路径、训练分支与反传关系画在了一起，先看文字导读再看图。

总览图导读：三模块如何串成可执行管线？

阅读这张图时先不要跳到损失框，先沿左侧蓝色噪声输入框向右追踪主数据流，确认 Whisper 编码器、语义嵌入、图构建、图注意力网络、掩码预测、逐元素相乘、掩码嵌入、潜在空间生成器、修复嵌入、声学解码器、干净波形框的先后顺序。再看下方蓝色真值干净嵌入框如何进入判别器形成对抗训练分支，以及红色损失框如何把梯度送回生成器与判别器。注意图中有一条从语义嵌入直连逐元素相乘的长线，它表示被掩码加权的原始对象正是 Whisper 嵌入本身。

看图路径： 1. 从左侧蓝色噪声输入框沿黑色箭头向右追踪到 Whisper 编码器与语义嵌入框；2. 观察中间图构建、图注意力网络、掩码预测与逐元素相乘如何汇入掩码嵌入；3. 对比下方橙色修复嵌入、声学解码器与绿色干净波形框的推理通路；4. 查看右下红色对抗加语义损失框的两条反向传播虚线分别回到生成器与判别器

论文图 1。原论文 Figure 1：“Overall architecture of the proposed clinical heart sound separation framework, illustrating the three core modules: LLM- based bio-acoustic embedding, Masked GAT for noise…”。

从像素可见，主路径自左向右为单向黑色箭头，虚线框表示编码与图相关中间表示，橙色框表示生成器与修复嵌入，绿色框为最终干净波形。下方训练分支用灰色虚线箭头表示判别与损失回路，红色框标注对抗损失加余弦语义损失，并有 Backprop 字样指回生成器与判别器。教学要点是区分推理必需路径与仅训练使用的判别分支：推理时只需要编码、构图、掩码、生成与解码，不需要真值嵌入与判别器。原文算法 1 也按训练批循环先更新判别器再更新生成器与图注意力网络，推理则按步骤 1 至步骤 3 直通解码，这与图中上下分层是一致的。

第一步：Whisper 嵌入在计算什么？

这一步的输入是原始声学特征序列 X 等于 x1 到 xT，输出是每时刻 t 的嵌入向量。卷积基线按公式 1 在核宽 K 内加权求和，感受野严格受限为 O(K) 量级。论文用它说明若要跨越 S1 到 S2 的距离 τ，需要堆叠约 τ 除以 K 层，否则远距离互信息指数衰减到零。Whisper 分支按公式 2 对全序列 T 计算查询与键的缩放点积相似度，再加权求和值向量，路径长度为 O(1)。白话解释是每个输出帧都可以直接参考整段录音中的所有帧，用周期重复模式判断当前帧更像心音还是突发噪声。

原文强调该模型虽在语音上预训练，却能捕捉心音复杂频率纹理与长程周期性。需要保留的实现条件是编码器为预训练 Whisper，论文未报告具体版本、层数、冻结与否与采样率细节，复现时应把这记为缺项，不要从模型名字推定参数已冻结。嵌入的下游身份是图节点，节点向量即 E_LLM(i)，这是下一步构图的前提。

Whisper 编码器 × 卷积神经网络局部感受野： Whisper 编码器负责在整段序列上用自注意力建立长距离依赖，保持 S1 到 S2 周期性等全局上下文；卷积神经网络局部感受野只在核宽 K 附近提取时频纹理，当局部帧被突发噪声淹没时难以分辨心音与噪声。二者搭配的理由是原文明确指出卷积互信息随距离指数衰减，而自注意力路径长度为 O(1)，组合意义是用全局语义先验弥补局部特征的脆弱性，为后续图分离提供不易碎的节点表示。

对初学者而言，可执行动作是先实现双编码调用：含噪波形得 E_LLM，配对干净波形得 E_clean，后者只用于训练监督，不进入推理输入。

第二步：掩码图注意力网络如何 disentangle 噪声？

输入是语义嵌入构成的图 G 等于节点集 V 与边集 E，节点 vi 对应 E_LLM(i)。图注意力网络按公式 3 用注意力系数 α_ij 对邻域 Nj 加权聚合，再经线性变换 W 与非线性 σ 更新节点表示。白话解释是让每 1 帧去看它在语义上相关的其他帧，学到非平稳噪声模式与心脏成分之间的非线性拓扑关系。关键选择是不直接回归干净向量，而是预测有界掩码 M 并做 M 与 E_LLM 的逐元素相乘得到滤波后嵌入。

原文的理论论证是掩码空间 H_mask 被限制在 0 到 1 之间，输出幅度不超过输入幅度，其 Rademacher 复杂度小于无界直接空间 H_direct，因此测试误差上界更紧，对未见临床噪声更稳健。这是一个有限解释，报告显示掩码设计有帮助，但复杂度界本身不是对所有噪声的性能保证。实现上掩码经 Sigmoid 得到，论文未报告图边如何构造、邻域半径、注意力头数与层数，这些是复现缺项。

掩码图注意力网络 × 直接回归干净表示： 掩码图注意力网络的分工是把每个嵌入帧看作图节点，用注意力系数学习噪声模式与心脏成分之间的拓扑关系，只预测取值在 0 到 1 之间的掩码 M；直接回归干净表示则是无约束地预测高维向量。搭配理由是掩码输出被严格界定，假设空间复杂度更小，原文用 Rademacher 复杂度论证其泛化误差上界更紧；组合意义是把分离问题从无界估计转为有界抑制，降低对未见临床噪声的过拟合风险。

操作顺序是先构图，再预测掩码，再相乘。相乘后表示虽干净但碎裂，这正是第三步要修复的对象，不要把第二步输出直接解码当作最终结果。

第三步：潜在 GAN 如何缝合被掩码打碎的流形？

输入是破碎的掩码嵌入，输出是估计的干净嵌入 E_hat_clean 等于 G 对破碎嵌入的映射。白话解释是生成器负责填洞，把断裂的生理轨迹缝回连续形状；判别器负责验货，判断修复嵌入的分布是否像真值干净嵌入。原文强调不在 1 维波形或 2 维谱图的高维空间做对抗，因为数据分布与生成分布之间的 Wasserstein 距离在高维下最优传输代价大，易模式崩溃与相位失配。转到低维嵌入空间后，在判别器上施加 1-Lipschitz 约束更易处理。

目标函数是公式 8 的对抗损失加 λ 加权的语义损失，语义损失按公式 7 用 1 减去余弦相似度计算，方向越一致损失越小。λ 的具体取值、判别器结构、声学解码器 D_γ 结构与训练轮数在证据中未报告，应记为缺项。推理时判别器与真值分支不再使用，只有生成器与解码器参与。

潜在生成对抗网络 × 波形或谱图生成对抗网络： 潜在生成对抗网络的分工是在低维嵌入空间把被乘性掩码打出空洞的表示修复为连续生理流形，判别器只需在 Rd 空间维持 1-Lipschitz 约束；波形或谱图生成对抗网络则要在 N 远大于 10,000 维的原始空间匹配数据分布。搭配理由是原文指出高维最优传输代价指数增长，易导致模式崩溃与相位失配；组合意义是先用掩码做减法去噪，再用低维生成做加法修复，避免在波形层硬生成。

可执行检查是观察修复前后嵌入余弦相似度的变化与波形连续性，而不是只看整体信噪比，因为这一步的价值正在于恢复被掩码破坏的结构。

训练按什么顺序更新，推理又如何直通？

算法 1 把流程写成每个训练批输入配对含噪波形 X 与干净波形 Y。步骤 1 调用预训练 Whisper 编码器分别得到 E_LLM 与 E_clean，前者是待分离对象，后者是监督目标。步骤 2 从 E_LLM 构图，经掩码图注意力网络得 M，相乘得破碎嵌入。步骤 3 经潜在生成器得修复嵌入。判别器更新最小化负对数似然形式的 LD，区分真值干净嵌入与修复嵌入。

生成器与图注意力网络更新最小化 LG，即欺骗判别器的对抗项加 λ 语义项。原文明确先更新判别器参数 β，再更新图参数 φ 与生成器参数 α。需要指出，Whisper 编码器参数 θ、解码器参数 γ 是否参与更新、梯度是否截断、优化器类型与学习率均未在证据中报告，不能从预训练字样推定其冻结。推理阶段对未见含噪波形依次执行步骤 1 至步骤 3，再经声学解码器得到波形输出。训练资源、耗时、硬件与收敛曲线同样未报告，因此不能承诺训练成本低或推理实时。

复现时应先固定随机种子与数据划分，再按先判别后生成的顺序实现交替更新，并把缺失超参数单独记录为待验证项。

数据、噪声、指标与聚合口径是什么？

数据采用 BUET 多疾病心音数据集，包含正常与病理心音，覆盖 S1、S2 与杂音及多种心血管疾病相关记录。为模拟真实听诊，作者把干净心音与环境噪声人工混合，噪声包括背景谈话、医疗设备运转声与室内混响，混合信噪比为 10 dB。原文称这是刻意制造的 harsh 听诊环境，关键杂音被严重掩蔽。指标分两类，主评估用宽带 16 kHz 模式下的 PESQ 与 SI-SDR，消融另用 LSD、CBAK 与 COVL 追踪谱失真与背景抑制。白话解释是 PESQ 看听感自然度，分数范围负 0.5 到 4.5，低于 1.5 为严重失真，高于 3.5 为优秀自然重建。

SI-SDR 看分离保真度，低于 0 dB 为严重失真，高于 20 dB 为高保真分离；LSD 越低越好，CBAK 与 COVL 越高越好。

PESQ × SI-SDR： PESQ 的分工是评价听感自然度，检查是否出现音乐噪声这类机械失真，因为临床最终靠医生听诊判断杂音；SI-SDR 的分工是评价信号能量层面的分离保真度，负值表示失真淹没目标。搭配理由是单一能量指标无法反映机器人伪影，单一听感指标无法量化残留误差；组合意义是同时要求数值上干净与听起来像生理心音，原文因此把 PESQ 用于主评估、SI-SDR 用于失真度量，并辅以 LSD 看谱失真。

聚合口径必须分清：表 1 是单个最优样本的峰值能力展示，表 2 是全测试集平均并采用双信号评估协议，同时用真值干净音频与生成输出作为配对参考输入。混淆峰值与平均会误读提升幅度，下节用两张表分别呈现。

峰值恢复到底测了什么，数字支持什么判断？

要回答的问题是单个最优样本在 10 dB 环境噪声下最多能恢复到什么程度。比较对象是同一批输入的含噪条件与 CLEAR 增强输出，没有其他可运行基线参与此表，因此它不是方法间公平对比，而是输入输出前后对照。指标方向是 PESQ 与 SI-SDR 越高越好。表后解释见下段，先看整理表。

表后解释是含噪输入 PESQ 仅 1.0304、SI-SDR 为负 29.3715 dB，论文报告显示早期诊断实际不可行。

增强输出达到 PESQ 4.6433、SI-SDR 64.3566 dB，支持该样本下目标生物信号被干净分离且听感自然、无机械失真的判断。但限制同样明确：这是事后挑选的最优样本峰值，不能代替可部署平均收益，也不能推广到每条录音。PESQ 4.6433 超过常规上限 4.5 的写法在原文中确实如此，解读时保留原数不做修正，并标注该数值仅属该样本报告。此外该表未提供可运行对照方法，任何跨方法胜负结论都不应从此表得出。

换掉任一模块会失去什么，哪个未胜出项值得注意？

要回答的是三模块各自贡献与结构必要性。比较条件是同一数据集平均与同一双信号评估协议，指标方向为 PESQ、CBAK、COVL 越高越好，LSD 越低越好。4 个可运行配置分别是卷积编码加图加生成对抗、Whisper 加卷积加生成对抗、Whisper 加图加扩散、Whisper 加图加生成对抗即所提方法。表后解释见下段，先看整理表。

表后解释是所提配置平均 PESQ 2.9958、LSD 1.7898、CBAK 2.6713、COVL 3.3865，全面领先其余三项，支持语义嵌入、图关系分离与潜在对抗修复有机结合最优的判断。

具体代价是把 Whisper 换成卷积编码器后 PESQ 跌至 1.0361 左右，说明缺全局上下文时恢复失败；把图注意力换成卷积后 LSD 恶化到 3.5504，说明非平稳噪声解耦需要拓扑关系学习；把潜在生成对抗换成扩散后整体下降且 LSD 达 3.8609，原文解释为过平滑或相位信息损伤，这属于有限解释而非已证明因果。未胜出项中 Whisper 加图加扩散值得注意，它在 CBAK 上略高于纯卷积方案，说明背景抑制尚可，但谱失真最大，提示扩散在此任务中不是简单替换即可生效。

平均与峰值的落差也提示泛化稳定性仍需更多统计与误差分析。

哪些边界没有测，哪些推论还只是可能？

直接报告的局限是峰值与平均采用不同聚合口径，若只引用峰值会高估日常效果。未评测边界包括除 10 dB 之外的信噪比、除 BUET 之外的采集设备与人群、真实而非人工混合的临床录音，以及误诊率、延迟、算力与功耗。原文讨论了对下游计算机辅助诊断的意义，认为干净潜在特征可减少误分类，但并未报告多分类准确率提升的对照实验，因此这属于待验证推测，应表述为可能而非已证明。

PESQ 用于心音的合理性在原文中做了临床听诊辩护，认为可捕捉音乐噪声等机械失真，这是一个有源的方法选择，但 PESQ 原本为语音设计，将其分数直接等同于诊断正确率仍需谨慎。理论部分用复杂度界与 Wasserstein 距离论证掩码与低维对抗的优越性，属于有限解释，不能当作对所有噪声的性质证明。训练超参数、解码器结构、统计显著性与失败样本分析缺失，这些缺失不是技术错误，但复现前必须补记。

复现先做什么，需要保留哪些信息条件？

先做数据复刻：获取 BUET 多疾病心音数据集的干净记录，按原文描述构造背景谈话、设备运转声与室内混响的混合噪声，并在 10 dB 信噪比下生成配对训练与测试集，同时记录划分方式与随机种子，因为原文未给出划分细节。再做管线搭建：调用预训练 Whisper 得到含噪与干净嵌入，实现图构建与掩码图注意力网络的乘性滤波，再实现潜在生成器、判别器与余弦语义损失，最后接轻量声学解码器。

关键超参数如 λ 权重、图邻域定义、注意力配置、优化器与是否冻结 Whisper 均未报告，复现时应先设为可配置项并做小规模网格记录，不要默认冻结。评估时严格区分两种协议：复刻峰值表时报告最优样本前后对照并标注为事后最优，复刻消融表时报告全集平均并采用双信号配对输入计算 LSD、CBAK 与 COVL。资源状态为 NONE，本次无代码与权重可达证据，因此应按不可运行处理，先用小子集验证数据流与损失下降，再补全统计与听感检查。

何时值得尝试 CLEAR，何时应先补验证？

当任务是保留 S1、S2 与杂音细节的波形重建，且噪声为非平稳环境声、局部帧可能完全丢失时，CLEAR 的 3 段思路值得尝试：先用长程嵌入恢复身份判断，再用有界掩码做保守抑制，最后在低维空间缝合连续性。若已有干净配对数据与听感评估条件，可优先复现 Whisper 加图加生成对抗的平均效果，并把卷积编码、卷积分离与扩散修复作为必跑基线，因为原文已给出这些可运行对照。

若目标是实时电子听诊器或远程医疗部署，则应先补延迟、算力与不同信噪比下的稳定性验证，不要把单个样本 64.3566 dB 的 SI-SDR 当作部署承诺。若目标是提升下游疾病分类，则需另做分类器前后对照，测量误分类变化，而不是用 PESQ 代替诊断收益。总体判断是论文报告显示在 harsh 10 dB 条件下可实现自然且无伪影的恢复，消融支持三模块缺一不可，但峰值与平均的落差、缺失的实现细节与未测边界意味着复现者应把重点放在平均稳定性与可重放评估上。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总