闲聊与背景音如何混入病历与临床推理

📄 闲聊与背景音如何混入病历与临床推理

英文题目：Large language models are vulnerable to incidental information in clinical documentation and reasoning

标签：#语音识别 | #基准设计 | #幻觉与忠实度 | #基准测试

评分：5.5/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

👥 作者与机构

• Krithik Vishwanath：机构信息未在 arXiv HTML 中可靠披露
• Brandon Ye：机构信息未在 arXiv HTML 中可靠披露
• Anton Alyakin：机构信息未在 arXiv HTML 中可靠披露
• John E. Markert：机构信息未在 arXiv HTML 中可靠披露
• Aaron Hsieh：机构信息未在 arXiv HTML 中可靠披露
• Michał Mańkowski：机构信息未在 arXiv HTML 中可靠披露
• Eric K. Oermann：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

临床对话混有与患者无关的偶发信息，环境记录需把闲聊与患者病情分开，难点是两者用词重叠且录音混有他人语音。论文构建MedDistractNotes，在576组医患对话中插入三至四轮寒暄并保持患者信息不变，让8个模型写主观、客观、评估和计划（Subjective, Objective, Assessment and Plan，SOAP）病历，再用配对法官判定插入内容是否被当作患者病情写入。论文构建MedDistractAudio，把另一组问诊的5 s至15 s片段按-20 dB至-5 dB叠加到57组模拟问诊上，经Whisper large-v3转写后再生成病历，追踪背景词向转写和病历的泄漏。在MedDistractQA的10%留出测试集上，以准确率为指标比较干净题与受扰题，开源模型的准确率在旁观者插入下下降5.5–12.6个百分点、在非字面插入下下降10.2–14.2个百分点。在同一留出集的干净题上，以准确率为指标比较抑制所选注意力头前后，抑制后准确率比未干预降低24.4–37.8个百分点。在MedDistractNotes开源模型受扰病历中，以误归因率为指标比较亲属闲聊与非亲属闲聊，亲属的21.4%低于非亲属的26.7%，并区分误归因与正确归因后的临床使用。与只打正确性、完整性和简洁性的病历评测不同，本文用插入目标做污染判定，机制上用对比因果头门控定位注意力头并做干净激活回填。结论只适用于短摘录偏多、模拟录音和模型法官的设置，短文本中污染更高，全长门诊和医生审签环节尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://github.com/nyuolab/llm_distract — 链接不可用（HTTP 404）

• 第三方资源：https://huggingface.co/datasets/KrithikV/MedDistractQA — 暂时无法访问

• 第三方资源：https://transformer-circuits.pub/2021/framework/index.html — 链接可访问（HTTP 200）

• 第三方资源：https://openreview.net/forum?id=AjXkRZIvjB → https://openreview.net/challenge?redirect=%2Fforum%3Fid%3DAjXkRZIvjB — 链接可访问（HTTP 200）

• 第三方资源：https://proceedings.mlr.press/v202/shi23a.html — 链接可访问（HTTP 200）

• 第三方资源：https://arxiv.org/abs/2504.01201 — 链接可访问（HTTP 200）

• 第三方资源：https://arxiv.org/abs/2309.16042 — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

临床对话里哪些信息本来不该进病历

这篇论文研究的是环境记录和临床推理共用的一个风险：与本次患者无关的附带信息被模型当成患者的信息。输入是医患对话文本或诊室录音，目标是生成主观、客观、评估和计划四部分组成的进展病历，记作主观、客观、评估和计划病历。必须保留的是患者本人的主诉、病史、检查和处置依据，输出是供医生审核签名的病历文本。一旦签名，病历会进入病历系统，影响问题列表、计费和后续诊疗，还可能被用来做全院决策或训练模型。

论文强调，真实对话里常有拉近关系的闲聊，或从旁边传来的另一场就诊的声音，这些内容不增加关于本患者的信息，系统必须把它和患者相关的临床信息分开。读者需要先建立这个判断标准：来源句子在转录里存在，不等于它描述的是本患者。

已有路线为什么没堵住这个漏洞

论文把自己的工作放在 3 条已有观察之后。第一条是医学考试题上的干扰研究，与患者无关但医学上显眼的信息会拉低大模型做题成绩，但这能否推广到真实部署并不清楚。第二条是对商用病历助手的审计，不常见的虚构错误临床严重程度最高，而且医学上看似合理的错误在审核时很难发现。第 3 条是其他领域里无关上下文损害推理的发现。

共同的缺口是，缺少在成对可控输入下同时看文本闲聊、背景语音和推理机制的工作，也缺少专门针对归因错误的污染打分，而通用质量分和是否逐字出现在转录里的检查都可能漏掉这类错误。论文因此提出两个配对基准和一组注意力头干预，用来直接检验附带信息是否进入病历以及是否与推理共用组件。

论文要回答的具体问题是什么

论文把大问题拆成 3 个可测的小问题。第一个是文本闲聊是否进入病历：保持患者临床信息不变，只插入一段闲聊，比较干净转录和受干扰转录生成的两份病历，看模型是否把闲聊写成有临床意义的信息，是否写成患者的，是否据此做了评估或计划。第二个是背景语音是否经过转录进入病历：把另一场就诊的一段语音按不同响度叠加到本场录音上，先看语音识别转录是否出现背景词，再看下游病历是否出现背景内容。

第 3 个是机制问题：与干扰有关的模型组件是否也支持干净题目上的临床推理。3 个问题共用干净与受干扰成对设计，区别只在插入内容，这是全文因果解释的基础。

三条实验链路是如何分工的

全文流程分成文本病历、音频链路和机制探针 3 条链。文本链用 576 场对话，每场做干净与受干扰两个版本，8 个模型各写一份主观、客观、评估和计划病历，再用配对打分判断污染、归因和失败模式。音频链用 57 场模拟录音，每场做干净录音和多个叠加背景音的混合录音，先用开放权重语音识别转录，再用 4 个开放权重模型写病历，分别度量转录泄漏和病历污染。机制链不用病历生成，而用 1273 道美国执业医师考试风格选择题的受干扰变体做可控探针，找出与干扰有关的注意力头，再做恢复干净激活和压制输出两类干预。3 条链共用旁观者和非字面两类干扰，但评价对象不同，不能互相替代。

旁观者闲聊 × 非字面闲聊： 旁观者闲聊指谈论另一个人的疾病或手术，非字面闲聊指把医学词用在非医疗含义上，两者都不提供患者本人的新信息，搭配使用是为了区分模型是被他人病史带偏还是被字面医学词触发，组合后能看出哪类措辞更容易被写入病历。

下面这张设计图值得先读再往下走，它把插入例子、配对输入和 3 条链的步骤画在了一起。

看图路径： 1. 先看上半部分干净与受干扰成对输入只差黄色高亮的几行；2. 再看下半部分三栏分别对应文本病历、音频链路和机制探针；3. 注意机制栏从选头到补丁与抑制的两条干预箭头

论文图 1。原论文 Figure 1：“Fig 1”。

图的上半部分展示了一个实例：左侧是医患对话，黄色块是插入的健身房旁人装起搏器的闲聊，中间给出旁观者与非字面两类定义，右侧强调受干扰转录只比干净转录多了高亮行。下半部分三栏分别对应文本病历的成对打分与归因、音频链的转录加病历 2 级检查、机制栏的选头加补丁与抑制。读图时抓住配对不变性，凡是两份输入只差插入内容，后续差异才能归因于干扰。

闲聊是怎么构造和插入的

文本基准包含两个来源：77 场完整就诊和 500 段短摘录，剔除一段只有医生单句的摘录后剩 576 场。每场先按临床内容标一个器官系统，没有临床内容的通类摘录再随机分配系统。旁观者闲聊从 67 种同系统的他人非传染病或择期手术中选取，例如心血管就诊中同事的冠脉支架，泌尿就诊中朋友父亲的碎石；亲属只用于外伤和择期手术，避免引入遗传风险。非字面闲聊从 24 个医学词的非临床用法中选取，例如神经科就诊中乐队名中风，咖啡店名谵妄，酸面团 starter 缓解，赛艇名白内障。

要求由患者或陪同者提起，医生只做社交回应而不给建议，交换为 3 到 4 轮，平均约 265 和 255 个字符。插入后干净与受干扰转录只差插入行，短摘录中插入段中位占受干扰文本 43%，完整就诊中位占 4%，完整就诊中位 6583 个字符而短摘录中位 350 个字符。这个占比差异是理解后文污染率随长度下降的关键。

对比因果头门控 × 干净激活补丁： 对比因果头门控指给每个注意力头学习一个门，找出让干净与受干扰输入答对概率差变大的头，干净激活补丁指把这些头在受干扰输入下的输出换成干净输入下同一位置的输出，两者搭配是先定位再验证，组合后能判断这些头是否真的传递了干扰。

机制侧的选头方法叫对比因果头门控，它在每个注意力头输出前乘一个可学习的门，同时看干净和受干扰两遍前向，用干净答对概率减受干扰答对概率再加让门趋向 1 的惩罚来优化，门低于 0.5 的头称为干扰头。干净激活补丁则是把这些头在受干扰输入下的输出换成干净输入下最长公共前后缀对齐后的输出，插入词没有干净对应位置则不补。随机头补丁和全部头补丁作为对照，用来判断选头是否特异。

本研究训练了什么、调用了什么

本研究没有从头训练病历生成模型和语音识别模型。病历生成调用 4 个前沿模型和 4 个开放权重模型，前沿为 GPT-5.4、GPT-5.6 Sol、Claude Opus 5 和 Claude Fable 5.1，开放权重为 Llama-3.1-8B、Qwen2.5-7B、Mistral-7B 和 Gemma-2-9B，均用贪心解码写主观、客观、评估和计划病历。污染判断调用 Claude Sonnet 5 做成对盲评，质量打分调用 GPT-5.4 按正确性、完整性、简洁性和总体打 5 分制。音频转录调用 Whisper large-v3。唯一涉及拟合的是机制侧的门参数，用 1146 道题拟合，在 127 道留出题上评价，优化器为 Adam，500 步，学习率从 0.01 线性退火到 0.001，有效批量 16 对，梯度范数裁剪到 1.0。论文没有报告通用知识基准上的对照，也没有测试把受干扰激活反向贴到干净输入上，或在病历生成中干预这些头，这些缺项决定了机制结论的适用边界。

配对比较和统计口径是怎样的

文本实验的预设主要终点是受干扰减干净的目标特异性污染率。每个干净与受干扰病历对贡献一个配对差，汇总用 2000 次病历对自助法给 95% 区间，另有按整场就诊重采样的敏感性分析。归因把纳入闲聊的病历再分成误归因、正确归因但临床使用、只记录不使用 3 类。失败模式用关键词规则按顺序匹配判分理由和病历行，再定位到主诉、既往史、家族社会史、客观、评估和计划等节。

音频实验以负 10 分贝为预设主要水平，泄漏定义为背景段实词出现在混合转录但不在干净对照转录，污染打分仍用配对法官，重采样单位是整场咨询。机制实验在 127 道留出题上报告配对准确率差和自助区间，补丁与抑制与同流程未干预基线比，并与等数量随机头对照。百分点是率的直接相减，不是相对百分比，读数时不要混淆。

闲聊进入病历的总体规模有多大

先看最核心的污染规模比较，条件是同一批 576 场对话、两类干扰、前沿与开放权重各 4 个模型各贡献 4608 个干净与受干扰病历对，指标是受干扰病历中纳入闲聊的比例，越高越差，干净病历作为假阳性对照。

目标特异性污染 × 通用质量分： 目标特异性污染指把本次插入的那句闲聊当作有临床意义的内容写入，通用质量分指正确性、完整性、简洁性和总体分，两者搭配是为了检验常规打分能否抓住这种定向错误，组合后发现污染很高时质量分几乎不动。

上表说明污染不是偶发：前沿 1612 份、开放 2309 份受干扰病历纳入闲聊，而干净病历几乎为零。旁观者内容在两组都高于非字面内容。长度效应很陡，短摘录中闲聊占比大，前沿组污染增量随转录变长从最短五分位 60.1 个百分点单调下降到最长五分位 17.0，开放组从 85.0 到 19.2，完整就诊只有几个百分点。因此汇总的 35.0% 和 50.1% 受短摘录拉高，不能直接当作完整门诊的污染率，这是最重要的适用条件。

下面这张结果总览把分模型、分语料和随长度下降以及质量分不动放在了一起。

看图路径： 1. 对比面板 a 中每个模型旁观者蓝线与非字面红线的位置；2. 看面板 c 中短文本与完整就诊在颜色深浅上的落差；3. 看面板 f 中前沿模型质量分变化紧贴零线

论文图 2。原论文 Figure 2：“Fig 2”。

图中面板 a 显示每个模型受干扰点远高于干净点，面板 c 显示完整就诊列颜色很浅而短摘录列深红，面板 e 显示两条曲线都随长度下降，面板 f 显示前沿质量分变化紧贴零线。观察时不要把颜色深浅当成模型能力排序，它同时混入了文本长度和干扰占比的影响。

写进去了是否等于写成患者的

纳入之后还要看归因，这决定错误的临床含义。前沿 4608 份受干扰病历中 30.9% 只记录不使用，2.0% 误归因，1.7% 正确归因但仍用于评估或计划；误归因最多的是 Claude Opus 5 的 4.6%，GPT-5.4 仅 0.3%，正确归因仍使用几乎只出现在 Claude Opus 5 的 5.6%。开放权重则以误归因为主，25.7% 误归因，4.1% 正确归因仍使用，19.8% 只记录。论文把 170 份前沿误归因或使用病历归纳为他人病情变成本人主诉或诊断 24 份、变家族史或风险 23 份、读作言外担忧并加筛查 24 份、记作精神状态体征 37 份、比喻按字面记 18 份、他人活动记成患者 33 份。

例如表亲轻微脑震荡变成患者主诉和首要诊断，朋友 basal cell carcinoma 被解读为未说出口的担忧并建议皮肤检查，咖啡店名谵妄被记为离题并建议认知筛查，游戏计时器玩笑触发焦虑筛查，房东哮喘吸入剂的薄荷味被记成患者家走廊事实，垒球队员 bunion 手术被记成患者参加垒球并进入鉴别诊断。

误归因 × 正确归因但临床使用： 误归因指把别人的病情或玩笑话写成患者自己的情况，正确归因但临床使用指写明是别人的事或玩笑话却仍据此建议检查或诊断，两者分工是区分写错主体与用错依据，组合后能看到前沿模型多为只记录而开放权重模型多为直接写成患者的。

这意味着前沿模型更多是多写了一笔，而开放权重模型更常直接把别人的病史搬到患者身上。比喻类闲聊在两组都更容易被误归因。自动规则还发现前沿 6.8% 受干扰病历在评估或计划中出现插入内容，但该规则只检出动作语言邻近，不能证明真的采取了临床行动，严重度打分也未经临床验证。

背景语音如何经过转录进入病历

音频链的比较问题是同一场咨询的干净录音与叠加背景段的混合录音在转录和病历 2 级是否出现背景内容，响度分负 20、负 15、负 10 和负 5 分贝四档，越高背景越响，指标方向都是越高越差。

转录泄漏 × 下游病历污染： 转录泄漏指背景录音中的实词出现在混合录音转录文本但不在干净对照转录中，下游病历污染指这部分背景内容又被写进病历，两者分工是区分语音识别阶段出错与病历生成阶段出错，组合后能看到有泄漏的转录更容易产生污染病历。

上表说明在预设的负 10 分贝下，114 份混合转录中 55 份出现至少一个背景实词，占比 48.2%，平均泄漏背景段 14.5% 的实词；456 份下游病历中 24 份被判污染，占比 5.3%，相对配对干净对照 1.3% 高 3.9 个百分点。污染集中在有泄漏的转录，混合中有泄漏子组 11.5%，混合中无泄漏子组 0.6%，两者并列构成泄漏条件下的对照，1.3% 仍为配对干净对照。通用质量分几乎不动，正确性和总体分变化区间都包含零。泄漏本身不等于临床后果，病历污染率也远低于转录泄漏率，说明语音识别错了约一半，但只有约一成泄漏转录进一步变成污染病历。 下面这张音频图把随响度上升的 2 级错误画了出来。

看图路径： 1. 沿横轴从 -20 到 -5 分贝看泄漏率与泄漏词比例的上行；2. 注意面板 c 中 -10 分贝处混合病历与干净病历两条线的差距；3. 对比面板 d 中有泄漏与无泄漏两条曲线的分离

论文图 3。原论文 Figure 3：“Fig 3”。

面板 a 和 b 两条曲线都随背景变响上行，负 10 分贝虚线处分别标出 48.2% 和 14.5%。面板 c 显示混合病历线高于干净虚线，面板 d 显示有泄漏蓝线远高于无泄漏灰线。读图时注意横轴是背景相对本场的分贝，负得越少背景越响，不能反读。

与干扰有关的注意力头是否也管推理

机制探针的比较问题是同一道题的干净与受干扰版本准确率差多少，以及对选定头做补丁或抑制后准确率如何变，指标是百分点变化。

上表说明干扰确实拉低做题准确率，把选定头的干净激活贴回受干扰输入，8 组中 7 组回升，挽回 6.3 到 16.5 个百分点，Mistral 非字面单条件从受干扰 40.2% 回到 56.7%，挽回 16.5 个百分点。选头在两类干扰间高度重叠，Jaccard 为 0.39 到 0.78，远高于随机的 0.008 到 0.1，Llama 选头占比 1.5% 到 1.7%，Gemma 为 21.7% 到 23.7%。抑制与随机两列为 8 个条件汇总范围：压选定头干净题准确率大跌 24.4 到 37.8 个百分点，而压随机头只变负 9.4 到正 0.8，不作为 Mistral 单条件的抑制值。论文称之为双编码假说，即同一批组件既传递干扰也支持推理。限制是选头方法本身可以通过压低干净概率来缩小差距，选头比例依赖惩罚系数，提示词对照未持续有效，且只在选择题上验证，未测试病历生成。

下面这张机制图集中展示基线下降幅度、选头比例、补丁挽回效果和抑制后变化 4 步，可对照表格中的数字来看。

看图路径： 1. 先看面板 a 干净减受干扰准确率的下降区间；2. 再看面板 c 补丁后受干扰准确率相对零线的右移；3. 最后看面板 d 把头输出从 1 压到 0 时干净准确率的下坠

论文图 4。原论文 Figure 4：“Fig 4”。

面板 a 显示所有点都在零右侧，面板 b 显示选头比例从 Llama 的 1.5% 到 1.7% 到 Gemma 的 21.7% 到 23.7%，面板 c 显示选头补丁条多在零右侧且长于随机灰条，面板 d 显示实线随压制快速跌向随机线以下的偶然水平。不要把补丁挽回当成部署可用的提升，它需要事先知道干净激活，属于事后探针。

哪些结论不能推广到真实门诊

论文自己列出 3 类限制。第一，插入闲聊和叠加音频是高度可控的因果比较，没有覆盖真实诊室的声学复杂性和对话多样性，且污染在短摘录中最大，汇总率会高估完整就诊。第二，评价的是生成错误而非下游伤害，医生能否在签名拦截这类归因错误、留存错误如何影响后续诊疗，需要前瞻性临床评价。第三，污染和归因由单个大模型法官判定，未经临床医生验证，失败模式由自动规则分组。

机制实验只用开放权重模型和考试题，未做通用知识基准，临床特异性未知，也未做反向补丁和病历生成中的干预。因此，通用质量分抓不住污染、背景音会泄漏、选头兼顾干扰与推理这三点是有证据的，但真实部署中的接受率、伤害率和最优防护仍待验证。

要复现第一步该准备什么

复现先从配对输入做起，而不是直接调模型。文本侧下载 ACI-Bench 和 MTS-Dialog 的公开子集，按论文方法标器官系统，用冻结的插入交换生成干净与受干扰成对转录，保留插入点、系统标签和单句摘要。音频侧下载 PriMock57 的 57 场双通道录音，按固定种子选供体、取 5 到 15 秒临床词最密窗口、在中间 60% 内固定起点按 4 个分贝叠加并峰值归一化，保留干净对照。用 Whisper large-v3 贪心转录，再用相同提示词和主观、客观、评估和计划模板生成病历。

打分复用配对污染法官和归因法官的原提示词，统计用病历对或整场咨询自助法。机制侧用 MedDistractQA 的 1146 道拟合门、127 道留出评价，门阈 0.5，对齐用最长公共前后缀。论文称将在 GitHub 发布基准、病历、判分输出和作图代码，但本次核验时该链接不可用，Hugging Face 上的 MedDistractQA 在本次未能确认可达，复现前需自行确认来源可用性，这不是技术缺陷。

什么时候值得试、还缺哪项验证

当你的系统要把诊室对话直接变成签名病历，或把录音先转录再写病历，且对话里常有家属病情、社交闲聊或环境人声，就值得用这种成对污染测试先做抗干扰评估，而不是只看正确性、完整性和总体分。复现第一步是做出只差一段闲聊或一段背景音的干净与受干扰对，并用目标特异性污染率而非通用分做主要终点。

还缺的验证是医生审核拦截率、前瞻性留存错误对诊疗的影响、临床医生对法官判定的复核，以及在病历生成中对选定头的干预和通用基准对照。防护方向可能是显式保留每句话的说话人、主体和临床相关性，或训练面向归因的目标并对生成断言回查患者相关文本 span，但这些在本文都只是建议，未经验证。容易误解的是，转录里有原句不等于可写入病历，质量分高不等于归因对，补丁能挽回做题分也不等于上线可用。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-11 语音/音乐/音频论文速递