从医患对话音频直接生成 SOAP 病历：按小节分工的查询压缩方法

📄 从医患对话音频直接生成 SOAP 病历：按小节分工的查询压缩方法

英文题目：JYVA at BeTraC: Audio-Based Medical Note Generation with SOAP Section-Specific Queries

评分：5.5/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.7/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Youness Dkhissi：机构信息未能从 arXiv PDF 文本可靠映射
• Valentin Vielzeuf：机构信息未能从 arXiv PDF 文本可靠映射
• Antoine Caubrière：机构信息未能从 arXiv PDF 文本可靠映射
• Jean-Emile Dartois：机构信息未能从 arXiv PDF 文本可靠映射

📌 核心摘要

医患对话转病历需要把长时间、非正式的口语压缩为结构化文本，输入是包含停顿、重复和无关闲聊的对话音频，输出是分为主诉、客观所见、评估和计划（Subjective, Objective, Assessment and Plan，SOAP）格式的病历，难点在于长音频包含大量无关信息，直接输入容易遗漏要点或编造诊断。该系统保留语音大模型 Qwen2.5-Omni-3B 的语音塔和思考模型，去掉视觉与语音合成部分，再插入按 SOAP 分组的可学习查询模块，从语音嵌入中抽取 96 个临床表征并作为前缀，与原生语音投影一同送入思考模型生成完整病历。两阶段训练先冻结语音塔并联合训练查询模块与思考模型的低秩适配增量，再冻结查询模块并恢复原生语音通路训练新的适配增量，推理时配合束搜索与去重约束输出规范化病历。与已有直接输入全部音频词元的做法相比，差异在于用分组查询显式对应病历结构，引导模型按部分组织证据。在官方 SynthDoPaCo 测试集上，该系统以 0.5005 的概念 F1 超过 0.245 的挑战赛基线并获得轻量赛道第四名，适用范围限于挑战赛提供的合成与模拟对话，真实人类对话仅有极小样本验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://arxiv.org/abs/2503.20215 — 链接可访问（HTTP 200）

• 第三方资源：https://arxiv.org/abs/2604.14829 — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

任务的输入是什么，要输出什么样的病历

这篇论文研究的输入是医生和患者之间的一段音频对话，输出是一份 SOAP 格式的病历。SOAP 是 4 个英文词的缩写，分别对应病历里约定俗成的 4 个部分，本文实际使用的分组是主观部分、客观部分，以及评估与计划合并为一组。主观部分主要来自患者说了什么，例如症状、持续时间、既往情况；客观部分主要来自检查和观察到的结果；评估与计划则是医生据此作出的判断和下一步安排。

对刚进入语音或医疗文本方向的研究生来说，关键是理解这个任务必须保留什么信息。模型不能只生成通顺的摘要，还要把分散在对话里的关键医学事实放到正确的小节里，并且不能编造对话里没有的诊断或数值。口语对话本身有犹豫、重复、打断和纠正，信息密度低而长度长，这使得内容选择比书面文本摘要更难，也让事实核对需要回到原始语音证据。

SOAP 病历 × Subjective × Objective × Assessment and Plan： SOAP 病历是把一次就诊记录按结构拆开的目标格式，Subjective 记录患者主诉与病史等主观陈述，Objective 记录查体与检查等客观发现，Assessment and Plan 记录评估诊断与后续计划；本文把三组查询分别对应这三部分，是为了让压缩和生成都按同一结构分工，避免把整段对话当成无结构的自由摘要。

为什么不先转写文字再写病历

一种自然的路线是级联系统，先用语音识别把对话转成文字，再用大语言模型写病历。这种路线把语音问题和文本摘要问题分开，调试相对直观，但转写错误会向后传递，而且文本模型看不到原始语音中的停顿、语气或说话人交叠等线索，一旦转写漏掉关键症状，后续摘要很难补回。

本文参加的 Beyond Transcription Challenge 即 BeTraC 明确鼓励端到端的语音到病历系统，也就是直接从语音生成 SOAP 病历，而不是依赖级联的语音识别流水线。论文的动机是，在这种端到端设定下研究如何提高忠实度和可靠性。论文还提到，医学病历的幻觉评估本身就不容易，因为临床上合理的抽象或换一种说法，可能被表层字面匹配误判为错误。

因此，本文没有把 SOAP 生成当作一般的自由摘要，而是强调 SOAP 有预先定义的小节结构，不同小节需要对话中不同类型的证据，显式利用这种结构可能同时改善信息选择和事实忠实度，这也是后文按小节设计查询的直接依据。

长对话音频直接送入模型会遇到什么困难

长段医患对话经过语音编码后会产生大量音频词元，其中很多词元对应的可能是寒暄、重复确认、停顿或与病历无关的内容。如果把全部词元直接送给负责生成的语言模型，模型要在很长的上下文里自己判断哪里重要，论文认为这可能增加幻觉或重复内容风险，尤其当无关内容占比很高时，模型更容易被高频但无用的表达带偏。

另一个困难是目标输出本身是结构化的。模型既要决定写什么事实，又要决定把事实放在哪个小节。如果只用一个统一的生成目标去约束，模型可能把主诉写进检查部分，或者把计划写得过于笼统。论文因此提出一种归纳偏置，也就是通过结构设计先告诉模型要按小节分工提取信息，再生成完整病历。

举例来说，同样一句话我胸闷 3 天了，在主观部分是重要主诉，在客观部分则不应凭空变成测得的生命体征数值。如何让模型在压缩语音时就区分这种归属，是本文方法的核心问题，也是判断该方法是否成立的关键。

整体流程如何把长语音变成一份 SOAP 病历

沿着一个样本走一遍，输入是一段医患对话音频，先进入冻结的语音塔得到语音表征。之后信息分成两条互补路径，一条经过本文新加的临床 Q-Former 变成 96 个紧凑的临床词元，另一条经过 Qwen 原生的音频投影模块得到较丰富的语音词元。两组词元拼接后一起送给 thinker，由 thinker 生成完整的 SOAP 病历，训练和推理都围绕这一拼接输入展开。

其中 96 个词元的顺序是固定的，前 32 个对应主观部分，中间 32 个对应客观部分，后 32 个对应评估与计划。拼接时 Q-Former 产生的 96 个词元放在前面，作为临床前缀，后面再跟原生音频词元。论文的意图是让模型同时看到压缩后的小节导向表示和更完整的声学信息，前者负责提示重点，后者负责保留细节。

推理时还有限制解码和确定性后处理。解码侧用束搜索、最大输出长度、重复惩罚和重复 n 元组阻断，后处理脚本负责去掉特殊词元、去掉第一个主观小节之前的杂文本、规范小节标题与常见医学术语写法，并去掉重复内容和无关的礼貌用语，从而保证输出格式可用。

基础模型保留了哪些部件，去掉了哪些部件

提交系统基于 Qwen2.5-Omni-3B，但只保留与语音到 SOAP 任务相关的部件。论文明确写道，去掉了视觉编码器和文本到语音模块，只保留语音塔、音频投影模块和被称为 thinker 的仅解码器语言模型。这样的裁剪是为了让研究集中在语音理解与病历生成上，不引入图像或语音合成的干扰，也减少了无用参数的维护成本。

语音塔在整个训练中保持冻结，意味着声学特征提取器本身不更新，学习主要发生在适配器和 thinker 的 LoRA 上。这种选择也降低了训练代价，因为 3B 规模模型的全部参数微调需要更多显存和计算，而冻结加轻量适配可以在单卡上完成，对实验室复现更为友好。

Qwen2.5-Omni-3B × 语音塔 × thinker： Qwen2.5-Omni-3B 是本文借用的基础语音大模型，语音塔负责把音频变成语音表征，thinker 是只保留的解码器语言模型，负责根据语音信息生成文本；本文去掉视觉编码器和语音合成模块，只用与语音到文本相关的通路，是因为任务输入是对话音频、输出是病历文本。

按小节分工的查询如何压缩语音

临床 Q-Former 是本文新增的核心适配器，结构上只有 2 层、8 个注意力头，丢弃率为 0.1，学习的查询总数为 96。它通过交叉注意力读取语音表征，通过自注意力在查询之间交互，再经过前馈网络输出固定数量的查询表征。查询本身是可学习向量，不对应固定的音频帧，而是在训练中学会去关注对各自小节有用的语音证据，因此可以把变长对话压缩为定长表示。

分工体现在监督方式上，每个查询组关联一个面向对应小节的辅助损失。也就是说，属于主观组的 32 个查询要帮助生成主观小节，客观组对应客观小节，评估与计划组对应最后一部分。完整 SOAP 生成是全局目标，小节辅助目标则迫使不同组的查询保留不同信息，从而把长对话压缩成少量面向任务的临床表征，避免所有查询学到同样的平均信息。

Q-Former 适配器 × 96 个查询 × 临床前缀： Q-Former 适配器是通过交叉注意力从语音表征中提取信息的轻量模块，96 个查询是它固定产出的信息槽位，临床前缀是这 96 个槽位拼在原生语音词元之前、一起送给 thinker 的紧凑表示；查询按 32 加 32 加 32 分给三个 SOAP 部分，目的是让前缀本身就带有小节分工，再与更丰富的原生语音通路互补。

两阶段训练分别更新谁、冻结谁

第一阶段称为 Q-Former 预训练。此时去掉 Qwen 原生的音频投影器，换上可训练的 Q-Former 适配器，语音塔冻结，Q-Former 与加在 thinker 上的 LoRA 一起训练。训练目标是从 Q-Former 输出生成 SOAP 病历，同时考虑生成参考病历中出现的医学概念列表，这些概念是用挑战组织方提供的开放医学匹配器从标准答案病历中抽取的。论文还为每个查询组加上对应小节的辅助监督，使压缩过程从一开始就带有结构约束。

第二阶段称为 thinker 最终微调。此时恢复原生 Qwen 音频投影器，把第一阶段学好的 Q-Former 权重冻结，并丢弃第一阶段用的 LoRA，重新在 thinker 上训练一个新的 LoRA。语音塔、原生音频投影器和 Q-Former 都冻结，只有新的 thinker LoRA 更新。LoRA 秩为 16，缩放系数为 32，这种丢弃旧适配器再训练新适配器的做法是为了让生成模型适应拼接后的双路输入。

LoRA 适配 × Concept F1 × 幻觉： LoRA 适配是只训练加在 thinker 上的低秩旁路而不动主干的微调方式，Concept F1 是本文主指标，用于衡量生成病历与参考病历在医学概念上的重合程度，幻觉在这里指输出中缺乏输入或参考支持、与输入不一致或事实错误的内容；LoRA 负责让模型学会这种结构化生成，而 Concept F1 和幻觉诊断共同回答任务完成度和可信度两个问题。

原生音频投影 × 冻结 × 两阶段训练： 原生音频投影是 Qwen 自带的把语音塔输出映射给 thinker 的模块，冻结指该模块和语音塔等参数在某阶段不更新，两阶段训练是先单独练 Q-Former 再练 thinker 新 LoRA 的分步安排；第一阶段去掉原生投影以迫使查询学会压缩，第二阶段冻住已学好的 Q-Former 并恢复原生投影，是为了同时保留紧凑的小节表示和丰富的声学信息。

训练与推理的具体配置是什么

论文报告训练使用官方 BeTraC 训练子集，在一块英伟达 H100 上进行，采用梯度检查点，批量大小为 1，梯度累积为 8，余弦学习率衰减，5% 预热，共 6 个轮次。LoRA 学习率为 5 乘以 10 的负 5 次方，第一阶段 Q-Former 学习率为 10 的负 4 次方。模型选择依据验证集损失最优，而不是直接依据 Concept F1 挑选，这一点在复现时需要保持一致，否则可能引入选择偏差。

推理时使用 16 束的束搜索，最多生成 512 个新词元，长度惩罚为 1.0，重复惩罚为 1.2，并阻断重复的 5 元组。这些解码约束主要控制输出长度和重复，论文后面的分析表明它们对格式改善明显，但不能单独解决事实可靠性问题，因此不能把解码参数当作提升忠实度的充分手段。

需要提醒初学者的是，批量大小为 1 配合 8 步累积，实际等效批量仍然很小，这与长音频占用显存有关。冻结语音塔和大量模块也是在这种资源约束下的务实选择，而不是证明全参数微调一定更差，因为论文没有报告全参数微调对照，也没有给出完整训练时长与推理延迟。

在哪些数据上评测，用什么指标判断好坏

官方排名基于 SynthDoPaCo 测试集，论文中也出现了 Mock 和 Realistic 等组织方发布的附加评测集。主指标是 Concept F1，数值越高越好，它衡量生成病历与参考病历在医学概念层面的一致程度。论文还引用组织方的基于大语言模型作评委的分析，从简洁性、结构、忠实度和覆盖度等方面打分，并特别关注幻觉情况，这部分属于第三方评审视角。

作者自己还做了启发式诊断，把生成病历拆成句子级主张和数值表达式，再到源对话和参考病历中找字面证据，缺乏足够字面证据的计为无支持。具体指标包括结构有效率、主张无支持比例、数值无支持比例、重复比例，以及至少出现一种异常的对话比例。这些是轻量诊断，不是人工临床评审，方向都是越低越好，只有结构有效率是越高越好，阅读时要先确认方向再比较大小。

理解结论时要注意分母和条件。Concept F1 聚合的是概念匹配，启发式幻觉率依赖字面证据，可能把临床上合理的改写误判为无支持。Realistic 子集只有 3 段对话，样本极少，任何波动都可能被放大，因此跨子集比较时要格外谨慎。

官方挑战赛上的主结果是什么

论文报告系统在轻量赛道排名第 4，在官方测试集上 Concept F1 为 0.5005，明显高于挑战基线，与第 1 名相对接近。组织方分析显示，该系统在简洁性和结构上低于头部系统，但在忠实度和覆盖度上差距较小，并且幻觉表现是参赛系统中较好的一批，这与作者强调可靠性的目标是一致的。

下面这张表要回答的比较问题是，在不同评测集上，本系统、最高分、最低分和基线各自的 Concept F1 如何，条件是否一致需要看组织方划分，指标方向是越高越好。表前说明已经交代了官方集与附加集的来源，表中数值保留原文写法。

从表中可见，本系统在 4 个条件下都明显高于基线，汇总达到 0.486。最大下滑出现在 Realistic 子集，从 0.501 降到 0.425。论文给出两种可能解释，一是对人类口语鲁棒性不足，二是该子集仅含 3 段对话，统计不稳定。这个提醒很重要，意味着不能把 Realistic 上的差距直接解读为方法在真实场景必然失效，还需要更大样本验证，同时也说明汇总分数不能掩盖子集差异。

解码约束和微调各自带来了什么，方法本身又加了什么

下面这张表要回答的比较问题是，从官方基线开始，依次加上解码约束、微调和本文的按小节查询设计后，Concept F1 和幻觉相关启发指标如何变化。比较在同一验证分析框架下进行，Concept F1 越高越好，其余无支持主张、无支持数值、重复和总体异常比例越低越好，结构有效率越高越好。

结果呈现两个层次的效果。第一，仅加解码约束时，结构有效率从 47% 升到 98.5%，重复从 13.0% 降到 0.0%，但数值无支持反而升到 60.0%，对话异常率升到 60.5%，Concept F1 只从 0.26 到 0.28，说明格式变好了不等于事实变可靠了。第二，加上微调后 Concept F1 升到 0.47，无支持主张大幅下降，而本文完整系统进一步达到 0.51，无支持主张降到 0.4%，无支持数值降到 7.5%。论文还报告，在 9 段语音退化的验证对话上，微调基线从 0.47 降到 0.31，而本系统从 0.51 只降到 0.48，并且在微调基线最差的 5% 对话上全部实现超越，总体 77.5% 的验证对话优于该基线。

这些结论在什么条件下才成立，还有哪些局限

首先，主结论依赖 Concept F1 和字面证据的启发式诊断。Concept F1 能反映医学概念重合，但不等于临床可用性，启发式方法把缺乏字面证据判为无支持，可能误伤合理的抽象表达。组织方的大模型评委分析也只是辅助证据，不是医生评审。因此，说更抗幻觉时，应限定为在这些自动评估条件下的表现，而不能直接等同于临床安全。

其次，困难音频上的稳定性证据样本很小。超过 2 分钟连续非语音内容的只有两段对话，语音退化子集只有 9 段，Realistic 集只有 3 段对话。在小样本上 0.51 到 0.48 看似稳定，但置信度有限，不能推广为在所有噪声、口音或远场录音下都稳定，后续需要更大规模的真实口语数据才能确认边界。

最后，论文没有报告消融掉小节分组本身的对照，例如同样 96 个查询但不分小节会怎样，也没有报告训练时长、推理延迟和显存占用的完整成本。提交模型不含说话人分离或显式说话人角色掩码且完全端到端训练，这既是简洁性优点，也意味着在多人重叠说话较多时可能缺少显式帮助，但原文没有测量这一点，留下了尚未评测的范围。

如果要复现，第一步做什么，需要哪些资源

复现的第一步是准备官方 BeTraC 训练子集和组织方提供的开放医学匹配器，因为医学概念列表的抽取依赖它。同时需要 Qwen2.5-Omni-3B 的语音塔、音频投影和 thinker 权重，并按论文裁剪掉视觉和语音合成部分。论文给出的关键超参数包括 Q-Former 为 96 查询、2 层、8 头、丢弃率 0.1，LoRA 秩 16、缩放系数 32，学习率分别为 5 乘以 10 的负 5 次方和 10 的负 4 次方，6 轮、单卡 H100、批量 1 累积 8，这些都应在复现时原样保留。

复现时要严格执行 2 阶段冻结关系，第一阶段去掉原生投影并训练 Q-Former 加旧 LoRA，第二阶段冻住 Q-Former、恢复原生投影、丢弃旧 LoRA 再训练新 LoRA。推理侧要复刻 16 束搜索、512 新词元上限、长度惩罚 1.0、重复惩罚 1.2 和 5 元组不重复阻断，以及后处理对标题和术语的规范化，任何一步遗漏都可能改变结构有效率。

关于可用性，本文提供的证据只包含两条第三方链接，分别指向 Qwen 技术报告和另 1 篇医学评估相关预印本，不能据此说作者系统代码或权重已公开。代码开源、权重可下载和系统可运行是三件不同的事，在没有明确作者资源可用声明前，只能按论文文字和超参数自行实现，并自行记录环境差异。

什么时候值得尝试这种按小节压缩的思路

当任务输出本身有固定小节，且不同小节依赖对话中不同证据时，这种按小节分工的查询压缩值得尝试。它用很小的 96 词元前缀给模型一个结构先验，同时保留原生语音通路以避免信息丢失，论文证据支持它在 Concept F1 和启发式幻觉指标上优于只微调的基线，尤其在基线最弱的困难对话上提升更明显，这对长对话场景具有借鉴意义。

但如果你的场景是开放式摘要、没有稳定小节，或者已有高质量转写和说话人标签，是否仍需要这种设计就需要另做验证。同样，如果部署环境对延迟敏感，96 个前缀加完整语音词元再加 16 束搜索的推理代价必须实测，论文没有给出这部分数字，不能默认它更快或更省，也不能把验证集上的提升直接当作线上收益。

容易产生的误解是把解码约束的效果当成事实改善，或把小样本上的稳定当成普遍鲁棒。本文的细读表明，格式约束主要修结构和重复，事实改善主要来自微调加小节查询设计，而困难条件下的结论受样本量限制。后续最需要补的验证是医生参与的忠实度评审、更大规模真实口语测试，以及去掉小节分组的真正消融。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-11-02 语音/音乐/音频论文速递