从单段分类到多部位问答：AuscuTSLM 如何把听诊声接到冻结大模型上

英文题目：AuscuTSLM: Patient-Level Multimodal Question Answering from Multi-Site Auscultation Recordings

会议身份：conference:interspeech:2026:conference-paper-id:wu26j_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#医疗音频 #多模态学习 #生理信号 #音频问答

评分：7.6/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：方法研究

👥 作者与机构

• Fan Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Tsai-Ning Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Nicolas Zumarraga：机构信息未能从会议 PDF 纯文本可靠映射
• Ning Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Markus Kreft：机构信息未能从会议 PDF 纯文本可靠映射
• Kevin O’Sullivan：机构信息未能从会议 PDF 纯文本可靠映射
• Paula Manso Zorrilla：机构信息未能从会议 PDF 纯文本可靠映射
• Elgar Fleisch：机构信息未能从会议 PDF 纯文本可靠映射
• Oliver Aalami：机构信息未能从会议 PDF 纯文本可靠映射
• Paul Schmiedmayer：机构信息未能从会议 PDF 纯文本可靠映射
• Robert Jakob：机构信息未能从会议 PDF 纯文本可靠映射
• Patrick Langer：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

患者级听诊问答的输入是同一患者多部位最长30s的心肺录音、部位元数据与自然语言临床问题，输出是二分类判断与开放式诊断描述，难点在于心脏杂音与肺部啰音微弱易被噪声掩盖，且需跨解剖部位整合长时节律上下文。先将异构采样音频重采样至16kHz单声道并截断补齐至30s归一化，职责是统一时长与量纲并输出等长波形，再将等长波形经40ms切块一维卷积投影为时序声学词元并展平多部位序列，职责是离散化长时信号并输出多实例词元序列送入压缩，最后以可学习隐查询对该词元序列做交叉注意力压缩为定长患者表示，并与部位文本词元经门控交叉注意力注入冻结大模型，职责是融合多部位冗余并输出接地文本答案。与单片段分类和通用音频大模型的关键差异在于多实例聚合提供空间冗余以缓解截断损失，轻量领域编码即可比肩大规模预训练编码器，具有减少对大模型依赖的实际意义。在CaReSound基准下，AuscuTSLM的Contains-Match准确率为42.60%，高于微调基线CaReAQA的Contains-Match准确率34.85%。该结论在单记录数据集上依赖完整时长，真实噪声、设备差异与前瞻临床部署尚未验证。该工作的训练与推理在NVIDIA RTX PRO 6000硬件上完成，推理开销约为8h，构成部署前需考虑的计算量受限。

🔗 开源与复现资源

• 代码相关资源：https://github.com/Fan-loewe/AuscuTSLM — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，解读要保留什么？

本文解读的对象是 AuscuTSLM，一项在 CaReSound 基准上做病人级多模态听诊问答的工作。输入是同一病人的多部位听诊录音，最长 30 秒，加上用大语言模型分词器编码的部位元数据和自然语言问题，输出是自由文本的临床回答。目标读者是刚进入语音、音乐或音频领域的研究生，重点是能复述方法与实验条件，而不是记住结论数字。

为此必须保留 4 类信息。第一是数据构成与划分，CaReSound 由 ICBHI、KAUH、CirCor、SPRSound、ZCHSound 等公开集构成，论文按病人不相交划分防止泄漏，训练、验证、测试分别为 2064、440、447 名病人，对应 22882、3199、6496 个问答对。第二是模型的可训练边界，骨干是冻结的 Meta-LLaMA-3.2-1B，只训练声学编码器侧与门控交叉注意力适配器，总量约 1.4B 参数。第三是预处理与编码的具体动作，所有音频重采样到 16 千赫并转单声道，截断或补 0 到 480000 采样点，再按 640 采样点即 40 毫秒分块。第四是评价的双轨制，二元问答看准确率与 F1，开放式问答看 Contains-Match、ROUGE-L、METEOR 与 BERTScore。

后续按学习依赖展开，先讲为什么通用音频语言模型不能直接搬运，再讲多实例与长上下文的方法全景，然后拆编码器、压缩器与融合器的计算，接着讲训练与推理的真实开销，最后用主结果、编码器对照与时长截断对照回答何时值得尝试。教学用的例子会明确标为例子，不引入原文没有的数值。

从分类到问答，相关路线在解决什么不同问题？

传统听诊分析大多是监督分类，例如判断心音或呼吸音正常与否。这类方法输入一段音频输出一个离散标签，优点是评价简单，缺点是临床灵活性不足，医生无法追问异常在哪里、是什么性质。论文把任务重新定义为问答，允许针对同一病人的录音提出二元判断与开放描述两类问题，这是从标签到文本接地的范式变化。

通用音频语言模型例如 Audio Flamingo 与 Qwen-Audio 解决的是语音与环境声的通用理解，它们在大规模通用音频上预训练，擅长事件描述与对话，但对被噪声掩盖的微弱杂音、啰音不敏感。医学视觉问答在影像领域已有较多工作，但生理音频的生成式问答仍少。RespLLM 聚焦呼吸分类，OPERA 学习呼吸编码器但不提供开放式临床问答框架，CaReAQA 是直接前身，它首次尝试音频接地的开放问答，但只用切分后的单实例录音，可能破坏全局时间模式，也未利用多部位关系。

表示层面，连续听诊信号需要先变成离散表示。常见做法是时域分块或用 Wav2Vec 2.0 等自监督嵌入，但处理长达 30 秒的录音时计算代价迅速上升。Megabyte 类的分层分块结构为语言数据优化，未必利用生理信号的准周期非语言结构。论文因此选择 Perceiver Resampler，把长而多的多实例序列压缩为固定隐向量，缓解 token 瓶颈，同时保留局部细节与全局时间模式。理解这条脉络后，才能明白论文不是简单换一个更大的语言模型，而是补上多部位聚合与长上下文两个临床必需环节。

为什么单段短窗加单录音会丢失临床依据？

论文指出 3 个具体障碍。第一是领域错配，通用模型为语音或环境声优化，对听诊中细微且常被噪声遮蔽的病理模式不敏感，例如心脏杂音与肺部啰音的时频形态与语音差别很大。第二是时间碎片化，既有方法依赖短窗切分，可能丢掉完整呼吸或心动周期的节律上下文，而瞬态病理声恰好需要较长上下文才能被定位。第三是空间割裂，临床听诊本来就是多部位过程，例如 CirCor 提供主动脉瓣、肺动脉瓣、三尖瓣与二尖瓣 4 个部位，PhysioNet 等多部位数据集早已存在，但很多方法仍只对单条录音建模，忽略跨部位关系。

举一个教学例子帮助理解，例子：假设某病人只有二尖瓣处在收缩期出现短暂杂音，若只取 10 秒单部位片段且恰好切掉该心动周期，分类器只能猜测；若同时有 4 个部位的 30 秒录音，即使其中一条被截断，其他部位的传导声与时序仍可提供旁证。这正是论文把病人建模为包、把录音建模为实例的原因。单实例数据集例如 KAUH 与 ZCHSound 每人只有一条录音，多实例数据集例如 ICBHI、CirCor 与 SPRSound 每人有多条录音，论文用表 1 给出每集的病人、音频与问答数量，说明病人级聚合只在多实例集上才有空间冗余可利用。

因此问题定义是：在病人标识关联音频与问答对的条件下，对开放式与二元两类问题作答，要求模型同时利用长时序与多部位证据，而不是对切分片段独立分类再投票。

沿一个病人走完输入到答案的主路径

先跟随 1 名多部位病人走完完整流程。假设该病人有 4 条录音，问题是基于听诊结果的诊断是什么。4 条波形先统一重采样到 16 千赫并转单声道，不足 30 秒的补零，超过的截断，再做零均值单位方差归一化，并补齐到 640 采样点的整数倍。部位字符串例如 AV 与 MV 用大语言模型分词器编码，波形走音频编码器分支，两路在遇到<audio> 标记时汇合。

音频编码器把每条录音变成时间 token 序列，多条序列补齐到统一长度后展平成一个多实例矩阵，再经 Perceiver Resampler 压缩为固定长度的病人级隐表示 Z’。该表示不随录音条数变化，被右侧冻结大语言模型的每一层门控交叉注意力读取，最终生成自由文本答案。训练时只更新编码器侧与门控适配器，语言模型主体冻结，监督来自问答对的文本目标。

下图是理解上述分工的关键，它把左侧声学压缩与右侧语言生成画在同一张图上，颜色区分了冻结与可训练，箭头区分了输入嵌入路径与隐向量读取路径。阅读时先看主路径再看门控位置，就能把后文 3 个组件放回整体。

看图路径： 1. 先从左侧病人多录音输入沿 Concat 与多头交叉注意力找到通向绿色固定隐向量 Z’的主路径；2. 再看右侧冻结与可训练图例，确认蓝色 LLM 块冻结而橙色门控交叉注意力块可训练；3. 最后确认 Z’同时指向第 1 层与第 n 层门控块，表示同一病人表示在多层被反复读取

论文图 1。原论文 Figure 1：“AuscuTSLM: Architecture for patient-level multimodal clinical QA”。

从像素可见，左侧经过 Concat、多头交叉注意力与 MLP 后得到绿色竖条表示的固定隐向量 Z’，右侧是预训练大语言模型框，内部自上而下为输入嵌入、第一层门控交叉注意力密集层、第一层 LLM 块、第 n 层门控块与第 n 层 LLM 块，底部输出答案。图例明确标出浅蓝色为冻结、浅橙色为可训练，火焰图标标在压缩器与隐向量之间，虚线表示跨模态连接。这说明声学侧的压缩与投影是可训练的，语言侧的知识是保留的，门控块是两者唯一的融合点，也是后文公式要解释的加法门控位置。

声学 token 化与投影做了什么计算？

音频表示与编码器是连接原始听诊与语言嵌入的第一座桥。论文给出两种轻量前端二选一。原始波形分词器按 40 毫秒非重叠窗切分波形，用 1 维卷积投影加可学习位置编码，公式含义是第 n 个 token 来自第 n 段波形乘以卷积核再加位置向量，使听诊信号像句子中的词一样成为序列。对数梅尔谱分词器先算对数梅尔谱，再用 2 维卷积加频率维平均池化加位置编码，强调频域分布。两种前端之后都经过层归一化加激活的多层感知机，投影到统一维度，保证下游压缩器看到相同形状的表示。

此外也可以用预训练编码器替换分词器，例如 Wav2Vec2、Whisper 与 CLAP，但论文的对照表明大容量通用编码器并非必需。关键动作是分块长度与投影维度保持一致，使 30 秒音频对应的 token 数可控，再由压缩器统一处理补零带来的非信息区。补零虽引入空白，但压缩器的注意力会学会降低其权重，这也是预处理敢于统一补到 30 秒的原因。

多实例学习 × Perceiver Resampler： 多实例学习负责定义临床任务结构，把 1 名病人看作由多个部位录音组成的包，病理只出现在部分实例中；Perceiver Resampler 负责实现这种结构的计算，用可学习的固定数量隐查询对所有录音的所有时间 token 做交叉注意力，把变长变数的输入压缩成定长病人级隐表示 Z’，二者搭配使模型既保留跨部位关系又绕开 Transformer 对长序列的显存限制。

回到主路径，多条录音的 token 序列被补到统一长度后展平，隐查询矩阵对该大矩阵做注意力，得到固定隐表示。这个自适应池化不同于简单平均或拼接，它能建模跨部位协同变化，例如主动脉瓣与二尖瓣的联合改变，同时输出尺寸与编码器选择无关，为冻结语言模型提供稳定的键值来源。

门控交叉注意力如何只在需要时注入声音？

融合发生在冻结大语言模型的每一层。语言隐状态作为查询，病人级声学隐表示 Z’作为键和值，做交叉注意力后再乘以可学习的门 tanh(α) 加回语言流。门值接近零时该层几乎不引入声音，接近正负一时充分注入，这种设计让模型在处理纯文本词时保持原有语言能力，只在遇到<audio> 标记附近需要声学证据时才打开通道。

部位元数据的作用也在此处体现，它经语言分词器编码后与问题一起进入输入嵌入，使交叉注意力能区分不同录音的来源。换言之，声音提供听到了什么，部位文本提供在哪里听到，两者在同一注意力操作中对齐，这是开放式问题能回答后右下等位置描述的基础。

门控交叉注意力 × 冻结大语言模型： 冻结大语言模型负责保留已有的语言与世界知识，参数不更新，只提供问句理解和答案生成能力；门控交叉注意力负责在每一层把声学隐表示注入语言表示，用可学习的门 tanh(α) 控制注入量，二者搭配使声学证据在遇到<audio> 标记时才影响生成，既接地到听诊信号又不破坏原有语言能力。

需要明确未报告的细节。论文未给出门初始值、每层门的学习率差异、注意力头数与隐维度，也未说明梯度是否截断回声学编码器的具体层数，只给出编码器与适配器的组件级学习率。因此复述时只能说门控加法与冻结边界是原文明确的，不能从模型名称推定门的具体初始化或梯度路径。若要复现，需先按论文的组件级学习率起步，再补做门行为的消融记录。

两种轻量前端与三种大编码器如何替换？

论文比较 5 种编码器变体，两种是从零训练的轻量前端即原始波形与梅尔谱，3 种是大规模预训练模型即 Wav2Vec2、Whisper 与 CLAP。替换发生在分词器位置，之后的多实例矩阵、压缩器与门控融合保持不变，投影层保证维度统一。这种控制使编码器对照能公平归因于表示本身，而不是下游结构变化。

训练成本也随选择变化，轻量分词器训练完整模型约 4 小时，预训练编码器约 8 小时，推理约 8 小时，硬件为英伟达 RTX PRO 6000 Blackwell。时间差异提示大编码器的前向与优化开销更高，但后文结果显示其精度并未拉开差距，这是轻量方案值得尝试的实践依据。

原始波形分块 × 对数梅尔谱： 原始波形分块负责把波形按 40 毫秒非重叠窗切分并用 1 维卷积投影加位置编码，直接保留准周期的时域细节；对数梅尔谱负责先算时频谱再用 2 维卷积加频率池化，强调频域能量分布，二者是同一编码器位置的两种可替换前端，论文用对照说明轻量时域分块已足以对齐生理音频，不必依赖大容量通用音频编码器。

对初学者而言，记住替换点比记住参数量更重要。同一病人、同一压缩器、同一冻结语言模型，只换前端，就能读出表示对二元判断与开放生成的不同影响。论文报告原始波形在 F1 与语义指标上最优，CLAP 在内容覆盖上略好，Wav2Vec2 略低，这为复现时优先尝试原始波形提供了起点，但不意味着所有数据集上都成立。

训练更新谁，监督从哪里来，如何采样？

训练更新的对象是声学编码器侧与门控交叉注意力适配器，骨干语言模型冻结。优化器为 AdamW，有效批量 16，编码器学习率 5 乘 10 的负 6 次方，适配器学习率 1.5 乘 10 的负 5 次方。为缓解数据集不平衡采用平衡采样，避免大集例如 ICBHI 的问答对淹没小集。监督来源是 CaReSound 的问答对，其中文本元数据与标注经 GPT-4o 转为开放式诊断对话，模拟医生分析录音并给出反馈的场景，音频与问答对通过病人标识关联。

数据划分按源数据集分层且病人不相交，防止同一病人的不同录音同时出现在训练与测试。训练、验证、测试的病人与问答对数量已在开篇给出，测试在留出集上进行。开放式问答用 Contains-Match 准确率、ROUGE-L、METEOR 与 BERTScore 衡量词汇与语义相似，二元问答用准确率、F1、灵敏度与特异度衡量。论文称更多细节在补充材料，但本次证据未包含补充表，只能以正文表格为准。

推理时模型读取病人全部录音的压缩表示并生成答案，不做短窗投票。需要补的验证是解码策略未报告，例如贪心或束搜索、温度与长度惩罚均缺失，因此不能从冻结参数推定输出确定性。复现时应固定解码配置并记录多次运行的方差，否则开放式指标的微小差异无法判断是否来自解码随机性。

实验要回答哪三个问题，条件是否可比？

实验围绕 3 个问题组织。第一是病人级问答是否成立，与零样本基础音频语言模型包括 Audio-Flamingo3、Qwen2-Audio、Qwen2.5-Omni 以及微调基线 CaReAQA 相比，在相同 CaReSound 测试集上比较。第二是声学表示的影响，在相同压缩器、相同冻结骨干与相同时长下比较 5 种编码器。第三是时间上下文的影响，用原始波形分词器把最大时长从 30 秒降到 20 秒与 10 秒，看性能拐点与最小可靠时长。

可比性方面，主结果的模型规模不同，AuscuTSLM 约 1.4B，CaReAQA 为 3B，Audio-Flamingo3 为 8B，Qwen2-Audio 为 7B，因此规模不是控制变量，结论应表述为轻量领域适配可超越大通用模型在该任务上的零样本表现，而不是同规模下的架构优越性。编码器对照与时长对照是相对公平的，因为下游结构与数据划分不变。指标方向均为越高越好，但百分点提升与相对百分比不同，复述时需区分，例如 Contains-Match 提升 7.75 个百分点对应约 22% 的相对提升。

成本与数据细节也需交代。SIL 集每人一条录音，MIL 集每人多条，平均每人录音数从 1.0 到 9.2 不等，问答密度差异大。硬件预算与训练推理耗时已在上一节给出，说明该方案在单卡工作站可运行。代码当前可用，资源状态显示 200 且可用，链接为公开仓库，但本次证据未给出权重下载与一键运行脚本，因此只能写代码已公开，不能写权重或系统开箱可运行。

主结果在说什么，代价与反例是什么？

主结果要回答的是领域适配是否带来可测量的接地改善。比较的问题是同一测试集上谁的二元判断更准、谁的开放描述更贴近参考。公平条件是病人不相交划分，指标方向均为越高越好。下表整理论文报告的核心数字，保留原文精度与单位，重点看生成式指标的大幅提升与二元指标的温和提升之间的反差。

上表显示主要收益在开放式接地，论文报告 Contains-Match 为 42.6%，相对基线提升 7.75 个百分点，ROUGE-L 为 0.673，METEOR 为 0.643，BERTScore 为 0.952，二元 F1 从 0.846 升到 0.865。支持的判断是领域微调与病人级聚合改善了文本对齐，而零样本大模型在该任务上明显偏低。代价与反例同样明确，二元提升仅 1.9 个百分点，说明分类已接近饱和；Qwen2-Audio 的二元准确率仅 17.83，提示零样本通用模型在医学二元判断上不可直接部署；此外高 BERTScore 伴随简洁预测，表明模型抓住核心语义但未必复刻专家标注长度，不能把自动语义分等同于临床可用性。未胜出项是部分通用模型在 BERTScore 上并不低，例如 Qwen2-Audio 达 0.8996，说明仅看语义相似会掩盖内容缺失，必须结合 Contains-Match 一起读。

换编码器与砍时长会发生什么？

消融要回答两个可操作问题。第一是声学前端是否必须用大模型，第二是最短需要多长录音。条件是固定压缩器与冻结骨干，只换前端或只截断时长。下表同时给出两种对照的关键行，时长部分以原始波形前端为准，编码器部分以 30 秒为准，指标方向仍为越高越好。

上表支持两个判断。其一是表示鲁棒但有细微权衡，原始波形在 F1、ROUGE-L 与 BERTScore 上最高，CLAP 在 Contains-Match 的 43.1% 与 METEOR 的 0.645 上略好，Wav2Vec2 在二元与生成上都略低，说明轻量时域分块足以匹敌大容量通用编码器。其二是时长整体下降但依赖数据集结构，30 秒最优，10 秒在二元上下降明显。论文的细粒度分析报告多实例集能用空间冗余部分补偿截断，例如 SPRSound 截断后准确率仍高于 90%，而单实例集对全长更敏感，KAUH 的 ROUGE-L 从 0.845 降到 0.542，ZCHSound 的 F1 从 0.980 降到 0.864。反例是不能把总体趋势推广到每组，截断代价在单录音病人上远大于多部位病人，部署时需按 SIL 与 MIL 分别定最小时长。

哪些边界没有被测，不能承诺什么？

首先是可解释性与偏倚。论文在讨论中明确提醒深度学习的黑盒性可能带来无根据解释的虚假希望，模型虽把自由文本与信号证据对齐，但仍需在多样临床环境中验证偏倚与可解释性。未测量误判率的临床后果、不同人群与设备的泛化、以及标注经 GPT-4o 转换引入的噪声，因此不能承诺诊断标准化或资源有限环境下的筛查收益已经成立，只能说为远程筛查提供了可能路径，有待验证。

其次是评价的局限。高 BERTScore 可能来自简洁但语义核心正确的预测，不代表长度与细节与专家一致；自动指标不能当作人评，Contains-Match 与 ROUGE 等仍是对参考文本的近似。论文未报告统计显著性、多次种子方差、解码配置与延迟，训练与推理耗时仅给出约数，因此不能承诺延迟或成本得到改善，训练资源与推理开销需分别讨论。

最后是数据边界。补充表提到的按数据集细分的截断分析在本次证据中只有文字摘要，没有完整表格可核对具体每集的样本量与聚合口径；不同指标的差值不能混入模型列下比较。复述时若原文表头、图注或算术冲突应明确标注，本文所用数字均保留原文精度与百分点表述，未做四舍五入或相对值换算之外的推导。

要复现先做什么，需要补哪项验证？

先按原文重建数据与预处理。下载 CaReSound 所依赖的公开集并按病人标识关联问答对，统一重采样到 16 千赫并转单声道，截断或补 0 到 30 秒，做零均值单位方差归一化，再补齐到 640 采样点的整数倍。划分必须病人不相交并按源数据集分层，复刻 2064、440、447 的病人规模与对应的问答对数量，检查 SIL 与 MIL 的每人录音数是否一致，这是多实例聚合能否生效的前提。

再搭建模型与训练。选用冻结的 Meta-LLaMA-3.2-1B 骨干，接原始波形分词器与 Perceiver 压缩器，经门控交叉注意力融合，用 AdamW 按组件级学习率训练并做平衡采样。代码当前可用，官方仓库链接在论文首页给出且本次资源状态为可用，但权重与一键脚本未在证据中说明，因此先跑通前向与单步训练，再补全解码配置、随机种子与评价脚本。

开放式问答 × 二元问答： 二元问答负责受约束的分类判断，例如正常与异常，用准确率、F1、灵敏度和特异度衡量；开放式问答负责生成临床描述，例如异常声音出现在哪个部位，用 Contains-Match、ROUGE-L、METEOR 和 BERTScore 衡量，二者共用同一病人级声学表示和同一冻结 LLM，只是输出约束与评价维度不同，搭配起来同时检验判别能力与文本接地能力。

还需补三项验证。一是解码与方差，固定贪心或束搜索并报告多次运行的区间，否则开放式指标的零点几差异无法判断。二是按 SIL 与 MIL 分别报告截断曲线，确认 10 秒与 20 秒的可用边界。三是人工抽查开放答案的部位与性质描述，检验高 BERTScore 是否掩盖关键遗漏，避免把自动分当作临床正确。

何时值得尝试，一句话如何记住它？

当任务同时满足 3 个条件时值得尝试该路线。第一是有多部位或长时序的生理音频，需要整病人作答而非单片段分类。第二是已有冻结语言模型的世界知识可用，但不希望全量微调破坏语言能力。第三是计算预算有限，轻量时域前端加压缩器即可运行，无需大通用音频编码器。若只有单条短录音且只做二元判断，传统分类可能更直接，不必引入生成式问答的额外复杂度。

时间上下文 × 空间冗余： 时间上下文负责沿单条录音保留完整呼吸或心动周期，最长 30 秒，避免短窗切断杂音或啰音的节律；空间冗余负责跨多个解剖部位提供互补证据，当某条录音被截断时其他部位仍可支撑判断，二者搭配解释了论文的核心发现：多部位聚合能部分缓解截断损失，但在单录音病人上仍必须保留全长。

记住它的方式是沿样本回放一遍。同一病人的多条 30 秒录音经 40 毫秒分块变成 token，经压缩器变成定长 Z’，经门控交叉注意力在需要时注入冻结大模型，最终生成包含部位与诊断的文本。编码器对照告诉我们小前端已够用，时长对照告诉我们全长在单录音场景不可省，多部位聚合是应对截断的缓冲而非替代。带着这条主路径去读原文的表 2 与讨论，就能把数字放回机制，而不是只记住 0.865 与 0.952 两个峰值。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总