从快速重复音节到可解释的重度判断：CLINIC-GENIE 如何把分类、归因和病历类比装进一条管线

英文题目：Diagnosis of Dysarthria Severity and Explanation Generation Using XAI-Enhanced CLINIC-GENIE on Diadochokinetic Tasks

会议身份：conference:eacl:2026:conference-paper-id:2026.findings-eacl.275

✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#多模态学习 #检索增强 #可解释性 #语音 #病理语音评估

评分：5.8/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.9/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Jihyeon Kim：机构信息未能从会议 PDF 纯文本可靠映射
• Insung Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Myoung-Wan Koo：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务以pa、ta、ka及pa-ta-ka四类DDK录音与性别为输入，输出说话人级三级严重度标签与覆盖发声、构音、韵律及总体的韩语自然语言解释，难点在于重度样本稀少且黑盒嵌入难以对应可治疗的临床特征。CLINIC先将临床可解释声学特征经全连接映射为嵌入，并将梅尔谱图经残差网络与Wav2Vec 2.0经交叉注意力融合为语音嵌入后拼接分类，对每条话语预测严重度再经多数投票得到患者级标签。随后GENIE以四任务预测分、特征数值、Shapley归因与检索到的相似病例为条件构建提示，调用大语言模型按归因权重分解推理并生成四维度患者友好报告。与仅用可解释特征或仅融合单一语音表征不同，该链条把可解释特征作为主干并让深度嵌入补足重度召回，同时把归因与病例显式送入生成器以约束幻觉并对齐临床语言。在测试集评测设置下，CLINIC的平衡准确率为0.952，高于仅用CEAFs基线的0.779。专家评测中完整配置保真度达4.94/5且重度准确率为1.000，表明无漏检高风险病例的临床安全性提升。该结论的适用边界受限于卒中后韩语DDK语料与多数投票机制，在不同病因与仅含连续音节的场景下性能下降等尚未验证的外推仍需检验，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么黑盒分类不够用？

这篇论文的输入是轮替发音任务的录音。受试者被要求快速重复 pa、ta、ka 以及 pa-ta-ka 序列，录音同时附带性别信息。目标有两个层面，第一是把每位受试者判为健康、轻中度、重度 3 个等级中的一个，第二是给出患者和临床人员能看懂的解释，说明哪些发音环节出了问题以及严重到什么程度。输出因此不是单个标签，而是一个标签加上一份按发音、构音、韵律和总体组织的自然语言报告，专家评估时报告用韩文书写。

初学者容易把这项工作理解成把声音丢给深度网络直接分类。原文的起点恰恰是这种做法的不足。已有工作用梅尔频谱图、自监督表示或梅尔频率倒谱系数取得了不错的分类分数，但模型只给出标签，不说依据。白话讲，梅尔频谱图是把声音按时间和频率展开的能量图，适合看局部细节；Wav2Vec 2.0 嵌入是把原始波形送入大规模预训练模型得到的帧级表示，适合捕捉长时依赖。

梅尔频率倒谱系数是另一种压缩的频谱特征。这些表示判别力强，但它们的维度与治疗动作之间没有直接对应，医生难以据此决定练呼吸、练唇舌还是练节奏。

论文因此引入临床可解释声学特征。用白话说，这是一组言语治疗师在评估时真正会谈论的量，例如声音高低是否忽高忽低、能量是否稳定、每秒能说几个音节、每个音节平均多长、音节时长是否整齐、停顿多频繁多长、听者能听懂多少。论文共定义 12 个这样的特征，来源是 Mayo Clinic 评级体系的评估思路和 NeuroSpeech 工具的自动化分析思路。必须保留的关键信息是，特征不是手工随意挑选的修辞，而是要能映射到发音、构音和韵律的临床维度，后续的归因和解释都只围绕这组特征展开，深度分支的隐表示不进入解释。

本解读的输出安排如下。先讲任务与已有路线的对照，再给出 2 阶段全景，然后沿着一个样本走完从录音到标签再到报告的完整路径，接着讲训练与检索构造、数据划分与评估条件，最后用数字表呈现分类与解释效果，并指出复现时必须固定的细节与尚未验证的边界。凡是教学用的比方都会明确标为例子，不作为论文事实。

同输入同目标的已有路线在比什么？

第一条路线是直接用声学或自监督表示做构音障碍分类。输入同样是病理语音，目标同样是严重度或疾病标签，监督同样是临床标签，运行阶段同样是推理时前向分类。差别在于表示与结构，例如只用梅尔频谱图加卷积网络，或只用 Wav2Vec 2.0、HuBERT 等表示加分类器，或把基频等特征与倒谱特征拼接。这类方法的优势是拟合能力强，原文承认它们取得了可观的性能，但共同代价是解释停留在这是哪一类，不回答是哪个可干预的发音环节导致了这一类。

第二条路线是通用可解释方法。Shapley 值来自合作博弈论，把模型输出相对基线的变化分配给每个特征；积分梯度和深度提升则通过与基线比较来刻画重要性。这些方法回答了哪个输入因素影响了输出，但原文指出，在医疗场景只回答影响因素还不够，模型使用数据的方式要贴近临床证据，并且要让患者能理解，因为这直接关系到治疗决策。这是对通用解释方法的适用条件限定，不是说这些方法算错了。

第 3 条路线是用大语言模型把数值转成自然语言。例子是自动生成数据模式解释，以及把 Shapley 值转写成更易读的说明。检索增强生成则在生成前先检索相关临床数据，以提高事实性和精确性，尤其在临床数据有限的个性化诊断中被强调。论文的增量是把这三件事装进同一条医疗语音管线，分类用融合表示保证对重度的召回，归因只针对临床可解释特征以保证可行动，生成则用相似病例做锚定并用固定模板约束格式。理解这一定位后，就不会把本文误读成又一个单纯刷分类分数的工作。

轮替发音任务到底在测什么，标签从哪里来？

轮替发音任务要求受试者以最快且尽可能整齐的方式重复指定音节。白话讲，这不是朗读句子，而是专门放大口腔运动控制问题的压力测试。论文区分两种子任务。交替运动速率是重复同一个音节，例如 pa-pa-pa，考察发音速度与一致性；顺序运动速率是重复 pa-ta-ka 序列，考察在不同构音位置之间快速切换的能力。两者的英文缩写分别是 AMR 和 SMR。

交替运动速率 × 顺序运动速率： 交替运动速率是重复同一音节如 pa-pa-pa，考察发音速度与一致性；顺序运动速率是重复 pa-ta-ka 序列，考察不同构音位置之间快速切换与协调。两者都是轮替发音任务的子任务，搭配使用才能同时覆盖单纯速度问题和切换协调问题，原文的 4 个录音任务正是 3 组交替加一组顺序的组合。

标签是 3 级严重度。0 表示健康，1 表示轻中度，2 表示重度。原文说明标签由神经外科医生按美国国立卫生研究院卒中量表标准给出。数据来自 59 名健康对照和 321 名卒中后构音障碍患者，共 380 人，年龄跨度 20 岁到 84 岁。录音包含 pa、ta、ka 和 pataka 4 种轮替发音。每条语音先单独预测，再按多数投票得到每位患者的最终等级，这个从语音级到患者级的聚合规则是复现时必须保留的细节。

一个教学例子，仅为帮助理解，不代表论文数据。想象同一位患者录了 4 条轮替发音，模型对 4 条分别给出 1、1、2、1，那么多数投票的最终结果是 1。这个例子说明为什么论文既报告语音条数又报告人数，以及为什么测试集要按说话人划分，避免同一人的不同录音同时出现在训练和测试中。

两阶段管线如何从一段录音走到一份报告？

先沿着一个样本走完全程。输入是一段轮替发音音频和性别。第一阶段 CLINIC 同时做三件事，从音频算梅尔频谱图，从原始波形算自监督嵌入，从专用抽取器算 12 维临床特征加性别。3 个表示各自编码后拼接，送入分类头得到 3 级严重度，同时对临床特征计算 Shapley 值。第二阶段 GENIE 把临床特征向量作为查询，在训练集构成的向量库中找回声学轮廓相近的历史病例，再把预测严重度、特征数值、Shapley 值和检索病例一起组装成提示，交给大语言模型写出 4 维度报告。

下面这张总览图把上述分叉与汇合画了出来，左绿框是分类，中粉框是解释，右框是报告结构，阅读时先看主路径再看解释分支从哪里取数。

看图路径： 1. 沿左侧轮替发音音频输入向右追踪三条表示分支的去向；2. 确认严重度与 Shapley 值从评估模型流向提示生成器的两条箭头；3. 观察向量数据库的查询与检索数据两条线如何汇入同一生成器；4. 对照最右侧结果框中严重度、发音、构音、韵律、总体的分段结构

论文图 1。原论文 Figure 1：“The overall architecture of CLINIC-GENIE.”。

从像素看，左侧 DDK 音频输入分出 3 条线，分别指向梅尔频谱图、原始音频和临床特征抽取器，三者在严重度评估模型处汇合。评估模型向右引出两条线，一条是 Shapley 值，一条是严重度，第 3 条线是临床特征向量直接向右延伸并分叉，一路作为查询进入向量数据库再以检索数据形式向上汇入提示生成器，一路直接进入提示生成器。提示生成器之后是基于大语言模型的解释生成器，最终输出按严重度、发音、构音、韵律、总体分段，图中红色高亮对应患者可感知的异常描述。这种画法直接对应 2 阶段的事实分工，分类阶段产生标签与归因，解释阶段只消费这些已计算好的量，不再重新训练声学模型。

分类分支的三个表示各自做什么，在哪里汇合？

分类模型的结构可以对照左子图理解。梅尔分支把频谱图送入残差网络，沿频率和时间平均后得到嵌入；原始音频分支把波形送入冻结的 wav2vec2-large-xlsr-53，再经线性层与注意力池化得到嵌入，原文强调该模型在约 56,000 小时、53 种语言上预训练，有助于捕捉复杂的病理声学线索；临床分支把 12 个特征加性别做最小最大归一化，再经全连接层得到嵌入。随后梅尔向量与自监督向量先做基于注意力的融合，再与临床向量拼接成单一向量送入分类头。训练使用加权类别交叉熵以缓解类别不平衡。

梅尔频谱图 × Wav2Vec 2.0 嵌入： 梅尔频谱图负责刻画局部的时频能量形态，对快速重复音节的爆破、元音稳态和停顿边界敏感；Wav2Vec 2.0 嵌入负责从原始波形建模更长时序依赖，提供全局上下文。两者搭配的理由是原文明确写的前者编码详细局部声学特征、后者建模更宽时间依赖，组合后经注意力融合再与临床特征拼接，使分类器同时看到细节失真和整体节律紊乱。

右子图是临床特征抽取器。它把同一段音频分成 3 路，第一路是声学分析，用 Praat 类工具算基频与能量统计；第二路是音频处理加基于长短期记忆网络的音节切分，把帧级语音与非语音判断聚合成段，算出轮替速率、平均时长、规整度以及停顿率、平均停顿和停顿规整度；第 3 路是基于卷积网络的可懂度分类器，给出 1 到 5 级的音节级可懂度分数。3 路输出再与性别拼接成特征向量。阈值细节值得保留，语音段短于 0.07 秒判为静音，长于 0.14 秒的静音才计停顿，0.14 秒的依据是健康成人在交替任务中平均每音节约 0.143 秒。

看图路径： 1. 在左子图中找到梅尔分支、原始音频分支与临床特征分支的汇合符号；2. 确认虚线标注的融合动作发生在哪个分支之间；3. 在右子图中区分声学分析、音节切分、可懂度分类三路的输出色块；4. 核对底部特征加性别拼接条与左子图底部拼接条的对应关系

论文图 2。原论文 Figure 2：“Overall structure of CLINIC. (a) Dysarthria Severity Assessment Model integrates CEAFs with rep- resentations derived from mel-spectrograms and raw audio (via Wav2Vec 2.0).”。

结合像素解释，左子图底部有一条由红色特征块、蓝色特征块和性别块组成的拼接条，红色对应声学统计，蓝色对应切分统计，黄色与橙色对应可懂度与性别，拼接符号明确标为拼接而非相加。右子图底部出现同样的拼接条，说明抽取器的输出格式与分类器的输入格式直接对齐。虚线标注的融合动作发生在梅尔特征与自监督特征之间，而不是临床特征与深度特征之间，这个位置关系是理解部分可解释设计的关键，深度分支提升判别力，但解释只谈临床分支。

临床可解释声学特征 × Shapley 值： 临床可解释声学特征是直接对应言语治疗师评估维度的 12 个数值，如基频变异、能量、轮替速率、停顿和可懂度；Shapley 值是把预测结果相对基线的变化公平分摊到每个特征上的贡献度。搭配原因是前者给出可谈论的临床词汇，后者指出本次预测中哪个词汇最有影响力，组合后 GENIE 才能按贡献大小组织解释，而不是把所有特征平均叙述一遍。

归因的计算目标是回答每个临床特征把预测推向当前等级的程度。原文定义是把该特征取真实值时的预测与取基线通常是期望值时的预测做对比，并按 Shapley 公式对所有不含该特征的子集加权平均。实现上先用 CLINIC 得到预测严重度，再计算每个临床特征的数值贡献，后续生成阶段按贡献大小决定笔墨分配。原文未给出具体采样近似、基线估计和计算开销，复现时只能确认方法选择，不能推定其归因实现细节。

解释分支如何把数字变成有病例参照的叙述？

检索部分完全在推理时运行，不再训练。做法是把每个训练患者表示成包含临床特征向量与真实严重度的文档，用文本嵌入模型得到 3072 维向量，存入向量数据库并建分层可导航小世界索引。测试时把当前患者的临床特征字典加预测严重度组成查询，同样嵌入后算余弦相似度，取最相似的前 k 个病例。原文实验统一用 k 等于 3，附录的 k 消融显示 3 在多数指标上最好或接近最好，7 反而略降，因此不能认为病例越多越好。

检索增强生成 × 诊断提示生成器： 检索增强生成负责在推理时从训练集向量库中找回声学轮廓相近的历史病例，提供具体参照；诊断提示生成器负责把预测严重度、四项任务投票结果、特征数值、Shapley 值和检索病例组装成固定模板。分工是检索提供病例上下文，提示生成器提供推理约束，组合意义是让大语言模型在有锚定病例和显式归因的条件下写作，减少凭空发挥。

提示生成器组装 4 类条件，CLINIC 给出的严重度、临床特征数值、每个特征的 Shapley 值、检索到的相似病例。严重度部分还包含 4 个轮替任务各自的预测再多数投票得到最终标签。组装时明确要求构音部分对 puh、tuh、kuh 分别描述，这是为了对应不同构音位置。解释生成器使用 GPT-4o，系统提示要求按顺序解释输入、按 Shapley 权重讨论特征、用简单日常词汇写韩文报告，输出固定为严重度、发音、构音、韵律、总体 5 个键的 JSON，温度设为 0.1 以保证一致并抑制幻觉。

链式思考 × 固定模板与低温度： 链式思考要求模型按解释输入、按 Shapley 权重讨论每个特征、再写患者友好韩文报告的顺序逐步推理；固定模板与低温度则是把输出限定为严重度、发音、构音、韵律、总体 5 个字段并把生成温度设为 0.1。前者管推理步骤，后者管格式与随机性，组合起来是为了在保持可读叙述的同时抑制幻觉和格式漂移。

需要区分的是，检索相似不等于诊断相同。相似病例只是提供语义连贯的参照，真正决定报告走向的仍是当前患者的预测等级与归因权重。如果检索病例的严重度与当前预测冲突，模板要求以当前预测为准并用病例做对比性描述，而不是照抄病例结论。原文没有报告检索失败或无相似病例时的回退规则，这是复现时需要补验证的缺项。

哪些参数在训练，哪些在推理时直接调用？

训练对象是严重度评估模型。优化器用 AdamW，学习率设为 0.00003，验证集上用宏平均 F1 选模型。损失是加权类别交叉熵，目的是让少数重度样本的错误得到更大惩罚。分类头随输入维度变化，纯临床配置是 128 维输入，其余融合配置是 256 维输入后经 128 维隐层到 3 类。原文的模型配置表还给出梅尔路径用 ResNet-50 到 2048 维再到 512 维再到 128 维，自监督路径用 1024 维经线性与注意力池化到 128 维，完整 CLINIC 则先把 ResNet 特征变换到 749 维再与自监督分支做交叉注意力融合，最终音频侧压缩到 128 维再与临床侧 128 维拼接。

冻结与更新需要按证据如实交代。自监督主干明确写冻结，残差网络与融合层、临床编码层和分类头参与训练。梯度路径、训练轮数、批量大小、硬件与时长在正文证据中没有完整报告，不能从模型名称推定。推理时的计算包括三表示编码、前向分类、Shapley 归因、向量检索和 1 次大语言模型生成，其中检索与生成都不训练，只调用已有嵌入模型、向量索引和 GPT-4o。

一个容易误解的点是，无训练不等于确定性求解。检索部分无训练，但余弦检索结果依赖嵌入模型与索引近似；生成部分温度 0.1 降低随机性，但仍是大语言模型采样，不能从参数冻结推定每次输出逐字相同。复现时应固定提示模板、温度、检索 k 值和投票规则，并多次运行报告均值，原文自动评估正是取 5 次重复的平均。

数据划分、测试条件与评分尺度是否可比？

数据划分按说话人切分。训练 260 人共 1036 条，验证 59 人共 240 条，测试 61 人共 244 条，测试者未参与训练与验证。测试构成是 8 名健康、49 名轻中度、4 名重度，男女分别为 31 与 30。类别不平衡是真实临床困难的反映，重度全集仅 31 人占 8.2%，测试重度仅 4 人，这个小分母意味着重度准确率的一个错误就会带来 25 个百分点的摆动，阅读时必须记住。另有 TORGO 的 7 名患者的 7 条轮替发音仅用于跨数据集泛化，不参与训练。

评估分两条线。分类看每级准确率、平衡准确率、精确率、微平均与宏平均 F1，方向都是越高越好，但原文明确主张在不平衡临床数据中平衡准确率与重度召回比宏平均 F1 更能反映安全性。解释看自动评估与专家评估。自动评估用 GPT-4o 按 G 评估方法在全测试集打分，维度是语义等价、保真、一致、相关、患者友好，0 到 100 分，温度 0.1，取 5 次平均；专家评估由 3 名认证言语治疗师先听录音再对 12 名患者每级 4 人的报告打分，维度去掉语义等价，保留保真、一致、相关、患者友好，1 到 5 分。参考文本由 3 名治疗师听测试录音后按严重度、发音、韵律、构音、总体撰写。

资源状态必须如实说明。本次收到的资源证据显示没有完成超文本安全验证的可用资源，因此不得声称代码、模型或数据已公开。原文提及匿名材料存放地址，但按本次证据门禁不能写当前可用或已公开，只能说原文给出地址而本次未能确认可达，复现应以论文附录的特征定义、阈值、优化器、投票与提示结构为依据。

融合表示是否解决了重度漏检，代价是什么？

比较的问题是，在同一分类头下，只用临床特征与加入梅尔、自监督或两者融合相比，是否在不牺牲多数类的前提下把重度找全。公平条件是同一评估流程、同一测试说话人划分、语音级预测再多数投票到患者级。指标方向是平衡准确率与重度准确率越高越好，同时观察宏平均 F1 是否被多数类主导。

看图路径： 1. 按从左到右顺序确认四种特征组合的混淆矩阵排列；2. 先读每格百分比再读括号内分数以确认分母是人数；3. 重点比较第三行重度在第二列配置与第四列完整配置中的对角格；4. 注意纵轴是真实标签、横轴是预测标签的方向定义

论文图 7。原论文 Figure 7：“Confusion matrices of severity classification results for four different feature combinations: (a) CEAFs Only, (b) CEAFs + mel-spectrogram, (c) CEAFs + Wav2Vec 2.0, and (d)…”。

从像素看，4 张混淆矩阵从左到右对应纯临床、临床加梅尔、临床加自监督、完整 CLINIC。每格同时显示百分比与分数，例如最右矩阵第三行显示 4/4 的重度全对，最左矩阵第一行显示 6/8 的健康正确。关键反差是第二张矩阵重度行一半分到轻中度，而第 4 张矩阵重度行全部落在对角线，轻中度行则有 7/49 被判为重度。这种从漏检重度到误报部分轻中度的移动，正是下表要量化的权衡。

表后需要同时讲收益与代价。完整融合的平衡准确率达到 0.952，相对纯临床有 17.3% 的提升，重度准确率从一半或四分之三直接到全对，这是临床安全意义上的主要收益。代价是宏平均 F1 与微平均 F1 并非最高，临床加梅尔的宏平均 F1 达到 0.847 反而更高，说明只看平均指标会掩盖重度漏检。另一个代价是轻中度有 14.29% 被判为重度，即用一部分误报换取零漏检。未胜出项必须指出，纯临床在健康与重度各 0.750，轻中度 0.837，平衡性差。

两种两两融合在多数类上接近满分却在重度上只有一半正确，因此不能当作可部署的安全策略。跨数据集方面，TORGO 上 7 例顺序任务的泛化低于自有数据集，原文归因于病因不同与音节覆盖不同，这支持跨人群仍待验证的判断。

解释变好是因为分类更准，还是因为给了病例和归因？

自动评估的消融逐个拆掉预测严重度、检索病例与 Shapley 值。仅给临床特征的基线语义等价 62.95、保真 61.43，是所有配置的最低点；换上 CLINIC 预测后多数指标明显上升；再加检索后语义等价与保真继续上升；最后加入 Shapley 值后每项再涨两到 3 分，语义等价 83.93、保真 79.38 达到接近满格。外部可解释基线的对照也显示，在同一 CLINIC 下 Shapley 在保真、一致与患者友好上优于积分梯度与深度提升，因此论文选择 Shapley 不是随意指定。

表后解释要区分贡献。分类更准带来对齐提升，检索带来上下文丰富度，归因带来可信度，三者叠加才到最高分。反例是检索病例数并非越多越好，下面 k 消融显示 3 个参考最好，7 个反而使保真下降，说明过多外部病例会稀释当前患者的特异信号。未评测边界是专家评估未覆盖积分梯度与深度提升，原文明确因资源限制未做，因此自动评估上 Shapley 最优不能直接等同于专家也会给出同样排序。

看图路径： 1. 确认横轴为 1、3、5、7 个参考病例，纵轴为评分；2. 比较 3 个参考点处五条曲线的相对高低与标注数值；3. 观察保真度曲线从 3 到 7 的变化趋势是否与其他曲线一致；4. 注意图例中语义相似、连贯、相关、保真、以患者为中心的对应颜色

论文图 6。原论文 Figure 6：“Performance across different numbers of ref- erence cases (K-shot).”。

从像素看，横轴 1、3、5、7 个参考病例，纵轴为分数，5 条曲线在 3 处同时形成峰或接近峰，标注 91.3、89.38、85.39、83.93、79.38 自上而下对应以患者为中心、连贯、相关、语义相似、保真。3 之后保真线下降最明显，而以患者为中心始终保持高位。这支持论文的结论，患者友好主要由模板与语言风格保证，保真则对检索噪声更敏感，复现时应固定 k 等于 3 并报告多次平均。

人评显示完整管线保真从 3.81 升到 4.94，约 30% 的提升，且自动与人评的相对排序一致，基线最低、完整最高。需要提醒，自动指标不能当成人评，数值相同也不是同一指标，人评样本仅 12 人，统计稳健性有限，但方向与自动评估互相支持，可以说幻觉风险得到缓解，不能说幻觉已消除。

在什么条件下结论成立，哪些推广尚未验证？

论文直接报告的成立条件很窄。数据仅为卒中后构音障碍，病因覆盖不含脑瘫、肌萎缩侧索硬化等其他神经病理；语音仅为轮替发音任务，不含自然连续语音；重度样本全集 31 人、测试仅 4 人，小样本使重度满分的可重复性受限。跨数据集 TORGO 的下降已经提示病因与任务覆盖变化会带来差距，因此把当前数字推广到其他人群或自发言语属于待验证推测。

部分可解释是 deliberate 的取舍。用白话说，模型靠深度分支提分，但解释只谈临床分支，隐表示中的潜在模式没有被解释。原文明确把可行动与临床 grounded 放在优先位置，这支持解释可用于治疗焦点的判断，但也意味着不能声称模型内部决策已被全面理解。未来工作指向分析自监督与频谱分支的归因，这在当前证据中只是方向，不是已验证效果。

评估缺项也要点名。患者友好目前经由专家代理与自动指标验证，没有大规模直接面向构音障碍患者的可用性研究；训练与推理成本、延迟、输出帧率未测量，不能承诺实时或低成本部署；公开材料的可达性本次未能确认，不能作为复现依赖。相关性不等于因果，保真高分说明叙述与临床观察一致，不证明报告中的每个因果措辞都成立，阅读报告时应把归因权重当作影响力排序，而不是病理因果证明。

要复述方法并复现，先固定哪些动作与参数？

先复述最小可运行链。第一步对每条轮替发音算梅尔频谱图、原始波形嵌入和 12 维临床特征加性别，临床特征用声学分析、长短期记忆切分与卷积可懂度 3 路得到，阈值固定 0.07 秒与 0.14 秒。第二步按梅尔经残差网络、自监督经冻结主干加注意力池化、临床经归一化加全连接的编码规则得到 3 个 128 维向量，其中音频侧先融合再与临床拼接，经分类头输出 3 类概率，损失用加权交叉熵，优化器 AdamW、学习率 0.00003、验证宏平均 F1 选模型。

第三步对每条语音预测后按患者多数投票得最终等级，再算 Shapley 贡献。第四步把临床向量与预测等级组成查询，用 3072 维嵌入在训练库中检索前 3 个相似病例，与数值和归因一起填入固定模板，用 GPT-4o、温度 0.1 生成韩文五字段 JSON。

先做什么才能对齐原文。严格按说话人划分训练、验证、测试，避免同一人跨集泄漏；保留语音级预测到患者级投票的聚合；自动评估用 0 到 100 分、温度 0.1、5 次平均，专家评估用 1 到 5 分并先听录音；报告平衡准确率与每级准确率，不要只报宏平均。

还需补的验证包括更大重度样本下的置信区间、自然语音上的特征适配、检索 k 与模板的敏感性、以及直接面向患者的可用性测试。区分 3 类可获得性，代码开源、权重下载与系统可运行是不同主张，在没有可用资源证据时只能说方法可按附录重写，不说一键可运行。

何时值得尝试这条路线，一句话如何记住它？

当任务是可控的发音动作评估，且需要把模型输出翻译成治疗可行动的语言时，这条路线值得尝试。它的记忆点是分类用融合表示保住重度召回，解释只用临床词汇与归因排序保证可谈论，再用相似病例提供参照系。原文最强证据是完整融合在测试集平衡准确率 0.952、重度 4/4 全对，以及完整解释在人评保真 4.94，主要代价是轻中度部分误报为重度、深度分支不可解释、重度样本小与任务单一。

对研究生而言，可核对的收获有三项。第一，平均指标高不等于临床安全，必须同时看少数高风险类的召回；第二，解释质量可以拆解为预测准确、检索上下文、归因显式化 3 个可消融的部分，每部分都有对照分数；第三，检索病例数与生成质量不是单调关系，3 个参考优于 7 个，说明上下文噪声需要控制。把这些条件固定后，再谈是否把该框架搬到新的病因、语言或自然语音，才是符合证据的学习顺序。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eacl-2026 论文汇总