病理模型与人耳听判为何在不同语言和性别上对不上：阿尔茨海默语音线索的分组审计

英文题目：Disentangling Acoustic Cues in Alzheimer’s Pathology and Perception: The Roles of Language and Gender

会议身份：conference:interspeech:2026:conference-paper-id:he26d_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#人类参与评测 #可解释性 #言语感知 #多语言 #病理语音评估

评分：5.7/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

排名：前50% | 文档类型：应用研究

👥 作者与机构

• Liu He：机构信息未能从会议 PDF 纯文本可靠映射
• Yuanchao Li：机构信息未能从会议 PDF 纯文本可靠映射
• Yin-Long Liu：机构信息未能从会议 PDF 纯文本可靠映射
• Rui Feng：机构信息未能从会议 PDF 纯文本可靠映射
• Yiming Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Jiaxin Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Yizhe Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Jiahong Yuan：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该研究输入为图片描述任务下的自发语音，输出分为临床阿尔茨海默病（Alzheimer’s Disease，AD）标签与16名母语为普通话的听众给出的感知评分，难点在于病理声学标志与人类听辨策略均随语言和性别漂移。方法链分四步推进：先采集普通话与希腊语各30条并做听辨实验得到感知加权分，再提取时域流畅性与韵律与发声与构音共21个全局特征，接着分别训练病理分类与感知回归的随机森林，最后用SHAP排序对比与广义线性混合效应模型（Generalized Linear Mixed-Effects Model，GLMER）验证。与既往只检验解释忠实度的工作不同，该文把病理模型与感知模型的可解释性对齐度本身作为审计指标，揭示全局对齐会掩盖亚组崩解。在图片描述语料的病理分类任务下，普通话子集的AUC为0.83，高于希腊语子集的AUC 0.60。结论仅适用于图片描述、小样本与naive听众条件，不可外推至临床医生、自然对话或其他语言。该结论的适用边界受限于小样本与特定语料条件，尚未验证向临床专家与自然对话场景的外推。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：要解决的临床语音问题有多难？

这篇解读的输入是 2026 年悉尼国际语音通信会议的 1 篇论文，目标是让刚进入语音与健康交叉领域的研究生能复述其方法与证据链。必须保留的信息包括任务定义、数据构成、特征计算、两种建模目标、可解释性比较方法、分组结果与作者自己承认的局限，输出是 1 篇可核对的技术讲解，不做超出原文的推广。论文研究的问题是自发语音能否支持阿尔茨海默病的非侵入检测，以及更进一步的问题是诊断模型的内部依据是否与人类听众实际依赖的线索一致。

难点在于语音线索同时受疾病、语言与性别影响，单一全局解释可能把不同人群的差异平均掉。作者把病理真值与人类感知看成两个不同的目标函数，分别建模后再比较特征重要性排序，这样做的好处是能定位对不上的分组，而不是只报告总体准确率。初学者容易误以为准确率高就等于可信，本文恰好用希腊语与男性组的失败案例说明准确率与可解释性都需要按人群审计。

附录：数据与协议速查

本节承担数据与协议细节的集中核对任务，方便复述时 1 次查全。比较问题是样本与采集条件是否足以支撑分组结论，公平条件是双语同任务、同特征与同听众池，指标方向不适用于此节，关键数字见下表，限制是样本均衡不完美且听众单一。

表后解释要同时给支持与保留。

支持的是双语同为看图描述、时长范围一致、听众池相同，因此语言差异更可能来自语言与人口结构而非任务不同。代价是希腊语料难以完全平衡性别与诊断，且需剔除音频伪影，年龄与教育差异只能在统计端控制，不能在模型端完全消除。未胜出项是专家听众与更大语料均未评测，因此附录数字只能用于核对复现起点，不能直接当作部署依据。

已有路线走到哪里：声学标志物与可解释性审计缺了哪块？

在声学标志物一侧，已有文献把阿尔茨海默语音变化归纳为 4 个域。时间流畅性域关注停顿增多与语块切分变化，韵律域关注音调单调，声门域关注抖动与微颤等周期不稳，构音域关注元音空间压缩。原文引用了阅读朗读中语块变化、时间与声学参数区分痴呆、嗓音参数受年龄与认知状态影响、阿尔茨海默元音空间减小等工作，说明多域特征已有依据。

另一条线是人类感知研究，跨语言实验显示即使听不懂该语言，听众仍能察觉病理与不流畅相关的声学线索，这为作者招募不懂希腊语的普通话母语听众提供了前提。第三条线是可解释人工智能在语音中的可靠性讨论，例如可解释方法在音素识别等任务中的评估，以及局部解释在分布偏移下不稳定。

作者指出的缺口是此前工作多关注模型内部正确性，没有把可解释性当作审计工具，系统比较病理模型与感知模型在不同语言与性别下的特征显著性是否一致。也就是说，已有工作分别证明了声学特征有效与人类能听出异常，但没有回答机器用的线索是不是人能理解或认同的线索，尤其没有按人群分组回答。

附录：术语与符号对照

本节承担术语固定任务，避免后文简称漂移。病理分类指以临床标签为目标的随机森林分类，感知回归指以听众平均判断分为目标的随机森林回归，感知加权分是 16 人二值判断的均值。沙普利值指用于全局特征重要性的方法，广义线性混合效应模型指带听众随机效应的回归验证。

时间流畅性特征包括说话占比、停顿数、总停顿时长、平均停顿时长、停顿率、语速与构音速率，韵律特征包括平均基频、基频标准差、基频范围与基频速度加速度类度量，声门特征包括抖动、微颤与谐噪比，构音特征包括第一与第二共振峰均值。语言缩写中普通话对应中文组，希腊语对应希腊组，性别分组中男性与女性分别建模。曲线下面积越高越好，相关越高越好，均方根误差与平均绝对误差越低越好，排序相关用于衡量两类模型重要性排序的一致性。

要回答什么：病理依据与人耳依据何时一致、何时分叉？

论文把问题形式化为两个并行任务。第一个任务是病理分类，输入是一段看图描述语音的全局声学特征向量，输出是临床标签，即阿尔茨海默组或健康对照组。第二个任务是感知回归，输入是同一段语音的同一组声学特征，输出是人类听判加权分。听判加权分在文中称为感知加权分，计算方式是对 16 名听众的二值判断取平均，判断为患者记为 1，判断为健康记为 0，因此分数越接近 1 表示越多听众听起来觉得像患者。

2 个任务共享特征空间但监督来源不同，一个来自临床诊断，一个来自听众行为。比较对象不是准确率本身，而是 2 个模型各自认为重要的特征排序是否一致，并进一步看这种一致性是否随语言与说话人性别变化。教学上可以举一个例子帮助理解，例子仅为说明不代表论文数据：假设停顿时长在病理模型排第一、在感知模型也排第一，则认为该线索既有诊断价值又可被感知；若抖动在病理模型排前但在感知模型排后，则属于机器敏感而人耳不敏感的线索。

论文的核心判断正是后一种分叉在某些人群中系统出现。

方法全景：一个样本如何走完采集到两个预测？

沿一个样本走完全流程有助于建立整体感。起点是一段医患看图描述对话中的被试语音，时长在 0 到 1 分钟之间。音频先被重采样为 16 千赫单声道，然后提取 21 个全局特征，覆盖时间流畅性、韵律、声门与构音 4 个类别。同一段音频还被 16 名听众在网页听音界面上打分，每人先做二分类，再标注影响判断的时间段并写出文字理由，所有听众的二值判断平均后得到该样本的感知加权分。

接着用同一特征矩阵训练两类随机森林模型，一类以临床标签为目标做分类，一类以感知加权分为目标做回归。训练完成后用沙普利值方法计算全局特征重要性，得到病理侧与感知侧各自的排序，再用斯皮尔曼排序相关衡量两者是否对齐。最后用广义线性混合效应模型直接以听众单次二值判断为因变量，检验声学特征、语言、性别及其交互是否显著，并把年龄与受教育年限作为协变量控制。

时间流畅性特征 × 韵律特征： 时间流畅性特征负责刻画说话节奏与停顿行为，例如停顿时长、停顿率、语速与说话占比；韵律特征负责刻画基频及其变化，例如平均基频、基频标准差与基频范围。两者搭配的理由是阿尔茨海默既影响认知计划导致停顿增多，也影响运动控制导致音调控制变化，组合后才能区分节奏层面的整体可感知变化与音调层面的细微病理扰动。

声门特征 × 构音特征： 声门特征负责刻画声带振动的周期性与噪声成分，例如抖动、微颤与谐噪比；构音特征负责刻画声道共振位置，例如第一与第二共振峰均值。两者搭配的理由是前者对嗓音粗糙与不稳敏感，后者对元音空间压缩敏感，组合后可以检验病理模型是否依赖人耳不易察觉的多域细微损伤，而不只是停顿变长这类显性线索。

组件与计算：21 个特征与两种模型各负责什么？

特征提取是方法中最需要复述的部分。时间流畅性特征先用预训练的静音检测器划分语音与停顿，阈值设为 0.5，最小语音段 250 毫秒，最小静音段 100 毫秒，由此得到说话占比、停顿个数、总停顿时长、平均停顿时长与停顿率，再结合语音识别转写文本计算语速与构音速率，转写使用大尺寸语音识别模型。

韵律特征通过语音分析工具提取基频相关量，男女采用不同基频搜索范围，男性 75 到 300 赫兹，女性 100 到 500 赫兹，得到平均基频、基频标准差、基频范围、平均基频速度与平均基频加速度绝对值。声门特征包括抖动、微颤与谐噪比，构音特征包括用线性预测编码方法估计的第一与第二共振峰均值。建模组件方面，作者比较了逻辑回归、支持向量机、随机森林、梯度提升树等 6 种算法，最终选择随机森林分类器与回归器，理由是其在两类任务上更稳健。

需要强调的是年龄与受教育程度从不作为预测模型的输入，只在统计模型中作为协变量，性别不作为预测变量，而是用来划分男性子组与女性子组。

病理分类 × 感知回归： 病理分类负责从声学特征映射到临床诊断标签，回答这段语音是否来自阿尔茨海默患者；感知回归负责从同一组声学特征映射到人类听众的平均判断分，回答人耳听起来有多像患者。两者搭配的理由是只有并排比较同一特征集的两种映射，才能检验机器依据与人耳依据是否一致，组合后新增的作用是把可解释性从单模型辩护变成双任务审计。

SHAP 特征重要性 × 广义线性混合效应模型： SHAP 特征重要性负责描述随机森林内部每个特征把输出推向哪一侧、推多远，属于模型事后解释；广义线性混合效应模型负责用固定效应与随机效应直接检验特征、语言、性别是否显著预测听众的二值判断，属于统计验证。两者搭配是因为排序相关可能受样本与模型不稳定影响，需要回归显著性做第二证据，组合后形成解释发现加统计确认的闭环。

没有深度网络训练时：随机森林与统计模型实际拟合了什么？

本研究没有训练深度神经网络，因此该节明确说明不存在反向传播、冻结层或梯度路径选择问题。真实计算过程分为机器学习拟合与统计建模两部分。随机森林部分采用 5 折交叉验证，分类用分层划分保持每折中患者与对照比例，回归预测感知加权分。分类报告曲线下面积、准确率与 F1 值，回归报告皮尔逊相关、均方根误差与平均绝对误差。分类曲线下面积是否高于随机水平、回归相关是否大于零，均用 5000 次标签置换检验判断，显著性阈值为 0.05。

沙普利值按折计算后再在 5 折上平均，以稳定重要性排序。广义线性混合效应模型部分以听众单次二值判断为因变量，固定效应包括语言、性别与声学特征，听众个体差异建模为随机效应，报告中随机效应方差接近零，说明听众间一致性较高。原文未报告随机森林树数、深度等超参数，也未报告计算耗时与硬件预算，这是复现时需要补记的缺项，不能从随机森林名称推定默认实现。

实验条件：数据、听众与评估口径是否可比？

数据来自两个公开挑战的看图描述子集，希腊语来自多语言痴呆识别挑战，普通话来自中文挑战，任务类型一致从而排除任务混杂。每种语言选取 30 段，患者与对照各 15 段，选取时尽量平衡性别与诊断标签，但希腊语料限制与音频伪影导致无法完全均衡。样本量与病理语音感知研究的惯例一致，但作者也承认每种语言 30 段属于探索性规模。听众是 16 名中国科学技术大学学生，男女各 8 人，平均年龄 23 岁，均为普通话母语且无正式希腊语训练。

采用不懂目标语言的听众是刻意设计，依据是已有研究表明病理与不流畅线索具有跨语言可感知性。实验顺序先做希腊语感知再做普通话，以避免语言干扰。听众先接受疾病与健康语音特点的背景介绍，再在网页界面完成分类、时间轴标注与文字理由。评估时病理与感知模型使用相同特征集与交叉验证框架，分组比较时分别在全部数据、普通话子组、希腊语子组、男性子组与女性子组上重复训练与解释流程，保证比较条件一致。

年龄与教育差异被纳入统计协变量，希腊语料中患者与对照年龄差异显著，检验统计量与显著性在原文中有报告，这为后文讨论年龄混杂埋下伏笔。

主结果：总体对齐为何掩盖了分组失效？

在进入分组前，先看总体图能建立直觉。下面这张图是全文唯一的像素证据，左侧为病理分类的全局沙普利值分布，右侧为感知回归的全局分布，横轴为对模型输出的影响，纵轴为特征排序。导读时应先看顶部少数特征是否拉开明显分布，再看底部大量特征是否挤在零附近。

看图路径： 1. 先确认左右两幅子图的横轴都是 SHAP 值、对模型输出的影响，纵轴都是按重要性排序的特征名；2. 比较左右两图顶部特征是否同属时间流畅性类别，观察病理侧是否混入声门与构音特征；3. 沿颜色条看红色高值点落在零线哪一侧，判断停顿时长增大是推向阿尔茨海默侧还是健康侧；4. 注意底部大量集中在零附近的特征，说明其对该任务几乎没有推动作用

论文图 1。原论文 Figure 1：“Global SHAP feature importance across all data. left Pathology (classification), right Perception (human ratings)”。

从像素可见，左右两图顶部都由总停顿时长与平均停顿时长等时间流畅性特征主导，病理侧还混入说话占比、停顿率、基频加速度、微颤、第一共振峰均值与抖动，感知侧顶部则出现说话占比、语速与最小基频等节奏与音调特征，底部大量韵律与构音特征的散点紧贴零线，说明其全局推动作用很小。该视觉印象与正文数值结论一致，即总体排序呈中度正相关，但两类模型优先的声学域不同，病理侧更偏多域细微损伤，感知侧更偏整体节奏与音调。

主性能数字见下表，比较问题是同一特征集下病理分类与感知回归在不同人群是否同样可靠，公平条件是同特征、同交叉验证与内置换检验，指标方向为曲线下面积与相关越高越好、误差越低越好。

解释该表时，最大收益出现在普通话与女性组，病理曲线下面积分别达到 0.83 与 0.79 且显著高于随机，感知相关也达到 0.84 与 0.74。

具体代价与反例是希腊语与男性病理模型未显著超过随机水平，男性曲线下面积仅 0.52，几乎等同猜测，而同组的感知回归依然表现良好，男性感知相关为 0.73。这意味着不能把总体 0.70 的曲线下面积推广到每一组，未胜出项恰好是审计要暴露的失效模式。原文还报告希腊语料存在年龄不平衡，分类器虽未直接输入年龄，但仍可能通过与年龄相关的韵律变化间接利用年龄线索，因此希腊病理模型的特征排序应谨慎解读。

分组对照：语言与性别如何改变对齐结论？

该节按问题组织分组解释比较。测的是病理排序与感知排序的斯皮尔曼相关，与谁比是全部数据 versus 语言子组 versus 性别子组，条件一致体现在同特征与同解释流程，指标方向为相关越大表示越对齐，关键数字与支持判断见下表，限制是病理模型失效组的排序本身不可靠。

表后解释需要同时讲收益与代价。收益是普通话与女性组的对齐有统计支持，且两类模型都指向停顿行为，说明可诊断线索同时可被感知。

代价是希腊语组病理与感知特征画像本身就不相似，普通话与希腊语病理画像相关接近零，感知画像相关也接近零，普通话病理侧重平均停顿时长与停顿率，希腊病理侧重基频标准差但因未超随机水平不能当作稳定标志。性别侧的反例更尖锐，男性病理模型依赖微颤等声门线索，而男性感知模型依赖流畅性与第二共振峰，排序相关接近零，但作者明确指出这不是诊断与感知真分叉，而是病理模型在小样本下没有学到可泛化信号。

统计模型进一步支持性别调节，基频标准差对女性感知效应更强，第二共振峰在男性为正预测、在女性为负预测，交互显著。未评测边界包括未检验其他可解释方法是否给出同样排序，以及未纳入临床专家听众。

哪些结论不能推广：样本、听众与混杂说了什么？

作者用较大篇幅说明本研究是探索性而非确证性。每种语言 30 段的规模与同类感知范式一致，但分组后样本更少，子组排序稳定性有限，因此跨语言与跨性别分析应视为假设生成。听众同质是第二项限制，16 名年轻普通话母语非专家能够在不懂希腊语时做出声学驱动判断，但其策略可能不同于训练有素的临床医生或母语者，希腊语感知结果尤其应理解为朴素声学判断。

第三项是人口学混杂，希腊组患者与对照年龄差异显著，教育程度也有差异，虽在统计模型中作为协变量控制，但分类器仍可能通过声学特征间接捕捉年龄相关的韵律变化。第四项是可解释方法单一，仅用沙普利值全局解释，未评估多种方法的一致性与稳定性。区分报告与推测很重要，报告的是相关系数、显著性与回归系数方向，支持的是听众策略存在性别调节，待验证的是声调语言约束导致时间特征更关键、非声调语言允许韵律变异承载病理等机制解释。

相关性不等于因果，停顿时长预测听众判断不等于延长停顿就会导致误诊为患者。

复现先做什么：按原文能重放的最小闭环是什么？

复现应先重放数据与评估闭环，再谈改进。第一步按原文口径准备数据，每种语言 30 段、患者与对照各 15 段，记录性别、年龄与受教育年限，音频统一为 16 千赫单声道，保留看图描述任务一致性说明。第二步复现特征计算，静音检测阈值 0.5、最小语音 250 毫秒、最小静音 100 毫秒，基频按性别分范围提取，转写用于语速计算，共 21 个全局特征并记录对数变换的特征名。第三步复现听众实验逻辑，16 人规模、男女各半，先希腊语后普通话，对每段计算 16 人平均的感知加权分。

第四步用随机森林分类器拟合临床标签、用随机森林回归器拟合感知加权分，均做 5 折交叉验证，分类分层，置换 5000 次检验曲线下面积与相关显著性。第五步按折计算沙普利值并平均得到排序，再计算病理与感知排序的斯皮尔曼相关，总体与 4 个子组分别计算。第六步拟合广义线性混合效应模型，以单次二值判断为因变量，固定效应含语言、性别与声学特征并加入性别交互，协变量含年龄与教育，听众为随机效应。

关键缺项是随机森林超参数、随机种子、具体特征变换细节与运行环境均未报告，复现时应固定并记录自己的选择。资源状态方面，本次未发现可验证的代码、模型或数据公开链接，因此不得声称系统已公开或可直接下载运行。

何时值得尝试：给新人的行动清单与误解澄清

何时值得尝试取决于目标人群是否明确。如果要在新语言或新性别分布上部署语音筛查，应先做分组审计，而不是只看总体曲线下面积。具体做法是同一特征集上并行训练病理与感知模型，比较排序相关，并在病理模型未超随机水平的分组中暂停解释推广。复现优先级是先保证分组划分、交叉验证与置换检验与原文一致，再补多种可解释方法的稳定性检验，最后引入母语者与临床专家听众。

还需补的验证包括更大样本、年龄匹配更好的对照组，以及报告训练与推理开销。常见误解有三处需要澄清。第一，全局解释显著不等于每组都可信，本文希腊语与男性组就是反例。第二，人耳觉得异常的方向不等于临床典型方向，例如基频标准差越大越可能被判为患者，这与阿尔茨海默常伴音调单调的经典描述相反，更可能是听众把任何异常韵律都泛化为病态。

第三，微颤越大反而降低被判为患者的概率，作者推测朴素听众可能把嗓音粗糙听成用力或情绪表达，而非认知衰退，因此不能把声门粗糙直接当作可感知的严重程度标尺。记住这些边界，才能把本文读成审计方法而不是新的诊断准确率纪录。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总