用说话人描述做监督：SLAP 如何把人口学、嗓音与健康属性装进同一语音表示

英文题目：SLAP: Learning Speaker and Health-Related Representations from Natural Language Supervision

会议身份：conference:odyssey:2026:conference-paper-id:ando26_odyssey

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#语音生物标志物 #对比学习 #多语言 #零样本 #病理语音评估

评分：6.7/10 | 创新 1.4/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Angelika Andò：机构信息未能从会议 PDF 纯文本可靠映射
• Auguste Crabeil：机构信息未能从会议 PDF 纯文本可靠映射
• Quentin Spinat：机构信息未能从会议 PDF 纯文本可靠映射
• Adrien Lesage：机构信息未能从会议 PDF 纯文本可靠映射
• Rachid Riad：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为任意时长语音，输出为人口统计学、嗓音特征与健康状态的二分类判断，难点在于标注异构、跨语言差异与临床人群分布偏移大，且小样本下难以泛化。该方法先将临床量表分数按临床指南离散为严重度标签并拼接打乱属性，再经大语言模型生成多版本说话人自然语言描述以提供监督文本。接着将语音对数梅尔谱送入视觉Transformer音频编码器提取声学嵌入，同时将上一步描述送入文本编码器得到语义嵌入并映射至共享空间。最后以双向对比损失对齐音频文本对，并联合掩码自编码重建损失保留细粒度时频结构，共同优化表示。与通用CLAP及纯自监督编码器不同，其监督信号直接描述年龄性别与抑郁疲劳等临床状态，因而保留临床可解释的语言对齐能力。在38个任务的零样本评测下，SLAP的F1为62.9%，高于CLAP-MS的F1 42.4%。结论受限于二分类粗粒度标签与小样本临床子集，多分类严重度与未见病种外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

语音里藏着谁在说话、嗓音如何、是否患病，为什么难做？

输入是原始语音波形，目标是从中推断说话人相关属性。论文把任务分成 3 类。第一类是人口学，例如性别与年龄段。第二类是嗓音特征，例如嗓音强度、鼻音、嗓音嘶哑与气息声等感知评价，以及临床常用的嗓音量表。第 3 类是健康相关，包括抑郁、焦虑、失眠、疲劳、自杀意念等精神心理筛查，以及帕金森病、阿尔茨海默病、肌萎缩侧索硬化等神经系统疾病检测。必须保留的信息是这些任务都与词汇内容无关，属于副语言信息，依赖音色、韵律与频谱细节。

输出在论文中有两种形态。一种是零样本分类，不在目标数据集上训练分类器，直接用自然语言提示查询音频。另一种是线性探测，先用编码器提取固定向量，再在每个数据集训练集上训练逻辑回归分类器。初学者容易误以为把语音丢给一个大语音识别模型就能顺带解决这些任务。原文指出语音基础模型在识别与语义理解上进步很大，但没有利用说话人元数据做表示学习，在年龄、性别、语言与健康指标上能力有限，尤其在低数据情况下更明显。

另一个误解是自监督表示一定足够。论文讨论的掩码预测与重建方法能学到很强的声学表示，但没有机制把人口学与临床语义对齐到表示中。视觉领域的对比语言图像预训练展示了用文本监督实现零样本提问的可能，音频领域的对比语言音频预训练跟进，但前端与训练数据不适合副语言线索，已有变体多集中在情绪。因此论文要解决的矛盾是临床部署需要跨语言、跨人群、无标注也能查询新健康问题，而现有语音基础模型与纯自监督方法缺少这种可查询的说话人与健康语义。

同输入、同目标的已有路线各缺了什么？

第一条路线是通用语音基础模型，以语音识别弱监督训练为代表。输入同样是语音，目标主要是转写与语义理解。优点是规模大、跨任务迁移强。论文报告这类模型在线性探测总体上有竞争力，但原文明确指出它们没有集成利用说话人元数据的机制，部分多模态模型冻结音频编码器，可能限制说话人表示的丰富性。不能把识别好等同于副语言好。

第二条路线是自监督语音表示，包括掩码预测与掩码自编码器。输入同样是语音，目标是重建或预测被遮住的片段。优点是不需要标注，能保留细粒度声学结构。论文为公平比较还专门在相同预训练数据上训练了纯自监督对照模型。缺点是学到的表示不直接与自然语言问题对齐，无法做零样本查询。

第三条路线是音频语言对比学习及其副语言变体。输入是音频加文本，目标是通过对齐实现零样本。这与本文输入与监督形式最接近。论文指出已有工作多针对情绪、场景检索或音乐语音概念，前端时间分辨率较粗，不适合捕捉语音细粒度时序结构，且未覆盖人口学、嗓音质量与临床多病种。因此本文不是在通用识别上竞争，而是在说话人与健康属性的可查询表示上补齐缺口。评价时应按同运行阶段比较，零样本对零样本，线性探测对线性探测，不能用有监督微调成绩去否定零样本价值。

论文把评估问题如何形式化为可比较的二分类？

论文把全部下游任务统一为二分类，便于跨数据集、跨语言比较。举例来说，抑郁筛查被定义为量表分数低于阈值对高于阈值，嗓音评价被定义为正常等级对异常等级，疾病检测被定义为健康对照对患者。阈值依据临床指南与文献设定，例如抑郁、焦虑、失眠、疲劳与认知量表各自有明确分界。这种做法的好处是零样本提示可以写成 1 对肯定性描述，线性探测也可以用统一的分类器与指标。代价是严重度等级被压缩，例如抑郁的轻中重度差异不再保留，论文在局限中承认多分类更能反映临床粒度。

任务规模是 38 个任务，覆盖 11 个语料、6 种语言。测试集按是否参与预训练分为域内与域外。域内是预训练用过的 4 个数据集的留出部分，域外是 7 个未见过的数据集，包括新的临床人群。指标统一用 F1 分数，分别在人口学、嗓音、健康 3 个维度内平均，再计算总体平均。这种聚合方式意味着单个小数据集任务波动会被平均稀释，但小样本任务的单点分数仍不可靠，需要结合总体与分类平均一起读。

SLAP 整体先让一个样本走完从音频到判断的全程

先跟随一个训练样本。输入有两路。一路是音频，先转为梅尔滤波器组表示，再送入语音编码器与投影头得到音频嵌入。另一路是该说话人的结构化元数据，包括人口学、诊断与临床量表分数，先经清洗与严重度映射，再由大语言模型生成 3 条 1 至 3 句的自然语言描述，送入冻结的文本编码器与投影头得到文本嵌入。两组嵌入在共享空间中计算余弦相似度矩阵，对角线为配对，非对角线为非配对。训练目标是提高配对相似度、降低非配对相似度，同时另一支路对被遮住的梅尔 patches 做重建。

推理时以帕金森病零样本为例。系统收到一段未知音频与两个提示，健康与患病。音频走语音编码器得到一个向量，两个提示分别走文本编码器得到两个向量。计算两个余弦相似度，取较高者为预测类别。论文强调不用否定句，而用反义肯定句，因为否定在推理时效果不佳。

下面这张流程图把预训练与零样本评估画在同一页，上半是双目标训练，下半是双提示选择，火焰与雪花图标区分更新与冻结，是理解全文分工的关键。

看图路径： 1. 先沿左上说话人信息经大语言模型到说话人描述再到文本编码器的上路走一遍；2. 再沿左下音频到梅尔滤波器组到语音编码器的下路走一遍，确认掩码重建支路位置；3. 对照右下角相似度矩阵中对角线加深格，理解配对拉近的训练目标；4. 最后看下面板零样本部分两个文本提示与一个音频嵌入如何产生 0.4 与 0.6 的相似度选择

论文图 1。原论文 Figure 1：“SLAP pipeline. (a) Pretraining. For each audio, an LLM generates a speaker description, and the Speech Encoder is trained with contrastive and self-supervised objectives.”。

上图上半显示说话人信息经大语言模型变为说话人描述，再与音频分支汇合到相似度矩阵，同时梅尔分支另有一条掩码重建回路。下半显示两个肯定性提示与一段音频如何比较相似度并选择类别。需要记住 3 个冻结与更新安排。文本编码器在预训练时冻结，只有音频编码器、音频解码器与投影头更新。共享嵌入维度为 512。滑动窗口处理长音频的细节属于推理实现，放在训练节交代。

编码器、投影头与双损失各自负责什么？

语音侧主干是视觉变换器结构的掩码自编码器音频编码器，用在音频集上预训练过的权重初始化。完整梅尔滤波器组走对比分支，被随机遮住 70% patches 的版本走重建分支。未被遮住的 patches 先编码，再补回掩码标记，由滑动窗口变换器解码器重建原始 patches，重建损失是在被遮住位置上的均方误差。文本侧用已有的文本嵌入模型，预训练阶段不更新。音频与文本编码输出再各自经过可学习的线性投影头，映射到共享维度。相似度用余弦相似度，温度系数可学习并参与缩放。

总损失是对比损失加权重后的重建损失，权重设为 1。论文说明两种损失没有显式归一化到同一尺度。初学者不要把权重为 1 理解为两者贡献相等，实际梯度尺度取决于损失本身的数值范围。双目标的设计意图在原文中有明确分工。重建捕捉细粒度声学结构，对比学习与自然语言描述对齐的说话人相关特征。

对比学习 × 掩码自编码器： 对比学习负责把配对的语音与说话人描述在共享空间中拉近、把不配对的推远，从而注入可被语言查询的说话人与健康语义；掩码自编码器负责遮住 70% 的梅尔滤波器组 patches 再重建，迫使编码器保留细粒度声学结构；两者搭配的理由是单一对比目标容易丢失声学细节、单一重建目标无法建立语言可查询性，组合后 SLAP 同时获得零样本能力与较强的线性探测表示。

语音编码器 × 文本编码器： 语音编码器是可训练的视觉变换器结构，负责把梅尔滤波器组转换为音频嵌入并参与梯度更新；文本编码器负责把说话人描述或零样本提示转换为文本嵌入，预训练时保持冻结以稳定语义锚点；两者分工使声学侧适配副语言线索而语义侧不漂移，搭配后余弦相似度矩阵才能在同一 512 维空间中做双向对齐。

描述生成管线值得单独走一遍。输入是结构化说话人数据，临床分数先按指南映射为严重度标签，例如抑郁量表分数映射为无、轻度、中度、重度。属性按逗号拼接并随机打乱顺序，再拼接到包含生成规则与数据集示例的提示模板中。大语言模型被要求生成 3 条描述，要求改写表达与顺序但不改变信息，临床症状用经历、表现为等多种动词，人口学属性也变换说法。生成温度设为 0 以限制幻觉，1 次调用内生成 3 条，利用自回归对前文的依赖获得多样性，而非独立调用 3 次。论文举例 1 位 24 岁法国男性伴中度疲劳、轻度抑郁等情况，生成了青年成年、二十多岁、大学年龄等不同措辞但信息一致的描述。

预训练数据如何采样、优化与冻结？描述如何构造？

预训练共用 8 个语料，约 3000 小时，超过 10,000 名说话人，1,300,000 条音频。包括 4 个医学相关语料与 4 个人口学为主的大语料。医学语料每轮全部使用，大的人口学语料按比例抽样，以减少对大语料的偏向并增加医学数据的暴露，但不能完全解决语言与规模不均衡，且小医学语料中同一说话人会被重复采样。优化使用自适应矩估计优化器，在 4 块显存 40 吉字节的图形处理器上训练 50,000 步，有效批量 64，指数学习率调度并有预热。音频统一重采样到 16 千赫兹，转为 128 通道对数梅尔谱，窗长 25 毫秒、帧移 10 毫秒，无数据增强。

说话人描述 × 反义提示对： 说话人描述是预训练监督来源，由大语言模型把年龄、性别、诊断与量表严重度改写为 1 至 3 句的多样化自然语言，每人 3 条；反义提示对是推理时的人工查询，例如心理健康对抑郁而非否定式不抑郁；前者负责提供丰富的训练语义，后者负责给出文本编码器可区分的测试语义，搭配后训练与测试都使用肯定性描述，避免否定句在对比空间中难以区分的问题。

下表先回答数据构成与采样是否公平。表前比较问题是各数据集原始规模差异极大，直接混合会淹没医学数据。公平条件是论文对大语料按训练比例抽样。指标方向是每轮有效音频数与占比越高，对该轮梯度影响越大。原表直接给出说话人数、音频数、时长与采样比例。

上表显示大说话人识别语料原始音频多达上 1000000 条，但每轮只抽 5%，而医学语料保留全部。代价是抽样并未完全平衡语言分布，且重复暴露小语料说话人可能带来过拟合风险。另一张表交代优化与前端的复现条件，比较问题是他人复现时计算图是否一致，公平条件是采样率、谱参数与训练步数必须相同。

上表说明复现时不能只抄模型结构，前端与训练预算同样关键。论文未报告学习率衰减后具体数值轨迹与损失尺度对比，复现时应记录两项损失曲线。文本编码器冻结、音频编码器更新的安排意味着梯度只流经语音侧与投影头，语言侧作为固定锚点，这是零样本可查询性的来源，也是与端到端微调大模型的重要区别。

下游任务、提示写法与基线比较条件是什么？

下游覆盖人口学 11 个、嗓音 9 个、健康 18 个任务。人口学包括多数据集性别与年龄段。嗓音包括鼻音、强度、单调性、刺耳声、不恰当停顿及临床嗓音量表。健康包括普通人群心理筛查、精神科抑郁与自杀风险、神经退行性疾病。测试集共 1110 名说话人、12.3 小时，其中域内 726 人、域外 384 人。部分测试集很小，例如某中文抑郁集仅 11 人、某西班牙精神科集仅 12 人，单任务分数波动大，需要看多任务平均。

域内评估 × 域外泛化： 域内评估指预训练见过的数据集上的留出测试集，反映模型对已知人群与采集条件的拟合；域外泛化指预训练未见过的 7 个数据集与新临床人群，反映对新语言与新疾病的迁移；两者搭配的理由是临床部署必然面对未见人群，只有同时报告才能判断语言监督是否真正带来跨人群迁移而非记忆训练分布。

推理实现上变长音频采用滑动窗口。超过 10 秒的语音切为 10 秒窗、5 秒重叠，逐窗计算嵌入再平均池化。零样本提示成对构造，负类与正类均为肯定性描述。论文报告否定句效果不佳，因此抑郁用心理健康对抑郁，焦虑用放松对焦虑，嗓音用正常嗓音对鼻音等。阈值按临床指南设定，论文给出每个数据集目标、提示对与二分界。

基线按范式分组。传统声学特征、手写声学参数集、通用语音基础模型中等与大版本、自监督掩码自编码器、同数据训练的纯自监督对照，以及两个开源对比语言音频模型。有监督比较用线性探测，固定表示加逻辑回归，在每个数据集训练集上训练、测试集上评估。零样本比较直接在测试集上用提示评估。比较时必须注意前端差异，原文指出已有对比模型的梅尔参数不适合捕捉语音细粒度时序，这本身就是公平性说明的一部分。

主结果在什么条件下支持语言监督的增益？

主结果分总体与域外两层，分别报告有监督线性探测与零样本。比较问题是语言监督是否在可查询性上带来实质提升。公平条件是同一测试集、同一 F1 指标、按任务类别分别平均。指标方向是 F1 越高越好。关键数字是零样本总体平均 SLAP 为 62.9%，对比语言音频基线为 42.4%，相对提升约 48%。

线性探测总体 SLAP 为 69.3%，健康子项为 57.9% 且为同类最佳。通用语音基础模型总体线性探测可达 70.1%，但在健康子项上低于 SLAP。域外零样本 SLAP 为 62.6%，域外线性探测健康子项达 79.0%，显示对未见临床人群的迁移。

零样本推理 × 线性探测： 零样本推理不训练分类器，直接比较音频嵌入与 1 对反义文本提示的余弦相似度并取较高者为预测，考验跨域泛化；线性探测则冻结表示再在每个数据集训练集上训练逻辑回归，考验表示中可线性分离的信息量；两者搭配才能区分语言监督带来的可查询性增益与自监督声学表示本身的强弱。

下表整理可直接复述的核心数字，比较对象保留原文实际可运行的基线，不用事后最优值代替。

上表的主要收益是零样本大幅领先且健康线性探测最佳，代价是总体线性探测略低于通用大模型，域外总体也低于纯自监督对照。未胜出项必须保留。纯自监督对照在线性探测总体与域外总体上反超，说明可训练线性层时自监督声学表示更稳健，而语言对齐的优势集中在零样本与健康语义。这支持而非证明临床因果，相关性不等于病理机制。

下面雷达图展示开源医学任务上线线性探测后各模型的分布，阅读时先看图例再看治疗领域色块，避免把半径长短误读为样本量。

看图路径： 1. 先确认图例中绿色为传统声学特征、橙色为 SLAP、蓝色为语音基础模型；2. 再沿雷达图外圈逐个读出精神科、神经科与嗓音障碍三个色块的任务名；3. 重点比较神经科区域橙色多边形是否比另两条曲线更靠外

论文图 3。原论文 Figure 3：“Radar plot of F1 scores for open source medical tasks with linear probing.”。

上图可见在精神科抑郁任务上多条曲线都较高，而在神经科帕金森与阿尔茨海默任务上传统特征与通用模型收缩明显，SLAP 多边形更靠外且更均衡。嗓音障碍任务上传统声学特征仍有竞争力，说明手工频谱韵律特征对嗓音偏差敏感。论文还报告抑郁检测跨模型最稳定，而某斯洛伐克神经退行数据集对所有模型都困难，提示病理语音模式在预训练中代表不足，不能简单归因于语言不匹配，因为意大利语与中文任务上基线并非一致很差。

去掉语言监督会怎样？嵌入空间显示了什么反证？

论文用同数据纯自监督对照承担消融职责，对应权重为 0 的模型。比较问题是语言对比目标是否带来超出重建的增益。公平条件是相同预训练数据、相同初始化、相同线性探测协议。结果是纯自监督对照在线性探测总体上更高，域外优势更明显，但它无法做零样本。这构成反证。

重建 alone 学到更易迁移的声学表示，语言对齐则换来可查询性与健康语义。两者结合的总模型在零样本上达到最优，在有监督健康任务上也最佳，说明临床相关特征可能未被纯重建充分编码。

另一组细节是提示写法。论文报告否定句在推理时效果不佳，改用反义肯定句。这是实际可运行策略，必须保留。搜索最优提示或事后挑选阈值不能代替该固定策略的收益。

下表把消融数字与提示条件并置，避免把不可运行的上限当成部署收益。

上表代价明确。加入语言监督并未在所有线性探测上取胜，优势是有查询能力与健康子项。若只看总体平均会掩盖健康增益，若只看零样本会忽略自监督的稳健性，两者必须同读。

下面 2 维投影图用于检查嵌入结构，阅读时先按图例确认形状与实空心含义，再区分性别簇与病理分离，不能把 2 维距离直接当作分类性能证明。

看图路径： 1. 先看每幅子图标题确认数据集与嵌入来源是 SLAP 还是基线；2. 再按图例区分三角为男性、圆为女性，实心为病理、空心为对照；3. 对比左右两列同一行中性别簇与病理实空心点的混杂程度

论文图 5。原论文 Figure 5：“2D UMAP visualization of SLAP and AudioMAE audio embeddings for three OOD datasets.”。

上图三行分别为中文抑郁、西班牙语帕金森与英语嗓音病理的域外数据，左右对比本方法与基线。可见本方法两侧性别簇更清晰，病理与对照在性别簇内有一定分离，尤其嗓音与帕金森任务较明显，抑郁女性簇分离较弱。基线表示中性别与病理更混杂。论文提醒性别是嵌入空间主导特征，2 维投影无法完全展开高维流形上的细微病理结构，因此该图支持表示同时编码性别与临床结构，但待验证是否可直接用于诊断。

哪些边界会让单任务分数不可靠？

第一是任务形式化。二分类压缩了严重度，临床量表的多等级信息丢失。性别还需分方向单独报告，因为 2 个方向结果不对称。未来可用多分类更贴近临床粒度，但本文证据只支持二分类结论。

第二是数据不均衡与小样本。预训练语言与规模仍不均衡，抽样只能缓解。测试端部分数据集仅十余人，单任务 F1 受划分与阈值影响大。论文用 38 个任务平均缓解，但阅读时不应过度解读单个小集上的胜负。

第三是神经退行任务的困难。所有模型在某斯洛伐克语料的帕金森与阿尔茨海默任务上都较差。尽管预训练包含该语言数据，病理语音模式可能仍代表不足。这说明多语言不等于多病种覆盖，扩展更多医学数据仍是必要方向。

第四是隐私。能推断人口学与健康属性的表示本身可被用于敏感信息推断，超出预期用途。论文指出隐私导向的表示处理是相关研究方向，临床部署需额外考虑。这不是性能缺陷，而是部署边界。

复现应先固定什么，再跑什么验证？

先固定数据与前端。按原表重建 8 个预训练语料的采样比例，医学语料全量、大语料按比例抽样。音频重采样 16 千赫兹、128 通道对数梅尔谱、25 毫秒窗、10 毫秒移。文本侧用论文指定的大语言模型生成描述与文本嵌入模型做编码，生成温度 0，1 次生成 3 条，属性随机打乱。不要自行更换文本编码器后仍声称复现原文数字。

再固定训练与冻结。语音编码器用音频集预训练权重初始化并更新，文本编码器冻结，投影头训练，共享维度 512，对比与重建权重为 1 但不归一化。优化批量 64、50,000 步、指数调度与预热。记录两项损失曲线以观察尺度差异。推理对超 10 秒音频用 10 秒窗、5 秒重叠平均。

验证分 3 步。先跑零样本，用固定反义提示对评估 38 任务总体与分类平均，检查是否接近 62.9% 总体。再跑线性探测，固定表示加逻辑回归，检查健康子项是否最优而总体略低于通用大模型与纯自监督对照。最后跑域外子集，确认未见临床人群上的保持程度。资源状态方面，本次未发现来源绑定且完成超文本传输安全协议状态验证的资源，不得声称代码、模型或数据已公开，复现需按论文描述自行组织数据与模型。

还需补的验证包括多分类严重度、误判率与延迟成本。原文未测量推理开销与实际延迟，不能承诺这些量得到改善。训练资源与推理帧率应分别报告，总体趋势不等于每组都成立。

何时值得尝试 SLAP 路线，何时不必？

当任务是跨语言、跨人群的说话人与健康属性查询，且标注稀缺、无微调数据时，值得尝试语言监督加自监督的双目标路线。它的可复述动作是把异构元数据规范为严重度标签，再用大语言模型改写为多样化肯定性描述，与语音做对比对齐，同时保留掩码重建以稳定声学细节。推理时用反义肯定提示做零样本，用线性探测检验表示质量。

当已有充足目标域标注且只追求总体分类分数时，不必执着于语言监督。论文证据显示纯自监督对照在线性探测总体与域外总体上更强，通用大模型总体也有竞争力。此时语言监督的代价是总体分数可能略降，收益主要在零样本与健康语义。若目标是严重度分级、实时部署或隐私敏感场景，本文未提供充分证据，需另做多分类、延迟与隐私处理验证后再做判断。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

另有 14 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 odyssey-2026 论文汇总