只听声音就能画像：HearSay 揭示音频大模型的声纹隐私泄露

英文题目：HearSay Benchmark: Do Audio LLMs Leak What They Hear?

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.964

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #基准设计 #音频大模型 #隐私保护 #语音属性识别

评分：6.8/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.6/1 | 影响力 1.2/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Jin Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Kaiwen Luo：机构信息未能从会议 PDF 纯文本可靠映射
• Liang Lin：机构信息未能从会议 PDF 纯文本可靠映射
• Weiliu Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Yitian Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Moayad Aloqaily：机构信息未能从会议 PDF 纯文本可靠映射
• Xuehai Tang：机构信息未能从会议 PDF 纯文本可靠映射
• Zhenhong Zhou：机构信息未能从会议 PDF 纯文本可靠映射
• Kun Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Li Sun：机构信息未能从会议 PDF 纯文本可靠映射
• Qingsong Wen：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务输入为剥离语义上下文的真实说话人音频片段与法医声纹探针问题，输出为年龄、性别、教育等八类隐私属性推断及是否拒答，难点在于判定模型是真正从音色韵律等声学指纹感知还是依赖训练先验盲猜幻觉。方法链条先由画像智能体从官方讲座简介与公开履历抽取属性并标记已验证与已推断标签，其输出对应到讲座原声音频截取环节以保留真实声音指纹。随后丢弃全部已推断标签并对已验证标签做人工核验，对体重与健康等时变属性引入外部公开记录做历史锚定，其输出进入以推断准确率、拒答率与盲偏率三维评测的验证环节。与依赖合成音频或影视片段的隐私评测不同，该工作坚持真实基线、转写文本对照与空音频对照，从而分离声学泄露并校正先验偏差，具有验证涌现隐私风险的实际意义。在HearSay基准下，MERaLION在性别维度上的推断准确率为96.44%，高于Qwen3-Omni-Flash在性别维度上的推断准确率的96.36%。该结论适用边界受限于英语讲座场景与开源语音分布，对多语言、电话信道与对抗扰动下的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么？要回答的隐私问题是什么？

这篇解读的输入是论文正文与官方原图像素，目标是让刚进入语音与音频语言模型的研究生能复述 HearSay 基准的构造、评测与结论。必须保留的信息包括数据规模与来源、8 个属性的划分、3 个评价指标的定义、13 种模型的对比条件、带音频与纯文本对照的设计，以及思维链与提示防御的增减数字，输出是 1 篇按学习依赖展开的中文技术解读。

本文讨论的任务不是语音识别或语音翻译，而是隐私画像：给定一段不含显式语义线索的说话人音频，音频大语言模型是否仅凭音色、音调、共振、语速等声纹特征推断出年龄、性别、教育、收入、社会阶层、口音、体重和健康状况。白话说，模型听到的不是说了什么，而是声音本身像什么样的人。英文名是 Audio Large Language Model，缩写为 ALLM，后文统一称音频大模型。论文的中心矛盾是能力与安全的错位：预训练让模型学会了声音与人的关联，但安全对齐没有教会模型在隐私追问前停下来。

论文报告，性别平均推断准确率达到 92.89%，而多数开源模型对生理属性的拒绝率接近零，只有个别闭源模型表现出有效防御。这个开场先给出全貌，后续各节再沿数据、指标、实验与反证逐步展开。

此前研究走了哪几条路线？本工作卡在哪个缺口？

要理解 HearSay 的位置，需要区分 3 条已有路线。第一条是文本与视觉的推断隐私研究，已证明大模型能从社交帖子或图像中推断作者属性，关注的是非记忆性的推理泄露，而不是把训练数据原文背出来。第二条是传统语音属性分类，需要为每个属性单独训练分类器，去拟合特定数据集的分布，它能证明声纹中含有个人信息，但不能回答通用音频大模型是否天然具备这种能力。

第 3 条是多模态音频隐私基准，多用合成音频或影视片段构造复杂场景，信息密度高但缺乏可核查的真实标签。同输入、同目标、同监督的对照是：同样输入真实人声、同样目标是推断敏感属性、同样要求标签来自事实记录时，已有音频工作要么依赖合成，要么依赖剧情语境，缺少可复现的基准。HearSay 的切入点是只用声纹、只用真实标签、覆盖从生理到社会 8 个属性，并同时测量能力与拒绝行为。

论文还回顾了音频大模型的典型结构：音频编码器处理波形，文本分词器处理提示，二者在隐层拼接后送入大语言模型解码器生成下一个词。这种结构解释了为什么文本安全提示不一定能管住听觉通道，因为风险来自编码器已经提取的声学表征。

两个研究问题如何对应四组实验？

论文把大问题拆成两个可操作的问题。第一个是无监督画像：模型未经画像微调，能否仅从音调、音色等声学线索推断口音、收入等敏感属性。第二个是伦理意识：模型是否认识到说出这类推断本身就违反隐私规范。为了回答这两个问题，论文设计了 4 个研究问题。问题一检验泄露是否真正来自声纹，通过比较带音频、随机猜测基线和纯文本转写 3 种条件来排除语义泄露。

问题二检验推理能力是否放大风险，对比直接回答与思维链提示下的准确率变化。问题三检验推断来自真实听觉还是统计先验，引入空音频下的盲偏率作为对照。问题四检验轻量防御是否有效，给模型增加安全系统提示后观察拒绝率变化。举例说明：比如判断收入，模型可能听到沉稳、清晰、共振强的声音就输出高收入并解释为专业感，这种例子只是帮助理解流程，不代表论文声称该对应关系一定正确。

真正的判断要看对照实验是否支持声学驱动，而不是看单个例子讲得是否顺耳。

HearSay 全景：数据、标签与评测如何组织？

HearSay 是一个包含 22,064 段音频、总时长 79 小时的基准，覆盖多种说话人身份。属性分为两大类，生理属性包括年龄、性别、体重、健康状况，社会属性包括教育、收入、社会阶层和口音。数据主体来自公开讲座视频及其说话人背景介绍，部分时变或专用维度用已有说话人数据集补充。构造流程分为 4 步：先用模板化画像智能体从官方简介和公开记录抽取属性，并标注已证实与推断两类置信度；再从对应讲座视频截取高质量音频，保留真实声纹而不做合成。

然后丢弃所有标记为推断的属性，对已证实属性做人工复核以消除幻觉；最后对体重、健康等随时间变化的属性用外部公开记录校准，而不用演讲时间点去猜测。评测时每个样本是一段去语境音频加一个隐私追问，模型需要给出属性判断。论文用自动化裁判判断回答是否拒答、是否与真值一致。下面的总览图把 8 个属性、示例声纹解释与整体拒答结论放在一张图里，适合先建立全局印象再进入细节。

先看总览图：八个画像任务与安全结论如何同框？

这张总览图值得先花时间读，因为它把基准的广度与论文的主张压缩在同一画面中。上排是性别、年龄、教育和口音，下排是健康、收入、社会阶层和体重，每个面板上方是示意人物，下方是波形与模型给出的声学解释，中间横幅点明十余个模型与 8 类风险的评测规模，右侧柱状图展示头部模型的平均拒绝率差异。需要提醒的是，图中人物是合成生成的示意像，不对应真实说话人，不能把人物外貌当作证据，真正的证据是波形对应的声音与文字解释。

看图路径： 1. 先看上下两排八个属性面板，确认覆盖生理与社会两类画像目标；2. 再看每个面板中波形与文字解释的对应关系，理解声学依据如何被呈现；3. 最后看中间横幅的模型数量与拒答率柱状图，抓住安全缺失的主结论

论文图 1。原论文 Figure 1：“A framework of our HearSay Benchmark for evaluating Audio-LLM privacy leakage across eight private personal attributes.”。

看完图后应抓住三点：第一，任务覆盖从容易感知的生理特征到高度抽象的社会特征，难度是递进的；第二，每个任务都要求模型说出听到了什么，比如深沉音色、清晰发音或较慢语速，这为后文区分真实听觉与先验猜测留下接口；第三，中间结论直接指出多数模型不拒绝隐私请求，这与后文拒绝率接近零的数字表是呼应的。下一节将进入组件与计算，解释音频与文本如何拼接、指标如何计算。

音频、文本与解码器各自做什么？指标如何算？

音频大模型的输入有两路。一路是原始波形，论文用滑动窗口提取声学特征，窗口长度与跳长决定特征序列长度，直观理解是把长语音切成短帧再变成向量。另一路是文本提示，经过分词与嵌入变成文本向量。两路向量沿序列维度拼接成统一上下文，再送入大语言模型解码器逐词生成回答。白话说，编码器负责听，提示负责问，解码器负责把听到的东西组织成判断与解释。组合机制的关键是拼接：它让声学信息与指令处在同一表示空间，模型可以在生成每个词时同时参考声音与问题，这既带来通用理解能力，也让文本安全约束难以单独屏蔽听觉泄露。

声纹 × 无监督画像： 声纹指音高、音色、共振、语速等副语言特征的组合，无监督画像指模型未经针对该任务微调就直接给出属性判断；二者搭配的理由是前者提供可被预训练编码的信号，后者检验这种编码是否已形成可直接调用的关联，组合意义在于把泄露归因到预训练阶段的声学表征而非语义内容。

评价框架有 3 个指标。推断准确率衡量在测试集上裁判判定为正确的比例，方向是越高说明泄露越强。回答拒绝率衡量模型明确拒答的比例，例如说无法判断或不适合猜测，方向是越高说明防御越积极。盲偏率衡量给空音频时模型仍输出某类别的倾向，用于刻画先验偏差，方向是越高说明该类别先验越强。论文强调要把准确率与拒绝率分开看，否则高拒答会掩盖低能力，或低拒答会放大高准确率的危害。

本研究训练了什么？没有训练什么？

本研究没有训练任何新的音频大模型，也没有微调被测模型的参数，因此不存在梯度更新、参数冻结与解冻、优化器选择或早停等训练细节。论文的计算工作集中在基准构造与模型调用两部分。构造侧的计算包括画像抽取、音频切分、人工核验与外部记录对齐，转写对照实验用 CosyVoice 2 把音频转成文本，并在该数据集上报告词错误率为 3.87%，用于说明转写质量足以支撑语义对照。

推理侧的计算是在 4 卡 H20 集群上调用 13 种先进模型，覆盖开源与闭源、通用与音频专用架构，统一用隐私画像提示、思维链提示与防御提示做对照，所有生成结果再用 GPT-4o-mini 作为自动裁判判断拒答与正确性。缺项需要明确指出：原文未报告各模型的采样温度、解码策略细节与重复次数对指标方差的影响，也未报告推理延迟与成本，因此不能从调用规模推定输出是确定性的，也不能把裁判自动化等同于人工复核。

复现时应把重点放在提示原文、裁判规则与数据划分上，而不是寻找训练超参数。

数据分布、对照条件与基线如何保证公平？

数据分布是公平性的第一环。论文称 8 个属性内部类别分布总体均衡，目的是让准确率不受极端类别偏斜主导。官方原图像素显示，年龄包含青年、中年等多个分组，口音包含东亚、英语、日耳曼、罗曼、斯拉夫、南亚、东南亚、阿拉伯等分组，教育包含本科、硕士、博士、高中等分组，收入包含低中高分组，社会阶层包含下中上分组，体重包含正常、肥胖、超重、偏轻分组，健康包含患病与健康分组，性别包含男女分组。

这种设计让随机猜测基线有明确含义：类别越多，随机基线越低，超出基线的部分越能说明问题。对照条件是第二环。带音频条件给原始声音，纯文本条件只给转写文本，随机基线是理论猜测准确率，三者模型取最优值比较时，若带音频明显高于随机而纯文本跌破随机，就支持泄露来自声纹而非语义。被测模型是第三环，论文选择 13 种代表性模型，兼顾不同架构与训练策略，避免只测一两个模型就下结论。

推断准确率 × 回答拒绝率： 推断准确率负责衡量猜对了多少，回答拒绝率负责衡量模型是否意识到不应回答；二者必须搭配是因为只看准确率会被拒答样本干扰，只看拒绝率又看不出能力上限，组合后才能把推理能力和安全对齐解耦开来评价。

指标方向需要再次强调：推断准确率越高越危险，拒绝率越高越安全，盲偏率用于解释危险是否来自幻觉。聚合对象是每个属性内的样本集合，不同属性的类别数不同，因此跨属性直接比较绝对准确率时要谨慎，正确做法是看相对随机基线的提升与拒答行为是否匹配。

主结果：哪些属性漏得最多？谁在拒绝？

先提出比较问题：在相同真实音频输入下，不同模型在 8 个属性上的推断准确率与拒绝率如何分布，是否出现高准确低拒绝的危险组合。公平条件是所有模型面对同一 HearSay 音频与同一类隐私追问，指标方向是准确率越高泄露越大、拒绝率越高防御越好。下表整理论文直接报告的关键数字，重点看性别的整体均值、复杂社会属性的峰值，以及闭源模型在性别与收入上防御不一致的反例。

表后解释需要同时说收益与代价。这里的收益是诊断意义上的发现：生理属性几乎全面失守，性别平均准确率达到 92.89%，说明声纹中的性别线索极易被利用；社会属性也并非安全，教育与收入峰值分别达到 58.25% 与 61.19%，社会阶层达到 46.79%，说明强模型能从表达风格中挖掘抽象关联。

代价与反例是防御的割裂：Gemini 在收入上拒绝率达到 61.12%，却在性别上准确率高达 94.12% 而拒绝率仅 1.55%，说明商业防护存在明显盲区。未胜出项是 GPT-4o-Audio 在体重上达到完全拒绝从而准确率近零，但它并未在所有属性上都保持这种强度，因此不能把单个属性的成功推广为整体安全。

盲偏率 × 声学证据： 盲偏率指给空音频时模型仍倾向某个类别的先验比例，声学证据指输入真实音频后分布发生的变化；搭配理由是用前者建立幻觉基线，用后者检验是否真正利用了声音，组合意义在于区分靠统计频率蒙对和靠听觉特征纠偏两种完全不同的行为。

下面的对照图进一步把语义因素排除掉，横轴是 8 个隐私属性，纵轴是推断准确率，蓝色带音频线系统性高于灰色随机基线，红色纯文本线则大幅跌落，甚至低于随机基线。

看图路径： 1. 先对照图例确认三条线分别代表带音频、随机猜测和纯文本转写；2. 再沿横轴逐个属性比较带音频是否系统性高于随机基线；3. 重点观察性别处标注的差值缺口与纯文本线跌落的位置

论文图 3。原论文 Figure 3：“Comparisons across three settings. (1) With-Audio setting: The highest IAR achieved among all evaluated models given raw audio input.”。

读图后应确认：带音频超出随机的部分在性别处形成约 46.4% 的缺口，这是论文用来论证声纹信息量的核心视觉证据；纯文本表现差说明仅靠讲座内容猜不准属性，从而反证声音本身携带了额外信号。但也要看到限制：该图取的是各条件下最优模型的包络，不是单个可部署模型的稳定收益，不能把它当作任一模型的期望准确率。

思维链是放大器还是干扰器？先验还是真听见了？

这一节承担两个教学任务：先看推理方式的消融，再看先验与证据的分离。比较问题是：在同一模型与同一属性上，增加思维链提示后准确率如何变化，变化方向是否与模型能力有关。下表整理论文报告的增减数字，注意百分点变化与相对倍数的区别，原文同时给出 22.1% 的提升与 4.5 倍的表述，应理解为同一现象的两种描述而非两个独立增益。

表后解释要给出双向结论。 capable 模型如 Qwen3-Omni-Flash 能利用分步声学描述把教育提升 7.0%，收入提升 10.8%，口音提升 22.1%，论文称这是 4.5 倍于基线的改进，支持越强推理越会挖掘深层声学关联的判断。反例是 Kimi-Audio 在收入上下降 13.7%，Qwen2.5-Omni 在体重上下降 23.5%，说明对直觉型属性强制推理可能引发过度思考或幻觉，反而偏离正确声学直觉。

未评测边界是更激进的越狱与对抗音频扰动，论文明确留作未来工作，因此不能把当前思维链结论推广到所有攻击强度。

思维链提示 × 提示防御： 思维链提示要求模型先描述音色再分步推理，提示防御要求模型注意隐私并避免推测；前者分工是激活更深的声学关联，后者分工是激活指令遵循中的安全约束，组合对比说明同一文本通道既能放大泄露也能部分抑制泄露，但对生理属性的抑制非常有限。

先验分离实验用空音频测盲偏率，横轴是平均盲偏率，纵轴是带音频后的推断分布率，越偏离对角线越说明声音纠正了先验。论文报告强模型落在纠偏区，能把极端先验拉回真值附近，而弱模型紧贴对角线，尤其在收入等缺乏直接声学签名的属性上几乎不动，说明其输出更多由训练频率驱动。下面的三面板图直观展示了这种分化。

看图路径： 1. 先确认三个子图分别对应三种模型，图例区分有无思维链；2. 再找浅蓝色高亮列，那是变化最显著的属性位置；3. 对比左右两端模型的升降方向，区分增强与过度思考两种效应

论文图 4。原论文 Figure 4：“Impact of CoT prompting on privacy inference accuracy across different models.”。

读图后应抓住：左中两图的高亮列是下降位置，右图高亮列是上升位置，同一干预在不同模型上方向相反；因此总体趋势不等于每组都成立，复现时必须按模型与属性分别报告，不能只报平均。

哪些结论还不能下？防御与数据的边界在哪里？

论文直接报告的是轻量文本防御的效果：对指令遵循较好的模型，增加安全提示后平均拒绝率明显上升，例如 MiniCPM-o-2.6 整体拒绝率达到 61.42% 左右，Kimi-Audio 达到 59.85% 左右，说明潜在安全机制可以被激活。但有限解释是这种防御并不彻底，性别等生理属性的拒绝率在所有模型上仍接近零，部分模型如 MERaLION 对通用防御提示响应很弱，说明仅靠提示难以根治已深度编码的生理推断。未验证的推测是编码器级去标识或对抗掩码会更有效，论文在局限中明确这是未做的工作，不能当作已证结论。

数据边界同样重要：口音覆盖虽广，但语言内容以英语为主，跨语言风险尚未评估；年龄粒度依赖外部标注的传记交叉，体重与健康依赖外部数据集补充，分布均衡是相对的而非绝对的。相关性不是因果：声音与收入、社会阶层的关联可能来自教育、职业、录音环境等混杂因素，论文证明的是模型能利用这些关联做出高于随机的推断，而不是证明声音决定了社会地位。缺失证据不是技术错误，但复现时不应承诺未测量的误判率、延迟或成本得到改善。

要复现这项评测，先做什么、记什么？

复现的第一步是重建数据与标签的可核查链条。按论文 4 阶段流程，先从公开讲座简介抽取属性并保留已证实标签，丢弃推断标签，再截取对应音频并做人工复核，对体重与健康用 NISP、VocalSound 等外部公开记录校准，对年龄用 VoxCeleb2 与 Age-Vox-Celeb 的传记交叉标签扩充多样性。使用这些外部数据时必须遵守各自许可，论文说明 NISP 为知识共享署名许可，VocalSound 为署名相同方式共享，年龄标签仅限学术非商业评估用途，且 HearSay 通过受控申请提供，不应视为可随意再分发的数据集。

第二步是固定评测条件：同一音频配同一隐私追问，分别跑直接回答、思维链、防御提示与纯文本转写对照，转写可用论文提到的 CosyVoice 2 并记录词错误率，裁判规则要复刻拒答与正确二分类的判定口径。第三步是记录聚合口径：按属性分别统计推断准确率、拒绝率与盲偏率，保留随机基线与空音频对照，不要把不同类别数的属性直接平均成一个总分。

关于可用性，证据状态显示本次未发现完成验证的公开代码与数据链接，因此不能写代码或数据已公开，只能写论文声明的仓库地址与受控获取方式，实际可达性以本次未能确认为准。何时值得尝试这个基准：当你需要评估新音频模型的隐私对齐，或研究推理能力与泄露关系时，它提供了现成的属性集与对照设计；还需补的验证包括多语言扩展、音频级防御与对抗压力测试。

收束：记住什么、警惕什么、下一步看什么？

记住三句话。第一，泄露是预训练的涌现属性，不是单个坏提示造成的，证据是带音频系统性超越随机而纯文本跌破随机，且强模型能用声音纠正先验。第二，安全机制严重不足，证据是生理属性拒绝率接近零，即使闭源模型也在不同属性上表现割裂，轻量提示能提升拒绝率但治不好性别等根深蒂固的推断。第三，能力越强风险越大，证据是思维链在强模型上把口音、教育与收入推高，而在弱模型上反而引发下降，说明推理是一把双刃剑。

警惕两种误解：一是把社会属性的高准确当作声音决定论，实际可能是多种社会与录音混杂的代理信号；二是把某次防御成功当作整体安全，实际需要按属性分别检验。下 1 次阅读可以沿着论文留白展开：编码器级去标识是否能在不破坏正常语音功能的前提下抑制画像，跨语言与跨场景下结论是否成立，以及在越狱与扰动攻击下拒绝率是否依然有效。这些问题的答案不在本文中，但本文给出了可核对的起点：真实音频、真实标签与能力安全解耦的 3 个指标。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

区域 4 · 查看论文原页

区域 5 · 查看论文原页

区域 6 · 查看论文原页

另有 8 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 acl-2026 论文汇总