📄 何时该听、何时该充耳不闻：语音大模型的个性化与刻板偏见拆分

英文题目：Personalization Without Stereotyping: Do Speech LLMs Know When to Turn a Deaf Ear?

标签：#语音属性识别 | #基准设计 | #基准测试 | #数据集 | #公平性

评分：6.9/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Kshitij Ambilduke：机构信息未在 arXiv HTML 中可靠披露
  • Caroline Brun：机构信息未在 arXiv HTML 中可靠披露
  • Thibaut Thonet：机构信息未在 arXiv HTML 中可靠披露
  • Vassilina Nikoulina：机构信息未在 arXiv HTML 中可靠披露
  • Marcely Zanon Boito：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

语音大语言模型能从声音听出年龄和性别线索，难题在于同一敏感性既可能支撑被明确要求时的体贴回答，也可能在无关任务中触发刻板印象。BASIS-Bench先做人口统计稳健性检验，输入内容相同而说话人不同的语音或文本，输出转写与问答答案以计算内容任务准确率和年龄性别分类准确率，得到模型能否听准人口统计线索的感知基础。感知结果进入刻板偏见轴，将Spoken StereoSet+人工过滤后的三选一续写输入模型，用理想化CAT分数ICAT衡量无关续写中刻板与反刻板选择的偏斜，ICAT从0到100越高越无偏。个性化轴接着检验明确要求适配时的选择，输入儿童或成人语音问答及带男性或女性标记的健康与产品选项，输出选项选择并以MCQA准确率计分，其正确答案只含与说话人一致的性别标记以减少与刻板的混淆。四种语音或文本交叉隐式或显式标记的评测模式对比文本骨干偏好、显式标签效应与语音声学交互，分离语音编码与文本骨干的影响。在语音隐式设置下，女性说话人的MCQA个性化准确率在BASIS-Health上平均为82.6，高于BASIS-Product上的66.4，而男性说话人在BASIS-Product与BASIS-Health上仅为51.1与31.9，语音线索未带来可靠的行为适配。结论适用于合成语音上的英语年龄与二元性别评测，不覆盖口音个性化与交叉偏见。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

语音助手多听到了什么，为什么会两难

刚接触语音和音频的研究生可以先把输入想成两层。第一层是说了什么文字，第二层是谁在说，声音里带有年龄、性别、口音等副语言线索。论文研究的语音大模型就是能同时吃进语音和文字指令、再输出文字回答的助手，例如听到一段提问录音后直接作答。这类模型比纯文本模型多了一只耳朵，能做更贴体的交互，比如对小孩讲得更通俗。但多听到的信息也可能被误用，比如同样的问题因为听起来像女性或老人就给出带刻板印象的续写或建议。

论文要解决的具体问题是把这两种看起来都与人口有关的反应分开评价：被明确要求时按人口调整算个性化，没有要求时因人口改变回答算刻板偏见。此前有些评测把未被要求的性别化回答也当成个性化加分，另一些评测把人口差异都当成偏见扣分，同一个行为在不同榜单下奖罚相反。作者因此提出 BASIS-Bench，中文可理解为面向语音大模型的偏见与个性化联合评测，目标是让读者能复述何时该用、何时该忽略人口线索，并知道结论依赖合成语音和有限人群划分。

已有偏见和个性化评测为什么会互相打架

语音系统的偏见研究此前多集中在转写和翻译等单一任务，比如不同口音的识别错误率是否有差距。文本大模型的偏见研究则常用 StereoSet 这类上下文联想测试和 BBQ 这类问答，看模型是否更偏好刻板选项。语音大模型出现后，有人把文本偏见题重新合成为语音，但刻板关联仍藏在文字里，没有真正考验声音带来的增量。另一条线是副语言个性化评测，例如 SD-Eval 看是否模仿口音，ParaS2S 看是否按性别调整回答，EchoMind 覆盖情绪、年龄、环境音等更宽的能力。

论文指出这些个性化榜单往往在用户没有明确要求时就奖励按人口改变回答，这与偏见榜单惩罚未被要求的人口相关行为直接冲突。也就是说输入都是语音加问题，目标都是看回答是否随说话人变化，但监督意图不同，一个当能力加分，一个当伤害扣分。论文的选择是借用文本领域 Kantharuban 等人的区分：只有明确要求个性化时，人口相关的调整才算合理。这样相关工作在相同输入和运行阶段下才能公平比较，而不是把类别定义差异说成谁更强。

论文把任务切成哪三个可测问题

论文把大问题拆成 3 个轴，每个轴有独立的输入、目标和必须保留的信息。第一个轴是人口稳健性，输入是不同性别、年龄、口音的语音加转写或问答题，目标是内容任务做对且能说出人口类别，必须保留的是语言内容本身，输出是转写文本、问答正确率和分类准确率。

第二个轴是刻板偏见，输入是同一句话由不同人口声音说出、配刻板与反刻板续写选项，目标是在人口与任务无关时不偏向刻板选项，必须保留的是选项内容相同、只有声音不同，输出是选择刻板或反刻板续写的比例。第 3 个轴是个性化，输入是语音提问加明确要求按声音中的人口调整的指令，目标是选中或生成符合该人群的回答，必须保留的是指令中明确要求使用人口信息，输出是是否选对人群标记或风格是否匹配。

3 个轴共用年龄和性别为主的人口维度，口音只出现在稳健性轴。理解这三切分就能理解后文为什么同一模型可能转写很稳、分类很准，但个性化很差、刻板选择却不少。

三轴加四种输入条件如何组成完整流程

整体流程可以沿着一个样本走一遍。先取一个问题文本，例如健康或产品问题，再配上不同人口的合成声音，得到语音版输入。同时保留纯文本版转写，用于对照。模型在 4 种条件下分别作答：语音隐式只听声音，语音显式既听声音又在文字里被告知人口标签，文本隐式只看转写，文本显式看转写加人口标签。3 种效应靠比较得出：文本隐式与文本显式之差反映主干效应，即底层语言模型自带的偏好。

语音与对应文本之差反映交互效应，即接入语音带来的偏移；语音隐式与语音显式之差反映从感知到使用的落差。评测时稳健性轴用词错误率和大模型判分，刻板轴用多选题联想测试，个性化轴对性别用多选题、对年龄用开放生成加判分。下面这张总览图把轴、问题句、任务和数据集放在一页，是理解分工最快的位置。

这张总览图把论文的三轴逻辑和数据来源画在同一纵向框架里，读时要注意左侧效应括号与右侧轴的对应关系。

看图路径： 1. 先看左侧纵向括号如何把声学效应与主干和交互效应分到不同轴；2. 再看三个编号框各自的问题句：能否处理感知、能否忽略、能否按要求使用；3. 最后对照每个轴下方列出的数据集名称和任务形式

原论文 Figure 1：Overview of BASIS-Bench: evaluation axes, tasks, demographic dimensions, and datasets.

论文图 1。原论文 Figure 1:：“Overview of BASIS-Bench: evaluation axes, tasks, demographic dimensions, and datasets.”。

图中有 3 个编号框。第一个框问模型能否可靠处理语音并感知人口线索，对应口音年龄性别的识别与问答转写任务，数据包括 Fair-Speech、LibriSQA 和 SD-QA 等。第二个框问能否在无关时忽略人口线索，对应年龄性别的多选联想测试，数据是过滤后的 Spoken StereoSet+。第 3 个框问能否在明确要求时使用人口线索，对应年龄开放问答 ELIP-Pair 和性别多选问答 BASIS-Health 与 BASIS-Product。左侧把声学效应归于第一轴，把主干与交互效应归于后两轴，这正是后文 4 条件对照的图示基础。

稳健性轴如何测听清和听出

稳健性轴包含两类能力。内容任务包括自动语音识别和语音问答，识别用词错误率经 Whisper 归一化后取 100 减错误率作为准确率，问答用大模型判对错再按人口取平均，最后把两类分数平均为内容分数。人口分类则把年龄和性别写进提示，让模型在给定候选词中二选一，用精确匹配计分。数据上识别和问答覆盖口音、性别、年龄，分类则复用后两轴的数据以便直接对照。

举例来说，同一个健康问题由男声和女声分别读出，内容任务要求答案不受声音影响都答对，分类任务则要求能说出是男声还是女声。这个轴的代价是需要多口音多年龄的语音覆盖，论文用 Fair-Speech、SD-QA、LibriSQA 和 Spoken StereoSet 的年龄切分补齐，口音只到此为止，不进入偏见和个性化轴。

人口稳健性 × 刻板偏见： 人口稳健性指模型能否稳定转写和答题并感知年龄性别，刻板偏见指在任务不需要人口信息时仍因语音线索改变回答；前者是能否听清听出，后者是是否在不该用时乱用，两者搭配才能判断表面公平是真无偏还是没听出来。

刻板轴如何定义有害联想并过滤原题

刻板偏见在这里不是泛指任何人口差异，而是指用社会建构的特征、能力、偏好或角色对个人做无根据推断，例如认为年长者不懂技术、女性更适合照顾他人，生物学事实和法律区分被排除在外。测量沿用 StereoSet 的上下文联想测试，给出刻板、反刻板和无关 3 个续写，统计前两者的选择比例，并用理想化的 ICAT 分数综合相关性和偏斜，ICAT 越高表示越平衡，100 为完全平衡。

论文对 Spoken StereoSet 做了人工过滤，去掉人口纠缠、上下文不通、选项难区分、涉及违法暴力、男女选项不对称、儿童题更像合理照顾而非伤害、以及骚扰和性别歧视等条目。年龄只保留成年男声与老年男声的对比，性别去掉涉及儿童或老人的上下文，最终年龄剩 67 组上下文约 246 条样本，性别剩 242 组约 1434 条样本。评测时把选项顺序全排列取平均以减小位置偏好，无关选项极少因此略去。这个过滤过程的代价是样本变小且标注者都是作者，视角多样性受限。

个性化轴为什么只在明确要求下才算分

个性化的难点是很多按年龄性别的调整本身就可能是刻板印象。论文的做法是只在指令明确要求时才考核。年龄个性化聚焦儿童与成人的发育差异，儿童回答要求友好幽默、面向非专家，成人回答要求正式、面向专家，不单独设老人个性化类别以免预设老人能力不足。性别个性化则收敛为带性别标记的二选一，健康问题答案依赖常识性性别差异，产品问题是除 Men 与 Women 标记外完全相同的选项，这样模型必须用声音中的性别线索才能选对，而不需要依赖开放联想。

数据上年龄用 ELIP-Pair 共 521 个问题，每个问题配儿童和成人两种回答，再合成约 3697 条音频；性别用 BASIS-Health 和 BASIS-Product，分别约 1268 和 803 条样本。年龄用大模型判风格属于儿童还是成人，性别用多选题准确率并全排列选项。举例来说，同样问补铁，模型被明确要求按声音调整时，应为男声选男性版本、为女声选女性版本；若没有这句明确要求而自行性别化，则在刻板轴被扣分。

个性化 × 显式要求： 个性化指按说话人特点调整回答，显式要求指用户在指令中明确让模型按年龄或性别调整；论文把只有显式要求下的适应算作合理个性化，未被要求时的按人口改变则归为刻板偏见，从而让同一敏感性有不同评判标准。

本研究没有训练新模型，数据是如何构造的

需要先说清本研究没有训练新的语音大模型，评测的 8 个模型是现成的，包括 AF-3、AF-Next、DeSTA2.5、MOSS-Audio、Qwen2.5-Omni、Qwen3-Omni、Step-Audio2 和 Voxtral。论文实际的计算和构造工作在数据侧。ELIP-Pair 复刻 ELIP 流程，先用模型给 ELI5 问题打开放性分数并人工筛选，再去重、联合生成儿童成人两种风格回答。语音用语音合成与声音克隆生成，儿童、成人、老人声音来自合成与 EchoMind 等合成样本的克隆，论文强调只克隆合成声音。质量控制分两步，先用语音识别转写比对，字符错误率或词错误率非零即丢弃，再用年龄性别分类器找离群分布并人工听辨剔除。

健康和产品数据先用 Claude 生成中性问题，再用 GPT 系列做问题中性、跨性别合理、回答依赖性别以及回答含显式性别标记和事实正确的筛选，最后同样合成并用识别过滤。推理时温度固定为零，年龄个性化和问答判分用指定大模型版本。也就是说可复现的是构造、过滤和调用流程，而非模型权重训练。

Spoken StereoSet+ × ELIP-Pair × BASIS-Health × BASIS-Product： Spoken StereoSet+ 负责测无关任务中的刻板联想，ELIP-Pair 负责测儿童与成人回答风格的年龄个性化，BASIS-Health 和 BASIS-Product 负责把性别个性化收敛为带性别标记的二选一；四者分工让稳健、刻板、个性化各有独立材料，避免用同一材料既奖又罚。

比较条件、指标方向和聚合方式是什么

实验条件要按 4 种模式理解。语音隐式是目标设置，语音显式绕过从声音推断人口，文本隐式去掉声音和人口信息，文本显式只看主干遇到人口标签时的反应。指标方向是越高越好贯穿全文，但含义不同：稳健性是准确率越高越好，刻板轴是 ICAT 越高越平衡越好，个性化是选对人群的准确率越高越好。聚合时刻板轴按人口分别平均 ICAT，避免男女或老少相反偏向互相抵消成看似无偏；个性化性别按人口分别报告准确率，年龄按儿童和成人分别报告。

位置偏好的控制是对多选题全排列取平均。模型推理由 vLLM、Transformers 和 SGLang 等不同后端在单卡上完成，这属于工程实现，不改变比较条件。理解这些才能看懂后文为什么显式标签下个性化上升的同时 ICAT 下降，以及为什么语音隐式的表面平衡可能是没用上人口线索而非真公平。

模型能听出人口吗，内容任务稳吗

稳健性结果显示内容任务总体跨人群差异不大，DeSTA2.5 在口音上退化相对明显。性别分类普遍较易，多数模型在女性和男性上准确率较高，但 Voxtral 对男声、Step-Audio2 在健康产品数据上对女声有数据集依赖的波动。年龄分类更难，老年和儿童是难点，不同模型在青年、老年、儿童上的短板不同，Qwen3-Omni 相对 Qwen2.5-Omni 在老年和儿童上有明显改善。这些是后文解读的关键基线：如果某模型老年分类很差，那么它在老年刻板题上看似平衡可能只是没听出老人；如果分类很好却仍不个性化，则问题在从感知到使用的转换。下面这张六面板结果图把稳健、刻板与个性化放在同一坐标系，是全文证据最集中的地方。

这张六面板散点图左侧为稳健性、中间为目标设置下的刻板与个性化权衡、右侧为文本对照，读时先分清上下两行年龄与性别，再看空心与实心点的移动。

看图路径： 1. 先看左列横轴内容任务准确率与纵轴分类准确率的散点分布；2. 再看中列横轴个性化准确率与纵轴 ICAT 的权衡曲线与空心到实心点的移动；3. 比较上下两行年龄与性别在显式标签下偏移方向是否一致

原论文 Figure 2：BASIS-Bench results across three axes and four evaluation modes.

论文图 2。原论文 Figure 2:：“BASIS-Bench results across three axes and four evaluation modes.”。

左列横轴是内容任务准确率，纵轴是分类准确率，可以看到内容分数多集中在高位而年龄分类散开，性别分类除个别模型外也较高。中列横轴是个性化准确率，纵轴是 ICAT，年龄行呈现随个性化上升而 ICAT 下降的趋势，性别行则在低个性化区形成弯曲的帕累托前沿。右列把同样关系换成文本隐式与显式，可以看到显式标签把点向右拉的同时往往向下拉，这与正文显式提升个性化但放大刻板的结论一致。图中颜色代表 8 个模型，空心与实心区分隐式与显式，读数时不要把颜色相同误认为条件相同。

显式标签让刻板选择增加多少

刻板轴的核心比较是隐式到显式的变化。论文报告从语音隐式到语音显式，刻板选择平均对女性和男性分别上升，幅度小于老年和青年，且老年增幅最大，Qwen3-Omni 增幅最大。文本侧同样是显式人口标签大幅增加刻板选择，尤其对女性和老年，即使提示并未要求按人口条件作答。这说明很多刻板行为在去掉声音、只给转写加标签时依然存在，指向主干自带联想。语音相对文本在显式下通常略降低刻板，但年龄隐式下语音比文本对老年更刻板，说明交互效应小而不稳定。下表把隐式到显式的平均增幅整理为一行，便于复述谁涨得多。

下表比较语音隐式到语音显式时刻板选择率的平均上升幅度，指标为百分点变化，数值越大表示显式标签放大的刻板倾向越强。

组别女性变化男性变化老年变化青年变化
刻板选择增幅4.73.420.19.2

老年增幅远大于性别，青年也有接近 2 位数的增幅，Qwen3-Omni 的老年和青年增幅分别达到 32.2 和 21.0，说明年龄比性别更易被显式标签激活。但这是跨模型平均与个例最大值，不能推广为每个模型都如此，AF-3 在老年上几乎不涨，而 Voxtral 从低感知到显式后大涨，表明感知能力调节了涨幅。合成声音和过滤后样本也限制了外推，真实老年人声音的变异更大。

下表比较相同文本与语音条件下的偏移方向，正值表示语音比文本更刻板，负值表示语音比文本更不刻板。

条件老年偏移青年偏移女性偏移男性偏移
语音相对文本+4-3.2+2.1-1.4

年龄的交互效应更一致，语音隐式让老年更刻板、青年更不刻板，而性别没有一致方向，5 个模型在 1 个方向、另几个在反方向。这支持论文判断刻板主要继承自主干，语音只是小幅扰动。代价是这种平均偏移掩盖了个别模型如 MOSS-Audio 和 Qwen3-Omni 在老年的大偏移，读数时应回到按模型拆分的附表。

四种输入对照如何分离听不出与不会用

4 条件对照是论文的方法消融。文本隐式显示主干在无人口信息时对女性个性化有偏好，健康数据平均偏好更强，产品数据较弱，而按设计应接近随机。文本显式则性别个性化接近满分，说明给定标签时选性别标记并不难。语音隐式性别个性化高度不对称，女性显著高于男性，且分布贴近文本隐式，说明模型更多复现主干偏好而非真正用声音线索。

年龄则出现向儿童风格的整体漂移，相对文本隐式儿童上升、成人下降，论文推测这可能是语音训练偏好口语化回答，而非真正随说话人年龄调整。语音显式下性别个性化大幅回升，年龄儿童接近满分而成人仍难，文本显式同样成人难，说明成人风格本身在主干中就难生成。下表把年龄漂移和性别不对称的关键均值放在一起。

下表整理语音相对文本的年龄漂移以及语音隐式下性别个性化的不对称，准确率为百分比，均值越高表示该人群被选中的比例越高。

方向儿童平均变化成人平均变化健康女性均值产品女性均值
语音隐式表现+61.1-47.282.666.4

儿童漂移幅度大到足以淹没真实年龄信号，即使能分清成人与儿童的模型也偏向儿童风格，而性别侧女性在健康题上更高、男性在两类数据上都低，男性在健康上仅 31.9、在产品上 51.1 左右。这种不对称在文本隐式已存在，因此不能把语音隐式的女性高分读成听出了女性。限制是健康题的性别区分本质是生理性别，与从声音感知的性别不等价，产品题则是人为的标记任务，不能代表开放个性化。

声学效应 × 主干效应 × 交互效应： 声学效应指语音编码本身对不同口音和人群的识别差异，主干效应指底层文本大模型自带的刻板联想和个性化能力，交互效应指接入语音后相对纯文本行为的偏移；三者分工是为了把听不清、底座本就有偏、语音放大或缩小偏见这三种来源分开。

下表用两个能分清老年的模型说明高感知不等于低刻板，分类与刻板选择均为百分比，增幅为百分点。

模型老年分类准确率老年语音隐式刻板率显式增幅老年显式增幅青年
MOSS-Audio96.360.420.19.2
Qwen3-Omni88.153.132.221.0

两者老年分类都好，隐式下刻板率接近平衡，但显式后成为最偏的模型，Qwen3-Omni 增幅最大。反例是 AF-3 老年分类接近零，隐式平衡且显式仍平衡，而 Voxtral 老年分类差但显式后大偏，说明表面平衡有两种成因：真不用与没听出。未胜出项是 AF-Next 在老年隐式略有反向，DeSTA2.5 的位置偏好导致无关选项较高，这些都提醒 ICAT 平均数不能单独读。

语音隐式 × 语音显式 × 文本隐式 × 文本显式： 语音隐式是只给语音的目标设置，语音显式是语音外再用文字给出人口标签，文本隐式是只给转写文本，文本显式是文本加人口标签；四者组合用是否绕过从声音推断人口的步骤，来区分感知失败和使用不当，并分离语音带来的增量。

这些结论在什么条件下才成立

论文的适用条件需要逐项记住。人口只用二元性别和儿童成人老人划分，不能代表性别多样性和组内差异，健康数据的生理性别与感知性别被作者明确区分，老年个性化因易引入能力预设而未设任务。声音全部或主要为合成与克隆，声学线索与真实人声有差距，年龄切分样本不完全平行，部分缺失用克隆补齐。标注由作者完成，虽保证标准一致但视角单一，儿童题的合理照顾与有害刻板的边界依赖作者定义。

个性化数据用大模型生成再过滤，儿童友好与成人专业的风格对比是粗粒度的，不能代表全面年龄适配。8 个模型的比较只在给定提示和温度零下成立，换提示可能改变分类与选择的绝对值。来源校验方面，作者资源页当前可用，但多个模型权重链接本次未能确认可达，不能据此说作者未开源，这只是链接可达性记录，不是技术缺陷。

要复现第一步该做什么，需要哪些开销

复现第一步不是训练，而是按附录提示词把 4 种输入跑通。先取同一问题的语音和转写文本，固定温度零，用统一的分类、多选和个性化提示分别测语音隐式、语音显式、文本隐式、文本显式，并对多选题做全排列取平均。数据侧若要重走构造，需复刻 ELIP 筛选、联合生成两种风格回答、合成多说话人语音，再做识别转写过滤和分类器离群剔除加人工听辨。硬件上论文用单张 A100 跑本地推理，判分调用指定大模型版本，成本主要在合成、转写和多次排列推理，而非梯度训练。

关键超参数和信息条件是温度零、归一化方式、全排列、判分模型版本和显式标签的措辞，缺其中之一绝对值就不可比。代码与提示词作者表示将以 Apache-2.0 发布，数据集各有不同许可，Fair-Speech 等原始数据需到原地址获取，不能直接再分发。

什么时候值得尝试，还缺哪项验证

当你的任务需要语音助手在被明确要求时按年龄调整深浅，或按性别标记二选一，且同时担心无要求时的人口扰动，这个三轴加 4 条件的框架值得借鉴，因为它能把听不出和不会用分开。但若你的场景是真实老年人自然语音、开放式医疗建议或多轮对话，当前合成数据和单轮二选一结论不能直接套用。还缺的验证包括真实人声上的重复、口音与性别年龄交叉的分析、不同提示措辞的稳健性，以及语音显式降低刻板的机制是否稳定。

最终判断是模型不是可靠的守门人：给标签就能个性化，却也在无关时更容易刻板；只给声音时个性化差，表面平衡可能是充耳不闻。进步方向不是单纯提高分类准确率，而是让模型学会何时该用、何时该把人口信息放在一边。

📎 论文与评分元数据

排名：前50% | 文档类型：数据集与基准 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1

  • 评分模型：muse-spark-1.3-contributor

  • 评分请求协议：openai_responses

← 返回 2026-10-15 语音/音乐/音频论文速递