话语相同而帮助不同：语音大模型中的口音与性别交织差距

英文题目：The Voice Behind the Words: Quantifying Intersectional Bias in SpeechLLMs

会议身份：conference:interspeech:2026:conference-paper-id:bokkahallisatish26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#众包评测 #模型评估 #公平性 #语音 #语音对话系统

评分：6.6/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0.5/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Shree Harsha Bokkahalli Satish：机构信息未能从会议 PDF 纯文本可靠映射
• Christoph Minixhofer：机构信息未能从会议 PDF 纯文本可靠映射
• Maria Teleki：机构信息未能从会议 PDF 纯文本可靠映射
• James Caverlee：机构信息未能从会议 PDF 纯文本可靠映射
• Ondřej Klejch：机构信息未能从会议 PDF 纯文本可靠映射
• Peter Bell：机构信息未能从会议 PDF 纯文本可靠映射
• Gustav Eje Henter：机构信息未能从会议 PDF 纯文本可靠映射
• Éva Székely：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为相同文本问题但带有不同口音与感知性别的语音，输出为语音大模型（Speech Large Language Model，SpeechLLM）的单轮文本回答，难点在于开放式回答质量差异隐蔽且易与识别错误混淆。方法链分为三步：先用语音克隆合成语言内容恒定而声音身份系统变化的提示语音，再将提示输入三个端到端语音模型生成回答并做转写与自然度核查以排除可懂度混杂，最后用大模型裁判（LLM-as-a-judge）点评与成对比较加最优最差缩放（Best-Worst Scaling，BWS）排序并以人类 BWS 验证趋势。相对多项选择代理偏差测试，该设计直接度量真实交互中的帮助性与假定能力差异，并揭示礼貌外衣下的实质稀释。在口音识别任务下，整体模型的准确率为19.4%，高于随机猜测基线的准确率16.7%。结论仅适用于所测6种英语口音与二元性别呈现及合成语音条件，无法外推至自然对话、自发口音变异或更多身份维度。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要解决的偏置问题是什么？

本文的输入是英语口语提问音频，输出是语音大模型直接生成的文本回答。目标不是测语音识别准不准，而是测当 2 名用户问出字面完全相同的问题时，模型给出的建议是否有用程度会随说话人口音与性别呈现而系统变化。作者强调端到端模型会保留韵律与说话人身份等副语言线索，而传统级联管线先转写再回答，相当于把这些线索洗掉。

端到端语音大模型 × 级联管线： 端到端语音大模型负责直接从波形或语音表征理解说话内容与副语言线索并生成回答，级联管线负责先用语音识别转写再把纯文本交给语言模型；前者保留口音与性别呈现，后者主动丢弃它们，搭配比较才能说明偏置是新引入的身份通路而非识别错误延续。

为让研究生能复述，记住这条单样本链条：同一句求职或生活咨询问题，先被合成出东欧口音女性与美国主流口音男性等不同声音版本。再分别送入同一个语音大模型，得到两份文本回答，最后由不知情的评测者比较哪份更具体可操作。如果文本相同而声音不同就能稳定拉开帮助性差距，就说明偏置发生在理解与生成阶段。

论文把这种差距称为帮助性差距，并用礼貌一致但有用性不一致来刻画其隐蔽性。本解读只使用原文证据，不引入外部模型排名或社会评价。资源状态方面，本次未发现来源绑定且完成安全验证的资源，因此不得声称代码模型或数据已公开。本节为后续方法建立学习依赖：先理解为何要固定文本、变化声音，再看如何构造可比的交互集合。

与选择题偏置测试和礼貌检测有何不同？

已有语音偏置工作多用选择题作答正确率作为代理指标，优点是判分客观，缺点是作者引证其分数不稳定且不能代表真实开放式交互表现。另一条路线是检测显性无礼或拒绝，但本文发现模型在各口音下都保持礼貌，因此只看无礼会漏掉真正的差距。本文选择直接评估开放式建议的有用性，并引入比较式人类评估来放大细微差异。

交叉性 × 口音天花板： 交叉性负责指出性别与口音等范畴会锁定成统一的不平等结构而非简单相加，口音天花板负责描述非母语口音女性在能力与可信度上被双重折价；两者搭配把本文假设落到可检验的帮助性差距，即特定交织组是否得到更薄更不可操作的建议。

同输入同目标的对照是：同样以语音为输入、同样关心人口统计差异，但前人用答题正确率衡量能力，本文用帮助性、假定能力、正式度与居高临下感 4 个维度衡量回答质量。同运行阶段的对照是：同样在生成回答后评估，但传统自动指标看词重叠，本文用机器评测员加人类最优最差量表看实用价值。类别差异不能当作同条件胜负，本文也不声称推翻选择题测试。

初学者易误解交叉性为把两个单因素差距相加，本文的用法是检验口音效应是否随性别变化。例如东欧口音内部的性别差是否远大于其他口音，这需要同时报告分组均值与交互模式。只报告口音主效应或性别主效应是不够的，还必须展示分组之间的差异形态。

要检验的假设与最容易混淆的解释是什么？

核心假设是输出质量随说话人身份显著变化，且交织效应大于任一单因素。操作化为 3 个可检验问题：机器打分是否显示东欧口音偏低，两两比较是否稳定复现该方向，人类比较是否确认方向并给出显著性。每个问题都要求控制文本、模型、问题与性别呈现等条件，只让被比较的口音不同。

最容易混淆的解释有 3 个，第一是某些口音根本没被听懂，因此回答差是识别失败而非偏置。第二是合成语音本身质量不均，某些口音更不自然导致模型敷衍。第三是评测者知道人口信息后产生期望效应，本文用转写词错误率、自然度预测与盲评分别排查这 3 条路径。

举例仅为教学：比如同样问如何准备面试，东欧口音女性得到的可能是多休息之类的泛泛鼓励。而英国南部口音女性得到的是分步骤的行动清单，例子不代表原文某条真实回答。真实的失败模式要以后文低分原因统计为准，教学例子不能当作证据引用。

从声音到结论的全流程如何串起来？

全流程分 4 段，第一段构造受控语音：从 8 个日常交互场景中取出 40 个问题，再加 40 个带迟疑的版本。用 6 种口音各选男女各 1 名说话人的真实片段作为音色参考，调用语音克隆合成出文本相同但口音与性别呈现不同的提示音频。第二段生成回答：把每条音频分别送入 3 个语音大模型，得到 2880 次单轮交互回答。

第三段是机器评估：用同一评测大模型做逐点打分、两两比较与六选最优最差。第 4 段是人类验证：在子集上做四选最优最差并拟合排序模型，这样安排的理由是先保可比性再谈差距。文本恒定保证输入语义一致，隐藏元信息保证评测只看回答文本，多范式评估保证既有绝对分数又有相对排序。

研究生复述时应能画出分支：音频条件分叉进入不同模型，回答汇聚到盲评环节，最后输出分数、胜率与排序价值 3 类证据。需要保留的信息条件包括被评模型名称、评测模型名称、逐点温度设为零以保证可重复。两两比较交换顺序并把不一致记为平局，这些条件决定了结果的可比边界。

受控语音与三种机器评估如何分工？

构造的核心动作是参考驱动的语音克隆，研究者从 6 类口音里为每类挑男女各一个真实话语作为音色与口音条件。再用语音克隆把 40 个问题文本逐一合成为 6 乘 2 共 12 种声音版本，另加带迟疑的四十问扩展。最终每个问题都有覆盖全部口音与性别呈现的平行音频，语言内容被钳制，变化只发生在声音身份一侧。

语音克隆 × 语言内容恒定： 语音克隆负责用同一句话生成不同口音与性别呈现的音频，语言内容恒定负责保证问题文本完全相同；前者提供可变的身份载体，后者切断文本差异解释，组合后若回答质量仍系统变化才能归因于声音身份一侧。

逐点打分是让评测模型只看问题与回答文本，在一到五分上独立评价帮助性、假定能力、正式度与居高临下感。其中帮助性指建议的详尽与可操作性，居高临下感分数越高表示越尊重，做法是概念引导的思维链先写推理再输出结构化分数。两两比较是把同一模型同性别同问题下 6 种口音的回答两两配对，每对交换顺序各判 1 次。

机器评测员 × 最优最差量表： 机器评测员负责用大模型按帮助性等维度快速打分与两两比较，最优最差量表负责让人或机器在每组回答中只选最好与最差以排出偏好序；前者解决开放式回答难以用词重叠度衡量的问题，后者用比较降低量表压缩，组合后既能大规模筛查又能用人类验证确认方向与幅度。

最优最差量表是把同一场景模型性别问题下的 6 个口音回答同时呈现并随机标注，由评测者选出最好与最差。各维度形成最好大于中间大于最差的偏序，再用排序模型估计每个口音的价值参数。人类版本为降低认知负荷改为四选一，每人做 25 轮，共 420 个偏序。3 种范式互相补位：逐点看绝对水平，两两看方向稳定性，排序模型看统计显著性。

本研究训练了什么，没有训练什么？

本研究没有训练任何语音大模型，也没有微调评测模型或排序模型。3 个被评模型与评测模型均为既有模型直接调用，排序环节的模型只是对已收集的最优最差选择做参数估计。因此不存在梯度路径、参数冻结与更新、学习率或早停等训练要素，原文也未报告这些内容。

转写词错误率 × 帮助性： 转写词错误率负责检验模型是否根本没有听懂某口音，帮助性负责检验听懂之后建议是否详尽可操作；前者是混杂因素排查，后者是真正的偏置目标，搭配才能区分是听不清导致的差回答还是听清后仍给更敷衍的回答。

真实的计算过程是推理与统计，推理侧包括语音合成、语音大模型生成回答、评测大模型打分与比较。统计侧包括对逐点分数做非参数检验，对两两胜负做二项检验，对排序选择拟合排序模型并报告价值与标准误。人类环节还包括招募 18 名英语熟练被试、设置注意力检查并剔除未完成者。

缺项需明确指出：原文未报告合成与推理的硬件耗时、每条调用的延迟与成本。也未报告评测模型的版本冻结细节之外的不确定性分解，这些缺失不是技术错误。但意味着不能从本文承诺部署成本或实时性结论，复现时应把重点放在调用一致性与随机化上。

预检查如何排除听不懂与合成不均？

在进入质量比较前，作者先做三项预检查，第一是显式身份识别：在 180 条均衡音频上让 3 个模型猜口音与性别。第二是转写检查：让模型转写输入并与真值比词错误率，检验是否某些口音根本识别更差。第三是合成质量检查：用自然度预测与外部识别核验跨条件可比性，只有当转写与自然度无系统差异时才进入后文。

该预检查的公平条件值得学习：识别测试用每口音 30 条且男女均衡，转写用同一真值文本。评测隐藏口音性别与迟疑元信息，这种设计把显式偏见、听觉混杂与评估期望 3 条干扰路径分别堵住。若复现时改用不同的转写模型或自然度模型，应同时报告两者。下表整理了显式识别准确率的比较问题、公平条件与指标方向，准确率越高表示显式识别能力越强。

上表显示口音识别整体贴近随机而性别识别差异极大，低能力模型几乎完全默认美国主流。表后需要强调的主要收益是转写与自然度无系统差异，支持后文差距不在听懂层面。具体代价是显式识别差而隐式差距仍存在，说明代理任务不能代替真实评估。未胜出项是中文、东欧与拉美口音从未被正确识别，印度与英南也仅偶尔被识别。

看图路径： 1. 先看横轴准确率与两条虚线代表的随机水平位置；2. 再对比同一模型下黄色口音条与蓝色性别条的长度差异；3. 最后自上而下比较三个模型性别识别从 50% 到 98% 的爬升

论文图 1。原论文 Figure 1：“Per-model accent and gender identification accuracy; dashed lines = chance level.”。

上图为分模型的口音与性别反向识别准确率，横轴是准确率百分比，纵轴是 3 个被评模型。黄色为口音，蓝色为性别呈现，两条虚线为随机水平，可见口音识别整体贴近随机。性别识别随模型增强而爬升，但即使性别可被高精度识别，口音仍大多被默认判为美国主流英语。这种显式识别差而隐式差距仍存在的反差，正是后文强调代理任务不能代替真实评估的依据。

逐点分数显示了什么，又为何区分力不足？

逐点帮助性在合并分析中未显示口音主效应，非参数检验不显著，其他 3 维度同样不显著。分模型看则出现更大离散：其中一个模型内部最高与最低口音相差约 0.59 分，另一模型中等离散。最高质量模型整体分数最高但仍有约 0.14 分的口音极差，作者指出粗粒度与分数堆积限制了分辨力。

按口音与性别拆分后，东欧女性均值最低，约为 3.15 分，比最高的英国南部女性低约 0.47 分。且东欧内部性别差明显大于其他口音，美国与英国南部则出现方向反转，女性反而更高。这种交互模式在 3 个模型中方向一致，即使最高质量模型也未消除。下表整理了帮助性差距的比较问题、公平条件与指标方向，分数越高表示越有帮助。

上表的主要收益是方向在逐点均值与两两胜率上一致，东欧女性均为最低，具体代价是逐点合并检验不显著。若只看逐点会得出无差异的错误结论，未胜出项是正式度与居高临下感未显示系统变化。尊重维度大量平局说明差距不在礼貌，而在建议的具体性与可操作性。

看图路径： 1. 先看左侧热力表三列模型的整体分数带与东欧行低点；2. 再看右侧按性别拆分后东欧女性圆点明显左偏的位置；3. 最后对比误差线长度判断差距是否超出抽样抖动

论文图 2。原论文 Figure 2：“Mean helpfulness scores (1–5 Likert scale).”。

左图为按口音与模型划分的平均帮助性热力表，可见高质量模型整列偏高而另一模型整列偏低。东欧行在前两列偏低，右图为跨模型平均后按口音与性别拆分的点图。东欧女性圆点明显落在最左并标注 3.15，误差线也与其他组错开，读图时不要把颜色深浅当作显著性。显著性要以后文排序模型的检验为准，该图支持交织假设的方向，但显著性仍需人类验证补强。

比较式评估与人类验证补上了哪块证据？

两两比较给出了更清晰的方向，东欧口音总体胜率最低，对其他每个口音都处于下风。与之相对，尊重维度的比较多数为平局，说明模型维持了表面礼貌。差距体现在建议是否有用而非是否无礼，机器最优最差的价值参数则接近均匀。东欧与中文被选为最差次数最多，但在该模型下与美国主流参照的差异不显著。

人类最优最差改变了显著性结论，相对美国主流英语，东欧与中文的价值显著更低。排序为印度英语与美国主流居前，东欧居末，在重叠评估中对最差的一致率约 60%。对最好的一致率约 50%，均远高于四选一的随机水平，这支持机器方向有效但灵敏度不足。下表整理了人类验证的比较问题、公平条件与指标方向，价值越高表示越受偏好。

上表的主要收益是人类提供了机器未能给出的显著性，东欧与中文均显著低于参照。具体代价是人类样本仅 18 人且为子集评估，推广到新人权与新场景需谨慎。未胜出项是机器排序本身不显著，不能单独用机器排序宣称无偏置。必须把机器方向与人类显著性联合报告，才能完整呈现证据强度。

看图路径： 1. 先看左侧各维度最好与最差选择比例是否集中在帮助性；2. 再看右侧两两胜率矩阵中东欧行整行偏深的低胜率格；3. 最后注意对角线留空与平局导致无人超过 50% 的含义

论文图 3。原论文 Figure 3：“Left: Proportion of judge LLM BWS selections by accent across four evaluation dimensions.”。

左图为机器最优最差在 4 个维度上最好与最差选择比例，可见帮助性与假定能力的分离大于正式度。右图为两两帮助性胜率矩阵，东欧行整行偏低且多个格子落到 30% 左右。而无人超过 50% 是因为平局的存在，读图时先核对左图横轴是试验比例。右图格内数字是胜率百分比，对角线留空不比较，该图共同说明偏置是帮助性不足而非显性无礼。

哪些边界会削弱结论的推广？

第一个边界是音色覆盖不足，每种口音性别只用有限参考声音合成。口音、性别呈现、说话人身份与合成伪影无法完全解耦，因此不能断言差距完全来自抽象的口音范畴。也可能是特定基音色的影响，换更多基音色或换合成器后幅度可能变化。

第二个边界是人类样本小，18 人、420 轮在统计上足以显示方向。但仍局限于英语熟练被试与子集场景，换人群或换场景幅度可能变化。第 3 个边界是模型与时间边界，仅评估 3 个特定模型与特定评测模型版本。

相关性不等于因果，转写无差异与礼貌一致支持差距不在听懂与态度。但并未证明模型内部哪一层表征导致敷衍，低分回答更短、更泛泛是事后描述。在没有干预实验前，应表述为报告与支持，而非已证实某模块必然引起偏置。测量粒度也是局限，逐点量表区分力弱，机器排序幅度保守。

要复现这套交叉评估，先做什么？

先复现受控语音与交互矩阵，按原文保留八场景、四十问加四十迟疑问。六口音乘男女呈现的平行结构，记录合成器名称与参考音频选择规则。并用独立的自然度与转写检查确认跨条件可比，若换合成器或增加基音色，应作为显式变量报告。

再复现盲评与统计，评测时只给问题与回答文本，隐藏口音性别与模型信息。逐点用零温度输出结构化分数，两两交换顺序并把不一致记平局，排序用随机标注同时呈现。统计上分别跑非参数检验、二项检验与排序模型，避免把自动分数当人类分数。

关于可用性，原文自述在项目网站提供数据集与评估提示，但本次未获得可验证的资源绑定。因此本解读不声称当前可用或已公开，需要读者自行按文中地址核对可达性。复现还需补的验证包括更多基音色、更多被试人群与纵向模型版本对比，这些正是原文明确留白的推广边界。

何时值得尝试这套方法，还需补哪项验证？

当你的语音系统从级联转向端到端，或当用户开始用语音问开放式建议而非选择题时。值得尝试这套文本恒定加多范式比较的方法，它的价值在于把听清与否、有用与否、礼貌与否分开测量。避免被高转写准确率或表面礼貌误导，若只关心识别错误率或显性有害内容，这套方法的增量有限。

行动建议是先做小规模预检查：用少量平行音频跑转写与自然度，确认无系统差异后再扩大到全矩阵。先跑机器两两比较筛查方向，再把资源集中到人类最优最差的关键分组上，报告时同时给出未胜出项与负结果。表格中的数字要同时核对数据集、模型、阶段、指标、单位与聚合对象，百分点与相对百分比不可混用。

仍需补充的验证是机制与干预，未来工作应检验差距是否随提示改写、解码参数或显式公平指令而缩小。并测试更多口音、语言与性别呈现之外的身份线索，只有当方向在不同合成器、不同评测者与不同人群中稳定复现。才能把帮助性差距从特定实验配置的发现提升为可部署的公平性结论，研究生应优先复现方向而非追逐单点显著性。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总