多语言多模态语音大模型情绪识别为何偏向特定性别：ERM-MinMaxGAP 压最坏语言内差距

英文题目：ERM-MinMaxGAP: Benchmarking and Mitigating Gender Bias in Multilingual Multimodal Speech-LLM Emotion Recognition

会议身份：conference:interspeech:2026:conference-paper-id:pang26b_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#基准测试 #正则化 #公平性 #多语言 #语音情感识别

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Zi Haur Pang：机构信息未能从会议 PDF 纯文本可靠映射
• Xiaoxue Gao：机构信息未能从会议 PDF 纯文本可靠映射
• Tatsuya Kawahara：机构信息未能从会议 PDF 纯文本可靠映射
• Nancy Chen：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该工作处理多语言多模态语音情感识别，输入为英语、日语和德语对话语音及可选真实转写文本，输出为7类情感标签，难点在于韵律与人口统计属性纠缠且语言与模态都会改变偏差形态。所提经验风险最小化最大差距（ERM-MinMaxGAP）先以监督微调学习整体情感映射，再在小批量内估计各语言男女条件平均损失并取出最大语言差距施加平方惩罚，最后依据开发集差距与容忍阈值的差来自适应升降公平权重。与平均差距或固定权重做法不同，该机制显式惩罚最坏语言并在任务未学好时自动降低干预，避免单一语言大差距被平均抹平。在MELD-ST多语言测试中，多模态设置下该方法加权F1达到57.68%，准确率达到58.65%，平均性别差距为3.53%；单模态下加权F1为51.38%，准确率为54.32%，平均差距为4.34%。相对最强基线，多模态提升5.03个百分点加权F1和3.62个百分点准确率，单模态提升5.49个百分点加权F1和9.75个百分点准确率。结论仅适用于MELD-ST派生的英日德三语表演性对话及二元性别划分，未验证自然对话、更多语言、其他人口统计维度与零样本大模型的外推性。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要交付什么？

这篇解读的输入是论文原文证据给出的摘要、方法、实验设置、结果与消融描述，以及本次实际收到像素的架构图。目标读者是刚进入语音、音乐与音频方向的研究生，需要能按图索骥复述做法并核对条件。必须保留的信息包括任务定义、数据来源与性别标注方式、单模态与多模态的输入差异、主干与微调范围、公平正则的计算对象、自适应权重的更新依据、评价指标方向与关键数字。

输出是 1 篇按学习依赖展开的中文技术解读，不做营销式判断，不引入证据之外的公开性断言。资源状态方面，本次证据清单中没有完成验证的可用资源，因此不能写代码、模型或数据已公开，只能按原文给出的项目页写法理解为作者提供的地址信息。全文先讲清为什么情绪识别容易出现性别差距，再讲论文如何建基准、如何加约束训练，最后讲在什么条件下结论成立、在哪里会失效。凡是教学举例都会明确标为例子，不把例子当成论文报告的事实。

已有路线研究了什么，为什么还缺这一块？

语音情绪识别长期依赖自监督语音表示迁移，近两年转向能跟随自然语言指令的音频语言大模型与语音大模型，把语音与文本放在同一模型里推理。公平性研究在周边语音任务里已有积累，例如商业语音识别中的种族差异、视频字幕中的性别与方言偏见、多语言识别中的性别性能差距，以及情绪识别中针对男女说话人一致性的去偏尝试。论文梳理指出，已有情绪公平工作多建立在固定自监督表示加分类器的流水线上，而不是端到端语音大模型。

另一边，对语音融合大模型的公平分析多集中在语义任务，如语音翻译、口语共指、续写与口语问答，而不是情绪识别。这就留下一个空位：当模型同时跨语言、跨模态做情绪判断时，性别差距是否还存在，是否随语言和是否给文本而变化，以及能否在训练中直接约束。论文的定位就是补这个空位，一边做受控的多语言多模态基准，一边提出可训练的公平目标。

理解这一点很重要，后文所有关于多模态不一定更公平的讨论，都是针对这一特定任务与评测口径而言，不能直接推广到识别准确率或翻译质量。

要解决的偏见问题如何定义，难在哪里？

论文把问题定义为多语言多模态语音大模型情绪识别中的性别性能差距。直白说，就是同样做 7 类情绪判断，模型在女性语音与男性语音上的表现不一样，这种不一样还随语言和输入模态变化。难处首先来自信号纠缠，情绪通过声学韵律表达，而韵律又与说话人特质和语言相关，模型可能走捷径，用与人口属性或语言相关的线索代替真正的情绪线索。

其次来自评测纠缠，如果换语料的同时换语言，就分不清是语言难还是语料难，因此论文强调在受控设置下分离语言效应与语料效应。第三来自模态直觉的误导，人们容易以为多给真值文本一定更公平，但基准显示多模态常提分却不稳定地改善公平，有的模型公平变好，有的反而差距变大。举例来说，这好比给阅卷老师同时听朗读录音和看文字稿，文字稿能纠正听不清的字，但如果文字本身带有表达风格差异，差距未必缩小。例子仅为帮助理解，不是论文的实验。

形式化上，论文用男女分组损失差刻画差距，用识别分数刻画性能，用两者的权衡刻画方法价值，而不是只报告单点准确率。

方法全景：一个样本如何走完输入到输出？

先沿一个样本走一遍。假设有一条德语悲伤语音，附带德语转写文本与一条提示语，提示说明接下来会听到某语言的一句话并要求判断情绪。语音经音频编码器变成音频令牌，转写与提示经文本编码器变成文本令牌，两路令牌一起送入问答式语音大模型。单模态条件下只给语音加指令，多模态条件下额外给真值转写。模型输出 7 类情绪之一，训练时用交叉熵损失衡量预测与标注的偏离。

论文的方法全景由三部分组成，第一部分是经验风险最小化，保证整体情绪识别先学会，第二部分是最小化最大语言内性别差距正则，把当前最不公平语言的男女损失差压下去，第三部分是自适应公平权重，根据开发集上的差距大小动态决定第二部分用多大力气。三者通过加权求和形成最终训练目标。下面的架构图把这 3 路关系画了出来，读图时重点看主路径与反馈路径如何闭环。

从底部 3 路输入到顶部情绪输出的主路径是理解全方法的基础，右下角的正则计算与右上角的权重调节是两个反馈环，共同决定每一步的实际损失。

看图路径： 1. 先从底部语音、转写文本和提示三路输入沿编码器向上追到音频与文本令牌；2. 再看中部 Qwen2-Audio 冻结权重与 LoRA 可学习权重如何汇入经验风险分支；3. 接着看右下角德日英三语男女损失如何取最大差距形成正则项；4. 最后看右上角开发集差距如何经阈值判断回送更新新的权重

论文图 1。原论文 Figure 1：“Architecture of the proposed method. The method consists of (1) empirical risk minimization for overall SER improvement, (2) MinMaxGAP for minimizing the language-wise gender gap…”。

该图上半部分从左到右依次是经验风险分支、融合后的训练目标分支与自适应权重分支，下半部分左侧是冻结主干加可学习低秩适配的结构，右侧是按德语、日语、英语分别比较男女损失并取最大差距的示意。底部用不同颜色区分音频令牌与文本令牌，并标出语音、转写与提示 3 类输入。右上角用是否超过阈值的判断控制权重上调或下调，并裁剪到允许区间，右下角用柱状示意表达分组损失比较的意图。读完图后可以明确，公平压力不是直接改预测标签，而是通过改变损失权重改变梯度方向，下一节将拆开每个组件的计算与更新时机。

三个组件各自算什么，为什么要这样搭配？

第一个组件是基于经验风险的有监督微调。白话说，就是先把所有训练样本的交叉熵损失取平均，模型要让这个平均值尽量小。英文是经验风险最小化，缩写为经验风险。实现上论文用低秩适配微调，主干保持冻结，只更新少量适配参数。这样做的好处是保留大模型的通用听觉与语言能力，同时用较小的可训练量适配情绪任务。没有这个组件，模型连基本情绪都判不准，公平约束也就无从谈起。

经验风险最小化 × 有监督微调： 经验风险最小化负责定义总体目标，即最小化训练集上的平均交叉熵损失以保住情绪识别能力，有监督微调负责实现手段，即用 LoRA 只更新低秩适配参数而冻结 Qwen2-Audio 主干，二者搭配的原因是先保证任务学会再谈公平，组合意义是为后续公平正则提供稳定的性能底座。

第二个组件是最小化最大语言内性别差距正则。白话说，先在每个语言内部算女性平均损失与男性平均损失之差的绝对值，得到德语差距、日语差距、英语差距，再取其中最大的一个做惩罚，幂次取 2 次方以对大差距施加更强压力。英文是最小化最大语言内性别损失差距正则，简称为最小最大差距正则。训练时用小批量估计代替全量期望，每个批次内按语言分组计算男女损失，形成语言内差距，再取批内有效的最大差距作为公平信号。之所以不取平均，是为了防止大差距被平均稀释，优化器偷懒只改善容易的语言。

MinMaxGAP 正则 × 语言内性别损失差距： 语言内性别损失差距负责度量，即同一语言下女性平均损失与男性平均损失之差的绝对值，MinMaxGAP 正则负责决策，即不对多语言差距取平均而取最大值并做幂次惩罚，搭配原因是防止某一语言的大差距被其他语言的小差距掩盖，组合意义是把优化压力始终压在当前最不公平的语言上。

第三个组件是自适应公平权重。白话说，公平项前面乘一个系数，该系数不是固定常数，而是看开发集上的差距是否超过目标容忍来增减，超过就加大，不超过就减小或停止，并裁剪到零到上限之间。英文是自适应公平权重，思想来源是约束优化中的拉格朗日乘子方法。直觉是训练早期先学任务，后期再加公平压力，避免一开始就用强公平约束把模型带偏。最终目标是每一步的经验风险损失加自适应权重乘公平正则，两项联合优化，既保识别能力，又压最坏差距。

自适应公平权重 × 拉格朗日乘子： 拉格朗日乘子负责思想来源，即把公平约束转化为可上下调节的惩罚系数，自适应公平权重负责执行，即按开发集差距与目标容忍的差值增减权重并裁剪到区间，搭配原因是训练早期应先学任务、后期再加公平压力，组合意义是让公平强度随验证差距自动收放而非全程固定。

三者搭配的理由是分工明确，经验风险保下限，最大差距正则指定義公平的优化对象，自适应权重解决何时用多大力气的调度问题。如果把固定大权重全程压上去，论文消融显示公平差距可以变小，但识别分数会明显下滑，这正是需要自适应机制的原因。

训练时更新什么、冻结什么、按什么顺序计算？

训练的主干是问答式音频大模型的指令版本，在多语言情绪语音翻译数据集上微调。参数方面，主干权重冻结，可学习的是低秩适配参数，秩为 16，缩放系数为 32，丢弃率为 0.05。优化设置是最多训练 20 轮，有效批量六十四，学习率 5 乘 10 的负 5 次方，权重衰减 0.01，早停耐心为五，随机种子为四十二。公平目标方面，惩罚幂次取二，权重初值为零，自适应更新的目标容忍为 0.02，更新速率为 0.5，最大正则强度为十。

计算顺序是每个训练步先算经验风险交叉熵，再按当前批次估计各语言男女损失并取最大差距形成正则，接着用开发集差距决定的当前权重把两项加权求和，最后只沿可学习参数回传梯度。权重更新发生在评估步，根据开发集差距与容忍的差值调整，超出则上调，未超出则下调或保持，并裁剪到允许区间。原文未报告优化器具体类型与学习率调度细节，也未给出每轮耗时与显存占用，因此复现时应先按上述已报告量对齐，再记录缺失项。

需要强调的是，去掉经验风险只留公平正则的对照无法给出有效单预测，因而被排除，这说明公平项是正则而不是可独立训练的主任务。

数据、划分、对照与指标如何保证可比？

数据来自多语言情绪语音翻译数据集，由英语对话数据扩展出英日与英德语音对，保留 7 类情绪标签。为支持性别公平分析，作者按说话人标注性别，通过视频片段、音频与演员表交叉核对逐说话人指定单一标签，剔除多人说话或性别归因不可靠的 utterance，剩余每条样本对应单一说话人与唯一性别标签。划分沿用训练、验证、测试 3 部分，覆盖英语、日语、德语及总体统计，论文以表格形式报告各语言男女数量与总量。单模态与多模态的定义在原文中有明确对照，单模态只给语音与任务指令，多模态额外给真值转写。

单模态输入 × 多模态输入： 单模态输入负责对照条件，即只给语音加任务指令，多模态输入负责增强条件，即额外给真值转写文本，搭配原因是分离声音本身的偏见与文本信息带来的修正，组合意义是检验多模态融合是否既提分又更公平，论文报告显示提分常见但公平改善并不可靠。

对照模型包括零样本下的问答式音频大模型、轻量语音模型、音频对话模型等多个近期语音大模型，以及论文提出的微调方法。评价分 2 类，识别性能用加权 F1 与准确率，越高越好，公平用真阳性率差距、假阳性率差距、加权 F1 差距与准确率差距，越低越好，其中真阳性与假阳性差距按 1 对其余方式在情绪类别上平均，加权 F1 与准确率差距衡量男女绝对性能差，并进一步报告 4 者均值作为总体性别偏见的紧凑汇总。

加权 F1 × 性别差距均值： 加权 F1 负责任务性能，即按类别样本量加权的识别分数越高越好，性别差距均值负责公平汇总，即真阳性率、假阳性率、加权 F1 和准确率 4 种男女差距的平均值越低越好，搭配原因是同时看做对了多少与男女差多少，组合意义是避免只看平均分掩盖某一类情绪或某一性别上的系统性落后。

下表整理论文直接报告的多语言总体收益，表前问题是该方法相对可运行基线是否同时改善性能与公平，比较条件是同为多语言设置下的单模态与多模态，指标方向是识别分数越高越好、差距越低越好。

上表的主要收益是识别分数明显提升且总体差距未扩大反而缩小，多模态下的公平改善幅度大于单模态。具体代价与反例是该方法并非每个细分语言与每个差距指标都最小，它优化的是最坏语言内差距而不是平均公平指标，因此会出现总体最优但个别指标次优的情况。未胜出项包括某些零样本模型在个别语言差距上更小，但其识别分数远低于微调后的方法，这正是论文强调的性能与公平权衡。

下表整理训练与公平超参数的原文配置，表前问题是复现时哪些量必须原样对齐，比较条件是同一主干与同一数据集，指标方向不适用，以配置一致性为准。

上表说明复现的第一步是对齐主干、批量、学习率与公平调度，而不是先调大权重。代价是原文未报告优化器类型、调度器与硬件开销，复现时需自行记录。未评测边界包括真实自动转写代替真值转写时的表现，论文多模态用的是真值文本，实际部署若用识别文本可能引入新的误差与偏见。

下表整理评价口径，表前问题是如何同时读懂做对多少与男女差多少，公平条件是同一切分与同一分组定义，指标方向是识别越高越好、差距越低越好。

上表提示不能把数值相同当成同一指标，例如加权 F1 差距与准确率差距即使数字接近，聚合对象也不同。百分点差值与相对百分比也不同，论文报告的提升多为分数点层面的改进，解读时应保留原文写法而不换算成相对比例。未测量项包括误判率分布、延迟与推理成本，因此不能从识别与公平改善推断部署更快或更便宜。

主结果支持什么判断，哪些反例必须同时记住？

主结果围绕两个问题组织，第一是多语言多模态基准中偏见长什么样，第二是所提方法是否改善权衡。基准显示英语通常最容易，日语最难，强模型在英语上的加权 F1 与准确率高于日语，无论单模态还是多模态。公平趋势跨语言不一致，同一模型可能在一个语言缩小差距而在另一个语言扩大差距。多模态输入常提升识别，但不稳定地改善公平，有的模型识别与公平同时变好，有的识别变好但差距变大。

这支持了一个判断，即不能依赖多模态融合自动解决公平问题，需要显式的公平目标。所提方法在多语言设置下两条件均取得最佳识别，相对最佳基线单模态提升约 5.49 加权 F1 与 9.75 准确率（%），多模态提升约 5.03 加权 F1 与 3.62 准确率，同时保持次小差距，并且从单模态到多模态总体差距进一步下降约 0.8。单语设置下该方法在德英日三语均保持最强总体性能，并在每种语言内一致地缓解总体差距均值。

论文同时明确，它不总是在每个细分设置下取得事后最小差距，这与其惩罚最坏语言内差距而非直接最小化平均公平指标的目标一致。记住反例很重要，例如在德语单模态下该方法的某些差距指标大于个别零样本小模型，但其识别分数远高于对方，若只看差距会误判为更差，正确读法是把性能与公平放在同一条件下权衡。

拿掉或换掉关键部件后发生了什么？

消融按主部件、权重强度与惩罚形状 3 组展开。相对零样本主干，仅加经验风险的有监督微调已带来大幅识别增益，并在单模态与多模态下都降低总体差距均值，说明适配本身就有助于稳定跨组表现。在此基础上加入最小最大差距正则，总体识别进一步提升且差距进一步下降，支持了公平正则改善权衡而非均匀压低每个事后指标的解释。

权重强度实验显示固定权重越大差距越小，但识别损伤越明显，呈现清晰的公平与效用权衡，自适应权重则在保持高识别的同时取得较好的公平，说明调度比固定值更合适。惩罚形状方面，1 次方在多模态下识别略高但差距更大，2 次方对大差距惩罚更强因而公平更好，论文主设置选用 2 次方。失败条件也值得记住，去掉主任务只留公平项时模型无法给出有效单预测而被排除，这再次确认公平项不能独立成任务。

另一类边界是固定权重取十时差距指标可以很小，但识别分数明显低于自适应方案，因此不能把最小差距直接当成可部署收益，实际选择应看同等可用性能下的公平。

这篇工作的边界与未验证之处在哪里？

首先是数据与标注边界，性别按二元男女标注并逐说话人指定，剔除了多人与不可靠样本，这种简化便于基准但不能覆盖更细的性别表达与交叉属性，结论限于该二分组口径。其次是语言与语料边界，仅覆盖英日德三语且源于同一对话数据的扩展，英语最易、日语最难的排序可能随语料与录制条件变化，不能推广到所有语言。第三是模态边界，多模态用的是真值转写，实际系统中自动转写错误可能改变结论，论文未评测该条件。

第四是指标边界，公平只衡量男女差距及其均值，未测量每类情绪的误判分布、校准误差、延迟与计算成本，因此不能承诺误判率或效率同步改善。第五是方法边界，正则依赖小批量估计的分组损失，批量过小或某语言某性别样本缺失时最大差距估计会不稳定，原文未给出该极端条件的处理细节。

最后是基线边界，比较的是所列语音大模型的零样本行为与所提微调方法，微调本身带来大幅增益，公平改善中有多少来自适配、有多少来自正则，需要结合消融一起读，而不能把全部增益归于正则。这些缺失不是技术错误，而是复现与引用时必须保留的适用条件。

要复现应先做什么，需要补哪些验证？

复现先做三件事，第一是按原文重建数据切分与性别标签逻辑，确认剔除规则与单说话人单标签的对应关系，并核对各语言训练验证测试的男女数量，避免用错聚合对象。第二是对齐训练配置，包括主干版本、最多 20 轮、批量六十四、学习率、权重衰减、早停耐心、随机种子，以及低秩适配的秩、缩放与丢弃，还有公平项的幂次、初值、容忍、速率与上限。

第三是固定评价脚本，先实现加权 F1 与准确率，再实现 1 对其余平均的真阳性与假阳性差距、男女绝对性能差及其均值，并分别在单模态与多模态、单语与多语言下报告，避免把不同指标的差值混入同一列。值得尝试的场景是多语言情绪识别需要同时保性能与压差距，且观察到某一语言差距明显大于其他语言时，此时最大差距正则的针对性最强。

还需补的验证包括用自动转写替换真值转写、换随机种子与批量大小的稳定性、小批量缺组时的估计稳定性，以及报告训练时长、显存与推理延迟。资源方面，本次证据未验证代码、权重或数据的可达状态，因此应以原文描述为准自行准备环境，不声称已公开可下载。

如何一句话记住取舍，何时值得尝试？

记住一句话，压最坏语言的男女差距比平均差距更能防止偏见被平均掩盖，但公平压力必须随开发集差距自适应调度，否则固定大权重会以损伤识别为代价换取更小的差距。当任务是多语言语音情绪识别、已观察到语言依赖的性别差距、且多模态提分但公平不稳时，值得尝试经验风险加最大差距正则的思路。尝试时先用有监督微调建立性能底座，再加入 2 次惩罚的最大差距项并启用自适应权重，重点观察最坏语言的变化而不是只看总体均值。

若最坏语言的差距下降而总体识别保持或提升，则说明权衡向好，若总体差距变小但识别大幅下滑，则应降低上限或调大容忍，回到性能与公平的可用区间。最终判断应同时报告识别分数与 4 种差距及其均值，并说明单模态与多模态、单语与多语言的条件，避免把某一细分最小值当成整体结论。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总