📄 标签说了算：表演的情绪与听到的情绪为何是两道题
英文题目：Label Authority in Speech Emotion Recognition: Intended and Perceived Ground Truth in Emozionalmente
评分：5.6/10 | 创新 1/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.5/1.5
👥 作者与机构
- Marco Giordano：Student Member, IEEE
- Stefano Giacomelli：Graduate Student Member, IEEE
- Claudia Rinaldi：Member, IEEE
- Fabio Graziosi：Member, IEEE
📌 核心摘要
语音情感识别常把一条语音对应一个情绪类别，但表演时被要求的情绪和听众实际听到的情绪是两回事，多数投票还会丢掉少数意见并需外部规则处理并列，混用会让评价含义不清。本文使用Emozionalmente语料研究这个问题，每条语音同时带有表演指定标签和五个听众判断，同一录音因而对应受控制作条件与听众感知两种评价依据。方法先冻结XLS-R、HuBERT和WavLM参数，把语音变为帧级隐藏表示并做时间平均，得到每条语音的固定向量供浅层探针使用。三种探针再分别以指定类别独热标签、听众投票多数类别和五票比例向量为目标训练，前者用类别交叉熵、后者用软交叉熵，同一说话人无关划分下的输出分别按硬决策和分布拟合评价。结果是指定类别最容易恢复，最佳非加权平均召回率达到0.825，而听众多数类别最佳值约为0.746，但两者评价依据不同，不能直接理解为能力下降。用完整分布训练几乎不改变硬多数决策，却让预测概率更接近听众投票，在模糊语音上分布误差下降明显。结论适用范围限于该语料和冻结探测设置，跨语料、自发语音和微调情形尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音情感识别要从一段语音里读出什么
刚接触语音、音乐或音频的研究生可以先把任务想成输入与输出。输入是一段意大利语表演语音，来自 Emozionalmente 语料库，共 6,902 条、约 7.3 小时、431 位说话人，7 类为愤怒、厌恶、恐惧、喜悦、中性、悲伤、惊讶，每类表演条件各 986 条。输出按论文的 3 种做法可以是一个表演类别、一个听众多数类别，或一段 7 维概率向量。
关键在于必须保留的信息不同。如果目标是归档当时让人演了什么，就要保留 elicitation 时的表演条件；如果目标是检索听众可能听成什么，就要保留每条五票的投票结构、聚合规则与一致性强度。论文把这种谁有权定义正确的选择称为标签权威问题，它不是标注干净与否，而是评价到底在回答哪个问题。
本研究没有训练新的语音大模型，也没有部署联网服务。它冻结已有自监督语音表示，只训练很小的分类头，用来诊断在相同语音、相同说话人无关划分下，不同标签依据会带来什么不同的难度与结论。
已有路线为何把一致性与权威混在一起
语音情感识别的综述早就指出语料设计、情绪表示与评价协议差异很大。意大利语的 EMOVO 和 DEMoS 是有意按受控流程录制表演情绪，IEMOCAP 则把诱发交互与多种标注放在同一录音上。这些做法本身都有价值，但表演标签记录的是制作协议，感知标签记录的是听众判断，内心感受又是另一回事。
论文强调权威不同于可靠性。Krippendorff 的一致性系数等可靠性指标只说标注者之间是否稳定，并不决定应该预测表演条件、听众共识还是个人感知。一个完全稳定的小组仍可能回答与制作协议不同的问题，一个不稳定的小组仍能提供关于感知模糊的有用证据。
另一条路线是把多票压缩成共识标签。取多数类对分类器很方便，但少数票消失、获胜强度被隐藏、并列需要外部规则。课程学习、软标签、标签分布学习与贝叶斯表述都试图保留分歧结构。本研究取其中最简单的形式，把五票直接保留为经验类别分布，不声称五票就等于潜在人群分布，只求在相同片段与相同参照下比较硬多数与软分布。
表演与听辨不一致时评价会问错什么
论文先在不引入模型前看人与标签的分歧。全体投票层面每票单独与表演条件比较，吻合率为 0.6638；先把每条五票压缩成多数再比较，吻合率升到 0.7905。提升不是听众个体变准了，而是五票聚合修复了个体分歧。评价若只报后者，就会把共识统计误当成个体能听对的概率。
分歧还有固定语义方向。恐惧与悲伤、喜悦与惊讶、厌恶与悲伤是无向统计下最多的 3 对失配，按条计分别为 217、202 和 163 次，按人次计结构相同。也就是说压缩减少了分歧数量，但没有改变主要在哪些情绪边界上分歧。
表演条件 × 听辨多数： 表演条件指录音时要求说话人表达的情绪，是对制作过程的记录；听辨多数指五个听众投票中出现次数最多的类别，是对感知结果压缩后的单类决策。二者搭配才能看出同一段语音在产生端和接收端为何不一致，组合后论文得以把复原制作条件和预测听众胜者拆成两个评价问题。
同一批语音如何同时支撑三种标签依据
Emozionalmente 每条恰好有五票听众识别判断，共 34,510 个有效判断，829 位听众参与，每票还带音频质量标记。论文在完全相同的录音与相同的说话人无关划分上构造 3 种操作型依据，使差异只能来自依据本身，而不来自说话人、声学或类别支持的变化。
第一种是表演条件，用独热向量记录当时要求演的情绪，回答表演条件能否从语音中复原。第二种是听辨多数，取五票中最频繁的一类，并列时按预设类别序号最小者确定，保证可复现，但不代表共识更强。第 3 种是听辨分布，例如三票喜悦两票惊讶就记为喜悦 0.6、惊讶 0.4，形式为 7 维投票比例向量。
此外论文保留评估者层视角，即每票单独与表演条件配对，用于暴露聚合前隐藏的个体感知差异，但它不作为第四种模型训练目标。分析时条层每条贡献一次，评估者层每票贡献一次，两层不能混用。
三种依据各自回答什么评价问题
下表是论文对 3 种依据与评估者层视角的操作定义，读懂它才能理解后文为何分数不能直接排名。表前需要点明比较问题：同一段语音在不同依据下对应不同的参照单元与不同的成功含义，评价必须先说明在预测哪一种。
| Authority | Construction | Reference unit | Question answered |
|---|---|---|---|
| Expressed condition | One-hot elicitation label | One production instruction per clip | Was the requested acted condition recoverable from speech? |
| Recognized plurality | Most frequent of five votes; deterministic tie-break | One aggregated listener-derived class per clip | Which single class wins under the stated aggregation rule? |
| Recognized distribution | Seven-class vector of vote proportions | Complete five-vote histogram per clip | How should probability be allocated across the alternatives selected by listeners? |
| Evaluator-level view | Each recognition vote retained separately | One listener judgement, paired with the clip’s expressed label | How much individual perception is hidden by clip-level aggregation? |
这张表说明表演条件对应一条制作指令，听辨多数对应压缩后的单类决策，听辨分布对应完整的五票直方图。论文还同时保留得票份额、是否并列、熵与质量标记。后续实验中硬目标用类别交叉熵，分布目标用对未平滑经验投票向量的软交叉熵，评价时硬用多数、分布用直方图，参照始终与依据配套。
冻结表征 × 浅层探针： 冻结表征指 XLS-R、HuBERT 和 WavLM 主干参数不变，只提供语音声学信息的固定表示；浅层探针指接在某一层或加权多层之后的小分类头，只学从表示到情绪标签的映射。二者搭配把比较限定在可获取的信息和监督目标上，组合后层的差异不会与微调整个语音模型的能力混在一起。
冻结主干与三种小探针如何分工
声学主干为 XLS-R 300M、HuBERT Large 和 WavLM Large，各有卷积前端加 24 层变换器，隐宽 1,024，全部冻结。输入语音经主干得到与时长有关的 T×1024 序列，时间平均时排除填充帧。冻结的含义是实验只测已有表示中可获取的信息，不回答端到端微调会怎样。
探针有三族。 historically named linear 探针先对选定层做平均池化，再从 1,024 映射到 128 加 ReLU，再到 7 个 logits。dense 探针先做 2 次逐帧 1×1 卷积、256 通道加 ReLU，再池化分类，能非线性变换每帧但不建模新的时序交互。agg_dense 探针给 25 个状态学标量权重并经 softmax 归一化，再送入 dense 头，这 25 点是卷积态编号 0 加变换器 1 到 24 层，不同于单层网格采样的 10 个深度。
单层采样深度对应主干的 0、20、33、43、53、63、73、87、90 和 100%，映射到索引 0、5、8、10、13、15、18、21、22 和 24。每种目标各 60 个单层条件加 3 个全层条件，共 63 个匹配的表示与探针配置，3 种目标 5 次重复共 945 条训练轨迹。
听辨多数 × 听辨分布： 听辨多数把五票压缩成一个独热硬目标，方便传统分类器输出一类；听辨分布保留五票在七个情绪上的比例向量，保留少数派和分歧强度。二者搭配说明硬目标丢失了什么，组合后论文能同时检验硬判决谁获胜与概率如何分配给备选项。
训练目标、损失与分布距离如何计算
训练划分固定且说话人无关，训练 4,142 条、验证 1,380 条、测试 1,380 条，同一音频划分用于全部依据。硬目标用类别交叉熵，分布目标用软交叉熵。优化器为 Adam，学习率 10−3，训练 30 轮，硬目标按验证准确率选检查点，分布目标按验证软交叉熵选检查点。5 次运行只改变探针初始化与小批量顺序，划分、特征与设置不变。
评价硬决策用非加权平均召回率，即 7 类召回率的平均，它不让频数高的听辨类主导分数。一致性分层内用普通准确率，因为那里问的是在给定投票形态下命中相关硬标签的概率。预测概率向量与观测投票分布的贴合用下面公式衡量，KL 与 Brier 都是越小越好，且都是正常分布分数。
\[D_{\mathrm{KL}}(p\|q)=\sum_{c}p_{c}\log\frac{p_{c}}{q_{c}},\qquad\mathrm{Brier}(p,q)=\sum_{c}(q_{c}-p_{c})^{2}.\]公式中 p 为观测到的五票分布，q 为模型预测的 7 维概率，c 遍历 7 个情绪类。KL 看按 p 加权的对数比，Brier 看逐类概率差的平方和。论文还报首位与并列集命中率作直观辅助，但因并列集越大越易命中而不用于选择目标。名义 Krippendorff 系数独立描述听众可靠性。
硬判指标 × 分布指标： 硬判指标指非加权平均召回率等只看取最大概率类别是否命中的分数；分布指标指 KL 散度和 Brier 分数等比较整段预测概率向量与五票直方图贴合程度的分数。二者搭配是因为取最大与分配概率是两回事，组合后论文能说明分布监督为何硬分变化很小而概率拟合改善很大。
划分、不确定性与选择偏差如何交代
论文对不确定性分得很细。5 次对齐运行的均值与样本标准差描述探针重复拟合的波动。1,000 次配对条自助法在抽到某条时把该条 5 种预测一起携带，用于 headline 胜者对比，刻画测试条抽样，条件是已训练并已选定的探针，不含训练与选择不确定性。63 个网格内对比共享数据与表示，不当作 63 个独立重复实验。
检查点虽经验证集选择，但报告的最佳层与个体胜者是按 5 次运行平均测试分数事后选出的，因此胜者结果是描述性且偏乐观的。确认性研究应预先声明对比、全部超参数经验证集选择，并保留未触碰的测试集做区间估计。
一致性强度 × 平局打破规则： 一致性强度指获胜类别拿到五票中的几票、是否全体一致或出现并列；平局打破规则指本研究把并列多数按预设类别序号最小者确定为硬标签的可复现约定。二者搭配解释硬标签在分歧段为何脆弱，组合后才能理解为何模型在平局上尊重两个并列情绪反而会被硬分扣分。
听众自身分歧呈现什么结构
先看人类在模型之前的表现，这是理解后文模型分数的前提。读图任务是确认表演与听辨多数的吻合既强又不均匀，并找出分歧的固定方向，而不是把 79.1% 当成个体听准率。
看图路径： 1. 先看左侧完整矩阵对角线颜色与数值，确认多数片段两类标签一致；2. 再看中间去掉对角线的非对角格，找出颜色最深的几对混淆方向；3. 最后看右侧按失配率排序的条形，确认中性最稳而恐惧最易被听偏
论文图 1。原论文 Fig. 1:：“Expressed condition versus the plurality of all five listener votes.”。
该图确实可见左侧矩阵对角线深色且数值大，中性行归一化吻合率达 0.92，恐惧仅 0.67；中间去掉对角线后恐惧被听成悲伤、厌恶被听成悲伤、喜悦被听成惊讶等格颜色更深；右侧失配率排序为恐惧 0.33、厌恶 0.29、喜悦 0.22、惊讶 0.20、愤怒 0.18、悲伤 0.16、中性 0.08。全体一致的 1,792 条全部与表演条件吻合，而得票份额降到无并列的 0.40 时吻合率跌破一半，说明硬听辨标签恰在聚合规则做功最多的片段上最可争议。过滤低质量标记只把一致性系数从 0.476 提到 0.501，不能解释掉分歧。
复原表演为何更容易但不是能力下降
下表比较各自参照下的最佳硬分，比较问题是各自任务的上限式描述，而非同参照下的训练目标效应。表前说明条件：三行各用自己的评价参照，表演用表演参照，听辨用多数参照，软目标取最大概率读数，数值为 5 次运行均值与样本标准差。
| Training target | Best configuration | Layer | UAR |
|---|---|---|---|
| Expressed | XLS-R Dense | 13 | 0.825 ± 0.009 |
| Recognized plurality | XLS-R Dense | 15 | 0.746 ± 0.006 |
| Recognized distribution | WavLM Dense | 10 | 0.749 ± 0.004 |
表后解释可见最佳表演探针为 XLS-R Dense 第 13 层 0.825，最佳硬听辨为 XLS-R Dense 第 15 层 0.746，最佳软听辨为 WavLM Dense 第 10 层 0.749。对齐运行差为 0.079，配对条自助条件区间为 0.058 到 0.099，在当前测试划分上是真实分离，但它同时换了参照与所选层。63 个匹配的听辨减表演自参照差全为负，均值负 0.065，范围负 0.095 到负 0.028，只说明方向一致，不代表 63 次独立复制。
固定评价权威后结论不同。对表演标签，表演训练最好；对听众多数，三行硬分接近，没有一方在两列同时占优。按一致性分层看，硬听辨训练在 381 条全体一致测试片段上准确率 0.923，到 145 个并列跌到 0.484，到 82 条无并列且份额低于 0.60 跌到 0.440。表演准确率在低一致层更高，不代表表演标签更能描述感知，只因多数难度本就耦合于构造它的投票形态。
分布监督改变了什么又没有改变什么
下表把不同训练目标放在同一听众参照下比较，硬用听辨多数，分布用五票直方图，比较问题是换训练目标而评价权威不变时有何得失。表前说明公平条件：每格都是 9 个目标选定主干与探针配置的等权平均，指标方向为硬分越高越好，KL 与 Brier 越低越好。
| Training target | Hard UAR | KL | Brier |
|---|---|---|---|
| Expressed | 0.739 ± 0.002 | 1.667 ± 0.156 | 0.272 ± 0.009 |
| Rec. plurality | 0.731 ± 0.005 | 1.223 ± 0.145 | 0.236 ± 0.008 |
| Rec. distribution | 0.736 ± 0.005 | 0.510 ± 0.002 | 0.162 ± 0.001 |
表后解释可见硬与软听辨训练的硬分接近，分别为 0.731 与 0.736，而对完整直方图软监督把 KL 从 1.223 降到 0.510，把 Brier 从 0.236 降到 0.162。取最大只问哪类最大，KL 与 Brier 问整个概率向量如何排布，因此硬胜者变化很小而概率分配变化很大。配置匹配的敏感性分析把双方锚定到硬目标的表示条件，仍保持该排序，软减硬为 KL 负 0.713、Brier 负 0.074，硬分只变正 0.002。
分歧越大的段改善越明显。读图任务是看分布误差是否随人类不确定性增大而上升，以及哪条线上升最慢。
看图路径： 1. 先看横轴从全体一致到低一致的分层方向，确认越往右分歧越大；2. 再比较绿线与其他两条线随分歧加大的上升斜率差异；3. 最后对照 KL 与 Brier 两个主面板，确认分布监督的优势主要在模糊段拉开
论文图 4。原论文 Fig. 4:：“Distributional error against the observed vote histogram by human agreement stratum.”。
该图确实可见四面板横轴从 1.00 到低于 0.60 误差总体上升，但绿色分布监督线在 KL 与 Brier 上几乎平坦，明显低于蓝色表演与橙色硬多数线。论文指出并列上的表观矛盾最有启发：匹配的软探针可同时给两个并列类分配概率从而改善 KL 与 Brier，却因指标只奖励确定性平局打破选中的一类而输掉硬分。
模糊片段与模型错误有何具体表现
下表量化模糊测试子集上的得失，比较问题是在并列与低份额段硬分与分布分是否同向。表前说明子集规模：并列 145 条，低于 0.60 共 82 条，训练分为硬多数与软分布，指标方向与上表相同，KL 和 Brier 越低越好，均为 5 轮平均正负样本标准差。
| Subset | Training | Hard UAR | KL | Brier |
|---|---|---|---|---|
| Tie (n=145) | Hard | 0.469 ± 0.015 | 2.121 ± 0.256 | 0.360 ± 0.014 |
| Tie (n=145) | Soft | 0.435 ± 0.012 | 0.671 ± 0.004 | 0.184 ± 0.001 |
| <0.60 (n=82) | Hard | 0.443 ± 0.010 | 2.415 ± 0.343 | 0.396 ± 0.019 |
| <0.60 (n=82) | Soft | 0.439 ± 0.006 | 0.696 ± 0.008 | 0.184 ± 0.004 |
表后解释可见并列上软训练硬分从 0.469 降到 0.435，却把 KL 从 2.121 降到 0.671、Brier 从 0.360 降到 0.184；低于 0.60 段硬分几乎不变而分布改善仍在。对最佳个体模型的配对条自助区间在两段上都不含零，方向 favor 软训练，但仍条件于已训练与测试选定的胜者。用高质量投票重评不重训，排序不变。
模型错误也像人类错误。喜悦与惊讶、恐惧与悲伤、厌恶与悲伤在 3 种目标下都是最频繁的模型混淆，与人类排序一致。把每配置前十无向错误对与固定的人评估者层前十比较，平均重叠率表演训练 0.660，硬听辨 0.707，软分布 0.733。这只是排序诊断，不度量校准，也不建立显著优势，但说明引入听众标签后的低硬分部分继承自参照本身的模糊，而非无关的模型错误结构。
加权多层是否普遍优于选单层
agg_dense 探针的消融问题是学到的多层混合是否比事后选出的最佳单层更好。读图任务是看不同监督目标是否调用冻结表示的不同深度，以及权重形状是尖峰还是平坦。
看图路径： 1. 先看每幅子图横轴 0 为卷积态、1 到 24 为变换器层的含义；2. 再比较左中右三幅在同一主干下峰的位置与尖锐程度变化；3. 最后看 XLS-R 在 18 层附近的尖峰在分布监督下如何变平
论文图 5。原论文 Fig. 5:：“Learned agg_dense mixture weights for expressed, recognized-plurality, and recognized-distribution supervision.”。
该图确实可见三幅子图总体偏好中后层，但目标改变峰形。例如表演监督下 XLS-R 在 18 层附近出现约 0.20 的尖峰，听辨多数下该峰降到约 0.13，听辨分布下进一步变平坦；HuBERT 与 WavLM 峰多在 11 层附近，分布监督下 3 条线都更分散。线为 5 次均值，带为样本标准差，权重是拟合关联而非因果重要性。
硬分上聚合没有一致优势。它在表演目标的 WavLM 上从单层 0.807 提到聚合 0.822，多数条件持平或落后，事后最佳单层本就占了用同一测试划分选择的乐观便宜，而聚合用了全部状态且输入与选择流程不同。恰当结论很克制：表示深度与所选权威有交互，但学到的混合不是普遍更好的层选择替代。
结论在什么边界内才成立
证据只来自一个意大利语表演语料、每条五票、冻结表示加浅探针。换一个听众小组就可能改变弱多数，文化与语境差异也可能改变混淆结构。高质量过滤不消除主要模式，但不能分离文化、语境与个体来源，后续应保留评估者身份并收集足够票数以估计评估者与条目两层变异。
观测到的投票直方图是有限样本而非潜在感知分布，KL 与 Brier 都含抽样变异。减去共享的有限票参照水平会保留同条上目标间差异，但不能把原始分变成纯模型误差，也不支持无条件跨一致性层比较，需要更大或重复标注研究分布稳定性。
建模范围同样有界。最佳层与个体胜者经测试均值选择，胜者结果描述性且乐观，配对自助条件于已拟合与已选模型。跨语料验证也必要，引用的外部迁移有限结果因说话人、声学、类别支持与标注同时变化而不能分离标签权威，需要多语言、表演与自然语音在同一协议下对齐 3 种依据后再比冻结与微调。
复现第一步要固定什么
复现应从固定说话人无关的 60、20、20 划分与同一音频分配做起，保证 4,142、1,380、1,380 条且每位说话人只出现在一部分。主干保持冻结，只训线性、dense 与 agg_dense 三族探针，单层索引用 0、5、8、10、13、15、18、21、22、24，agg_dense 用 0 到 24 全状态加权。硬目标用类别交叉熵，分布用对未平滑经验向量的软交叉熵，Adam 学习率 10−3 训练 30 轮，硬按验证准确率、分布按验证软交叉熵选检查点，5 次改变初始化与批量顺序。
评价要分开报告。硬用非加权平均召回率，分层用普通准确率，分布用 KL 与 Brier 并注明越低越好。报告听辨硬分时同时给出聚合规则、平局策略、小组规模与一致性分层；报告分布时保留投票计数与质量标记，不要用一个 ground-truth 类覆盖来源。
来源方面，本次未发现完成 HTTPS 验证的作者资源，不得声称代码、模型或数据已公开。论文结尾称将在会议时发布代码，那是未来计划而非当前可用。联网、延迟与部署效果本文未评测，其物联网声音贡献在上游，即先说清情感组件被要求预测什么并附带何种证据。
什么时候值得尝试分布监督
当应用需要检索可能被如何感知、或在听众会分歧时暴露不确定而非过度自信地行动，值得保留投票分布并用正常分数评价，同时单独报告必要的硬决策。生产归档若索引有意表演的情感，表演标签仍是合法目标，但应表述为制作条件复原，而非自动等同感知准确率。
容易产生的误解是把表演减听辨的硬分差当成换训练目标的因果惩罚，或把软训练在并列上硬分略低当成分布方法失败。前者换了参照与所选模型，后者是因为硬指标只奖励确定性平局打破选中的一类。另一误解是把前十混淆重叠当成校准证明，论文只用它说明困难集中在听众自身分歧的边界。
还需要补的验证是预先声明对比、验证集选全部超参数、保留未触碰测试集做区间估计，以及跨语言与自然语音的对齐复刻。只有在这些条件下，分布监督更忠实保留感知备选、而硬胜者变化很小的结论才能推广到新的情感语音场景。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses