硬标签丢掉了多少情绪：用软输出重测匿名化后的情感保留

英文题目：Analysis of embedding-based emotional preservation metrics for voice conversion models

会议身份：conference:odyssey:2026:conference-paper-id:nguyen26b_odyssey

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#评测协议 #主观评测 #说话人匿名化 #语音情感识别

评分：6.3/10 | 创新 1.2/2 | 技术严谨 1.1/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Théo Nguyen：机构信息未能从会议 PDF 纯文本可靠映射
• Tom Bäckström：机构信息未能从会议 PDF 纯文本可靠映射
• Rainer Martin：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

语音匿名化以原始波形为输入，输出隐藏说话人但保留情感的语音，难点在于情感定义主观且标注噪声大，硬标签对错难以反映真实失真程度。该方法先用冻结SER模型对原始与匿名语音分别提取硬标签、概率向量或对数几率表示，将评估锚点从真值转向模型预测。接着以预测对预测方式对齐同一SER空间下两版嵌入，使无标注语料也可比较，消除对情感真值的依赖。然后用欧氏距离、余弦相似度或KL散度量化分布漂移，并以MUSHRA人听情感相似评分为参照验证相关性。相对VPC2024用真值对匿名预测计算UAR，该链条关键差异是从分类正确与否转向漂移多少，因而保留不确定性且可泛化到无标签数据。在IEMOCAP会话5的MUSHRA评测下，分类任务中MED的相关性得分为0.67，高于MCS的相关性得分0.64。该结论适用边界受限于表演式英语IEMOCAP及所用wav2vec2与Odyssey识别器，向自发对话与跨语言外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 模型相关资源：https://huggingface.co/hexgrad/ — 暂时无法访问 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

匿名化为什么还要管情绪留没留下？

这篇论文的输入是经过声音匿名化系统处理后的语音，目标是判断情绪有没有被连带改掉。语音里除了文字内容，还有身份、性别、年龄和情绪状态，欧洲通用数据保护条例把语音看作可识别个人的生物特征，因此匿名化需要把身份换成伪造身份，同时尽量不动语言内容和副语言属性。2024 年声音隐私挑战赛把情绪保留列为重点，要求在匿名之后情绪意图仍然可被听者感知。

初学者容易以为只要词听得清、说话人认不出就算成功，但原文指出情绪是高质量声音转换的关键要素，丢掉情绪会损害沟通意图。学习时先建立这个依赖：匿名强度是隐私目标，情绪相似度是效用目标，两者要同时报告。本文输出是一套可复述的客观度量做法，以及它与人耳评分的相关性证据。需要保留的信息包括所用情感识别模型、表示层、距离定义和主观试验条件，后文按任务路线、方法全景、计算细节、试验条件和结果反证展开。

已有路线如何评价情绪，有什么缺口？

论文把已有做法分成声学路线和识别器路线。声学路线直接比较信号偏差，例如用梅尔倒谱失真看频谱偏离，用时长差异看时间一致性，用基频均方根误差看音高解耦。这类指标的好处是不需要情绪标注，坏处是数字变化不一定对应人感知的情绪变化。识别器路线用预训练情绪识别器去验证转换后语音的情绪完整性，例如有工作用识别器预测来控制和检验情绪表达，可解释性更强。

2024 年挑战赛提出的无加权平均召回属于后者，它用一个基于语音大脑方案训练的识别器，先对匿名化语音预测硬标签，再与原始真值标签比较，算出按类别平均的召回率。原文认为这是首个用于跨基线标准化比较的效用指标，但也指出它只比硬标签，不考虑识别器本身会犯错，也不保留分类不确定性。

本文的定位不是再提一个匿名系统，而是补上度量侧的缺口：把硬标签换成软标签或对数值，把真值依赖换成原始与匿名预测之间的直接比较，并检验不同识别器训练和任务目标带来的影响。

硬标签平均召回在测什么，又漏掉了什么？

沿一个样本走一遍可以看清问题。输入是一条原始语音和它对应的匿名化语音，识别器分别输出情绪向量，真值是人工标注的情绪类别。原有无加权平均召回的做法是看匿名化预测的硬标签是否等于原始真值，再按类别平均。它的优点是简单可比，缺点是把六处可能的信息损失混在一起。论文列出 6 个来源：标注本身的主观分歧、匿名前的分类错误、匿名前的嵌入量化误差、真正想测的匿名化引入的情绪偏移、匿名后的分类错误、匿名后的嵌入量化误差。

其中取最大值的操作会丢掉概率分布，属于量化误差。原有指标需要真值标注，又引入了匿名后的量化误差，所以只能用于有情绪标签的数据集，且对识别器过度自信很敏感。为此论文先引入一个变体，用原始预测标签代替真值标签作参考，记为预测版平均召回，这样不再需要真值，但仍保留前后 2 次量化误差。进一步的 3 个新度量则直接比较原始与匿名的连续嵌入，只受前后 2 次分类错误影响，不再受真值主观分歧和量化误差影响。

这就是后文表示与距离设计的依据。

新度量把哪一步换了，整体流程是什么？

整体框架仍然把情绪分类当作代理任务，但比较对象变了。第一步是用同一个语音情绪识别模型分别对原始语音和匿名化语音做前向推理，得到情绪嵌入。第二步是选择表示层：硬标签、概率向量或对数值。概率向量是经归一化后的软标签，对数值是归一化之前的原始输出。第三步是选择比较算子：欧氏距离、余弦相似度或散度，最后对全部原始与匿名语音对取平均，得到系统级分数。

举例来说，一条被标为高兴的长语音，先得到原始概率分布，再得到匿名后概率分布，若两者接近则认为情绪保留好，若漂移到中性或悲伤则认为有损失。教学例子仅用于说明流程，不代表论文报告了该样本的具体数值。关键改变有两点：一是从真值对预测改为预测对预测，使无标注数据也能评测；二是从二值对错改为扰动程度估计，保留了不确定性。论文还对比了两种识别器和两种任务，以检验表示稳健性。

表示层与距离算子各自算什么？

表示层决定保留多少不确定性。硬标签只保留 1 个类别，适合算召回率，但会放大过度自信模型的问题。概率向量保留每个类别的相对权重，适合解释为分布漂移。对数值保留未归一化的幅度，数值范围更大，对大偏差更敏感，但大数值距离不一定对应人耳可感知的差异。距离算子决定如何量化偏移。

欧氏距离算两个向量差的平方和再开方，越小越接近。余弦相似度算夹角余弦，越接近正 1 说明方向越一致，适合同类不同强度的情况。散度衡量用匿名分布代替原始分布时的差异，越小保留越好，但只对概率分布有定义，不能用于对数值。论文强调最终分数是每对原始与匿名语音的距离、相似度或散度的平均值，不再使用真值和预测硬标签。

语音匿名化 × 情感保留： 语音匿名化负责把说话人身份替换为伪身份，同时保留语言内容和副语言属性；情感保留是其中要求匿名前后情绪表达一致的子目标。二者搭配的原因是身份变换常连带改变韵律和音色，若只测可懂度和匿名强度会漏掉情绪漂移，因此需要把情感识别输出的变化量作为效用指标，与匿名指标并列使用。

硬标签 × 软标签： 硬标签是取最大概率对应的单一情绪类别，丢掉了各类别相对权重；软标签是经归一化后的概率向量或未经归一化的对数值，保留了模型的不确定性。二者搭配的理由是硬标签便于算平均召回但会引入量化误差，软标签则把分类问题转成扰动估计问题，用向量距离直接度量匿名化给识别器带来的偏移。

识别器结构与任务目标如何影响表示？

两个识别器都采用自监督预训练主干加预测头的结构。主干负责把原始音频编码为高层语音表示，预测头把通用表示映射为任务相关的情绪嵌入。论文使用的第一个识别器基于语音大脑方案，主干是语音表示模型，预测头是时间平均池化加一层线性层，在交互式情绪二元动作捕捉库上做 4 类类别识别训练。

第二个识别器是奥德赛挑战赛基线，主干是另一语音表示模型，预测头是池化加全连接层，在播客语料上训练，可同时做 8 类类别识别和唤醒度、效价、支配度三属性预测。类别任务输出离散分布，属性任务输出连续估计。论文的想法是属性表示可能更细腻，但也可能不够稳健。实际比较时，类别概率向量在两个识别器下都参与了欧氏距离、余弦相似度和散度计算，属性模型则主要检验连续表示是否能揭示有意义的情绪失真。

类别情绪识别 × 情绪属性预测： 类别情绪识别负责把语音判为高兴、生气、悲伤、中性等离散类别；情绪属性预测负责同时估计唤醒度、效价和支配度 3 个连续维度。前者分工是给出可解释的类别分布，后者分工是提供更细腻的连续刻画。论文同时试验二者的原因是想检验连续属性是否更能反映人耳感知的渐变，但实测显示在当前模型下类别概率仍然更稳健。

欧氏距离 × 余弦相似度： 欧氏距离度量两个概率向量在空间中的绝对几何差距，数值越小说明情绪分布越接近；余弦相似度度量两个向量的夹角方向，越接近正 1 说明方向越一致。二者搭配的原因是情绪可能同类不同强度，此时方向比绝对值更能说明问题，论文因此并列比较两者，再用散度补充概率分布差异的视角。

本研究训练了什么，没有训练什么？

本研究没有训练新的匿名化系统，也没有重新训练情绪识别器，而是调用已有模型做推理和度量计算，这是初学者容易误解的地方，需要明确。6 个匿名基线直接取自 2024 年挑战赛的现成系统，论文只用它们生成匿名化语音，不更新其参数。两个情绪识别器同样是已有权重：语音大脑识别器是在交互式情绪库上按留 1 会话交叉验证训练的，论文只考察其中第五会话的子集；奥德赛识别器是在播客语料上训练的，论文直接用其类别与属性两个现成任务头。

真实计算过程是前向推理得到原始与匿名的概率向量或对数值，再按公式算距离并平均，最后与主观均值分做相关分析。原文未报告识别器在本研究中的梯度路径、冻结细节和推理耗时，也未报告匿名系统的训练开销，因此不能从模型名称推定实现细节，不能把无训练等同于确定性求解，也不能承诺延迟或成本改善。缺项就是缺项，复现时应按推理流程重放，而不是寻找训练脚本。

主观试验与客观计算在什么条件下对齐？

主观部分采用多刺激隐藏参考和锚点方法，通过网页界面实施。目标是量化 6 个匿名基线在多大程度上保留了源说话人的情绪意图。刺激选自交互式情绪库第五会话的一部分，共 7 组，每组 16 条，覆盖高兴、生气、悲伤、中性 4 种情绪、男女两种性别、脚本与即兴两种场景，总计 112 条待评语音。选择时优先挑长度超过 5 秒的样本，以保证情绪可辨。每次试验包含隐藏参考即原始未处理音频，以及用语音合成模型从转录文本合成的中性情绪锚点，男女声分别对应不同音色。

参与者被告知参考样本的真值情绪，并被要求只评价情绪表达的保真度，在 0 到 100 连续量表上打分，量表按每 20 分一段分为非常不相似到完全一致 5 个定性区间。按国际电信联盟建议做后筛选，要求听者在至少 85% 试验中给隐藏参考打 90 分以上，最终 25 人中保留 23 人，每组刺激至少由 3 人评价。客观部分只用这 112 条及其匿名版本和锚点，保证主客观样本对齐。相关性用决定系数和显著性值衡量，决定系数越接近 1 说明客观指标越能解释主观方差。

该表把试验设计条件整理为五列宽表，便于核对公平性。

表中数字来自原文连续句的逐字证据，绑定中给出原句。需要强调的是主观均值相同不代表客观指标相同，不同指标的差值不能混放，自动分数不能当作人评。硬件预算和推理开销原文未报告，复现时应先补记运行环境。

哪些客观分数与人耳最一致，代价是什么？

比较问题是：在相同 112 条语音上，哪种表示加哪种距离与主观均值分最相关，方向是否一致，代价是什么。公平条件是所有客观分数都基于同一组原始与匿名语音对，主观分是同一批听者的均值，指标方向为距离和散度越小越好，相似度和召回率越大越好。论文报告用语音大脑识别器时全部决定系数都在 0.71 以上，说明相关性强，其中原有平均召回最高，决定系数为 0.82，对数值余弦相似度次之。

用奥德赛识别器做类别任务时，概率向量欧氏距离最好，决定系数为 0.79，原有平均召回降到第三。属性任务整体更差，说明连续属性表示在本实验中不够稳健。代价是原有平均召回依赖真值标注，只能用于有情绪标签的库，而新度量只用预测对预测，可推广到无标注但情绪多样的语音集，但仍依赖识别器本身的稳健性。

看图路径： 1. 先看横轴从隐藏参考到六个基线再到锚点的排列顺序；2. 再对比每个小提琴的黄色均值点与红色中值点的上下位置；3. 然后找到标注为 ns 的三组基线对的括号连接；4. 最后看右侧从完全一致到非常不相似的文字刻度如何对应纵轴分数

论文图 1。原论文 Figure 1：“Results of the subjectively evaluated samples by baselines.”。

上图是本次收到的主观结果小提琴图，阅读时应先看横轴从隐藏参考到六基线再到锚点的顺序，再看分布形状与均值中值点的相对位置。该图报告显示隐藏参考接近满分，第二个基线均值接近 79.7，第一个基线均值在 69.5 附近，中间 3 个基线均值在 49.1 到 53.5 之间，第 6 个基线均值约 46.9，锚点最低约 29.5。括号标示的 3 对基线之间差异不显著，其余两两差异显著，重复测量方差分析给出高 F 值和极小显著性值，说明系统差异大于听者打分习惯差异。

解释时要注意小提琴宽度表示分数分布密度，灰色竖条表示集中区间，黄色与红色圆点分别表示均值与中值，右侧文字只是定性区间的对应，不能把分布下探直接读成全程性能差，也不能把末端均值推广为所有语音都如此。 下面两张原表分别给出两种识别器下的决定系数与显著性值，表前已说明比较问题与方向，表后将解释主要收益与反例。

第一张原表以后续段落单独解释：在语音大脑识别器下全部决定系数都在 0.71 以上，其中原有平均召回最高为 0.82，对数值余弦次之为 0.79，概率向量三项均为 0.76 左右，该结果说明受控库上硬标签仍最强但软标签已接近，为第二张表的跨识别器对比提供基线。

上两张原表是论文的核心定量结果。第一张显示在语音大脑识别器下，原有平均召回决定系数为 0.82，显著性值为 0.005，对数值余弦为 0.79，概率向量三项均为 0.76 左右，预测版平均召回最低为 0.71。第二张显示在奥德赛识别器下，类别概率向量欧氏距离为 0.79，显著性值为 0.007，原有平均召回为 0.68，预测版平均召回仅 0.48 且不显著，属性任务多在 0.5 到 0.66 之间。主要收益是概率向量欧氏距离在更自然的识别器下仍保持高相关，且摆脱了真值依赖。

具体代价是预测版硬标签在两种识别器下都是最差，说明硬标签下用预测代替真值并不可靠。未胜出项包括散度在奥德赛下明显偏低，以及属性任务的余弦与散度显著性较弱，这些负结果支持只推荐类别概率向量加欧氏距离的结论。

该整理表用五列呈现基线与可运行策略的对照，数字与原句逐字证据一致。它表明原有指标在受控库上最强，但在更自然识别器下被新度量超过，而预测版硬标签始终垫底。

阅读时要区分决定系数与显著性值，不能把数值接近误认为条件相同，也不能把相关性读成因果。

换表示、换距离、换任务会发生什么？

论文的消融逻辑是固定其他因素，只换表示、距离或任务，看决定系数的变化。在语音大脑识别器下，固定为概率向量或对数值时，不同距离的决定系数几乎相同，说明嵌入分布非常紧凑，向量漂移主要体现为是否跨团块，而不是团内相对位置。这与下图的可视化一致。固定为硬标签时，原有平均召回优于预测版，说明硬标签下用真值作参考比用预测作参考更合适。在奥德赛识别器下，差异拉大：类别任务中概率向量优于对数值，属性任务中趋势反转但整体偏低。

同一任务同一表示下，欧氏距离始终最好，余弦其次，散度最后。这支持欧氏距离作为默认选择的判断。任务对比显示类别任务全面优于属性任务，尽管属性设计初衷是更细腻，但实测表示不够稳健。

看图路径： 1. 先确认图例中圆点为原始参考而叉号为匿名化样本；2. 再观察左上与右侧高度聚集的色块是否呈紧凑团状；3. 然后沿横轴查看中间带状分布是否出现原始与匿名混叠

论文图 2。原论文 Figure 2：“Example of UMAP dimension reduction of SpeechBrain SER’s emotion probability vectors between original (Ref) and B1 (Anon).”。

上图是语音大脑识别器概率向量的降维投影，阅读时先按图例确认圆点为原始、叉号为匿名，再看团块紧凑程度。该图显示多个情绪团高度集中，即使误分类样本也落在团内，匿名样本的叉号大多仍贴在原团附近，说明模型过度自信，信息量接近硬标签。这解释了为什么不同距离在此识别器下相关性几乎相同：只要判断是否跳团即可，团内距离的细微差别对人耳相关性贡献很小。不能从颜色相近推定情绪相同，也不能把个别离群点推广为系统性漂移。

看图路径： 1. 先确认图例中八类情绪各自的圆点与叉号配色；2. 再观察中部与右下区域是否存在大量跨类散点；3. 然后对比叉号是否更多落在团块之间的过渡地带

论文图 3。原论文 Figure 3：“Example of UMAP dimension reduction of Odyssey SER’s emotion probability vectors, between original (Ref) and B1 (Anon).”。

上图是奥德赛识别器概率向量的降维投影，阅读时先确认 8 类情绪的配色，再看散点离散程度。该图显示团块更分散，匿名样本的叉号更多落在团间过渡带，反映模型不确定性更高，能保留更多细微差别。这解释了为什么概率向量欧氏距离在此识别器下最优：分布不再坍缩为硬标签，距离能捕捉渐变。同样不能把某片密集区直接读成某情绪绝对位置，因为降维只保留相对关系，具体数值需回原文核对。该对比构成反证：过度自信会抹掉软标签的优势，适度不确定反而有助于度量。

这些结论在什么边界之外不再成立？

论文直接报告的是在 112 条受评语音上的相关性，支持的是概率向量欧氏距离与人耳判断高度相关、可摆脱真值依赖的判断。有限解释是播客训练的识别器更适合自然对话，因为表演性数据库难以覆盖自发情绪的复杂性，这有文献依据但本研究只用了一个子集验证，仍属待验证的推广。未验证的推测包括把该方法直接用于其他声音变换系统的情绪一致性评估，原文提到适用但未实测，不能当作已证结论。

缺失证据不是技术错误，但复现时要补：误判率、延迟、计算成本、输出帧率均未测量，不能承诺这些量得到改善。总体趋势不等于每组都成立，例如 3 对基线之间主观差异不显著，客观排序在这些对上不应过度解读。不同指标的差值不能混放，百分点与相对百分比也不同，引用时要保留原表头与精度。资源状态方面，合成锚点所用的模型链接在本次核查中未能确认可达，只能写本次未能确认可达，不能写已公开可用。

要重放这套度量，先做什么、记什么？

复现应从数据对齐开始：取交互式情绪库第五会话中论文所用的 112 条子集，按四情绪、两性别、两场景分层核对，再用 6 个挑战赛基线生成匿名版本，禁用跨性别转换的基线按原文例外处理。用同一识别器分别对原始与匿名语音做推理，保存概率向量与对数值，不要提前取最大值。按欧氏距离、余弦相似度、散度对每对语音算分再平均，散度只用于概率向量。召回率部分按原有真值版与预测版分别计算，注意类别数与聚合对象与原文一致。

主观部分若重做，需保留隐藏参考与中性合成锚点、0 到 100 量表、后筛选规则和至少每组 3 人的覆盖，并记录听者母语背景。关键超参数和信息条件包括识别器权重版本、会话划分、样本时长筛选和转换限制，原文未给的训练细节应记为缺项而不是猜测。若只能做客观重放，至少要报告决定系数与显著性值，并说明所用语音子集是否与主观子集完全一致，否则不能直接比较相关性。

何时值得尝试这套新度量？

当手头语音没有情绪真值标注，但仍需比较多个匿名或转换系统谁更保情绪时，值得尝试预测对预测的概率向量欧氏距离。它在受控库上与原有平均召回接近，在更自然的识别器下保持高相关，且实现只是推理加平均，改动小。选择时优先用类别概率向量加欧氏距离，余弦可作补充，散度与属性表示暂不作默认。若数据本身就是有标注的表演性库且只求与历史基线对齐，原有平均召回仍然可用，但要记住它受真值主观分歧和量化误差影响。

还需补的验证包括更大规模自然对话、更多匿名架构和跨识别器稳定性，以及成本与延迟的实测。误解澄清：软标签不是因为数学复杂才好，而是因为保留了不确定性；预测版召回差不是因为预测本身无用，而是硬标签量化放大了前后 2 次错误；属性任务弱不是因为连续刻画无价值，而是当前表示不够稳健。按此边界使用，才能把论文的增量真正复述为可执行的方法。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

区域 4 · 查看论文原页

另有 4 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 odyssey-2026 论文汇总