一句内情绪变化为何让语音伪造检测器误判

📄 一句内情绪变化为何让语音伪造检测器误判

英文题目：Too Emotional to Be Fake? Intra-Utterance Emotion Shifts Expose Failure Modes in Speech Deepfake Detectors

评分：6.5/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Jingyi Chen：Reality Defender
• Surya Koppisetti：Reality Defender

📌 核心摘要

语音深度伪造检测要判断一段语音来自真实录制还是合成生成，富有表现力的合成已能在一句话内改变情绪，而检测器是否受这种句内情绪轨迹影响尚不清楚。论文构建EmoShift基准，从四个源数据集筛选情绪稳定与情绪变化的真实语音，再以其文本与分段情绪标注为生成目标，用富有表现力的文本到语音系统合成对应伪造语音，形成真实与合成类内对照。所有音频统一重采样后，检测器以重叠窗口打分并取窗口伪造概率均值再转对数几率分数，评测在真实与合成类内分别比较情绪变化相对稳定的分数差，并在情绪稳定语音等错误率点标定阈值后原样用于情绪变化语音。在OMG-Emotion合成语音固定阈值评测中，与情绪稳定语音相比，情绪变化语音的对数几率伪造分数更低，阈值在情绪稳定语音等错误率点标定后原样用于情绪变化语音时伪造漏检率上升9.7–25.3个百分点。在IEMOCAP真实语音同样固定阈值评测中，与情绪稳定语音相比，情绪变化语音的对数几率伪造分数更高，阈值在情绪稳定语音等错误率点标定后原样用于情绪变化语音时误报率上升18.6–24.4个百分点，但效应方向随检测器、数据集与情绪轨迹而异。结论仅适用于所含数据源、合成系统与检测器对照，分类与连续效价-唤醒-支配度设置生成方式不同无法分离，自然语料中跨真实与合成的直接比较仍可能受构建差异影响。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://emoshift.github.io/emoshift/ — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

检测器要判断什么，情绪变化为什么值得单独测

语音伪造检测的输入是一段语音，目标是判断它是真实录制还是合成伪造，输出通常是一个伪造概率，越高表示越像伪造。实际部署时需要定一个阈值，高于阈值判为伪造，低于阈值判为真实。自然说话很少整句保持同一情绪，可能从平静转愤怒，也可能在细微状态间波动，而新的富有表现力的语音合成已经能在同一句内改变情绪。

如果只按整句情绪标签比较不同情绪的检测好坏，就分不清检测器是对情绪变化本身敏感，还是仅仅对悲伤、高兴等静态情绪敏感。论文要回答的是更细的问题：在真实身份保持不变的一句话内部，出现情绪转折会不会系统性改变检测器的分数和错误。要讲清这个问题，需要把情绪稳定语音和情绪变化语音放在同一说话人、同一文本或可比条件下对照，并把真实语音和合成语音分开看，因为前者关系到误报，后者关系到漏检。

已有基准测了什么，本文补了哪一块

常用的伪造检测基准主要关注真伪标签，早期工作在录音室朗读语音上用等错误率评价，野外录音则显示性能会明显下降。情绪相关的基准开始引入情绪维度，但大多把情绪当作整句属性，例如用情绪语音转换改变整句情绪，或跨多种生成器比较不同情绪标签下的检测结果。这类设计能发现不同情绪类别之间有差异，但不能说明同一句内的情绪转折是否带来额外影响。

另一条相关路线是研究句内真伪结构，例如把合成片段嵌入真实语音，研究真伪随时间变化的情况。本文不同之处在于每句的真伪在全句保持不变，变化的只是情绪。论文还强调只看等错误率可能掩盖部署风险，因为等错误率允许每个条件各自重选阈值，而部署时阈值往往固定，因此需要同时报告固定阈值下的漏检和误报变化。

情绪稳定与情绪变化如何定义和比较

论文把每句看作包含两个语音区域，每个区域有各自的情绪状态。情绪稳定记为从情绪 A 到同一情绪 A，前后情绪不变，情绪变化记为从情绪 A 到不同情绪 B，前后类别不同。比较时必须在同一真实性类别内部进行，也就是真实语音只和真实语音比，合成语音只和合成语音比，这样才能判断情绪变化是让合成语音更像真，还是让真实语音更像假。

情绪稳定语音 × 情绪变化语音： 情绪稳定语音指前后两段保持同一情绪的语音，情绪变化语音指从情绪 A 变为不同情绪 B 的语音，二者配对出现才能把是不是换了情绪这个因素单独分离出来，否则跨情绪比较会混入不同情绪本身的好坏差别。

自然语料很难找到同一人用同一文本说出两种情绪轨迹的配对样本，公开数据也不直接标注句内情绪转折。因此论文采用受控与自然两类设置互补，一类用平行语料人工拼接出严格对照，另一类用已有连续标注挑选自然发生的情绪稳定与变化样本。合成语音则沿用对应真实来源的文本和分段情绪目标生成，保证比较围绕情绪条件展开。

EmoShift 基准的总体构成和对照逻辑

EmoShift 共包含 16960 句，其中 7240 句真实语音来自 4 个公开数据集，9720 句合成语音用 4 种富有表现力的合成系统生成。4 个来源分别是平行朗读语料、野外独白、双人对话和播客对话，覆盖表演式朗读、野外自发、对话和播客等风格。情绪标注同时使用类别标签和连续的效价、唤醒度、支配度，前者区分高兴或悲伤等离散状态，后者刻画愉悦程度、激活程度和控制感的连续差别，包括同一类别内部的强弱变化。

类别标签 × 效价-唤醒度-支配度： 类别标签指高兴、悲伤等离散情绪名，用于划分是否换了类别，效价-唤醒度-支配度是连续三维情绪坐标，分别表示愉悦程度、激活程度和控制感，二者搭配既能判断类别是否变化，又能量化同一类别内部的情绪距离和方向。

在开始读构造示意图之前，需要明确图中 4 个方块分别对应哪类语音，以及两侧弧线度量的是哪两组分数之差，这样才能理解后文所有分数偏移都是类内比较而非跨类比较。

看图路径： 1. 先看上下两行如何分别对应情绪稳定与情绪变化；2. 再看左右两列如何区分真实语音与合成语音；3. 最后看两侧弧线标注的两类分数差各在哪个类别内计算

论文图 1。原论文 Figure 1:：“Benchmark construction. Each spoof follows the text and emotion targets of its bona fide source. Δ_BF and Δ_SP measure the (a\tob)–(a\toa) score difference within each class.”。

该图把构造逻辑画成两行两列，上行是情绪稳定条件，下行是情绪变化条件，左列是真实语音，右列是合成语音，每个合成都跟随其真实来源的文本和情绪目标。左侧弧线表示真实类内情绪变化减去情绪稳定的平均分差，右侧弧线表示合成类内同样的差值。这种类内差值的设计避免了直接比较真实与合成的构造差异，把注意力放在情绪转折是否改变了同类语音的得分。

四组语音如何从来源语料构造出来

受控部分使用平行语料，该语料包含 10 名英语说话人用中性、愤怒、高兴、悲伤、惊讶 5 种情绪说同样句子。论文把两个句子连起来构造配对，两个版本的首段用完全相同的录音表达情绪 A，第二段用同一人说的同一句子，但稳定版本表达情绪 A，变化版本表达情绪 B。共得到 400 对，覆盖 20 种有序情绪转移，每种 20 对，起止情绪分布均衡。

野外部分使用网络视频中的情绪独白，挑选 220 段前后两句情绪标签相同的连续未拼接片段作为稳定样本，另选 220 段标签发生变化的连续片段作为变化样本。这里稳定与变化来自不同原句和不同文本，反映自然发生的情绪差异。自然对话部分使用带连续情绪标注的两个对话数据集，每个样本由同一说话人的两段语音组成，用两段效价、唤醒度、支配度向量之间的欧氏距离衡量情绪差别，各维度先归一化到 0 到 1。稳定样本要求类别相同且距离小，变化样本要求类别不同且距离大，最终两类距离区间不重叠。

合成部分对每条真实来源沿用其文本和分段情绪标注生成对应合成。对前两个数据集同时使用 3 种系统，其中一种是分段分别合成再拼接，另两种是整句一次生成并按段分配情绪或用自然语言指令指定情绪序列。对两个自然对话数据集使用基于连续情绪轨迹的系统，用两段的效价、唤醒度、支配度标注定义目标轨迹，一次生成稳定或变化语音。所有音频在打分前重采样到 16 千赫。

检测器配置与打分窗口如何统一

7 个检测器的推理配置需要统一说明，否则窗口长度和检查点来源的差异会干扰对情绪效应的解读。下表给出检查点来源与窗口设置，窗口和跳步以 16 千赫采样点计数，括号内换算为秒，跳步约为窗口 1 半并使末窗与句尾对齐。

该表说明前 5 个检测器用公开发布的检查点，后两个用同一录音室基准微调得到，窗口长度在 3.00 到 4.18 秒之间。统一重采样和重叠平均的意义在于整句分数都来自多窗口平均，局部情绪或局部拼接的影响会被平均，但如果转折改变了多个窗口的特征，平均分仍会系统偏移。后文的拼接边界分析正是回到窗口级别，检验边界窗口是否系统高于其它窗口。

本研究没有训练检测器，实际做了哪些推理与统计计算

论文没有从头训练伪造检测器，而是把 7 个已有检测器放在同一训练基准下评价。这些检测器覆盖直接处理波形、谱时图注意力、基于自监督语音特征、韵律感知、风格与语言失配以及面向语音伪造的基础模型等不同路线。为保持训练来源一致，都使用在录音室朗读基准上训练或微调得到的检查点，其中 5 个用公开发布的检查点，另两个用该基准微调得到，推理时音频统一转为 16 千赫单声道。

实际执行的计算是滑动窗口打分与聚合。每个检测器按自身输入长度取 3.0 到 4.2 秒的重叠窗口，重叠一半，最后一个窗口与句尾对齐，先得到每个窗口的伪造概率，再取平均作为整句伪造概率。统计方面用 1000 次自助重采样估计分数偏移的不确定性，在有说话人编号的数据集上按说话人整群重采样，给出 95% 置信区间，区间不包含零才视为显著。对自然真实语音还用回归控制说话人、时长和两段情绪标注，并分析窗级分数随唤醒度变化的关联。

分数、阈值和混杂因素如何处理

检测器输出的整句伪造概率越高表示越像伪造，为捕捉接近概率两端的变化，论文把它变换为对数几率分，并把概率截断在极小范围内避免溢出。合成类内的平均分差记为合成偏移，真实类内的平均分差记为真实偏移，负值表示变化语音得分更低、更像真，正值表示得分更高、更像假。在平行语料上按配对先算差再平均，在其它数据集上用变化组均值减去稳定组均值。两类偏移之差反映真伪两类平均分开程度的变化，但它只是对等错误率和固定阈值错误的补充。

伪造分 × 对数几率分： 伪造分是检测器输出的整句为伪造的概率，越高越像伪造，对数几率分是对该概率做对数变换后的分数，能在接近 0 或 1 的极端附近放大差异，论文用两类语音各自的平均对数几率分之差来衡量情绪变化带来的偏移。

评价同时报告总体区分能力和固定工作点错误。等错误率反映真伪两类整体可分性，方向是越低越好。固定阈值评价先在情绪稳定语音的等错误率点定阈值，再原样用于情绪变化语音，报告漏检率变化和误报率变化，单位是百分点，正值表示变化语音错误更多。百分点与相对百分比不同，这里是两个比率直接相减。

等错误率 × 固定阈值错误率： 等错误率是漏检率与误报率相等时的 operating 点，允许在不同条件下各自重选阈值，固定阈值错误率是先在情绪稳定语音上定好阈值再原样用于情绪变化语音，二者搭配才能看出部署中不重新调阈值时会多漏掉多少或多误报多少。

混杂因素通过设计与事后分析共同处理。文本因素靠平行语料的同人同文对照解决，时长因素靠检查两类平均时长差不超过 0.49 秒来排除主要驱动可能，静态情绪因素靠均衡过渡和按起止情绪对照检验，拼接因素靠比较拼接生成与整句生成，并在已知拼接边界附近比较含边界窗口与其它窗口的分数。

合成语音的情绪变化何时更难检出

下表先给出各检测器在 4 个数据集上混合两类语音时的总体基线，混合的意思是把情绪稳定与变化语音放在一起算总的等错误率和曲线下面积，等错误率越低越好，曲线下面积越高越好，灰色对应等错误率超过 50% 的倒置情形，可作为理解后文偏移的背景。

基线差异很大，平行语料上等错误率从 13.0% 到 43.2%，野外独白上有两个检测器超过 50%，两个自然对话数据集上多数检测器超过 50%。这说明很多检测器在这些情绪化或自然语音上本身区分能力有限，后文的分数偏移是在这种基线下观察到的条件内变化，不能直接当作部署绝对性能。

在野外独白的类别转移上，7 个检测器都给情绪变化合成语音打出显著更低的伪造分，而真实语音分数大多不变，说明合成语音看起来更真了。在固定阈值下，漏检率上升 9.7 到 25.3 个百分点。平行语料的受控比较呈现类似方向，7 个中有 5 个给变化合成更低分，其中两个基于自监督特征的检测器漏检率分别上升较多，而等错误率变化很小且不显著，说明只看等错误率会漏掉多漏检的风险。

上表整理的是论文正文中直接报告的固定阈值与等错误率对照，条件是同类合成语音内部比较，指标方向是变化减去稳定，正值表示变化语音错误更多。它说明在类别转移下，合成语音的漏检风险可以在等错误率几乎不动的情况下上升。连续情绪轨迹则呈现不同模式，在一个自然对话集上多数检测器给变化合成更高分，也就是更像假，而在播客集上合成分数几乎不变，可见合成变真并不是所有情绪变化方式的必然结果，可能与情绪条件方式、合成方法和来源特性有关。

在读下图之前，需要先分清热力图的数值是漏检还是误报的变化，再按数据集列比较同一检测器的符号是否翻转，这样才能看出漏检与误报是分别在哪些条件下恶化的。

看图路径： 1. 先区分上幅漏检变化与下幅误报变化；2. 再按列比较四个数据集上的颜色深浅与正负；3. 最后注意同一检测器在不同数据集上符号是否一致

论文图 3。原论文 Figure 4:：“Changes in detection errors from a\toa to a\tob at thresholds calibrated on a\toa speech.”。

该图上幅显示合成漏检的变化，下幅显示真实误报的变化，数值都是百分点，正值表示情绪变化语音错误更高。可以看到野外独白列上幅普遍偏红，平行语料列变化较小，自然对话集则在下幅出现较深的红色，而播客集的变化相对温和。这种按数据集分列的模式正是后文强调的条件依赖性的直接证据。

真实语音的情绪变化何时更容易被误报

真实语音的情绪变化也改变分数，但方向因检测器和语料而异。在平行语料上有一个检测器给变化真实语音显著更高分，在一个自然对话集上有两个波形与图注意力检测器分别把真实分数推高 1.54 和 1.66 个对数几率单位，在固定阈值下对应多出 18.6 到 24.4 个百分点的误报。在播客集上另有 3 个检测器也给变化真实语音显著更高分。

上表综合的是论文报告的真实语音误报代价和两个自监督特征检测器的等错误率变化，条件仍是真实类内或分条件等错误率比较，误报方向是正值表示变化真实语音更容易被判假。它同时包含一个反例，也就是同一条件下另两个检测器反而给变化真实语音更低分，使两类平均分开程度增大，等错误率下降，但其中只有前者的下降显著。这说明真实情绪转折既可能增加误报，也可能在特定检测器上改善区分，结论成立依赖于具体模型和语音条件。

在读情绪特异性热力图之前，需要先确认左幅是无转折时的按情绪等错误率，中幅是按终点情绪分组的合成分数偏移，右幅是按唤醒度升降分组的真实分数偏移，正值都表示更像伪造。

看图路径： 1. 先看左幅热力格按情绪列出的等错误率差异；2. 再看中幅按终点情绪列出的合成语音分数偏移方向；3. 最后看右幅唤醒度上升与下降两类点的分布差异

论文图 2。原论文 Figure 3:：“Emotion-specific detector responses. (a) EER on emotion-stable (a\toa) ESD speech by emotion.”。

左幅显示即使没有转折，不同情绪的等错误率也不同，惊讶通常更高，悲伤和中性较低，个别检测器从 4% 升到 42% 的跨度很大。中幅显示自监督特征检测器对非中性终点普遍给出负偏移，而波形模型对悲伤终点为负、对愤怒终点为正，正负相消后总体接近零。右幅显示波形与图注意力模型在唤醒度上升时一致给出更高的真实伪造分，下降时增幅较小，这种方向敏感性在两个自然数据集中都出现。

静态情绪和拼接痕迹能不能单独解释结果

论文首先检验静态情绪身份的解释。在平行语料上 20 种有序转移是均衡的，每种情绪在前后段出现次数相同，但仍有 5 个检测器给变化合成显著更低分，说明仅用情绪出现频率不同解释不了。在野外独白上进一步把每个变化合成与其起止情绪各自的稳定合成平均分比较，且限定同一生成器内比较，结果 7 个检测器仍给出显著更低分，降幅从约 0.41 到 3.42 个对数几率单位，说明只看出现了哪两种情绪还不足以解释合成变真。

静态情绪身份 × 拼接痕迹： 静态情绪身份指语音里出现了哪种情绪本身，拼接痕迹指把两段音频直接连起来可能留下的声学不连续，二者都是情绪变化之外的干扰解释，论文分别用均衡过渡、按起止情绪对照和拼接与整句生成对照来检验它们是否能单独解释分数偏移。

拼接方面，分段合成再拼接的系统与整句无拼接生成的系统都出现显著负偏移，在野外独白上 3 类生成器分别在七分之七、七分之六和七分之七的检测器上显著，在平行语料上无拼接的系统反而在更多检测器上显著，说明分数下降不需要拼接。对真实语音，平行语料两类条件用同样拼接流程仍有差异，窗口分析发现部分检测器给含拼接边界窗口更高分，但边界效应在稳定与变化真实语音上相近，例如某检测器在播客集上分别上升约 4.5 和 4.7 个对数几率单位，因此拼接能影响局部分数，但不能完全解释条件间的整体偏移。

在读拼接对照图之前，需要区分左两幅是按生成器分组的合成偏移，右两幅是含边界窗口减去其它窗口的局部分差，正负含义不同，不能直接跨左右比较大小。

看图路径： 1. 先看左两幅不同生成器下合成语音偏移是否都偏负；2. 再看右两幅拼接边界窗口与其它窗口的分数差；3. 最后比较真实语音两种条件下的边界效应是否相近

论文图 4。原论文 Figure 5:：“Analysis of splicing artifacts. (a) Synthetic spoof score shifts from emotion-stable (a\toa) to emotion-changing (a\tob) speech, grouped by generator on ESD and OMG-Emotion.”。

左两幅显示无论是否拼接，合成偏移大多位于零的左侧，说明变化合成分数更低的现象跨生成方式存在。右两幅显示部分检测器在拼接边界处分数更高，而无拼接合成在对应位置变化很小，但真实语音两类条件的边界效应幅度相近。这组对照支持论文的判断，也就是拼接是局部影响因素，但不是情绪条件差异的主要解释。

结论在什么条件下才成立，还有哪些边界

这些效应反映的是所选语音条件和合成系统的组合，不能直接推广到其它语言、其它合成系统或其它情绪轨迹。类别转移与连续轨迹在生成方法上也不同，前者用类别标签控制，后者用连续轨迹控制，因此两类设置之间的差异不能单独归因于情绪表示方式，还混入了生成方法和来源特性的差别。

在自然数据集中，真实与合成语音的构造流程不同，跨类指标可能受到构造差异的影响，论文的主要分析限定在每个真实性类别内部比较稳定与变化，减弱了这一混杂，但没有完全消除跨条件泛化的问题。基线部分等错误率超过 50% 的倒置情形说明某些检测器在该语料上把真实与合成的排序整体弄反，此时分数偏移的方向仍可解读为更像真或更像假，但错误率数字的实际意义需要结合倒置背景理解，不能当作正常工作点的性能承诺。

论文也没有测量延迟、算力成本或实际部署中的误判代价，相关不等于因果，分数偏移大不等于攻击一定成功，还需要补充实际攻击成功率、阈值选择策略和更多说话人与场景的验证。

复现第一步做什么，需要哪些信息条件

复现应从构造对照样本开始，而不是直接跑检测器。先按论文规则准备情绪稳定与变化的两组语音，平行部分保证同人同文且首段音频相同，自然部分保证同一说话人并用连续情绪距离筛选出不重叠的稳定与变化区间，再用对应文本和分段情绪目标生成合成并统一重采样到 16 千赫。接着用同一基准的检查点按各自窗口长度做重叠打分并平均成整句概率，再变换为对数几率分后在类内相减。

关键信息条件包括说话人编号、起止情绪标注、两段效价唤醒度支配度、窗口长度与跳步、阈值标定所用的稳定语音集合以及自助重采样的整群单位。缺少其中任何一项，分数偏移和固定阈值错误都可能对不上。论文提供了项目网站链接，证据显示该链接当前可达，但这只证明提到的页面可访问，不等于全部音频、划分脚本和检查点都已可运行，需要按三件事分别核对，也就是代码是否公开、权重是否可下载、端到端流程是否可运行。

什么时候值得尝试，以及还需补哪项验证

当研究或产品需要处理富有表现力的语音，例如客服、播客或野外录音中的情绪起伏较大，且已观察到合成语音漏检或真实语音误报随情绪变化时，这套按情绪轨迹对照的评估值得尝试。它能揭示只看总体等错误率看不到的固定阈值风险，也能区分不同检测器对终点情绪和唤醒度方向的不同敏感性。

下一步最需要补的验证是扩大语言、合成系统和情绪轨迹的覆盖，并在固定阈值下报告实际工作点的漏检与误报权衡，同时记录阈值标定数据与测试数据的划分关系，避免用事后最优阈值夸大改进。训练方面也应把情绪转折同时加入真实与合成训练数据，再检验模型是否真正学到对情绪动态稳健的特征，而不是记住某种静态情绪或某种拼接痕迹。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-19 语音/音乐/音频论文速递