Voice Anonymization Made Simple: Training-Free Anonymization with Projected Classifier-Free Guidance

语音匿名化（voice anonymization）的输入是源说话人的语音，输出是听感自然的新语音，要求无法再识别出源说话人，同时保留文字内容和情感等下游需要的信息，难点是内容表征和生成轨迹中常纠缠源音色。条件构造阶段用随机目标话语的窄带与宽带记号作为自回归模型的上下文，把源语言序列重新生成为受无关说话人影响的记号条件，其中提示区记号仍取自源话语以与源声学提示保持对齐。语音生成阶段保留源声学提示和风格向量只为估计源条件方向，把记号引导中与该方向对齐的分量投影去除，再加强剩余记号引导，生成波形仍由原流匹配求解器与声码器完成。与直接去掉目标条件的内置匿名模式不同，该方法主动利用外部说话人上下文和源方向参考。在评测集上，随机目标结合Smooth-21投影的系统在半知情攻击下等错误率达到21.51%，高于内置模式的17.78%和最强官方基线的17.05%，词错误率保持在4.46%左右。结论限于英语第一赛道协议，多语言适用性尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

第三方资源：https://github.com/xs125-stack/voice_anon_simple — 链接可访问（HTTP 200）
第三方资源：https://github.com/Plachtaa/ASTRAL-quantization — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

语音匿名要输入什么、保留什么、输出什么

语音匿名任务的输入是一段源说话人的原始语音，目标是让输出语音难以被自动说话人验证系统重新关联到源说话人，同时保留下游需要的语言内容和部分副语言信息，例如韵律和情感。输出仍然是波形语音，可以直接送给语音识别或情感识别系统。评价时隐私用等错率衡量，数值越高表示越难识别；语言保留用字错率衡量，数值越低越好；情感保留用无加权平均召回率衡量，数值越高越好。

初学者容易把匿名理解为简单变声，论文强调的是在标准评测协议下同时看隐私与效用，而不是只听主观相似度。后续所有改进都要回到这 3 个指标上检验，不能只谈其中一项。

已有匿名路线与本文的免训练切入点

原文把已有方法分为信号处理与神经合成两类。信号处理改共振峰或语速等声学属性，但可能损伤音质且难以抵御强攻击者。神经合成从变换后或解耦表示重构语音，例如语音识别加语音合成会丢掉副语言信息，更复杂的系统则保留韵律或解耦内容、韵律与说话人。扩散与流匹配模型近年被用于匿名，例如基于扩散语音转换的改编、用流匹配生成匿名说话人嵌入后再重构、以及用无分类器制导控制韵律保留的重构。

但多数方法需要针对匿名的训练、新增可学习模块，或换一个语音转换模型就要重训。论文提出的问题是能否只改推理过程，就把已训练好的基于流匹配的语音转换模型变成匿名器。本文的回答是只改推理时的条件构造与制导，不更新任何预训练参数。

为什么自带匿名模式仍可能残留源说话人信息

论文把实验底座选为 Seed-VC v2，一个零样本语音转换系统。它先构造转换所需条件，再用条件流匹配合成语音，这种 2 阶段结构正好可以分开做 2 次干预。标准语音转换的目标是转到目标说话人，而自带匿名模式去掉了显式目标音色条件：自回归部分不给目标上下文，声学提示和风格嵌入置零，只用词元条件做制导。论文指出这仍有两处不足。

第一阶段只是拿掉目标相关输入，没有利用模型在另一说话人上下文下重写源内容的能力，因此词元条件仍主要由源输入决定，可能把源说话人信息与内容纠缠在一起。第二阶段虽然减少了源声学条件的直接使用，但没有识别并去掉词元制导中携带的源相关信息，也没有主动把生成轨迹推离源说话人。这就引出两处修改：在表示层引入随机目标上下文，在生成层抑制与源对齐的分量。

两阶段干预在共享主干上改了哪里

整体流程仍沿用 Seed-VC v2 的共享主干。第一阶段构造完整词元条件、声学提示和全局风格嵌入；第二阶段用条件流匹配的速度网络估计轨迹，再经欧拉求解器得到梅尔谱，最后由 BigVGAN v2 声码器转成波形。提议方法只改推理时的条件与制导。第一阶段改变自回归生成部分所用的说话人上下文，用随机目标语音提供上下文与前缀，让源语言序列在无关说话人语境下重新实现。

第二阶段保留源推导的提示与风格，但只用它们指示应当抑制的方向，采样起点仍是词元条件场，而不是全条件场。下图把标准转换、自带匿名与提议方法放在同一主干下对比，重点看条件来源与制导公式的切换。

读图时先区分黑色共享计算与 3 条彩色路径，再把上下两大阶段分开理解，上半是条件构造，下半是流匹配生成与声码器。

看图路径： 1. 先看上半部分三路输入如何进入语音分词器与自回归模型；2. 再看下半部分三个分支预测如何进入不同的制导公式；3. 对比红绿蓝三路在提示与风格取值上的差异；4. 跟踪蓝色提议路径从随机目标到投影分量的完整链路

论文图 1。原论文 Fig. 1:：“Overview of standard voice conversion, built-in anonymization, and the proposed training-free method within the shared Seed-VC v2 backbone.”。

图中上半显示源语音经分词器得到窄带与宽带词元，目标或随机目标提供上下文，自回归模型输出待合成部分的宽带序列，再经帧率规整与拼接形成完整词元条件；下半显示同一估计器给出全条件、词元条件与无条件 3 个分支预测，再分别进入不同的制导公式。提议路径的特点是提示与风格取自源语音，但只用于构造差分方向并做投影抑制，最终仍输出匿名语音。

第一阶段如何用随机目标重写内容条件

完整词元条件由两段沿时间拼接而成：词元提示条件描述提示区，自回归词元条件描述待生成的内容区。两段要先各自规整到对应的梅尔长度再拼接。源窄带词元始终提供语言序列，这是内容不跑偏的依据。提议方法采样一段独立随机目标话语，用它的窄带与宽带词元做自回归上下文与前缀，于是源部分的宽带词元是在无关说话人语境下预测出来的，再转到梅尔帧率就得到新的自回归词元条件。它仍携带源语言内容，但词元实现已受外部语境影响。

内容条件 × 声学提示： 内容条件说明要说什么，由词元经帧率规整得到；声学提示说明参考段是怎么发声的，由梅尔谱给出。两者搭配构成对齐的上下文示例，前者定语言序列，后者定发声实现，组合后才把生成稳定引向目标说话人。

为保持对齐，词元提示条件仍从源宽带词元构造，声学提示仍从源语音提取梅尔谱，风格嵌入仍用同一 CAM++ 编码器从源语音提取。这样词元提示与声学提示是同一段语音的两面，不会出现提示失配。论文报告若把词元提示换成随机目标而声学提示仍用源语音，有时会提高说话人分离度，但生成不稳定并明显损伤音质、抬高字错率，因此不采用这种失配做法。由于完整词元条件仍保留源提示部分，且自回归从源词元出发，第一阶段只能减弱而不能保证完全去除源说话人信息。

\[\widehat{\mathbf{z}}_{\mathrm{w}}=G_{\mathrm{AR}}\left(\mathbf{z}^{\mathrm{src}}_{\mathrm{n}};\mathbf{z}^{\mathrm{rand}}_{\mathrm{n}},\mathbf{z}^{\mathrm{rand}}_{\mathrm{w}}\right).\]

上式中左边是预测的源部分宽带词元，右边第一项是源窄带词元提供的语言序列，后两项是随机目标的窄带上下文与宽带前缀，G 表示共享的自回归模型。理解时先认清输入符号，再看计算目标是在无关语境下重写内容表示。

第二阶段如何识别并抑制源对齐分量

第二阶段在每个常微分方程步骤都用同一估计器算 3 个预测：全条件预测同时看到词元条件、提示与风格，词元条件预测只看到词元条件，无条件预测什么都不看。全条件与词元条件之差被记为源条件方向，反映源声学提示与风格带来的改变量；词元条件与无条件之差被记为词元制导方向，反映完整词元条件的作用。论文明确不假设前者是纯说话人方向，也不假设后者是纯内容方向，只是把两者对齐的部分当作词元通路中残留源说话人信息的代理，并做抑制。

源条件方向 × 词元制导方向： 源条件方向是全条件预测减去词元条件预测，反映源声学条件带来的改变量；词元制导方向是词元条件预测减去无条件预测，反映完整词元条件的作用。把后者向后者投影并抑制，是为了去掉其中与源条件一致的分量，同时保留语言生成所需的剩余分量。

具体做法是把词元制导方向投影到源条件方向构造的参考上，得到对齐分量，再从词元条件场出发减去该分量并加强剩余词元制导。基线场选词元条件场，避免源提示与风格直接重构源音色，而全条件与词元条件之差仍指示应当去掉的方向。共享欧拉求解器再按新速度场积分，声码器渲染波形。

\[\mathbf{d}_{s}=\mathbf{v}_{f}-\mathbf{v}_{c},\qquad\mathbf{d}_{c}=\mathbf{v}_{c}-\mathbf{v}_{u},\]

上式定义了两个差分方向，前者是源声学条件引入的方向，后者是完整词元条件引入的方向。两者形状都是特征维乘帧数，后续投影在帧级别逐帧计算内积与缩放。

\[\mathbf{v}_{\mathrm{anon}}=\mathbf{v}_{c}-\lambda_{s}\,\mathbf{p}^{(g)}+\lambda_{c}\,\mathbf{d}_{c},\]

上式是最终匿名制导规则，从词元条件场出发，减去按抑制系数加权的投影分量，再加上按内容系数加权的词元制导方向。两个系数分别控制抑制强度与内容保持强度，需要在小集合上搜索确定。

投影参考的三种时间粒度有什么分工

投影参考可以按 3 种时间粒度构造：逐词元用同一帧的源条件向量，保留帧级变化；全局用整句平均，去除局部变化；平滑用当前帧前后各 10 帧共 21 帧的滑动窗口平均，提供中间状态的平滑参考。实验中平滑 21 帧记为 Smooth-21，边界用反射填充。无论哪种模式，被投影的向量始终是当前帧的词元制导方向，只有参考的时间构造不同。

直观上逐帧参考最敏感但易受噪声影响，全局参考最稳定但丢失局部细节，平滑参考折中。论文在消融中比较三者，而不是事先断言哪种一定最优。

风格嵌入 × 声学提示： 风格嵌入是全局音色向量，刻画整体说话人特征；声学提示是逐帧梅尔示例，刻画具体实现。两者都来自同一参考语音，分工是全局与局部互补，组合后在流匹配生成中共同提供说话人侧的引导。

这里风格嵌入与声学提示共同决定源条件方向，但只做参考而不做重构目标。投影分量被视为源说话人残留的代理方向，抑制它并不等于证明剩余部分与身份完全无关，这一点必须按原文的谨慎表述理解。

自回归词元模型 × 流匹配声学模型： 自回归词元模型先把源窄带词元在外部说话人上下文下重写为宽带词元序列；流匹配声学模型再以词元条件、声学提示和风格嵌入为条件生成梅尔谱。前者负责离散内容表示的去源化，后者负责连续声学轨迹的生成，两级串联才完成匿名语音合成。

自回归词元模型与流匹配声学模型的组合意义在于分级处理：前者在离散词元层减弱源依赖，后者在连续声学轨迹层抑制对齐方向，2 级都只改推理调用，不改参数。

没有训练时实际计算与搜索了什么

本研究没有训练任何模型，也没有更新 Seed-VC v2、自回归模型、分词器、风格编码器或声码器的参数，所有操作都是推理时调用与系数搜索。实际计算包括用预训练窄带与宽带分词器提取词元，用共享自回归模型生成目标条件化的宽带序列，用帧率规整与拼接构造完整词元条件，用梅尔提取与 CAM++ 编码器得到提示与风格，再用扩散变换器速度网络在每个流时间步算 3 个分支预测并按投影规则组合，最后用固定步长欧拉求解器积分并经声码器合成。

需要确定的只有投影模式与两个制导系数。论文先在 30 条话语的筛选子集上验证系数作用，再在同一子集上对每种投影模式与是否用随机目标的 6 种组合做网格搜索，两个系数都从 0 到 3 步长 0.1 扫描，保留字错率低于 5% 再选相异分数更强的点。选定后在完整开发集与评测集上固定不再调参。无训练不等于输出确定，随机目标采样与生成采样仍会带来变化，论文用固定随机种子固定源与目标配对以保证对照公平。

评测协议、数据划分与指标方向如何规定

实验遵循 VoicePrivacy 2026 第一轨道英语评测协议，直接使用挑战提供的数据集、攻击模型以及语音识别与情感识别评测模型，不做修改。说话人隐私在懒知情与半知情攻击下用等错率衡量，越高表示保护越强。语言保留用字错率，越低越好；情感保留用无加权平均召回率，越高越好。筛选子集含 30 个说话人，每人选一条较长且清晰的开发集话语，只用于快速筛选，论文称其上选出的设置能较好推广到完整集，但在完整开发集上调参可能更好，只是网格搜索代价会大很多。

随机目标池来自 LibriTTS 训练集中 500 个说话人，每人一条 3 到 6 秒短话语，每个源话语从中有放回采样一个目标，只为自回归生成部分提供上下文，词元提示部分仍用源话语。同一源与目标配对在所有投影模式与系数设置间保持一致，还用其他随机种子做过初步检查，发现关键是使用无关目标上下文而非具体目标身份。

懒知情攻击 × 半知情攻击： 懒知情攻击指攻击者只用原始语音训练说话人验证系统；半知情攻击指攻击者还用语音转换后的语音做训练，攻击更强。两者搭配可以检验匿名在弱攻击和强攻击下的等错率，等错率越高表示越难重新识别源说话人。

理解结果时必须同时看数据集阶段、攻击类型、指标与聚合对象，数值相同也不等于同一指标，百分点差异也不能说成相对百分比提升。

与官方基线相比隐私与效用的实际变化

下面比较要回答的是在相同挑战协议下，所选平滑投影系统相对官方基线与自带匿名模式是否同时改善隐私并保持效用。公平条件是都用挑战提供的攻击、识别与情感模型，指标方向为等错率与召回率越高越好、字错率越低越好。表格聚焦评测集的 4 个指标，并保留最强官方基线作为参照。

System	L-EER	S-EER	WER	UAR
B5	25.65	17.05	4.44	38.25
Built-in	28.19	17.78	4.58	40.38
Smooth-21†	29.39	21.51	4.46	39.57

表中所选平滑系统在开发集懒知情等错率 35.09%、半知情 25.14%，评测集懒知情 29.39%、半知情 21.51%，均高于自带匿名模式的开发集 33.15% 与 24.64%、评测集 28.19% 与 17.78%，也高于最强官方基线 B5 的评测集 25.65% 与 17.05%。代价是字错率从自带模式的评测集 4.58% 变为 4.46%，开发集从 4.18% 变为 4.52%，基本可比；情感召回率评测集从 40.38% 变为 39.57%，开发集从 41.85% 变为 40.38%，略有下降。论文的结论因此是有证据的权衡改善，而不是单项碾压，且只在英语第一轨道与所用评测模型下成立。未胜出项是情感保留并未超过自带模式，B2 在情感上仍有 53.49% 与 55.66% 的高值但隐私很弱，说明隐私与效用需要一起看。

两个系数是否按预期分别控制抑制与内容

筛选实验先验证两个系数分工，再谈选点。隐私在该小集合上用相异分数衡量，定义为源与匿名嵌入余弦相似度的均值再用 1 减去，越高表示离源说话人越远；效用用同一 30 条的语料级字错率。固定内容系数时增大抑制系数，相异分数上升但过度抑制会抬高字错率；固定抑制系数时增大内容系数，字错率下降但相异分数回落。

两种相反趋势支持原文赋予的分工：抑制系数主控源说话人抑制，内容系数主控语言内容保持。下图展示这种此消彼长的形态，小样本曲线有抖动，只能看趋势不能读出精确最优。

读图时注意左右纵轴不同，红色是字错率越低越好，蓝色是相异分数越高表示越不像源说话人，两面板的固定条件也不同。

看图路径： 1. 看左图随抑制系数增大时蓝色与红色曲线的共同上升趋势；2. 看右图随内容系数增大时两条曲线的下降与收敛形态；3. 注意左右纵轴分别是字错率与相异分数，方向含义不同；4. 观察小样本下曲线的抖动，不要读出精确最优值

$原论文 Fig. 2：Effects of \\lambda_s and \\lambda_c on the 30-utterance screening subset.$

论文图 2。原论文 Fig. 2:：“Effects of \lambda_s and \lambda_c on the 30-utterance screening subset.”。

左图固定内容系数为 0 而增大抑制系数，两条曲线总体上行，说明抑制增强但内容代价也在增大；右图固定抑制系数为 3 而增大内容系数，两条曲线总体下行后趋平，说明内容制导把字错率拉低的同时也把相异度拉低。论文用该诊断把抑制系数的扫描上界设到 3，但不把 3 当作工作点，实际工作点要经过字错率低于 5% 的筛选再确定。

随机目标与投影各自带来多少增益与代价

完整开发集消融把两处修改分开看。先固定系数只改是否用随机目标，懒知情等错率全局从 33.90% 到 34.44%，平滑从 34.20% 到 34.79%，逐词元从 33.48% 到 33.80%，三者隐私都上升。此时字错率的变化分别是增加 0.52、0.08 与 0.38 个百分点，不能笼统说都在 0.34 以内，情感召回率也有不同程度回落。再为随机目标系统重调系数，懒知情等错率进一步到 34.61%、35.09% 与 34.72%，说明增益不是单纯换超参数带来的。再看投影本身：在都不用随机目标时，3 种投影相对自带模式的 33.15% 分别达到 33.90%、34.20% 与 33.48%，字错率保持接近，说明生成阶段抑制对齐分量本身有益，其中平滑粒度最强。下表给出全部开发集消融数字，比较问题是每处修改是否在可比效用下提升隐私。

System	RT	𝝀𝒔\boldsymbol{\lambda_{s}}	𝝀𝒄\boldsymbol{\lambda_{c}}	EER	WER	UAR
Built-in		0.7	0.7	33.15	4.18	41.85
Global		0.9	2.8	33.90	4.20	39.21
Smooth-21		1.0	3.0	34.20	4.39	40.35
Token		0.2	2.4	33.48	4.22	40.30
Global	✓\checkmark	0.9	2.8	34.44	4.72	38.62
Smooth-21	✓\checkmark	1.0	3.0	34.79	4.47	39.06
Token	✓\checkmark	0.2	2.4	33.80	4.60	39.43
Global	✓\checkmark	1.2	2.9	34.61	4.42	40.13
Smooth-21	✓\checkmark	1.1	2.8	35.09	4.52	40.38
Token	✓\checkmark	0.1	1.3	34.72	4.36	39.95

上表显示随机目标与投影都有独立贡献，但代价不同：固定系数下引入随机目标会抬高字错率，重调后字错率有所回落但仍高于自带模式；投影在相近字错率下提升隐私，但情感召回率普遍低于自带模式的 41.85%。限制是选点依赖字错率低于 5% 这一应用相关阈值，换阈值可能选出不同工作点，且筛选只在 30 条上完成。

结论在什么条件下才成立、还有哪些未知

论文的强结论限定在英语第一轨道、挑战提供的攻击与评测模型、以及字错率低于 5% 筛选出的工作点下成立。半知情攻击更强，评测集等错率普遍低于开发集，所选系统仍保持领先，但不能推广到跨性别与多语言第二轨道，原文也把多语言列为未来工作。方法层面第一阶段不能保证完全去除源信息，投影只是把对齐分量当作残留的代理并抑制，原文明确不假设差分方向是纯说话人或纯内容方向，因此不能说剩余部分与身份完全无关。

筛选子集每人一条、共 30 条，网格搜索与阈值选择都可能受小样本抖动影响，论文未报告统计显著性与多次采样的方差。未评测的范围包括推理延迟、计算开销、主观听感与误判率，这些没有测量就不能承诺改善。

复现第一步做什么、需要哪些已有模型

复现不需训练，但需准备已训练好的 Seed-VC v2 主干、窄带与宽带分词器、自回归词元模型、CAM++ 风格编码器与 BigVGAN v2 声码器，以及挑战的评测流水线。论文在正文给出完整代码与音频示例入口，指向公开仓库，初学者可先按该入口核对版本与推理脚本，再准备 LibriTTS 随机目标池与固定随机种子，保证源与目标配对在各设置间一致。第一步建议先跑通自带匿名模式，确认能复现接近开发集 33.15% 懒知情等错率与 4.18% 字错率的基线，再加入随机目标条件与投影制导。

系数搜索先在小集合上按 0 到 3 步长 0.1 扫描，保留字错率低于 5% 的点再比相异分数，选定后冻结再跑完整开发与评测集。代码可运行、权重可下载与环境可复现是三件事，要分别确认，不要把有入口等同于一键可运行。

什么时候值得尝试、还需要补哪项验证

当已有高质量流匹配语音转换模型但不想为匿名重训，且能接受小幅字错率与情感波动换取更高隐私时，这种只改推理的方法值得尝试，尤其适合快速验证匿名可行性。复现时关键信息条件是词元提示与声学提示必须对齐取自源语音，随机目标只用于自回归生成部分；生成起点用词元条件场，源提示与风格只做抑制参考；投影粒度与两个系数要按效用阈值重选。

还需要补的验证包括在完整开发集上重做选点以检验小集合偏差、报告多次随机目标采样的波动、在更强攻击与多语言上测试泛化，以及补充延迟与主观质量评估。只有补齐这些，才能判断该权衡在实际部署中是否成立。

📎 论文与评分元数据

排名：前50% | 文档类型：方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses

← 返回 2026-10-11 语音/音乐/音频论文速递

原文与引用

📄 只改推理条件怎么做语音匿名：随机目标重构与投影制导#

👥 作者与机构#

📌 核心摘要#

🔗 开源与复现资源#

🧭 深度解读#

语音匿名要输入什么、保留什么、输出什么#

已有匿名路线与本文的免训练切入点#

为什么自带匿名模式仍可能残留源说话人信息#

两阶段干预在共享主干上改了哪里#

第一阶段如何用随机目标重写内容条件#

第二阶段如何识别并抑制源对齐分量#

投影参考的三种时间粒度有什么分工#

没有训练时实际计算与搜索了什么#

评测协议、数据划分与指标方向如何规定#

与官方基线相比隐私与效用的实际变化#

两个系数是否按预期分别控制抑制与内容#

随机目标与投影各自带来多少增益与代价#

结论在什么条件下才成立、还有哪些未知#

复现第一步做什么、需要哪些已有模型#

什么时候值得尝试、还需要补哪项验证#

⚖️ 评分明细#

📄 只改推理条件怎么做语音匿名：随机目标重构与投影制导

👥 作者与机构

📌 核心摘要