英文题目：Acoustic token admixture for joint speaker and content anonymization

会议身份：conference:interspeech:2026:conference-paper-id:golmakani26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#模型融合 #向量量化 #隐私保护 #说话人匿名化 #语音编辑

评分：6.6/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

  • Ali Golmakani：机构信息未能从会议 PDF 纯文本可靠映射
  • Seyed Ahmad Hosseini：机构信息未能从会议 PDF 纯文本可靠映射
  • Omar Manil Bendali：机构信息未能从会议 PDF 纯文本可靠映射
  • Emmanuel Vincent：机构信息未能从会议 PDF 纯文本可靠映射
  • Brij Mohan Lal Srivastava：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为医疗、法律和企业电话等敏感域语音，需同时抑制生物特征声纹与语言层命名实体和文体指纹，输出为保留域内韵律和可用性的匿名语音。流程先由冻结的 Whisper large-v2 编码器加 8 级残差向量量化得到编码器 token 流，同时将转写经 Transphone 音素转换与联结时序分类强制对齐映射为 64 维发音特征，再由 220M 参数 T5 自回归解码为音素派生 token 流。两流在帧级按混合比 \(\beta\) 随机选择并经余弦相似度门控 \(\tau=0.6\) 过滤错位帧，命名实体识别触发的敏感跨段则强制覆盖为替换实体 token。融合 token 重构向量连同变换基频与 192 维 ECAPA-TDNN 伪说话人嵌入送入 BigVGAN 声码器合成，仅编辑必要帧而保留上下文。与整句重合成相比，该机制在统一合成栈内实现细粒度编辑并降低子系统指纹风险。在 VoicePrivacy 2024 评测中主要工作点 \(\beta=0.7\) 达到等错误率 42.54% 与词错误率 3.73%，距挑战最优 0.69 个百分点且可用性损失较小。结论仅在英文朗读语音和 PERSON 与 LOCATION 短实体替换上验证，长篇自发语音、释义级文体匿名与情感保留尚未解决。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，什么必须保留？

输入是一段原始语音，目标是输出一段可以直接分享或用于训练下游模型的匿名语音。匿名在这里有两条独立通道。第一条是生物特征通道，音色、声道形状、能量分布与韵律习惯会被说话人验证系统利用来认出是谁说的。第二条是语言内容通道，转写文本中的人名、地名、词汇与句法分布会形成文体指纹，即使声音已经换掉，仍可能通过作者归属方法认出身份。 必须保留的东西是让录音有领域价值的部分。

医疗、法律与企业电话录音的价值在于领域词汇、原始声学质感、韵律节奏与说话风格，如果像传统做法那样整句重合成，音色与节奏都被抹掉，输出就不再适合做领域自适应语音识别或对话分析。原文明确指出既有 3 类内容隐私做法与已有说话人匿名系统都会丢掉原始声学特征，导致输出不可用作领域内训练数据。因此本研究把成功标准定为三件事同时成立：说话人验证等错误率上升、可懂度与情感等效用尽量不掉、只改必须改的帧而保留周围信号。

已有路线各解决了哪一半，为什么还缺统一框架？

说话人匿名已有两类路线。信号处理路线如麦克亚当斯系数偏移不需要训练但对抗知情攻击较弱。深度语音转换路线匿名更强但计算代价更大，且多为整句重合成。内容隐私则有 3 类独立范式。电话码掩蔽让敏感片段不可懂，直接失去下游识别与分析价值。

基于命名实体识别的替换保留可懂度但受限于识别召回率并在编辑边界产生声学不连续。大语言模型改写覆盖最广但最终仍需文本转语音重合成，丢掉原始声学特征。 与本文最接近的是约翰斯·霍普金斯大学混合系统。它以概率在语音转换系统与级联识别合成系统之间整句随机路由，改善了等错误率与情感召回的折中，但路由是 utterance 级二选一，每帧仍被重合成，也没有片段级内容编辑机制。

原文的判断是此前没有系统在统一框架内同时处理声学与语言两条重识别通道，而本文的差异点正是把两路令牌放在同一个声码器内逐帧混合，只编辑需要改的帧。

任务如何定义，匿名强度与效用如何度量？

任务定义为联合说话人与内容匿名。给定原始波形，先得到帧级语言令牌、帧级基频轮廓与伪说话人嵌入，再由声码器合成匿名波形。其中敏感命名实体片段必须被替换为编辑后文本对应的语音，非敏感帧则按混合比例随机决定保留原始声学细节还是使用去身份的音素派生版本。 度量沿用语音隐私挑战 2024 的约定。隐私用半知情攻击者协议下的等错误率衡量，数值越高表示越难认出原说话人，上限为 50%。

语言效用用词错误率衡量，数值越低表示越可懂。情感效用用非加权平均召回率衡量，数值越高表示情感保留越好。自然度用自动平均意见分预测器衡量。语音编辑任务另设两个余弦相似度指标。匿名相似度是原始与匿名输出的说话人向量相似度，越低表示匿名越强。

编辑相似度是匿名源输出与命名实体编辑后输出的说话人向量相似度，越高表示编辑前后伪说话人越一致。理解这些方向是读懂后文表格的前提，等错误率向上好、词错误率向下好、情感召回向上好、匿名相似度向下好、编辑相似度向上好。

沿一个样本走完输入到输出的全景是什么？

拿一句包含人名或地名的英文朗读为例。输入波形先进入上路。Whisper 大版本 2 编码器把对数梅尔谱图变成每秒 50 帧的 1280 维向量，再经 8 级残差向量量化变成每帧 8 个索引，这就是编码器派生令牌流，保留原始发音细节但也保留说话人线索。

下路同时把 Whisper 解码器转写文本经转换器转为国际音标，经基于连接时序分类的强制对齐器得到帧到音素映射，再把每帧映射为 64 维二值发音特征，最后由 220M 参数的 T5 序列到序列变换器自回归解码为音素派生令牌流，该流只知道应该发什么音而不知道原说话人是谁。 下面这张流程图把两路汇合与两个外部条件的接入方式 1 次讲清，阅读时先分清蓝橙绿三色分别对应编码器路、音素路与合成条件，再看混合节点的位置。

看图路径： 1. 沿蓝色 Stream A 从输入语音经 Whisper 编码器到 RVQ 再到混合节点的横向箭头走一遍；2. 沿橙色 Stream B 从 Whisper 解码器经 G2P、对齐、发音特征到 T5 再到混合节点的下路走一遍；3. 观察虚线 NER 支路如何绕过 β 直接指向混合节点形成 span override；4. 确认混合节点之后同时汇入 F0 变换与 ECAPA 伪说话人再进入 BigVGAN 声码器

原论文 Figure 1：Joint speaker and content anonymization pipeline.

论文图 1。原论文 Figure 1：“Joint speaker and content anonymization pipeline. Stream A (blue): Whisper encoder representations are quantised through M=8 RVQ stages to produce frame-level encoder tokens k(1:M)”。

图中蓝色上路是 Stream A，从输入语音到 Whisper 编码器再到 M 等于 8 的残差量化，输出每帧索引。橙色下路是 Stream B，从 Whisper 解码器经 G2P 到国际音标、强制对齐、发音特征再到 T5 自回归变换器，输出同形状的音素派生索引。两路在中间绿色加号节点按混合比 β 与余弦门限 τ 融合，橙色虚线是命名实体标注器发出的片段覆盖信号，绕过 β 强制使用下路。融合后令牌与上方基频变换、下方 ECAPA 伪说话人嵌入一起进入 BigVGAN 声码器，输出匿名语音。关键在于混合发生在帧级令牌空间而非整句音频层面，周围未选中帧完全不动，这就是避免全量重合成的机制。

两路令牌各自怎么算，混合与门控如何执行？

编码器路的具体计算是冻结 Whisper 编码器，只训练残差码本与秩为 32 的低秩适配器。每级码本含 1024 个向量，逐级量化上 1 级残差并求和重建连续向量。训练用标准承诺损失，衰减 0.9，承诺权重 0.6。音素路的具体计算是先把转写文本转为音标序列，再映射为发音部位与方式的发音特征向量，对齐器在相同 Whisper 编码器特征上训练并用维特比解码给出单调帧到音素映射，把每个音素向量在其对齐区间内重复即得帧级发音序列，T5 以该序列为输入自回归预测残差量化索引，训练目标是对 8 层索引并行输出的负对数似然平均，加入正弦位置编码，最大序列长度 256。

残差向量量化 × Whisper 编码器表示： Whisper 编码器表示负责把对数梅尔谱图变成每秒 50 帧的连续语义声学向量，残差向量量化负责把该向量逐级量化为 M=8 层的离散索引，二者搭配的原因是连续向量保留可合成信息而离散分层暴露可控因子，组合意义是后续混合与替换都可以在离散索引层面按帧操作而不必重训声学编码器。

混合规则是每帧以概率 β 取音素派生令牌、以概率 1 减 β 取编码器令牌。β 越大，音素路占比越高，匿名与文体抑制越强。因为选择发生在单个合成器内部而非两个完整系统之间，输出不能干净归因于某个子系统，从而降低知情攻击者的指纹风险。门控规则是在接受音素令牌前比较两路重建向量的余弦相似度，要求不低于 0.6，否则说明对齐与声学内容错位，常见于口音或噪声语音，此时回退到编码器令牌保可懂度。阈值 0.6 是作者在留出子集上主观试听选出的可懂度与匿名平衡点。

音素条件自回归令牌 × 编码器派生令牌： 编码器派生令牌分工是保留原始发音细节与副语言线索，音素条件自回归令牌分工是只从音素与发音特征重建应该说什么而不携带原说话人痕迹，二者搭配的原因是前者可懂但易泄露身份、后者干净但可能对不准，组合意义是以概率 β 逐帧二选一，在同一合成器内同时削弱声纹与文体指纹。

命名实体触发替换是第 3 个动作。转写文本经命名实体识别器标注后，凡是对齐到敏感片段的帧集合 S，无论 β 为何值都强制取音素派生令牌。替换内容的做法是先编辑文本，例如把检测到的人名换成合理替代，再把编辑后片段转音素、用同一 T5 预测时长并自回归生成索引序列，生成时附带周围未编辑区 8 帧编码器帧约 160 毫秒作为局部上下文，生成后重排索引以吸收长度差异，S 之外帧仍按 β 规则走。声码器条件向量是选中令牌重建向量、变换后基频与 192 维伪说话人嵌入拼接成的 1473 维向量，送入 BigVGAN 生成 16 kHz 音频并用重叠相加汉宁窗消除分块边界。

余弦相似度门控 × 强制对齐： 强制对齐分工是给出每帧对应哪个音素以便构造帧级发音特征，余弦相似度门控分工是比较两路令牌重建向量的余弦相似度并在低于 τ=0.6 时拒绝音素路，二者搭配的原因是对齐在口音与噪声下会错而错令牌会损害可懂度，组合意义是把匿名强度与可懂度解耦，错位时回退到编码器令牌保可懂度。

伪说话人选择用 ECAPA 时延神经网络向量，从与所有评测集不相交的 held-out 池中均匀随机采样或用亲和传播聚类选边缘样本，前者随机、后者以 utterance 间一致性换匿名强度，采样与源说话人性别无关，最终取多个候选均值。基频变换是对源对数基频做 32 帧浊音滑动平均再按系数 0.75 插值，并叠加 2 分贝加性高斯白噪声去相关，清音帧不参与平均。

命名实体识别触发替换 × β 混合： 命名实体识别触发替换分工是处理显式人名地名等敏感片段并强制使用音素路重生成，β 混合分工是处理片段之间残留的文体与声纹线索并按概率随机替换，二者搭配的原因是前者解决召回范围内的强标识符、后者解决分散的弱指纹，组合意义是一个管显式内容匿名、一个管全局说话人匿名且互不覆盖对方帧策略。

伪说话人嵌入 × 基频变换： 伪说话人嵌入分工是给声码器提供与原说话人无关的目标音色条件，基频变换分工是把源对数基频做平滑与加噪以去除残留韵律身份线索，二者搭配的原因是只换音色仍可能从基频轮廓认出人，组合意义是音色与韵律两路同时去标识化后再与混合后令牌一起送入 BigVGAN 合成匿名语音。

哪些参数被训练，数据与优化条件是什么？

需要训练的是两部分。第一是残差码本与 Whisper 编码器上的低秩适配器，编码器主体冻结。第二是音素到令牌的 T5 变换器，220M 参数，从 t5-base 初始化，在 libri-train-clean-360 上训练 100,000 步，优化器为 AdamW，峰值学习率 3 乘 10 的负 4 次方，批量 16。第三是 BigVGAN 声码器，从零训练 800,000 步，批量 12，Adam 参数贝塔 1 为 0.8、贝塔 2 为 0.99，学习率 10 的负 4 次方并以伽马 0.999996 指数衰减，条件为残差令牌、伪说话人向量与对数基频，其余结构沿用原始实现。 原始训练音频横跨英文与法文。

英文包括 Common Voice 17、LibriTTS 的 train-clean-100、VoxPopuli 与 VCTK。法文包括 Common Voice 17、多语言 LibriSpeech、VoxPopuli 与 VoxForge。过滤策略有两档。多样性关键组件用平均意见分策略，要求 wv-mos 大于 3.3 且单说话人时长小于 10 分钟。需要稳健单说话人覆盖的 T5 与 BigVGAN 用说话人策略，要求单说话人 10 分钟到 5 小时。

伪说话人嵌入池与所有评测集不相交。语音编辑评测集是作者自建的 213 条，采样自 libri-test-asr 且每句至少含一个经 GLiNER 判定的人名或地名类型实体，边界用强制对齐音素转写校验。

评测在什么数据、协议与基线上进行？

主评测用 VoicePrivacy 2024 标准语料。攻击者用 libri-train-clean-360 共 360 小时 921 说话人朗读语音训练，且按半知情协议在匿名语音上重训 ECAPA 说话人验证模型。语音识别效用在 libri-dev-asr 与 libri-test-asr 上用 Whisper medium 英文版测词错误率。说话人隐私在 4 个试验集上测等错误率，含开发与测试的男女划分及对应注册集。情感效用在挑战提供的 IEMOCAP 开发与测试划分上用预训练情感识别模型测非加权平均召回。

自然度用 wv-mos 预测器。编辑一致性用匿名源与编辑后输出的向量余弦相似度。 基线选两个可运行公开系统。T12-5 是挑战排名第 1 的提交，作为全量重合成下说话人匿名的强上界。HLTCOE 是 utterance 级混合的最接近前作，在概率 0.4 处取得已发表最优点。

作者说明所有基线均用公开代码与权重运行。需要复述的关键超参数是主工作点 β 等于 0.7 且启用基频变换，另有两个无基频变换的低 β 工作点用于展示折中，β 等于 0 对应仅做伪说话人替换，β 等于 0.3 对应部分混合。

主结果在相同协议下比出了什么，代价在哪里？

比较问题是统一令牌空间方法能否在不做整句重合成的前提下接近全量重合成的匿名强度，且公平条件是同一 VoicePrivacy 2024 协议与同一攻击者重训流程，指标方向为等错误率越高越好、词错误率越低越好、情感召回越高越好。下表按原文数值整理，包含原始语音、两个基线与本文 3 个工作点，共五列以满足逐项对照。

系统等错误率词错误率情感召回运行条件
原始语音10.21.870.1未匿名
T12-5 挑战第一43.234.5637.83全量重合成
HLTCOE 混合 p 等于 0.440.813.3347.09utterance 级路由
本文 β 等于 0.0 无基频变换23.02.541.51仅伪说话人替换
本文 β 等于 0.3 无基频变换30.02.740.94部分混合

表后解释是主要收益与具体代价。β 等于 0.7 时等错误率 42.54%，距挑战第一 43.23% 不到 1 个点，作者报告词错误率 3.73% 距 HLTCOE 的 3.33% 差 0.4 个绝对点，支持统一令牌空间没有实质损害可懂度的判断。

从 β 等于 0 到 0.7，等错误率从 23.0% 经 30.0% 单调升至 42.54%，而词错误率仅从 2.5% 经 2.7% 升至 3.73%，增加约 1.2 个点，作者归因于偶发对齐错误并被余弦门部分抑制。未胜出项是情感召回 40.11% 明显低于 HLTCOE 的 47.09%，原文解释为基于令牌预测的音素 T5 只生成与目标文本一致的令牌而不建模情感韵律，情感主要靠伪说话人嵌入与变换后基频携带，而 HLTCOE 有一部分 utterance 经语音转换而非合成从而保留更多情感。这是选择该 β 工作点的代价，也是后文局限的起点。

命名实体替换是否在保持音色一致的同时引入可懂度代价？

比较问题是完整系统相对仅混合消融是否保持伪说话人一致性与自然度，公平条件是同一 213 条编辑测试集与同一 β 等于 0.7，指标方向为匿名相似度越低越好、编辑相似度越高越好、词错误率越低越好、自然度越高越好。下表为五列对照，空缺处按原文记为未报告而非零。

系统匿名相似度编辑相似度词错误率自然度
仅混合 β 等于 0.7 无命名实体识别0.123—10.83.91
完整系统命名实体识别加 β 等于 0.7—0.95911.93.84

表后解释需要同时给出收益与反例。

仅混合已取得对原说话人 0.123 的低相似度，确认 β 混合本身有效抑制生物特征。完整系统编辑相似度 0.959，支持声码器在同一伪说话人条件下跨实体边界仍感知连续的判断。代价有两处。自然度从 3.91 降至 3.84，下降 0.07 个点，原文归因于帧级切换处残留边界伪影，尽管已有重叠相加平滑。词错误率从 10.8% 升至 11.9%，是片段级令牌替换在命名实体上的预期代价。

消融的机制分工在原文有明确文字总结。命名实体替换处理 β 混合也难以抑制的显式实体，因为高相似度帧可能被逐字保留。混合处理实体之间残留文体指纹。门控防止高 β 下对齐错误幻觉直接进入声码器，否则会同时损害词错误率而不带来隐私收益。未评测边界是命名实体识别召回率之外的改写覆盖，原文未给出漏检率与误触发率的量化分解。

哪些结论有直接证据，哪些还只是待验证解释？

直接报告的是等错误率、词错误率、情感召回、自然度与编辑相似度的数值关系，以及 β 单调提升匿名而词错误率小幅上升的趋势。有限解释的是情感信息主要位于伪说话人嵌入而非编码器令牌流，依据是 β 等于 0 与 0.3 且未做基频变换时情感召回仍保持在 40% 以上，但这只是跨工作点的稳定性观察而非因果分离实验，应表述为支持而非证明。

待验证的是把韵律条件扩展到源 utterance 目标或用大语言模型改写重排来覆盖话语级文体线索能否恢复情感并扩大内容覆盖，原文放在未来工作且无数据支撑。 缺失证据不是技术错误但影响部署判断。原文未报告命名实体识别在噪声与口音下的误判率，未报告推理延迟、实时率与显存开销，也未报告长表单说话人场景下的作者归属下降幅度。

总体趋势不等于每组都成立，例如情感召回在男女试验集上的分布未展开，编辑词错误率高于主基准词错误率是因为编辑集专选含实体难句，不能直接与 VoicePrivacy 词错误率比较大小。阅读时应把可部署收益限定为已报告的可运行策略，避免用搜索最优或事后最优替代。

复现应先准备什么，资源状态如何认定？

复现先做三件事。第一按 VoicePrivacy 2024 评测计划准备 libri-train-clean-360 攻击者训练集、libri-dev 与 test 识别集、4 组男女试验与注册集，以及挑战提供的 IEMOCAP 情感划分，用 ECAPA 重训半知情攻击者并用 Whisper medium 英文版测词错误率。第二实现双流令牌，冻结 Whisper 大版本 2 编码器，训练 8 乘 1024 码本与低秩适配器，再训练发音特征到令牌的 T5 与 BigVGAN 声码器，超参数保留原文的 100,000 步与 800,000 步、批量 16 与 12、学习率与衰减设置。第三固定推理超参数 β 等于 0.7、余弦门限 0.6、基频插值系数 0.75 与 2 分贝加噪、上下文 8 帧约 160 毫秒，再自建含人名地名的 213 条编辑集并用 GLiNER 与对齐校验边界。

资源可用性必须按本次收到的验证状态表述。正文脚注给出仓库链接，但本次未发现来源绑定且完成超文本传输安全协议状态验证的资源，因此不得声称代码、模型或数据已公开或当前可用，只能说原文声明了示例位置而本次未能确认可达。基线复现应使用公开代码与权重，伪说话人池必须与所有评测集不相交，否则匿名强度会被高估。

何时值得尝试这种只换必要帧的思路？

当任务同时要求去标识化与保留领域声学价值时值得尝试。典型信号是输出还要用于训练领域语音识别或对话分析，且敏感信息集中在可定位的人名、地名等片段，而非整句都需要重写。此时逐帧混合加命名实体覆盖的优势是改动最小、周围韵律与音质保留最多，且混合发生在单一合成器内而不留整句路由指纹。 不适合的情况也要明确。如果情感与副语言是主要效用且必须保留，当前音素 T5 不建模情感韵律，情感召回会低于经语音转换保留的系统。

如果命名实体识别召回不足或强制对齐在目标口音上误差大，门控会频繁回退到编码器路，匿名增益会被稀释。教学上易误解的是把等错误率上升直接等同于内容隐私提升，实际上等错误率只度量声纹通道，命名实体等语言通道需用编辑一致性与可懂度另行评估，二者不可互相替代。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1
  • 评分模型：muse-spark-1.3-contributor
  • 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总