流式说话人匿名化如何在保留情感的同时隐藏身份
LiveAnon 用冻结的流式语音识别编码器特征直接驱动自回归编解码器语言模型做语音转换,并用截断的残差量化延迟同时控制隐私、情感保留和延迟,代价是仍依赖编码器分块带来的数百毫秒算法延迟。
LiveAnon 用冻结的流式语音识别编码器特征直接驱动自回归编解码器语言模型做语音转换,并用截断的残差量化延迟同时控制隐私、情感保留和延迟,代价是仍依赖编码器分块带来的数百毫秒算法延迟。
论文针对说话人验证攻击者的训练与评测数据属性不平衡会扭曲匿名化隐私估计的问题,构建了在性别年龄口音音高上平衡的 VoxAnon 数据集,用四种攻击者与三种匿名器的对照证明不平衡会改变子群难易排序,而平衡后仍残留与口音音高相关的差异。
针对只匿名测试语音而参考语音仍可被对齐利用的问题,该文在参考端提前加入针对匿名系统量化瓶颈的对抗噪声,使等错误率从 14% 左右升到 45% 左右,而加噪后的参考语音本身在有界条件下仍保持可用。
该文把已训练好的 Seed-VC v2 只在推理时改造,用随机说话人上下文重构内容条件再投影抑制源说话人方向,在 VoicePrivacy 2026 英语评测上提升隐私并保持可比的字错率与情感效用,但结论只在该协议与所选阈值下成立。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该文以链接成功率为逐说话人指标,在两种匿名器、三类攻击者与三种语音量下评估近五千人,发现分布高度两极化但易暴露人群高度不稳定,风险来自三者交互而非说话人固有属性。
论文把成人训练的自监督匿名化流水线用 MyST 儿童语料微调内容编码器和声码器并换成儿童音色池,在单人域内与跨口音和双人混合下维持高隐私的同时改善可懂度和儿童感,但双人可用性仍受目标说话人提取质量限制。
针对韵律同时承载表达力和身份线索的矛盾,DiffAnon 在语音分词器的语义嵌入上做扩散精修并用无分类器引导连续控制韵律保留度,在同一模型上实现可调的效用隐私权衡,但韵律保留越强则等错误率越低且词错误率与情感召回随之变化。
该文把说话人匿名定义为区分两个说话人的高斯差分隐私权衡函数,用裁剪加噪的高斯说话人机制扰动低维说话人嵌入并经变分自编码器映射回有效嵌入,在 2024 语音隐私挑战上以词错误率低于 4% 实现最高 41.2% 等错误率,同时给出任意攻击者的等错误率理论下界。
该工作把实时语音匿名拆成年龄与女性化程度两个可控编辑量,用余弦相似度度量隐私、用 DNS-MOS 度量质量并做线性回归与听感验证,发现隐私下降快于质量下降并在约 0.25 标准差附近形成可操作区间,但大改动与联合编辑仍损失自然度且最优方向因性别年龄而异。
论文把语音隐私从信号比对转向四属性组合的等价类与单试次重识别,证据是 72 人集上真实属性 38.9% 唯一、推断属性仍 31.9% 唯一且匿名后攻击错误率最低仅 0.58,代价是分类器误差相关反而帮助攻击、匿名并未针对属性保护设计。
该文在 VPC2024 B3 重合成框架下研究 128 维 GST 说话人向量的可控合成,用条件 WGAN-QC 和分类器引导扩散实现性别控制,在保持 EER 与 WER 基本相当的同时把性别准确率做到 90% 以上,但男性引导尺度增大时会出现 WER 明显上升的代价。
DECRA 针对流式匿名会泄漏情感且离线情感转换无法逐帧调控的问题,用 TVTSyn 骨干加情感解耦与因果 SER 预测的连续效价唤醒轨迹做合成条件,在 ESD 中性化与转换上唤醒一致性达到 0.81 与 0.74 而流式延迟为 76.1 ms,代价是效价控制弱且主观音质低于离线基线。
该文针对语音痴呆检测中机器窃听转录与人类窃听声纹两类威胁,用关键词对齐的累积信号对抗混淆破坏转录、用梯度反转加互信息选维加噪抑制声纹,在 Pitt 语料上报告痴呆 F1 约 0.78 而说话人识别近机会水平,代价是信号级信噪比明显为负。
论文针对端到端全双工语音对话模型常开大语言模型隐状态是否泄露说话人身份这一问题,用 ECAPA-TDNN 探测器按 VoicePrivacy 2024 协议审计 SALM-Duplex 和 Moshi 并提出基于 Stream-Voice-Anon 的波形级与特征级两种流式匿名化,最强证据是 SALM-Duplex 离散基线等错误率从 11.2% 升至 …
针对解耦后内容与韵律流中残留的说话人属性,该工作在训练好的匿名框架上加针孔损失微调以压低同源匿名话语的可聚类性,在三种基线与四种伪说话人策略上一致提升等错误率而词错误率与情感召回仅小幅波动。
针对神经音频编解码流式匿名中情感被续写偏置抹平的问题,论文用同说话人中性提示配情感源重构监督并在慢自回归声学隐状态做帧级蒸馏,在 VoicePrivacy 2024 上把情感保留推到流式最优,同时延迟保持 180 ms 且推理不新增模块。
VerAno 用受限码本的自监督 VQ-VAE 过滤说话人音色、再用条件流匹配重建梅尔谱,在 VPC 2024 上以 CB128 取得隐私与内容情感兼顾的前两名综合排名,代价是码本放大后隐私下降。
Zero-VC 针对流式零样本声音转换中音色泄漏与韵律保留难以兼得且基频补偿引入前视延迟的问题,用说话人匿名化做扰动并配全因果编码解码器,在 20 毫秒单帧算法延迟下取得源相似度 0.171、目标相似度 0.521 与 FPC 0.688,代价是可懂度略逊于最优非流式基线且训练仍依赖外部匿名化模块。
该文把说话人匿名与内容匿名放在同一个声学令牌空间里做,用逐帧混合比例 β 融合编码器令牌与音素派生令牌并以命名实体识别触发敏感片段强制替换,在 VoicePrivacy 2024 上以 β=0.7 取得 EER 42.54% 与 WER 3.73%,代价是情感保持 UAR 40.11% 低于同类混合基线。