用演戏游戏收集韵律语音:更难的情感识别与藏不住的说话人信息
论文用试镜与选角双角色游戏收集多语言情境化韵律语音,再用冻结表征加轻量分类器做情感识别与分阶段探测,显示库内情感可学但跨库更难,且年龄与情感在中间表征仍可恢复,代价是整体规模小、非专业表演变异大。
论文用试镜与选角双角色游戏收集多语言情境化韵律语音,再用冻结表征加轻量分类器做情感识别与分阶段探测,显示库内情感可学但跨库更难,且年龄与情感在中间表征仍可恢复,代价是整体规模小、非专业表演变异大。
针对零样本声音克隆的未授权冒用问题,该工作先解耦内容与说话人表示再在说话人嵌入空间加对抗扰动并用心理声学掩蔽约束不可听性,在 VCTK 上报告 87.2% 防御成功率、MOS 4.18、WER 5.30%,代价是需要两阶段训练且黑盒迁移后防御率明显下降。
论文提出目标说话人遗忘转写任务与可插拔的注册条件门控模块,只训练轻量门控而冻结双流语音大模型,在 AMI 与 AliMeeting 上把退出者内容泄露率从 72.3% 降到 48.2% 和从 73.6% 降到 27.3%,保留者误差基本持平但混合重叠段仍有可测代价。
LUMO 针对无网与隐私敏感场景,在树莓派 5 上用本地语音识别加 4 比特量化小模型加本地合成组成全离线流水线,在短指令上报告低噪声下较低词错误率与约 3.2 秒端到端延迟,代价是强噪声下错误率明显上升且小模型推理能力有限。
NaVo 针对只需数秒语音即可克隆的威胁,用文本到音频扩散模型加性别与场景分组的 LoRA 模块生成可直接混合的环境声,在 17 dB 混合条件下报告了对商用克隆系统 76% 的防御成功率与跨编码器的迁移效果,代价是依赖性别分布假设与固定信噪比混合。
论文在被动服务器威胁下只用全局与本地权重差做非参数质心分类,证明口音与年龄可被高准确率推断而性别接近随机,并以针对性微调与功能位移分析解释泄露与预训练覆盖不足的关系。
该工作把实时语音匿名拆成年龄与女性化程度两个可控编辑量,用余弦相似度度量隐私、用 DNS-MOS 度量质量并做线性回归与听感验证,发现隐私下降快于质量下降并在约 0.25 标准差附近形成可操作区间,但大改动与联合编辑仍损失自然度且最优方向因性别年龄而异。
论文审计六个英语语音技术数据集,发现可测量的酷儿占比仅 0–1.4%,不足以做稳健差异测量,并以两个酷儿社区语音库为对照提出扩展与包容、效率与参与、开放与自主、静态分类与流动身份四组实践张力。
针对无源数据的多源声场景适配中设备异质导致的预测偏置问题,论文提出先做后验校准再按标签一致性加权的 FASOLA,在 DCASE 2020 六个仿真目标设备上平均准确率报告为 54.43%,代价是需要遍历目标集估计全局统计量且依赖多模型间的一致性假设。
针对多模态对话情绪识别中全局图传播混合非目标说话人特征并可能看到未来的问题,论文提出先用因果 Top-K 注意力把跨说话人线索写成摘要、再只在单说话人异构子图上传播的 SF-HGN,在 IEMOCAP 上报告 68.76% 加权准确率与 68.73% 加权 F1、在 MELD 上报告 66.40% 与 65.65%,代价是 Angry 等类别明显下降且隐私仅 …
针对构音障碍说话人差异大而单一全局模型建模不足的问题,该文把模型拆为说话人无关与说话人相关两部分并用说话人相似度加权平均,在 UASpeech 上最高降低 0.99% 绝对词错误率、在 TORGO 上最高降低 0.56%,代价是每轮要分步训练并额外计算相似度。
该文把说话人遗忘定位到 ASR 微调后 HuBERT 中间层,用辅助说话人头加 K-Means 质心驱散做表征级遗忘,在 VCTK 上把遗忘集成员推断压到接近重训练金模型的 52.6%,同时保留保留集与未见说话人的转写能力,代价是遗忘集词错误率向金模型抬升且保留集成员推断略高。
论文把语音隐私从信号比对转向四属性组合的等价类与单试次重识别,证据是 72 人集上真实属性 38.9% 唯一、推断属性仍 31.9% 唯一且匿名后攻击错误率最低仅 0.58,代价是分类器误差相关反而帮助攻击、匿名并未针对属性保护设计。
针对组织级客户端之间说话人互斥导致的数据异构问题,论文用全局分类头与本地分类头共同指导嵌入提取器,并在服务端的全局分类头聚合中引入按说话人 ID 加权的优势因子,在 VoxCeleb2 上相对本地训练平均 EER 改善 46.5%、相对 FedAvg 改善 7.6%,在 VoxCeleb 加 CN-Celeb 联合训练下相对本地训练改善 68.8%、相对 …
该研究用固定朗读句控制词义、用端侧提取后删原音频来兼顾可比性与隐私,在 560 人 9877 条记录上验证了高依从与可分析性,但说话人分类强而 momentary 情感预测弱,且残留朗读合规与特征表达力的代价。
该文在 VPC2024 B3 重合成框架下研究 128 维 GST 说话人向量的可控合成,用条件 WGAN-QC 和分类器引导扩散实现性别控制,在保持 EER 与 WER 基本相当的同时把性别准确率做到 90% 以上,但男性引导尺度增大时会出现 WER 明显上升的代价。
针对客户端数据分布不一致导致本地模型学到冗余知识的问题,该工作用费雪信息矩阵选出全局嵌入中的关键维度并做表示对齐,在 VoxCeleb 系列上把各客户端等错误率降到最低,但跨域的 CN-Celeb1 上仍有一项不如 FedFSS 且未报告通信与计算开销。
该文针对语音痴呆检测中机器窃听转录与人类窃听声纹两类威胁,用关键词对齐的累积信号对抗混淆破坏转录、用梯度反转加互信息选维加噪抑制声纹,在 Pitt 语料上报告痴呆 F1 约 0.78 而说话人识别近机会水平,代价是信号级信噪比明显为负。
论文针对端到端全双工语音对话模型常开大语言模型隐状态是否泄露说话人身份这一问题,用 ECAPA-TDNN 探测器按 VoicePrivacy 2024 协议审计 SALM-Duplex 和 Moshi 并提出基于 Stream-Voice-Anon 的波形级与特征级两种流式匿名化,最强证据是 SALM-Duplex 离散基线等错误率从 11.2% 升至 …
该文用 FAcodec 显式丢弃内容分量并对韵律做全局与局部多粒度混淆,在 VoxCeleb1-O 上报告等错误率 2.35% 与词错误率 98.83%,代价是短时客观可懂度仍为 0.3410 且韵律残留风险需靠听感样本佐证。