抬得最高的人最难认:女性自主提调与合成提调的说话人识别效应
该研究用 3 名女性的自主提调与 16 名女性的 5 档合成提调检验谱 x-vector 系统,发现默认-抬高比较把 EER 从 0.0 推高到 14.4、极端合成把 EER 推高到 15.2,但降级集中在抬高幅度最大且音高起伏受限的个人身上,单纯平移 f0 不能代替真实伪装。
该研究用 3 名女性的自主提调与 16 名女性的 5 档合成提调检验谱 x-vector 系统,发现默认-抬高比较把 EER 从 0.0 推高到 14.4、极端合成把 EER 推高到 15.2,但降级集中在抬高幅度最大且音高起伏受限的个人身上,单纯平移 f0 不能代替真实伪装。
针对伪造语音攻击下说话人确认失效问题,BiSASV 用说话人全局统计调制反欺骗特征再反向门控说话人嵌入,并在 ASVspoof 2019 LA 评估集上报告 SASV-EER 0.73% 与 min a-DCF 0.0153,代价是依赖预训练前端与联合后端调参。
该研究用 ResNet34-MHA 嵌入加 LDA-PLDA 与校准似然比,在 102 名香港粤语青年男性数据上并行比较 G.711、AMR-NB 高低码率与 Opus 失配及 5s 到 90s 检材时长,报告系统级 Cllr 在 30s 后饱和且低码率 AMR-NB 损伤最大,但个体级 Cspkllr 显示少数说话人持续偏高且整体越差者对编解码更敏感。
针对注册与测试语言不一致时说话人确认性能下降的问题,该工作用 w2v-BERT 2.0 做冻结前端加多层聚合与三阶段训练,在 tv26 eval-A 上报告等错误率 2.21%、eval-U 上报告 2.99%,代价是 580M 级前端带来的计算开销与对域内微调数据的依赖。
针对跨语言说话人确认中语言与身份纠缠导致同人跨语言难接受、异人同语言难拒绝的问题,论文用冻结主干加说话人与语言两路 LoRA 并以语言分支锚定共享判别器做对抗解耦,在 TidyVoice 开发集上达到 0.91% 等错误率并在官方评测融合后达到 2.43% 与 2.84%,代价是需要语言标签、三阶段课程权重与推理时丢弃语言分支。
用粤语英语双语语音在同语言与跨语言配对下比较 18 个说话人嵌入模型与人耳相似度判断,显示嵌入能区分同一人与不同人但跨语言时区分度下降,且依赖语速与共振峰等共享声学线索,而粤语微调并未带来可运行的提升。
该研究用 2×2×2 被试内设计比较自然与 SVC 合成语音在说话人相似性判断和语调识别中的表现,发现语调与语音类型、熟悉度与语音类型分别在准确率上交互,但合成语音在复杂韵律与社会线索上仍有局限。
针对多语言说话人确认中说话人与语言纠缠导致跨语言试次退化的问题,L-Proto 选择每个训练回合只从单一语言采样说话人并做原型分类,在 TidyVoice 开发集上把 SimAM-ResNet100 的总体等错率从微调的 2.63 降到 1.18,代价是需要语言标签、每语言足够说话人多样性并增加采样开销。
针对多语言说话人确认中语言失配导致身份与语言特征纠缠的问题,该研究选择在 w2v-BERT 2.0 上做层适配与多尺度聚合,并以梯度反转做语言对抗与多语言合成扩增,最强证据是在开发集上相对基线明显降低等错率,而代价是在未见语言与合成域失配条件下增益受限。
针对注册与测试语言不一致导致的性能下降,论文冻结 w2v-BERT 2.0 只训练轻量适配器,用 19-24 层选择加共享潜在交叉注意力和卷积前馈提说话人嵌入,并用嵌入级 margin-mixup 正则,在 TidyVoiceX 开发集上报告 EER 1.40% 和 MinDCF 0.66,代价是依赖说话人感知的骨干初始化和有限多语言数据。
LISE 把冻结的说话人向量无监督分解为 35 个非负正交分量,在保留验证性能的同时让人耳以 83.9% 准确率分辨高低权重说话人,代价是重建后等错误率仍略高于原始向量。
论文先做单说话人预训练再冻结编码器做双说话人微调,只用 utterance 级身份标签经排列不变损失学出帧级语音与说话人活动,在 AMI、VoxConverse 和 DIHARD III 上把混淆误差平均相对降低 13.7%,代价是单窗最多两人且不建模重叠语音。
针对非平稳噪声下静态说话人验证泛化不足的问题,论文用全局噪声生成低秩权重、用局部噪声做帧级门控并以对比蒸馏对齐干净流形,在 VoxCeleb1 混合 MUSAN 上报告带噪平均 3.05% 与干净 1.70%,代价是 ECAPA 配置总参数增至 24.19M。
针对未见关键词与未见说话人双重零样本问题,ZP-KWS 用音素监督的关键词分支与 GE2E 预训练的紧凑声纹分支做乘法晚融合,在 LibriPhrase Easy 目标专属模式下把 FRR@1% 从 PK-MTL 的 72.79% 降到 29.47%,代价是保留约 1.55M 参数与阈值调节依赖。
针对说话人确认中保持全时间分辨率导致一维通路算力随通道线性上涨的问题,ReDimNet2 在保持维度重排残差逻辑的前提下引入时间池化并用上采样恢复聚合长度,以 B0 到 B6 七档配置在 VoxCeleb1 上系统性压低等错误率,最大代价是放宽恒体积约束并在大模型上引入训练波动。
针对说话人识别训练压制同一人差异而损害语音生成表现力的问题,该文提出每人学多个子中心的判别训练,并在零样本声音转换上显示高方差配置提升可懂度和自然度,同时保持验证性能,但低方差配置在说话人相似度上更有优势。
针对说话人确认在非言语发声上跨域失效且微调会遗忘语音的问题,论文用冻结 Data2Vec 加 ECAPA-TDNN 配合层间混合专家与只对语音蒸馏的教师约束加跨域对比损失,在保持可运行基线的条件下把语音对非言语 EER 从 38.93% 降到 22.66%,代价是标准语音 EER 仍高于大规模预训练的 5.60%。
论文先用统一打分协议测出现成语音大模型在 VoxCeleb1 上等错误率多在 20% 以上,再用冻结 ECAPA-TDNN 向量加线性映射与 LoRA 把 TinyLLaMA-1.1B 做到 VoxCeleb1-E 上 1.03% EER,代价是推理与训练开销远高于专用验证系统。
针对越南语说话人识别数据少且依赖人脸关联身份的问题,该工作用说话人日志分割加元数据驱动的大语言模型身份推理构建了约 902 小时 4715 人的 VieSpeaker,并在跨数据集评测中显示更强的鲁棒性与预训练迁移收益,代价是身份恢复准确率随节目类型变化且仍需声纹聚类与人工核验。
针对组织级客户端之间说话人互斥导致的数据异构问题,论文用全局分类头与本地分类头共同指导嵌入提取器,并在服务端的全局分类头聚合中引入按说话人 ID 加权的优势因子,在 VoxCeleb2 上相对本地训练平均 EER 改善 46.5%、相对 FedAvg 改善 7.6%,在 VoxCeleb 加 CN-Celeb 联合训练下相对本地训练改善 68.8%、相对 …