只动残差与层选择:用极少参数适配冻结语音模型做说话人确认
论文针对冻结 WavLM 做说话人确认时适配不足的问题,用分组混合残差和逐帧层加权两处小改动,在 VoxCeleb1-O 上把冻结基线相对降低约两成,而 WavLM 侧只增加约两三千个可训练参数。
论文针对冻结 WavLM 做说话人确认时适配不足的问题,用分组混合残差和逐帧层加权两处小改动,在 VoxCeleb1-O 上把冻结基线相对降低约两成,而 WavLM 侧只增加约两三千个可训练参数。
SPARC 把播客语音转成文字后构造同一说话人与性别口音标签的成对验证,发现大语言模型在跨播客条件下仍能关联说话人,而缩短待测文本只能部分降低这种关联。
共分析 57 篇语音/AI 论文
针对大音频语言模型逐词生成答案在高频决策中延迟高且需解析的问题,论文在 Qwen-Audio-3.1-ASR-Flash-Next 解码器后加决策头,用 Choice、Noul、Score 三种类型直接输出概率或期望分数,在 18 组配置上验证并报告约 20 倍推理加速。
论文针对单一媒体语音协议无法反映部署泛化的问题,把 16 个公开来源整理为 26 个固定试音对集合与 11 个场景组,用冻结键值和统一打分比较 18 个检查点的场景画像,发现平均误差相近的系统失效模式不同且同场景内也存在来源差异。
论文针对说话人验证攻击者的训练与评测数据属性不平衡会扭曲匿名化隐私估计的问题,构建了在性别年龄口音音高上平衡的 VoxAnon 数据集,用四种攻击者与三种匿名器的对照证明不平衡会改变子群难易排序,而平衡后仍残留与口音音高相关的差异。
共分析 146 篇语音/AI 论文
论文把同一角色换演员和同一演员演多角两种混淆拆成可评分的验证条件,用 85 个经人审核的配音角色建成 KyaraBench,并用跨演员正样本加同演员难负样本训练 KyaraEmbed,在角色相关条件下取得表中最好成绩,但结论只限于日本动画及英配范围。
针对注册与测试语言不一致时声纹会混入语言线索的问题,该工作用 w2v-BERT 2.0 做前端提取多层特征并聚合为说话人嵌入,在 TidyVoice2026 上融合后达到评测 A 等误率 2.21% 与评测 U 等误率 2.99%,代价是 580M 以上参数与 58.43 GMACs 的计算量。
论文比较声学导向与内容导向两类攻击者在六种语言匿名语音上的再识别能力,发现攻击效果随匿名语音的语言可用性下降而下降,而大规模多语语音转换数据微调只能部分缩小跨语言差距。
针对只匿名测试语音而参考语音仍可被对齐利用的问题,该文在参考端提前加入针对匿名系统量化瓶颈的对抗噪声,使等错误率从 14% 左右升到 45% 左右,而加噪后的参考语音本身在有界条件下仍保持可用。
在冻结说话人 backbone、训练时能直接看到干净目标的前提下,用球面上的冯米塞斯-费希尔轮廓似然得到按残差自适应加权的对数损失,在保持标准集基线的同时改善失配集,但结论只在原文的配对增强流程和评测条件下成立。
该文把说话人跟踪拆成段内分离加跨段两阶段组织,用重叠拼接接续连续语音、用工作记忆做说话人验证来连接中断语音,在 LibriCSS 和 AMI 上验证了在线跟踪效果与说话人增多时的代价。
针对音频大语言模型能听懂内容却难分辨说话人的问题,论文提出先在音频编码器做说话人监督、再冻结编码器训练语言模型做成对判断的两阶段低秩适配方法,在 VoxCeleb 同域上把等错率从 7.01% 降到 4.37%,但跨域到 CN-Celeb 时未带来额外增益。
论文用冻结的 W2V-BERT 2.0 加两套混合小波提示分别适配说话人验证与伪造检测分支,仅训练约 7M 参数就在 SpoofCeleb 评测上得到 0.03% 伪造检测等错率与 0.038 最小 a-DCF,代价是推理时要做两次提示条件前向。
针对目标说话人标注中注册库不能直接当归一化 cohort 的问题,论文提出只看分数分布形状的双项校准,在合成与会议语料上都提升了标注准确率,且不依赖外部数据。
论文固定 ReDimNet2 骨干,用七语料约 63934 说话人加编解码与波形增强、分阶段适配加大间隔微调,把本地 4 秒窗下混合 VoxCeleb1 EER 从 2.42% 降到 0.824%、26 条件压力 EER 从 7.21% 降到 1.99%,再用图重排把检索 Pr@kk 推到 0.7687,但多因素同时变化使单因素因果无法分离。
针对多用户共享语音助手跨会话谁说了什么的问题,该研究用冻结说话人编码器加可训练轻量投影器生成说话人句柄输入冻结文本大模型,并在受控的 SpeakerBind 上以 70.40% 接近文本标签上限 71.88%,而破坏绑定后性能崩塌,代价是仍依赖转写级联与合成受控评测。
CoLMbo-SV 用冻结说话人编码器加旁路判定保持验证精度、用文本形式声学测量支撑可核对报告,在 VoxCeleb1-O 上报告 0.99% 等错误率与 0.82 数值接地得分,但决策敏感性分析显示报告内容对当前判定的证据选择性仍很低。
InterBias-SV 把噪声、信道与说话方式的联合误差问题组织为联合项、两个边际项与公共参考的四项加性对照,用 4068 条记录重算出说话人编码器组平均偏离仅 +0.0026 至 +0.0088 等错误率小量、但设置间标准差更大且试次配对与检查点来源尚未验证的描述性结果。