数据增强

📄 SpeakerRPL v2: Robust Open-set Speaker Identification through Enhanced Few-shot Foundation Tuning and Model Fusion #说话人识别 #少样本 #数据增强 #迁移学习 🔥 评分：8.3/10 | arxiv 👥 作者与机构 论文作者：Zhiyong Chen, Shuhang Wu, Yingjie Duan, Xinkang Xu, Xinhui Hu 机构信息：论文全文未明确标注作者所属机构。根据作者姓名、研究内容及开源仓库（GitHub）信息推断，作者可能来自**小米（Xiaomi）**或相关研究机构。论文中提及的“Xiaomi LLM Core Team”可能为相关团队，但未在作者单位中直接列出。 第一作者/通讯作者：无法从提供的文本中明确判断第一作者和通讯作者。论文中注明“Zhiyong Chen and Shuhang Wu contributed equally.”（贡献均等）。 💡 毒舌点评 亮点：这篇论文将“对数归一化”（LogitNorm）和“对抗性互惠点学习”（SpeakerRPL）这两个强大的开集学习技术进行了“联姻”，并巧妙地加入了“自适应锚点”来动态建模未知说话人，理论上有板有眼。更实在的是，它承认了少样本微调的不稳定性，并用一套基于特征分布均匀性的模型选择与融合策略来“稳住局面”，最终在Vox1-O*测试集上将EER暴降93%，效果惊人。 槽点：方法听起来像是在已有技术上做“排列组合”加“工程优化”（模型融合与选择），原创性的理论突破有限。此外，模型选择策略依赖于特征相似矩阵的特征值方差，这个指标的普适性和调参敏感性在论文中论证得不够充分，更像是一个为特定实验“量身定做”的后处理技巧。 🔗 开源详情 代码：已开源。GitHub地址：https://github.com/zhiyongchenGREAT/Few-shot-Robust-Speaker-TTS/tree/v2.1。基于PyTorch框架。 模型权重：论文中未明确说明是否公开发布微调后的适配器权重或完整的SpeakerRPL V2模型。预训练基础模型ELec2NetV2应是公开可用的。 数据集：实验所用数据集（VoxCeleb2, 3D-Speaker, ESD, LibriTTS, AiShell）均为公开学术数据集。新构建的Vox1-O*测试集划分可能随代码开源。 预训练权重：使用ELec2NetV2预训练说话人基础模型作为底座。 在线Demo：论文中未提及在线演示。 依赖的开源项目：GPT-SoVITSv2（用于语音合成）。 📌 核心摘要 本文旨在解决开放集说话人识别中的鲁棒性问题，即系统在仅有少量目标说话人注册样本的情况下，需同时准确识别已知说话人并可靠拒识未知说话人。作者在先前SpeakerRPL V1框架基础上提出了三项关键改进：1）设计了一个增强的损失函数，将互惠点学习（RPL）与对数归一化（LogitNorm）相结合，并引入自适应锚点学习，以约束目标说话人表征并提升对未知分布的建模能力；2）提出了一种模型融合策略，通过聚合多个随机初始化训练得到的适配器模型的分数，来稳定少样本微调过程，减少结果随机性；3）设计了一个基于特征分布均匀性（通过中心点和互惠点相似矩阵的特征值方差衡量）的自动模型选择策略，以筛选出最适合融合的候选模型。在VoxCeleb、3D-Speaker和ESD等多个数据集上的实验表明，该方法在各项开集识别指标上均优于基线。特别是在新构建的Vox1-O*测试集上，等错误率（EER）从1.28%降至0.09%，相对降低约93%，验证了方法的有效性和鲁棒性。其局限性在于模型选择策略增加了流程复杂性，且对中文等方言场景的验证尚可进一步扩展。 🏗️ 模型架构 模型整体基于“预训练基础模型 + 轻量级适配器微调”的范式。 ...