既要听对词又要认对人:ZP-KWS 用文本无关声纹给零样本关键词上锁
针对未见关键词与未见说话人双重零样本问题,ZP-KWS 用音素监督的关键词分支与 GE2E 预训练的紧凑声纹分支做乘法晚融合,在 LibriPhrase Easy 目标专属模式下把 FRR@1% 从 PK-MTL 的 72.79% 降到 29.47%,代价是保留约 1.55M 参数与阈值调节依赖。
针对未见关键词与未见说话人双重零样本问题,ZP-KWS 用音素监督的关键词分支与 GE2E 预训练的紧凑声纹分支做乘法晚融合,在 LibriPhrase Easy 目标专属模式下把 FRR@1% 从 PK-MTL 的 72.79% 降到 29.47%,代价是保留约 1.55M 参数与阈值调节依赖。
该文把语码切换识别当作可验证奖励问题,用组相对策略优化在仅一成合成语码切换语音上训练,以字符错率奖励消灭整句翻译、以书写保真奖励压制错文字系,并用两遍起草加改写让模型再听一次,二十成数据在人工录制的双语测试上超过全量低秩监督微调,但代价是单步采样更贵且在阿拉伯语等对上改写可能过纠。
针对连续隐表示在重建保真与合成可懂度之间的权衡,论文提出在变分自编码器隐空间加语义对齐正则的 Semantic-VAE,在 LibriSpeech-PC 上以 2.10% 词错率和 0.64 说话人相似度超过梅尔谱与普通声学变分自编码器基线,而重建质量与普通变分自编码器基本持平。
该文用实时磁共振影像直接估计梅尔谱并合成波形,问题是未见说话人能否不依赖参考语音保留语言内容,方法是用跨模态说话人嵌入引导影像分支学习说话人特征,最强证据是朗读语音的差分词错误率在部分测试说话人上降到约 8% 附近,代价是绝对基频和同性别说话人区分仍受限。
STSR 把超分放在 MDCT 域用分层谱注意力建长程谐波、用稀疏感知损失保瞬态、用只看高频的混合判别器加压,VCTK 平均 LSD 做到 0.79 且参数仅 66.2M,代价是仍依赖受控语料与重采样评估。
该文把说话人属性预测从 44 类固定分类改写为对大语言模型嵌入的余弦对齐,并用关键词追加收紧流形、用前 k 负样本损失拉开拥挤区,在 LibriTTS-P 上闭集 F1 达到 0.7625 且同义词零样本基本不掉点,代价是依赖单一语料与特定嵌入维度。
针对十种诱发范式各需专用模型且简单混训不增益的问题,论文用 Qwen2.5-Omni 语音大模型加 10 个 DoRA 专家动态路由统一建模,在 1223 名青少年数据上把平均准确率从单范式 0.628 提升到 0.656 并改善未见范式泛化与校准,代价是专家数、负载均衡与温度缩放都需仔细配置且个别范式仍不占优。
针对歌曲生成缺零样本音色克隆而歌声转换缺人声伴奏协同的问题,UniSinger 用多模态扩散变换器加跨任务说话人空间与四阶段课程掩码统一两任务,在发音错误率和音色相似度上取得最优,但伴奏联合建模仍带来可测的基线指标下降。
论文把逐字与意图两种转写策略显式为解码器前缀标签并配对监督,用监督交叉注意力做词级对齐、用转写提示做补全,在英语训练零样本德语上把不流畅事件 F1 从约 10% 提升到 90% 以上,代价是需要成对转写与词边界监督及两阶段微调。
论文把闭集语音内容因子化扩展为通用线性映射,用最小二乘求通用语音到内容矩阵并以数秒目标语音估计说话人矩阵,在保持可懂度和自然度的同时付出说话人相似度弱于闭集与检索基线的代价。
针对少见说话风格上零样本语音合成出现域偏移而失真的问题,VoiceTTA 在推理时冻结主模型、只用组相对偏好优化更新轻量可学习前缀,并以基频与能量变异系数差异加说话人相似度和可懂度为奖励做在线适配,最强证据是在五类少见场景平均上取得词错误率 3.12 与说话人相似度 0.64 的同时保持自然度,代价是每个说话人需做 50 步候选采样与奖励计算的测试时优化开销 …
针对开放词汇声音事件检测中仅用查询向量检索而缺乏语义理解的问题,该文提出语义锚点加双向注意力和查询增强,在 AudioSet-Strong 稀有类上报告 34.9 的 PSDSr 并在 DESED 零样本上报告 44.1 的 PSDS1,代价是引入 400 个锚向量与两层双向解码等额外结构。
论文在韩语情景剧训练、真实诈骗电话测试的跨域条件下比较 4 维域不变韵律特征与冻结的 HuBERT、wav2vec2.0,报告零样本下 4 特征达到 69.5% F1 而 HuBERT 在 5 样本下达到 94.2% F1,代价是后者需要真实样本与约 94M 参数的计算量。
针对双流式文本到语音需要准确对齐与低延迟序列组织的问题,论文用基于 CTC 的音素对齐替代 MFA 并提出双词交织,在单说话人流式与多说话人零样本任务上报告了更低词错误率,代价是长度拼接变体首包延迟更高而特征堆叠变体质量略低。
针对自回归编解码语言模型串行解码慢、非自回归模型文本对齐弱的矛盾,DLLM-TTS 在 X-Codec2 单码流上做条件块离散扩散,以 0.6B 参数和 20K 小时数据在 Seed-TTS-eval 上报告 WER 2.25% 与 SIM 0.750,代价是块串行与多步去噪仍需权衡速度与质量。
该研究把冻结语音编码器的多层向量序列变成两两内积的二维自注意力权重图再用可训练 VGG-19 做多标签口吃检测,在中英德零样本评估中保留单语 F1 的 77-98% 并在词重复上超过最优模型,但在阻塞延长等声学主导类型上落后约 10-23%。
针对中日两个零样本语音分类任务,论文显示仅靠多语言离散国际音标词元训练的模型会失效,而用连续发音特征向量做分类能显著提升稀有音的召回,但送气用单帧最优、鼻音部位用段平均最优,时间聚合方式必须按线索的持续性选择。
针对零样本跨语言语音情绪识别中语言失配与无目标标注问题,论文用有监督对比拉齐跨语言同情绪表示并用说话人对抗去说话人线索,在九组零样本任务上平均 UAR 达 82.26%,代价是仍需多语言有标注训练数据且未闭合与有监督上限的差距。
针对流式零样本变声在小块下质量退化与参考音频敏感问题,MeanVC 2 用未来感受分块与通用音色令牌编码器实现 40 毫秒块稳定转换,报告显示端到端首包延迟从 211 毫秒降到 110 毫秒左右,但单步解码的计算量略有增加。
针对一步零样本语音转换中固定重型内容编码器成为推理瓶颈的问题,MeanVoiceFlow2 用可训练轻量内容编码器与学生平均速度网络联合学习,以转换蒸馏加真实数据重建、扩散判别器混合对抗和教师引导条件增强为手段,在保持说话人相似度的代价约束下把推理实时率降低约 9 倍并提升感知质量。