用发音特征做跨语言偏置:在新语言上只用 10 小时做语音单元发现
针对无文字低资源语言难以从原始音频发现音素单元的问题,该工作在 HuBERT 基础上用 55 语言的发音特征与音素监督做多语言续训,再以 ABX 可辨别性检验上下文不变性,最强有监督自适应在开发集与测试集取得 3.07% 与 3.39% 的平均误差,但自监督与有监督之间仍有差距且评估集中于 ABX。
针对无文字低资源语言难以从原始音频发现音素单元的问题,该工作在 HuBERT 基础上用 55 语言的发音特征与音素监督做多语言续训,再以 ABX 可辨别性检验上下文不变性,最强有监督自适应在开发集与测试集取得 3.07% 与 3.39% 的平均误差,但自监督与有监督之间仍有差距且评估集中于 ABX。
POWSM 用同一注意力编码器解码器结构统一完成音素识别、语音识别、带音频的字转音与音转字四项任务,在未见语言上取得可比最优的音素错误率,但多任务对域内识别的增益并不稳定且仍偏向高资源语言。
PRiSM 把音素实现识别拆成转写准确与转写探针加表示探针两类下游使用来考,证据显示多语言覆盖与编码器加 CTC 更稳定而专用模型仍领先大音频语言模型,但以声学保真与任务依赖为代价。
针对端到端转写丢失时间信息的问题,该研究用谱重力初始化加截止时间限制的期望最大化估计每帧共振峰并做语音切分,在爱尔兰语、特威语和沃提克语上以零样本方式取得高同质性和可比的归一化互信息,但对鼻音和滑音等过渡音仍存在过切分代价。
该文把音位识别错误转到 39 维区别特征空间做可复述诊断,报告跨 12 种语言替换错误中位距离 4 对随机基线 9、平均差约 2.8 且 PS 约 0.64,代价是只分析替换错误并依赖 soundvectors 特征与自举区间判断。
该研究用 10982 词、84932 条语义维度标注检验多模态大模型能否从发音形式推断意义,发现模型在多数维度上超过 0.50 基线并在深层更关注标志性音素,但与人类的维度分布仍有明显差距。
针对严重噪声下生成式增强容易编造内容与音色的问题,PASE 把预训练 WavLM 蒸馏成去噪专家并用高低层双流重建波形,在自建 LibriTTS 低信噪比集上把内容错误压到更低,同时以双流声学条件把说话人相似度拉回可用水平,代价是浅层声学流会带入残留噪声并拉低部分感知分。
针对说话人互斥的二语英语母语背景识别,论文提出把冻结编码器帧特征按强制对齐音素区间分组并拼接音素编号嵌入后分类,在 L2-ARCTIC 四折平均上报告 81.41% 准确率与 81.21% 宏 F1,代价是训练与评估都需要文本转录与音素对齐。