用全局带局部学真伪:ADD-DINO 以两阶段自蒸馏缓解标注稀缺
针对音频伪造检测标注少、跨域差的问题,ADD-DINO 先在 100 万无标注音频上做全局-局部非对比自蒸馏预训练、再用 20% 标注微调教师骨干,在 19LA 上接近全量监督并在跨域上把平均等错误率从 15.31% 降到 12.25%,代价是仍需大规模预训练与微调增强且未公开代码权重。
针对音频伪造检测标注少、跨域差的问题,ADD-DINO 先在 100 万无标注音频上做全局-局部非对比自蒸馏预训练、再用 20% 标注微调教师骨干,在 19LA 上接近全量监督并在跨域上把平均等错误率从 15.31% 降到 12.25%,代价是仍需大规模预训练与微调增强且未公开代码权重。
ARTIST 把多语言语音到语音翻译转成先预测目标端发音特征离散单元再合成波形的两段任务,用冻结的 20 码本向量量化自编码器做跨语言瓶颈并配合编码器中间 CTC 与卷积增强差分注意力解码器,在仅用短句训练却测长句的条件下以 166M 参数在 BLEU、COMET 和 chrF 上超过 1.2B 参数基线,代价是仍依赖发音特征提取器与两阶段预训练冻结的设计。
针对四对低资源语音到英语翻译的统一共享负迁移问题,论文用聚类分组、自交叉梯度相似度定共享比与联合 SVD 加正则 CCA 定能量分配来只改造编码器第 11 层 FFN2,在统一微调基线上取得最高 14.4% 相对 BLEU 增益,代价是只验证了单层单模型且部分语言对仍有回退。
针对重度构音障碍语音与通用模型声学失配及数据稀缺问题,论文用先做词汇域适应再只微调编码器前端的个性化 Conformer 管线,在 UASpeech 平均词错误率 21.5% 与 TORGO 平均 12.7% 上报告优于此前序列到序列方法,并以移动端采集与持续重训闭环支撑儿童使用,但重度 76.4% 基线差距、儿童数据缺失与公开可用性仍受限。
针对构音障碍数据少且严重程度声学差异大的问题,该工作冻结 WavLM 主干、在底层用共享 LoRA 学通用声学、在高层用临床监督路由的专家 LoRA 做严重程度特化,在 UA-Speech 上 5 分类宏 F1 达 61.55%、2 分类 F1 达 94.54%,代价是依赖说话人独立划分与临床严重度标注做路由监督。
该工作用统一流程采集博多语等四语 146 小时自发独白,以声学分布与说话人无关语种识别验证可分性,最强融合特征达 92.95% 准确率,代价是性别不平衡与无转写限制。
论文把 Whisper-Small 适配到比斯拉马语、纳夫桑语和雷莱帕语三种太平洋语言,报告了随数据量变化的识别误差、编码器与解码器的层级表示漂移以及向英语和历史语言的遗忘,用全量微调与 LoRA 及其变体的对照揭示了新语言可塑性与旧能力保持之间的严格权衡。
针对低资源声调语言缺少专用声学模型的问题,CrossPhon-Tonal 在发音特征映射后增加自动声调映射,在六种声调语言上达到与专家人工映射可比、并在多组上超过 3600 小时 Global English 模型的一致率,但低训练量模型与克罗地亚语等边界条件仍暴露明显短板。
针对四川话低资源识别中方言词被高频普通话同音词替换的排序错误,DASR-CPO 在 LoRA 微调后用挖掘出的普通话混淆做跨度级无参照偏好优化,在 4.53 小时数据上把字错率从 24.85% 降到 22.58%、实体 F1 从 72.82 提到 74.15,代价是依赖词表覆盖与非说话人无关划分。
针对非典型语音数据少且差异大的问题,该研究用变分低秩适配估计认知不确定性并合成音素难度分来指导过采样,在英语和德语数据上降低了个性化误差,但加深个性化会带来通用语音上的遗忘代价。
针对现代希腊语干净单人语料稀缺导致的多说话人平均音色漂移问题,论文用 WhisperX 对齐过滤的有声书管线加 Parler-TTS 两阶段适配解决,以确定性提示词加 3.5 小时单人 LoRA 达到词错误率 10.7% 和说话人一致性 4.24 分,代价是频谱保真度和目标说话人相似度仍有限且仅验证单一男性朗读风格。
论文在巴斯克语 C1 考试独白与英语 ICNALE 独白上用纯语音自监督模型做二分类,巴斯克语上 mHuBERT-147 显著优于 wav2vec 2.0 xlsr 而英语 B2 上结论反转,代价是高水平相邻等级差异细微且语料不可公开。
针对孟加拉语-英语句内语码切换在固定前视流式中被截断词缀的问题,论文用语音活动检测切分的 3 秒语义块调用离线全局注意力并配 750 词脚本锚定注入,在通用集上把形态误差降到 0.35 左右,代价是延迟随停顿变化且依赖语音活动检测质量。
针对儿童与方言等低资源域偏移,Gumbel-BEARD 用可训练的硬 Gumbel-Softmax 在每步自动选择 Whisper 编码器预测层并配合 BEST-RQ 自监督适配,在 MyST 上以 10 小时标注达到全量 133 小时微调相当的 9.35% 词错误率,并在全量时达到 8.21%,代价是仍需两阶段适配与有限标注微调。
该工作针对阿姆哈拉语和阿凡奥罗莫语从零搭建录音室级多说话人语音合成数据与基于 SpeechT5 的微调流程,用 100 小时加 13 小时针对性数据的规模与主观平均意见分 4.65 和 4.43 证明语言学知情数据是关键,代价是同形异义消歧仍依赖规范化输入且未开源验证。
在英语 MSP-Podcast 约 104 小时与台湾普通话 BIIC-Podcast 约 102 小时上用 WavLM Large 做唤醒度、效价、优势度回归,发现唤醒度用 2 小时适配即可追平 100 小时单语模型而效价需约 20 小时,且优势度测试集绝对值极低限制了结论外推。
论文把近 10 万小时英语预训练的 F5-TTS 直接在 1417 小时 11 种印度语言上微调,用对照实验显示直接微调在总体 MUSHRA 73.4 上超过混入英语与从零训练,并以 10 小时每语言保留涌现能力为代价换来零资源语言的可扩展性。
K-DIALECT 针对参考音频稀缺的韩语方言合成问题,用双分支人脸编码器定身份风格、用方言条件基频预测器定韵律,并以 FiLM 融合生成语音,在六种方言上以主观方言流利度和自然度领先语音基线,代价是说话人相似度仍低于有参考音频的 XTTS-v2。
该研究只用母语语音训练离散单元与三元语言模型,用惊异度统计和文本预测单元的动态时间规整对齐做发音评估,在 SpeechOcean762 上音频加文本达到准确度 0.661 并跨库迁移到 L2-ARCTIC,代价是仍需朗读文本才能发挥对齐增益且回归校准依赖少量学习者打分。
针对拉脱维亚语医疗口述的富格式转写问题,论文比较直接生成格式文本的端到端微调与先逐字转写再用大模型格式化的两阶段路线,最强证据是微调 Whisper-large-v3 加 75 小时伪标注数据达到 10.6% 词错误率,代价是幻觉风险与格式细节仍需人工校验。