先用全部伪标签再用人工标注:北萨米语小模型的一次伪标签迭代
针对北萨米语标注只有 20 小时的问题,论文比较大教师生成全部伪标签与大小模型一致过滤子集,并证明先伪标签后人工标注的两阶段微调能让 95M 小模型在域外测试上相对降低字符错误率,而混合训练与反向顺序会退化。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对北萨米语标注只有 20 小时的问题,论文比较大教师生成全部伪标签与大小模型一致过滤子集,并证明先伪标签后人工标注的两阶段微调能让 95M 小模型在域外测试上相对降低字符错误率,而混合训练与反向顺序会退化。
针对 Whisper 类模型在低资源语言上顺序微调时的灾难性遗忘,论文提出用语言均衡回放构造整体参考梯度并做冲突投影的统一梯度投影方法,在 Whisper-large-v3 上报告平均遗忘接近零,但目标语言可塑性仍需与回放量和模型容量一起权衡。
针对多语联合微调容量不足导致的负迁移,论文把 Whisper 解码器前馈层复制为稀疏混合专家并只激活单个专家,硬路由在 10 语和 4 语上优于多语微调与 LoRA 混合专家,代价是总参数随专家数线性增长且需已知语种标识。
论文以口吃语音为案例提出意图转写与逐字转写是两种并存的正确答案,用 11 个模型证明最优排名随参考答案翻转,自回归模型偏向意图、CTC 模型偏向逐字,而 ISR 与 MUR 事件是两类任务共同的误差主力。
针对韩语临床中英语医学术语可用英文原形或韩文音译两种合法拼写导致单参考词错率低估性能的问题,该研究构建带多参考变体的 MultiClin 合成对话基准并提出局部动态选参考评测,显示多文字感知评测大幅降低误差、训练标签统一为 100% 本地文字时最优,而 50% 混排熵最高、收敛最差,但合成语音与受限领域是主要代价与边界。
在冻结文本大模型且固定 600 bits/s 信息率下,把语音帧率从 50 Hz 降到 2.08 Hz 做可控扫描,并用因子化 FSQ 加轻量非自回归音频头补足单帧容量,最强证据是语音问答在 4.17 Hz 取峰且中间层对比对齐带来约 32% 相对提升,代价是过低帧率下生成侧词错率单调恶化。
针对耳语因缺基频和谐波结构而在漏识与幻觉间摇摆的问题,该文用基频预测与掩码谱重建自监督训练不确定性感知模块,再以全局指令加帧级注意力偏置控制解码,在 AISHELL6 耳语集上报告耳语字错率 1.31% 与噪声幻觉率 4.5%,代价是三阶段训练与引入附加接口参数。
论文比较模块化流水线、任务专用大语言模型与通用多模态大模型在多说话人长音频转写中的表现,提出时间受限语义错误率与重叠分解指标,最强证据是重叠段贡献约九成总误差而模块化多通道系统在复杂会话中仍最稳健,代价是语义指标仍依赖词级对齐且人工语义一致性尚未验证。
针对中文老年语音在自然场景下识别困难的问题,WildElder 从在线视频收集并人工标注 23701 条语音,用从零训练与预训练模型的字错率对比证明野外老年语音仍具挑战,而微调能显著降低误差但高龄与男性语音代价更高。
该研究用原住民主导的半结构访谈调查 39 名澳大利亚原住民英语使用者的语音技术体验,报告识别失败常被归因于种族并迫使向白人说话方式切换,代价是挫败、放弃使用和在家中也要持续语码转换的劳动。
针对 ASR 与语音情感识别目标冲突的问题,论文用冻结 WavLM-Large 加逐层可学习系数合并同域 ASR 与 SER 任务向量,在 MSP-Podcast 上报告双向量 UAR 为 38.94% 与 Macro-F1 为 35.20%,代价是仍需先分别微调得到任务向量且依赖域内转写。
针对多语言自监督模型把声学符号对齐推迟到微调导致跨脚本泛化不足的问题,论文在 MMS 基础上插入联合 SSL 与 CTC 的对齐感知持续预训练,并用统一罗马化和双码本缓解竞争,在 FLEURS 上把测试 WER 从直接微调的 47.2 降到双码本的 35.5,代价是需要目标域音频加文本和两阶段训练。
针对 6 月龄到 8 岁儿童音素识别难、标注少的问题,论文整理 TinyVox 并在儿童日常长录音预训练的 BabyHuBERT 上做带 20 秒上下文的 CTC 微调,验证集降到 43.5% 左右的音素错误率,测试集达 42.1% 且替代错误多留在大类内,代价仍是绝对错误率高且依赖粗粒度聚合才显出发育趋势。
针对塞浦路斯、克里特和麦西尼亚三种希腊方言的低资源转写问题,论文用标准希腊语翻译起步、混合转写与翻译过渡、最终收敛到方言转写的多任务课程,在三档 Whisper 规模上报告了优于直接微调的词错误率,同时保留了翻译正则与 donor 数据等代价与边界条件。
论文用同一段医患对话配对干净与加噪音频并冻结下游大模型,报告平稳环境噪声仅让词错误率上升 0.71 个百分点却使不安全输出翻倍,并验证轻量证据审计能在 5 dB 重噪声下降低高风险幻觉但保留良性表述差异。
针对印度、印尼和拉美口音的英语学习对话,该研究用启发式富实体选数据加分区 LoRA 双输出转写,把实体召回做到 80-85% 和填充词召回做到 76-86%,代价是依赖银标准参考和每区独立适配器。
针对带声调标记的音素识别数据稀缺问题,该研究用正字法与基频轨迹多任务训练加词典约束的格融合,在保持听错原样的条件下把核心集平均错误率从 12.3% 降到 7.1%,代价是依赖词典覆盖与文本分支质量。
针对多语联合微调中的负迁移与低资源一致性学习中的确认偏误,论文用共享-私有融合 LoRA 解耦容量竞争、用置信门控平均教师提供稳定目标,在 Kathbath 五语上把宏平均 WER 降到 19.85%,代价是引入双分支与两阶段调度等额外复杂度。
针对已知无变音文本加语音恢复阿拉伯语变音符号的问题,论文用无自回归 CTC 声学模型加字符级变音格约束解码,在 ClArTTS 与 ArVoice 匹配与跨库上降低变音错误率,代价是仍依赖基字符序列正确且需已标注变音的语音做微调。
论文针对通用词错误率难以反映人名公司产品名可用性的问题,在财报电话短片段上构建带本地与全局定制词表的公开基准,用关键词提示与关键词加权两类共六个系统做可复现评测,报告显示加上下文一致提升关键词 F 值但词错误率变化不一,而全局干扰词主要考验精度。