韩语字形写音不准时:只标鼻音韵尾的 SALT-N 为何更稳
针对韩语正字法与实际发音不一致且低资源下隐式学习困难的问题,论文提出只标记鼻音韵尾的选择性同位异音切分 SALT-N,在 12.75 小时上把字形输入的 CER 从 4.74% 降到 3.30% 并取得最高主观自然度,代价是放弃全量同位异音标记所追求的声学分辨率。
针对韩语正字法与实际发音不一致且低资源下隐式学习困难的问题,论文提出只标记鼻音韵尾的选择性同位异音切分 SALT-N,在 12.75 小时上把字形输入的 CER 从 4.74% 降到 3.30% 并取得最高主观自然度,代价是放弃全量同位异音标记所追求的声学分辨率。
该研究以海得拉巴达基尼自然电话对话为对象,用非对称知情采集加方言规则标注来保住易被抑制的方言特征,其依据是 160 人语料设计与 60 人预调查揭示的语境漂移,代价是牺牲录音室级音质并依赖人工核验。
针对合成训练难迁移到真实环境的问题,论文用 2.9 小时 CHiME-3 真实带转录噪声加 VCTK 合成对做开关双模式微调,在 CHiME 上把词错误率从 63.66 降到 20.27 并把感知质量做到 3.23,代价是增强偏置与识别偏置仍需二选一且加长开关会回落感知质量。
该研究为泰卢固语和马拉雅拉姆语新建诱发朗读与社交媒体实拍两类三分类语音数据集,并用 Wav2Vec 2.0 加 IndicBERT 的注意力融合做基线,报告同域内多模态互补有效而跨域时声学失配导致大幅下降且文本单模态更稳。
该研究针对 6 种南部班图语,用词错误率加声调统计的混合难度排序和门控声调适配器做课程学习,在 Swivuriso 训练并向 NCHLT 迁移,最好的 W2V-BERT 声调条件模型平均词错误率为 28.41%,但架构按语族分化且课程收益不稳定。
论文研究如何在低资源印地语农业对话场景下低成本建 100 小时语料,选择自动语音识别加轻量 mT5 纠错再加标注员到验证员到核查员三层校验,最强证据是相对纯人工标注时间减少 61.1%,代价是领域外泛化仍依赖通用基线且大模型纠错更慢更不稳。
论文研究极低资源 Warlpiri 语识别该从哪种高资源语言迁移,用声学嵌入相似度加句法音位语法类型相似度排序候选源并以 Whisper 迁移验证,最强证据是 Assamese 迁移后词错误率 32.6%、字错误率 12.3%,代价是结论依赖 1.5 小时特定语料与固定微调流程且零样本与微调下最优相似度指标不同。
针对耳语缺少基频且与正常音谱和时长差异大的问题,WhisperVC 用有限配对数据做跨域对齐、只用正常音做由粗到精的梅尔生成与声码器适配,在普通话上把字错率从 22.937% 降到 16.932%,代价是仍需分阶段训练且依赖内容编码器与说话人嵌入条件。
针对多方言阿拉伯语反欺骗基准缺失问题,ArFake 用 Casablanca 八方言加四种 TTS 构建 54413 条混合语料并以 Whisper-large 加浅分类头做检测,在域内取得 4.88% 等错误率、在未见 VITS 上取得 97.94% 准确率,代价是训练集伪造占比近七成且部分满分依赖低质量合成伪影。
该工作把希腊语歌曲做成片段级对齐的歌词转写基准,用 Whisper 做转写专用、多任务混合与语音到歌声两阶段微调,最强两阶段 Large-v3 把归一化词错误率降到 27.2%,代价是依赖人声分离与强制对齐流水线且伴奏与增强并未带来增益。
针对音频标注贵且通用主动学习忽略时频结构的问题,论文提出先用软损失分布刻画难学模式再用特征加梯度相似度匹配无标注样本的 TSAL,在 40% 标注预算下以 ESC-50 上 82.65% 对 79.90% 等结果领先基线,代价是每轮需额外计算伪标签梯度和相似度排序。
论文用西弗里斯兰语检验大模型生成式纠错能否超越五选一上限,靠公开集加非公开离线集对照排除记忆,最强证据是 GPT-5.1 把词错率降到公开集 8.9% 与离线集 13.8%,代价是开源小模型几乎不改写且插入词判断仍不稳。
该研究用 WavLM-Large 对比语系感知与随机采样的 60 小时延续预训练,语系感知在下游得分 0.50 显著高于随机的 0.04,但两者仍低于约 94k 小时训练的原始基线,说明语言结构在数据受限时能缓解退化而不能替代大规模预训练。
针对老年听辨需求,论文用医护专家示范代替老人偏好标注,以专家奖励加发音奖励的复合奖励做 GRPO 微调,并用两阶段在策略奖励学习抑制奖励黑客行为,最强证据是第二阶段在可听性与老人 MOS 上同时超过 SFT 与无 OPRL 的 GRPO,代价是专家数据仅 1.5 小时且需多轮奖励模型重训。
针对无声唇视频生成可懂、自然且口型同步语音的问题,LipAdapter 冻结视觉语音识别与多语 TTS、只训练文本到视频对齐以预测唇形引导的音素时长,在 LRS3 上用 30 小时训练达到 21.2% 词错率,但短于 1 秒的片段同步置信度明显下降且依赖上游识别文本质量。
针对南阿塞拜疆语标注极少且用阿拉伯字母书写的问题,论文用社区朗读、北阿塞拜疆语音转写和独立难例集三路建数据,并在八个模型上做微调对照,最强证据是社区微调后的 MMS 在 GoldSet 上取得相对最好的词错率,但长短句、书写歧义和跨方言声学差异仍带来明显代价。
针对家庭间域偏移与多说话人重叠的婴儿中心家庭录音,该工作用 LoRA 微调的 Whisper 编码器加目标说话人提取与分层分类器做帧级多层标注,报告平均 74.88 Macro-F1 与 68.14 κ,最强证据来自消融与跨层比较,代价是测试家庭偏移未显式建模且测试时自适应增益有限。
针对 Efik 数据稀缺与声调易错问题,研究用约 3 小时 2632 句单人语料微调 VITS、MMS-TTS、SpeechT5 和 Orpheus-TTS 四种模型,母语者评测显示 MMS-TTS 以 3.80±0.63 居首且长文本更稳,但声调与特殊音素问题仍未解决。
论文把 Fisher 白化后的输入误差互协方差用于构造语音模型的低秩适配子空间,并在相同可训练参数量下比较均匀秩、自适应秩与跨层共享,报告自适应秩分配在 Whisper 与 Qwen3-ASR 上对标准 FCCA 最稳定地降低词错误率,但仍落后于大预算 LoRA 与全量微调。
ARIS 用神经网络只做从波形到声码器系数的分析、用无参数 DSP 做合成,在每人不足 1 小时的五个单人语料上达到与 WORLD 可比的拷贝合成质量,并以约一半于 KlattGrid 的 F2/F3 误差实现单线索编辑,但高频自然度预测分仍略低于微调后的 HiFi-Glot。