普通话语音到美国手语 gloss 的同步级联:何时可以提交下一个 gloss
论文把普通话语音先增量译成英语、再由英语前缀策略决定何时写出手语 gloss,CausalGloss 用词法、语义、延迟和否定多路证据控制提交时机,在锁定 500 例上接近学习型自适应基线的质量并明显降低延迟,但结论只在弱参考、冻结评测和合成语音条件下成立且输出偏长问题未解决。
论文把普通话语音先增量译成英语、再由英语前缀策略决定何时写出手语 gloss,CausalGloss 用词法、语义、延迟和否定多路证据控制提交时机,在锁定 500 例上接近学习型自适应基线的质量并明显降低延迟,但结论只在弱参考、冻结评测和合成语音条件下成立且输出偏长问题未解决。
ProSing 研究零样本细粒度演唱技巧转换,用帧级标签加连续音高轨迹适配预训练流匹配声学模型,配对训练减少条件走捷径,在未见歌手上提升技巧可控性并保持自然度和音色相似,代价是额外演唱数据会部分回落技巧跟随分数。
论文要解决跨任务跨模态的联合自动机器学习问题,用统一数字编码加排序式大模型搜索器,只在单域视觉轨迹上训练,就在分割、说话人确认和文生图上取得可复述的零样本效果,但大模型训练仍需近 896 GPU-days 量级的代价。
论文针对尼泊尔语中混入英语且书写要求分脚本的问题,用 172.8 小时六领域语料在保留分词器下做数字双语口语化与全参数微调,把测试词错误率从 48.6% 降到 16.3%,代价是域外读写差异仍带来损失且数字标签需再核验。
针对合成语音已很流利、难靠单分判断是否像真人说话的问题,REAL 用带时间定位的证据链报告做监督,把偏好判断和局部听感依据绑在一起,在中文两档评测上相对基座带来明显提升,但细粒度高水平系统区分仍有差距。
论文要解决流式识别边听边改的问题,用最长稳定前缀把全量模型的输出过滤成可直接提交的标签,只训练解码器实现稳定输出,并在中英基准上接近全量识别质量。
论文把公开的 Parakeet TDT 1.1B 在约 950 小时障碍语音上整体微调并做权重平均,在隐藏测试集 Test1 上把字符错误率从 15.26% 降到 7.81%,越难懂的说话人相对降幅越大,但在训练中见过的句子上误差远低于新句子,实时版本在 CPU 上约 0.9 秒合并中位延迟达到相近精度。
论文要解决在只有小写无标点文本时判断土耳其语话轮是否结束,做法是在土耳其语 GPT-2 上加结束标记做微调,最有力的结果是熟悉说话人下平均精度 0.148 并稳定超过多语检测器,代价是实用召回下误报仍然很多且一遇到停顿文本几乎失效。
VoxLock 要解决背景人声被识别器转写的问题,做法是从本次通话截取 3 秒 caller 声音去提示因果分离模型,在 Krisp 真实录音上把词错误率从 23.21% 降到 4.95%,代价是干净电话场景会轻微变差且依赖 caller 最早最响的假设。
本文在六种非洲语言上控制每语言数据量,对比三种语音识别模型,发现 Phi-4 整体字符错误率最低、数据饱和点因模型而异、领域数据对不同模型效果不同,而结论只在所测语言、数据来源和单次训练条件下成立。
本文用 12.8 小时众包语音把不支持爱尔兰语的 Qwen3-TTS 适配成匿名单音色,再用词典编成的发音评价模型做一轮择优微调,把跨语料可懂度做到 CER 0.159,同时用同一评价模型量出语料中仅 229 段偏 Ulster 口音因而做不出少数口音。
论文把语音阿尔茨海默检测从二分类改写为先讲声学-语言线索推理再给标签的生成任务,用合成数据加 ADCoT-7K 与两阶段感知训练打底,再用四奖励 GRPO 优化推理质量,在 Pitt 上达到 80.72% F1 和 81.10% 准确率,代价是需要大规模合成与多阶段训练。
针对全双工语音咨询中只回应最近一句话而丢失早期根本困扰的问题,CounselPlex 在说话人沉默时生成 1-7 词的压力源状态并在倾听时注入文本流,结合位置偏移增强训练,在 ESConv 与 ESCoT 合成语音上的咨询质量评分超过同域微调基线,但延迟增加且未检测到简短附和声。
该文解决普通话 TTS 只能做整句风格控制、不能在指定汉字上调时长音高停顿的问题,用大规模自动提取的 Unicode 韵律标记加微调 CosyVoice2 的语言模型实现字级控制,代价是阈值固定、只验证普通话和单一主干且听感评估仅为描述性比较。
KIRA 针对儿童语音难识别、单词分数缺少诊断信息的问题,用同一录音上的单词识别与音素识别两条通路分别做流利度计分和子词错误定位,在儿童语音子集上把词错误率从 13.88% 降到 8.84%、音素错误率从 41.66% 降到 23.00%,并以网页报告呈现,但音素层尚未与专家标注对齐,也未验证课堂诊断效用。
论文用 0.95 小时合成混说语音做监督微调实现到 15.45 小时真实播客的主要迁移,再用序列级策略优化做 173 句级别的小幅边界修正,同时发现脚本奖励在已收敛编码器-解码器上无额外增益,且单语能力基本保持。
论文针对音频大模型感知错误多、推理链感知依据单薄的问题,用四阶段管线构造约 160 万条感知 grounded 且带验证回溯的长推理轨迹,再以监督微调加直接偏好优化训练 Qwen2.5-Omni-7B,在 MMAU 等基准上提升约 6-7 个百分点,代价是依赖模型生成校验与 30 秒内音频。
针对大模型语音识别把未登录词听成常见同音词的问题,PronCFT 用固定的候选发音序列做监督,训练模型先转写发音再匹配候选拼写,在合并的未登录词测试上把召回从 59.89% 提高到 83.57%,而通用词错误率基本不变。
本文要解决会话式语音合成读不准罕见药名的问题,用词表扩展加音素增强微调学会读 ARPAbet 音素,再用无需训练的上一轮参考发音稳定输出,在 7,500 条药物评测上把严格正确率从 54.6% 提高到 90.7%,但人工听感优势只在小子集上成立且置信区间重叠。
X-MDD 把学习者语音、合成的标准语音和标准音素序列一起送入大模型来预测真实发音,只在中文和英文上训练,再靠标准参考和示例迁移到阿拉伯语,代价是召回和诊断精度仍明显低于有监督基线。