离线也要又快又准:Jarvis 用本地微调小模型做赛车语音指令分类
针对赛车高层行为指令的离线语音控制问题,Jarvis 用唤醒词加本地转写加微调 Mistral 7B 做文本到指令分类,在 17 类 1645 样本条件下报告 97.63% 准确率与 1.39 s 平均延迟,但数据集仍部分合成且指令空间严格预定义。
针对赛车高层行为指令的离线语音控制问题,Jarvis 用唤醒词加本地转写加微调 Mistral 7B 做文本到指令分类,在 17 类 1645 样本条件下报告 97.63% 准确率与 1.39 s 平均延迟,但数据集仍部分合成且指令空间严格预定义。
论文以波兰语为重心研究数字归一化对词错误率的影响,方法是统一把逐字数字转成阿拉伯数字再评测,最强证据是议会数据上逐字与数字文本间差异大于 2% 并可归零,主要代价是归一器覆盖不全且会改变分母权重。
针对交错式流式语音识别大模型中外部强制对齐与模型自身对齐不一致的问题,该文用冻结非流式教师的文本音频注意力经置信度回退和单调搜索构造学生训练序列,并叠加 logit 与隐状态蒸馏,以聚合错误率从 9.35% 降至 7.80% 为最强证据,代价是相同蒸馏配置下闪烁高于强制对齐对照。
该文用 16 层 Conformer 编码器加 CTC 解决英文短语音转写,在仅公开数据与三阶段训练下以 470M 参数进入 OpenASR 速度精度前沿,代价是依赖大幅降采样与 16K 子词建模。
针对田间噪声、多说话人和农业词汇三类失败,论文用可开关的增强、说话人分离与词表修复包裹未改动的 ASR 模型,在印地语等三语评估上实现云端相对 16% 至 23% 的词错误率下降,多说话人下达 32% 至 42%,代价是增强与修复只在证据支持时生效且 M4 未被测量。
针对电子喉语音与健康语音域失配且大模型难流式部署的问题,论文用冻结自监督模型的离散音素目标加电子喉微调识别模型的瓶颈特征做三阶段渐进蒸馏,最好的 Mel-Conformer 把电子喉词错误率从最强零样本基线的 39.3% 降到 21.2%,代价是仍需平行语料做对齐且只用识别探测验证,ONNX 单核实时率为 0.30。
针对历史转写会传播实体错误并丢失发音与说话人信息的问题,该研究用场景可控的数据管线构造多模态对话历史并做上下文监督微调,最强证据是微调后语音加文本上下文在两个模型上取得最高的总体实体召回,但代价是需要合成语音过滤与条件匹配的微调,且无上下文基线与无关历史的鲁棒性仍有限。
针对临床访谈中医生与患者归属问题,论文用 LoRA 微调 Whisper-large-v3 并加帧级角色头做端到端转写,再用真实解码失败做 DPO 提炼,在 29 个 DAIC-WOZ 测试会话上达到 0.973 角色准确率与 0.119 DER,但中文语音转换数据的剩余误差仍集中在角色判错而非漏转。
针对语音大模型在儿童与方言语音上编码器适配不足的问题,论文提出先只训练编码器适配器再联合微调的两阶段 EAVA 方法,在三个数据集上报告了优于直接微调和多阶段对齐的新最低词错误率,但更大适配器并未持续带来增益且需两阶段训练成本。
HearInContext 用共享合成语音配对隐式与显式上下文研究同音歧义消解,报告 Qwen3-ASR-1.7B 隐式目标词召回中英分别提升 11.0 和 11.5 个百分点而通用识别误差变化低于 0.1 个百分点,代价是训练配比不当会损害无关上下文鲁棒性。
针对延迟流建模中结构延迟不能代表用户等待且固定对齐迫使模型晚输出的问题,论文引入词级实测延迟并在单点用准确率加延迟联合奖励做 GRPO 后训练,在 80 ms 处把词错误率相对降低 30.8% 且在 480 ms 处把中位延迟从 1.17s 降到 1.04s。
针对构音障碍语音识别中离散 token 与识别目标错位且随严重程度漂移的问题,该文用迭代伪标签更新、可微端到端优化与严重程度不变正则学习 DSI token,在 UASpeech 与 TORGO 上显著优于可比 HuBERT 连续与离散基线,系统组合后最低词错误率分别为 18.90% 和 6.38%,代价是需内容平行的健康对照与额外的端到端训练。
针对全双工语音到语音模型缺用户侧流式转写的问题,论文在复用同一解码器大模型主干上并行增加轻量 ASR 头并用帧级强制对齐训练,在双工框架内报告平均 WER 为 10.21%,独立识别配置报告为 7.73%,代价是平滑轮转延迟上升与部分打断指标未占优。
针对语音大模型强化学习只看文本词错率而放任语言先验补词的问题,该研究在训练期叠加冻结字符级 CTC 声学裁判做组内奖励,用一次贪心解码在 AMI 远场会议上把插入错误降低 22.3% 至 28.3%,代价是少量删除错误上升且只验证了单个 7B 策略与 0.3B 裁判组合。
针对配对语音文本不足的目标域,该研究把同一基座大模型微调得到的目标域语言模型适配器直接加到语音识别模型参数上,在日语和英语的领域适应中报告了目标域改善,且推理时只跑单个识别模型。
Neyshekar 针对波斯语正式与非正式语体和命名实体覆盖不足,构建 99.02 小时朗读语料并以等时长对照证明两架构词错误率下降,但混合增益不稳定且说话人广度仍有限。
针对 Whisper 不支持的三种低资源语言,研究比较暖初始化、注意力融合与顺序适配器堆叠三种源适配器复用方式,最强证据是最近源上的顺序堆叠在全量数据上相对全量微调降低词错误率 5-8%,在一小时数据上降低 12-26%,代价是需先在约 120 小时源语言数据上训练并冻结源适配器。
论文把受约束加性 U-Net 等价为临界采样完全重构滤波器组,再用全速率残差路由把学习目标转为任务相关的取舍,在 TIMIT 上以相同识别器把测试音素错误率从 28.60±2.09% 降到 25.76±0.41%,代价是保留双路全分辨率表示带来的过完备冗余。
针对开放泰语识别被离线模型主导而真流式时崩溃的问题,论文用缓存感知编码器恢复流式能力并在解码时做浅融合来引导词汇,在 1 秒前视下把字符错误率降低约 4.5 倍并把关键词召回从 16.6% 提升到 20.7%,额外开销不足 3%。
论文要解决希腊语混英语电话与会议转写同时过九道生产门的问题,选择不再找单一训练配比而是用路由加解码干预加组合绕行,最强证据是三模型词投票把门覆盖从单模型 4 到 7 项拉到 9 项并把重叠语音词错误率从 53.35% 降到 37.87%,代价是单模型在该规模下希腊噪声门与英语语种识别门所需步数相差近 6 倍而无交集。