语音识别

论文为无网或弱网的非洲语言社区设计了一套离线语音交互流水线与两档硬件清单，并用三款 2-5B 指令模型在四种量化精度下的吞吐、内存、功耗与多语言分类准确率证明 Q4_K_M 是最兼顾速度与质量的部署选择，但树莓派首字延迟与奥罗莫语识别仍是短板。

针对一位永久气管造口并伴重度构音障碍的捷克语青少年的不可懂语音，论文用人工对话采集 33 小时单人语料并以 Whisper Base 做四阶段微调与流式改造，在三种实时场景下把字符错误率大幅降低，但绝对误差仍高且高度依赖说话人自身数据与设备适配。

针对配对语音文本不足时语音大模型难以对齐声学与文本的问题，论文用语音到音素预训练音频编码器、用纯文本生成的音素到字形任务预热大模型，再端到端微调，在日语和中文上把字错率相对降低 27% 到 72%，代价是多两段预训练且在字母文字小语种上增益有限。

论文发现多语音素模型会按整句估计语种并覆盖局部音素判断，导致非共享音素大量丢失，并用短窗重估语言子空间坐标把干扰降低 34%-69% 且基本不损伤单语识别。

论文固定声学编码器与训练数据只更换输出分词器，对比多语字符表、数据驱动 BPE 与音节音素分词在同域朗读和两种正交域偏移下的词错误率，发现小词表时音节先验占优而大词表时优势反转。

论文用只保留最低 12 个梅尔频带的低通语音微调 Whisper-Medium 来估计能恢复多少词，在 Yodas 上得到约 36% 词错误率、在 AnimeVox 上得到约 60% 词错误率，再用只由基频和能量重建的频谱做对照发现误差升至约 69%，说明低频与词内容联系比预想强但尚不能归因于纯韵律。

SEA-LM 针对可穿戴麦克风阵列的自我中心多声源场景，用 FOACoder 把可变阵列信号统一为一阶 Ambisonics 空间嵌入再与单声道语义嵌入联合输入大语言模型，在合成评测集上降低了方位角与俯仰角误差并改善了转写与检测，但结论只在仿真静态场景和 1211 种眼镜阵列配置内成立。

论文用同一批音频配不同指令求平均激活之差得到任务向量，推理时加回残差流，在少量标注下改善转录、情感与描述并降低换提示词的波动，但非拉丁文字与无提示续写仍需额外约束。

针对印地语带时间戳转写问题，论文在 Whisper 编码器输出上加一个字符级线性 CTC 头做强制对齐，时间戳精度与依赖外部模型的 WhisperX 相当，并用 CTC 输出长度约束缓解短语音幻觉，但结论只在原文四个测试集和人工标注条件下成立。

该文用探针偏差诊断和同噪声对照证明互相关对角项在独立噪声下抑制噪声方差，而自相关项只重排特征空间以提升干净下游任务准确率，但音乐中依赖音高音色的任务仍会受损。

论文研究端到端语音依存句法分析中连接语音编码器与句法分析器的三段中间神经网络是否必要，提出去掉它们的简化结构，在法语、斯洛文尼亚语和奈贾语上达到相当或更好的分析准确率并减少约 12% 参数，代价和结论都只在联合微调与冻结编码器等明确条件下成立。

针对黎凡特阿拉伯语内部差异大、正字法不标口音的问题，SHAMS 用 1300 条带音频的四层对齐语料同时测加符、字音转换、语音识别和音频到音素，并报告方言适配系统与大模型在各变体上的差距与代价。

针对手机上音频已预填而完整回答仍需逐词生成的按需理解任务，As2d 让音频条件起草者脱离目标已验证前缀独立推进并由目标验证纠正，在四机七数据集上把合并语音识别吞吐相对纯目标解码提高 42 到 76%，代价是候选供给不足时仍需目标单步推进且增益依赖覆盖率与到达时机。

针对一分钟语音变成 750-1500 个音频 token 且语言模型浅层仍高度关注音频的问题，用编码器输出的闭式线性映射预测全层注意力排序并在模型前剪枝，转录用分箱覆盖、选择题再在第 2 层做精度融合校正，保守预算下与全音频差距控制在小范围内，激进预算下全面领先可运行基线，代价是线性先验在两类 Qwen-Audio 模型上失效且需用漂移筛查区分。

针对领域实体与罕见专有名词难识别的问题，BaLEEN 用冻结语言模型加 Perceiver 瓶颈生成可预计算的层偏置注入冻结 CTC 编码器，在合成维基测试集上关键词漏识相对下降 8.7% 且词错误率相对下降 21%，代价是依赖合成语音与固定上下文预计算条件。

该研究在 85.37 小时的五种伊比利亚语言加德语土耳其语对照上，用宏平均词错误率与实时因子比较十个开权重模型和一个商业 API，发现商用与受限模型领先、可商用开权重中 omniASR 系列与 Whisper 领先，而巴斯克语低覆盖与男性优势的性别差异构成主要代价。

针对近场榜单掩盖远场失效的问题，论文用新录消声语音与混合波形几何声学房间脉冲响应构造九条件不公开音频评测，报告平均词错率从近场 4.4% 升至静态低信噪比 41.3%、走动在匹配信噪比下增加约 1.3 至 2.7 个百分点、实测与仿真办公室误差平均约 1.7 个百分点，代价是单通道朗读英语与单点实测锚定限制了推广范围。

论文研究语音自监督是否必须构造精细预测目标，提出直接预测当前编码器连续表示并只用高斯正则防塌缩的 GLaS-JEPA，在 960 小时 LibriSpeech 上以 57M 参数取得冻结编码器 SUPERB 语音识别 6.89% 词错误率和槽填充 25.87% 概念错误率，但情绪识别等副语言任务仍落后且大模型扩展尚未验证。

论文在 SLAM-ASR 管线上做音频编码器自顶向下剪枝并在每层重训投影器，发现 Whisper Large 剪 2 层时聚合词错率从 21.6% 降到 21.1% 却让 Black 组上升 0.9 个百分点，到剪 8 层时 Black 与 Asian 差距从 13.5 扩大到 24.5 个百分点，而 LoRA 虽降低各组误差却让优势组获益更多。

针对注意力模型整句依赖未来音频而难以流式化的问题，论文用年龄版本编码把每块未来视野锁定为常数块，再用逐词触发器只推迟不确定的词，在完整测试集上以 6.5% 词错率达到 306 毫秒中位延迟，代价是无预算时尾延迟高于静态基线且训练与重编码开销增加。