谁的声音算数:自动语音识别里的语言政策与三害审计
该文把低资源与非标准变体的识别失败界定为语言政策问题,提出七层处境模型与误识、错位、失信三害分类及参与式审计修复闭环,代价是未做新架构实验且验证仍待后续多社区审计完成。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
该文把低资源与非标准变体的识别失败界定为语言政策问题,提出七层处境模型与误识、错位、失信三害分类及参与式审计修复闭环,代价是未做新架构实验且验证仍待后续多社区审计完成。
论文在乌尔都语、旁遮普语、普什图语和信德语上零样本评测五种多语言模型并用 11 维误差分类拆解总词错率,最强证据是转写后处理不重训可恢复最高 25 个百分点词错率,代价是最佳结果仍远高于可部署阈值且短句、稀有词和命名实体持续失效。
该研究针对十个欧洲葡萄牙语域各训一个模型再合并成一个可部署模型的问题,对比 11 种合并算法并提出 BoostedTSV-M,最强证据是欧洲葡萄牙语全集平均词错误率 11.55% 略优于联合微调 11.58%,代价是非欧洲葡萄牙语分布外英语与多语言性能相对回落。
论文在英语与意大利语双语识别上只联邦更新投影器与 LoRA 而冻结编码器与大模型主体,用 100 轮、每轮 30% 按说话人划分的客户端对照集中式训练,最强证据是单语联邦与集中式差距仅 0.3 至 2.6 个百分点,而双语随机选择下英语差距扩大到约 10 个百分点,需用样本聚类与早期语言偏置把英语差距压回约 3 个百分点。
针对标注少、无标注多且有教师模型的语音识别,论文把有监督学习放顶层、无监督学习放中层、知识蒸馏放底层做三层嵌套优化,用两次惩罚型双层梯度下降求解,在 LibriSpeech 上以词错率下降为证据,但惩罚系数调度敏感且解码与资源条件受限。
该研究用跨通道启动比较孤立词与高低可预测句中浊音目标词的身份优势,发现孤立词中嗓音起始时间模糊度以渐变方式缩小目标与竞争词反应时差,而句子中可预测性扩大该差值却不再受模糊度调制,代价是结论只限于词汇竞争层面且未直接检验语音编码保真度。
论文以 WavLM 与 wav2vec 2.0 的 12 层帧表示为对象,用 k 近邻估计的局部本征维度量扰动引起的几何膨胀,并报告该膨胀与词错误率退化同向出现、层级 LID 向量可区分对抗与良性输入,但高信噪比下可分性与攻击成功率同步下降。
针对 Whisper 在静音与非语音上产生虚假转写且 30 秒窗口被短语音浪费的问题,论文用前置锚音频做输入级接地与分隔符,在不改模型不微调下把总体词错误率从 32.18% 降到 13.23% 并把非语音幻觉压到 0.14% 左右,代价是锚短语需按领域挑选且批量失败时要回退重算。
针对端到端语音识别在真实无处理语音上是否幻觉的问题,论文用 Earnings 22 加七模型加人工跨度标注构建 HALAS,最强证据是字符与语义代理指标仅 81% ROC-AUC 而先进检测器仅 53.1% F1,代价是数据集为富集幻觉的高难度采样且不能反映真实部署频率。
针对阿联酋阿拉伯语口语与标准语差异大、已有语料多为标准语或埃及黎凡特方言的问题,Hamsa 构建 11 小时人工转写对话语料并用统一超参数微调多语识别模型,最强证据是 Whisper-v2 词错误率从 42.25% 降到 24.46%、字错误率从 71.91% 降到 8.27%,代价是规模仍小、说话人未严格隔离且原始音频暂只提供转写与采集脚本。
针对口语实现与书面形式多对多映射带来的转写不一致问题,论文用输出国际音标与正字法的语音转文本模型加以后续大语言模型做双文本规范化,在英语文本规范化与韩语牙科语料上报告了大幅误差下降,但英语评测依赖合成语音这一受控条件是主要代价与边界。
论文在统一骨干与训练配方下比较 4 种隐宽度与 4 种帧率共 16 个连续编码器,报告重建在 1024 维 25 赫兹处最好而下游识别与问答在 12.5 赫兹中等宽度处最好,且冻结模型的半数主成分干预显示重建容忍与识别失效可以分离,但窄瓶颈训练不等价于事后降维。
针对端到端说话人日志与识别中说话人判别不足的问题,该文用全局聚类加簇内重编码的分层分类与日志识别联合训练,在 AliMeeting 等三套会议数据上降低了归属误差,代价是依赖离线嵌入聚类与过滤流水线且未验证延迟与大规模开放场景。
针对语音识别遇到训练未见词时语言模型无法给分的问题,该文用冻结 CTC 找拼写候选、冻结语言模型找上下文分歧来定位新词,再只学新增词符的嵌入与拼写分布,LibriSpeech 上 OOV 字符错最高相对降 14.97%,代价是只对重复出现的新词有效且依赖 CTC 候选质量。
针对冻结大模型如何低成本适配语音音频长时序的问题,论文提出在共享瓶颈投影之间插入轻量 Mamba 并用每层缩放融合,在四个分类任务和五种语言识别上以更少可训练参数达到或超过瓶颈与 Conformer 适配器,代价是流式短句延迟开销相对更大。
针对带口音英语识别中音素实现系统性偏移的问题,该工作把适配轴从口音身份换成发音方式,用六个低秩语音专家加帧级混合路由做 Conformer 适配,在 L2-ARCTIC 上多口音达到 10.43% 词错率、未见口音相对单一低秩适配平均改进 12.3%,代价是依赖一个跨域只有 36.04% 首选准确率的冻结音素模型和层选择分析。
针对非自回归语音识别无法用历史词消解多路径不确定性的问题,该研究用掩码预测模型的单次前向并行采样估计负词错率期望效用并取最大,在四类语料上显著优于原非自回归解码且保持数十倍于波束搜索的速度,但增加采样数与解码器调用会带来显存与计算代价。
针对儿童语音的筛查需求,PhonLLM 把预期发音与声学证据一起送入解码器,联合输出标准音素和音系过程标签,在多语临床数据上平均标注 F1 为 75.9 且音素错误率低于纯转写流水线,但对 backing 与 deletion 仍明显更弱。
论文用相位声码器时间尺度变换做前端匿名,研究其对语速停顿等交际特征和高层评分的影响,最强证据是微调后匿名与原始词错误率差距缩小到 0.17 个百分点,代价是停顿计数等切分细节仍有波动且说服力构念相关偏低。
针对语音大模型在 2000 词偏置下易受近音词干扰的问题,PTC-Bias 复用同一份帧级音素后验先做检索竞争选词定位、再做解码后局部竞争纠错,在 LibriSpeech 上把 Prompt-SLAM-ASR-7B 的偏置词错误率相对降低约 2 成而非偏置词错误率基本不变,代价是依赖轻量音素 CTC 分支与固定阈值检查。