语音识别

针对口音导致词错率上升且推理时无可靠口音标签的问题，论文在 FastConformer 中插入序列级混合专家并为每个专家配独立 CTC 头、用两阶段路由从口音感知过渡到无标签推理，最强证据是在 MCV-ACCENT 上有预训练条件下大小模型同时降低已见和未见口音词错率，代价是训练早期仍需口音标签并增加混合专家参数与训练开销。

论文研究语音大模型能否用音频加文本示范现学未见濒危语言，报告多模态示范降低困惑度且跨语言微调接近目标语言微调，并提出用声学模型产生候选再由语音大模型重排来改善词错误率，但直接生成转写仍很弱且重排带来显存与耗时开销。

针对英语语音输入并按多语指令完成识别翻译问答的问题，该工作用只用识别数据训练的语音映射器对接冻结语言模型并加入合成科学演讲数据，在更小语言模型下追平上届最优并用跨域基准揭示识别与问答的权衡。

共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读

POWSM 用同一注意力编码器解码器结构统一完成音素识别、语音识别、带音频的字转音与音转字四项任务，在未见语言上取得可比最优的音素错误率，但多任务对域内识别的增益并不稳定且仍偏向高资源语言。

PRiSM 把音素实现识别拆成转写准确与转写探针加表示探针两类下游使用来考，证据显示多语言覆盖与编码器加 CTC 更稳定而专用模型仍领先大音频语言模型，但以声学保真与任务依赖为代价。

针对无目标域标注时伪标签存在系统性口音偏置的问题，论文在源域用同起点真标签模型减伪标签模型得到修正向量并加到目标域伪标签模型上，在 AFRISPEECH-200 十个口音上把 Whisper TINY 平均 WER 从 89.3 降到 57.7，代价是需要有标注源域和调缩放系数 λ。

针对十种非洲低资源语言的转写任务，PUMA 用冻结的 wav2vec 2.0 特征加可训练的通用语言投影与语言令牌和 CTC 训练，在同时训练平均词错误率 0.314 上报告优于 MMS 的 0.419 和 Whisper-large 的 0.339，代价是零样本下仍落后于 7B 量级系统且阿拉伯语等难语言更依赖语言令牌。

针对端到端转写丢失时间信息的问题，该研究用谱重力初始化加截止时间限制的期望最大化估计每帧共振峰并做语音切分，在爱尔兰语、特威语和沃提克语上以零样本方式取得高同质性和可比的归一化互信息，但对鼻音和滑音等过渡音仍存在过切分代价。

针对同时有内部听觉与外部转写建议时朴素融合反而变差的问题，论文用可学习的内部、外部、重写三种动作先裁决再生成，在七个语音识别集与多域音频问答上报告了可运行策略的改进，但重写类样本稀少仍是主要代价。

论文把新语言低资源表示学习定义为跨语言元学习，用多任务自适应预训练构造适应 эпизод并以一阶双层优化实现可扩展更新，在三语平均上用 1 小时无标注适应追平 6000 小时域内上限，但零样本起点变弱且外环仍依赖源语言音素标注。

针对多人重叠会议中内容、说话人与时间边界相互纠缠的问题，TagSpeech 用解耦的语义与说话人双流加交错数字时间锚统一解码，在 AMI 与 AliMeeting 上以只训练投影层的低成本取得 diarization 误差的明显下降，但重叠区外的时间边界精度仍不及专用级联系统。

针对多人对话中谁在何时说话与内容难以联合对齐的问题，TellWhisper 在语音编码器内用时间说话人旋转位置编码联合建模时间与说话人活动，并用双曲空间说话人日志估计帧级活动，在真实会议数据上取得内容加说话人加时间的一致改进，但支持说话人数限于 1 至 4 人且编码器与双曲分类器仍处在不同几何空间。

针对吴语语音数据极少、无公开基准和可用模型的问题，论文用约 8000 小时多维自动标注语料加人工基准与分阶段模型验证，在识别与理解任务上大幅降低误差并提升翻译与属性判断，但数据分布不均与自动标注噪声仍限制泛化。

针对非言语事件只知有无、不知在词何处的问题，论文以 21 类离散与连续事件的词级转写为目标，用位置感知的评测解耦词错与事件错，并以 1700+ 小时弱标注训练得到强基线，在保持词错误率基本稳定的代价下把宏平均 F1 做到 38.0%。

该文把音位识别错误转到 39 维区别特征空间做可复述诊断，报告跨 12 种语言替换错误中位距离 4 对随机基线 9、平均差约 2.8 且 PS 约 0.64，代价是只分析替换错误并依赖 soundvectors 特征与自举区间判断。

针对跨文化理解所需的野外视频多语转写问题，论文用易复用的 Whisper 与 WhisperX 流水线加字幕挖掘与重切分，报告七语平均约 30% 错误经数十至二百小时微调降至约 21.7%，代价是幻觉插入与字幕参考不完美及发布受限。

针对 Qwen3-ASR-0.6B 的 18 层音频编码器，X-AuT 用短预算行为探针选择可恢复层组合，再经表示对齐、跨尺度蒸馏与 LoRA 微调分两跳压到 14 层，单次运行显示 16 层宏平均误差从 5.61% 降到 5.27%，14 层为 5.75% 且音频塔参数减少 20.7%。

针对阿拉伯语标准语与多方言零样本识别落差，论文用解码器提示、编码器加解码器前缀和 CTC 代理引导 n-best 重选三种免训练上下文接入，在十个条件下取得 MSA 相对 22.29% 等词错率下降，代价是首遍解码、检索与合成带来的额外延迟与对辅助信号质量的依赖。

AfriVox 用 20 种非洲语言与 100 多种非洲英语口音同时考转写与到英语翻译，对比单模态识别翻译模型与多模态语音大模型，发现转写仍是单模态更准而翻译是多模态占优，且用约每语言 280 小时微调 Qwen2.5-Omni 可大幅降低三门尼日利亚语言的错误率，但代价是噪声与自发口语下全系模型仍明显退化。