语音识别

论文把语音编码器和大模型都冻结、只训练适配器做语音到文本对齐，在 LibriSpeech 上用扩散解码取得 test-clean 词错误率 2.807% 和约 12.3 倍实时因子，代价是仍依赖 960 小时数据规模和固定解码超参数才能拉开与自回归基线的差距。

针对组织实体多词跨度、缩写和词表外名称导致的边界不稳，论文用 Whisper 为底座叠加定向语义增广、组织专用结束符和结构约束损失，在保持词错误率的同时把组织 F1 作为主指标提升，但类别专用优化伴随整体召回和识别精度的轻微代价。

针对 whisper-large-v3-turbo 编码器 32 层冗余问题，用留一层词错率变化选出 6 层直接删除，再以无标签英语语音做编码器隐状态均方误差蒸馏恢复，四语平均词错率从基线 18.2% 升至零样本 21.9% 再回落到 20.1%，代价是仍残留 1.9 个百分点的绝对升高和编码器参数减少 118M。

针对语音大模型含编码器与适配器且序列被音频主导的问题，提出编码器在适配器输出处打分与解码器只看文本词元的 SBI，在三模型上以无修复剪层对照显示高剪除率下更稳健，但解码器在约 20% 剪除前仍明显退化且需权衡计算开销。

针对多人轮替与重叠会议转写，STAM-ASR 在冻结 Qwen2.5-Omni-7B 编码器上加内部说话人日志、残差 FiLM 调制与说话人/会话双记忆，在参考与预测说话人活动对比中显示时间证据与记忆互补，但预测跟踪误差仍是主要瓶颈。

针对空中交通管制英语口音重、信道噪声强且真实标注仅 4 小时的问题，该工作用文本转语音、声音转换、双向口音转换加声学仿真合成训练数据，在 ATCO2 上把 Whisper-small 从开箱 63.32% 词错误率降到纯合成 24.18% 与混合训练 21.64%，代价是需先做分离增强、过滤约 35% 幻觉样本并承担额外微调耗时。

论文在 Whisper tiny.en 与 base.en 上做 80 余组训练后量化对照，证明把激活从 16 位降到 8 位带来 1-3 个百分点词错误率损失，而 NVFP4 的 W4A16 以 6.4 倍压缩做到接近无损，代价是细粒度带来双精度运算需求与 MXFP4 在标准流程下失效。

论文在 Whisper 家族内比较剪枝、量化与蒸馏的部署后公平性，发现 50% Wanda 剪枝使 large-v3 的 Black/AA 与 Asian 时间税差扩大 111%，INT4 在小模型上使西非口音灾难循环成倍增加，而蒸馏在 27 格中 21 格缩小差距。

针对正式语料与日常口语失配导致波斯语识别与翻译退化的问题，论文构建 36.77 小时口语优先的非正式平行语料 T-PID 并做针对性文本规范，再在该语料上微调 Whisper 与 Wav2Vec2-BERT 和 NLLB-200，在 T-PID 及正式集上同时降低词错误率并提升 BLEU，代价是英文译文主要由机器生成加抽检、附着词等细节未统一且资源当前不可用 …

该文针对音频 Transformer 注意力块提出逐头独立的通道级结构化剪枝并用 Fisher 信息打分，在注意力参数稀疏 60% 时仍保持接近整头剪枝的分类与识别性能，但逐头剪枝的推理加速幅度小于整头剪枝且翻译任务下降更大。

针对语音语言模型做自动语音识别特化后语音问答能力下降的问题，论文用特化前模型做问答老师、特化后模型做识别老师，让学生按任务分别采样轨迹并只接受对应老师的监督，在 500 小时蒸馏数据上提升识别的同时保住问答，但全文特化模型本身的识别上限仍未被完全追平。

针对印度语言评测中干净音频带来的乐观偏差和单参考转写带来的悲观偏差，Vimarsha 用约百小时受控野采加难例野外音频与人工校验的变体格评价十个系统，最强系统仍在野外 split 上词错误率翻倍以上，而拼写变体格平均每词提供约一点五种可接受写法。

针对朗读式干净评测与单参考词错误率高估误差的问题，该研究用 15 种语言 139 个区域簇的 536 小时无脚本电话对话与多变体转写格构建封闭评测，报告显示最优系统仍在方言与低质短语音上超过 20% 词错误率且地区差异可达约 4% 到 44%。

WASIL 针对阿拉伯语级联语音助手的用户差评混杂问题，用 9304 轮野外语音加双路 ASR、金标改写与可回答性标注分离转录与问法因素，并用多法官无参考评分报告金标与 ASR 输入下的性能差距与方言代价。

针对非洲语言自发语音缺失与评测不公平问题，WazobiaSpeech 以 2540.8 小时、2865 人的多域自发采集加分层质检构建基线，微调后 Whisper Large-v3 取得最好域内词错误率，但声调丢失与正字法分歧仍是主要代价。

论文以问答式任务检验榜单前列开放语音识别模型在口吃与构音障碍语音上的泛化能力，用统一预处理与贪婪解码比较五种架构，最强证据是平均词错误率相对榜单膨胀 2 至 5 倍且极端幻觉可达 24 倍，代价是逐字转写取向与长时读句任务上误差急剧放大。

针对 10 万小时野外伪标签数据与 10-100M 专才模型的失配问题，论文用说话人、语音、语义三种嵌入做最大边缘相关选择，仅用 5% 数据就超过全量训练，最高相对词错误率降低 36.8%，代价是贪心选择计算贵且多域统一选择效果不稳。

论文把非语音幻觉当作编码器表示中线性可分的方向来检测，用原始激活转向和稀疏自编码器潜变量加性转向做免微调干预，最强证据是完整非语音测试集上 small 从 72.63% 降到 14.11%、large-v3 从 86.88% 降到 27.33%，代价是中文 CER 明显上升和语音 WER 小幅波动。

针对 Whisper 长语音中静音幻觉、重复循环和内容遗漏互相放大的问题，Whisper-CD 用高斯噪声、静音、全零谱与时间平移三种负信号在解码时做多负例对比减法，在五个英文长语音基准上报告最高在 CORAAL 降低 24.3 个百分点，代价是每步要多算三路解码。

YODAS v3 针对开放语料偏向英语单声道窄带的问题，采用分语言关键词与保原始 48 kHz 多声道下载的构造路线，用 22 个语言超 10K 小时与 92.5% 录音有效带宽超 32 kHz 等证据支撑规模与保真判断，代价是弱标注依赖自动字幕与语言标签代理。