语音识别

针对儿童与方言等低资源域偏移，Gumbel-BEARD 用可训练的硬 Gumbel-Softmax 在每步自动选择 Whisper 编码器预测层并配合 BEST-RQ 自监督适配，在 MyST 上以 10 小时标注达到全量 133 小时微调相当的 9.35% 词错误率，并在全量时达到 8.21%，代价是仍需两阶段适配与有限标注微调。

针对低帧率离散化丢失音色和微韵律的问题，论文用离散 token 做自回归骨架加单步连续残差精修，在 LibriTTS 上于 12.5 Hz 把 TTS 自然度从 1.99 拉回 4.10，代价是需维护双路编解码与两类损失的联合训练。

论文把 Parakeet-CTC 的相对位置注意力、Swish 和异常激活全部改写为整数运算，在 LibriSpeech test-other 上以 4.97% 词错误率和 0.048 实时率跑通手机 NPU，代价是相对浮点基线仍高约 1.21 个百分点且依赖静态图与填充。

针对构音障碍语音可懂度差异大而数据少的问题，该工作冻结 HuBERT-large-ll60k 主体、只训练可懂度调节器与识别器，用通道级缩放平移把可懂度信息注入声学特征，在 TORGO 留一说话人测试下把平均词错误率从 54.0% 降到 21.0%，代价是仍需 utterance 级可懂度嵌入与两阶段训练流程。

论文构造约 108 小时三类声学条件的多人对话基准并统一评测说话人日志与识别，报告显示印度专用管线在时长加权平均上取得最低的 16.0% 日志错误率与 38.8% 级联词错率，但高重叠与低资源语言仍使三类误差同步上升。

论文提出目标说话人遗忘转写任务与可插拔的注册条件门控模块，只训练轻量门控而冻结双流语音大模型，在 AMI 与 AliMeeting 上把退出者内容泄露率从 72.3% 降到 48.2% 和从 73.6% 降到 27.3%，保留者误差基本持平但混合重叠段仍有可测代价。

该研究在 24753 对罗马尼亚语口语-书面语数据上比较规则文法、微调模型与大模型提示，显示少样本大模型提示域内平均词错率 1.21% 与域外 2.57% 最接近人类 2.45%，而规则系统以约 60 句每秒的中央处理器吞吐保持低成本可用。

针对可懂度仅 20.9% 的重度构音障碍单人长时数据，论文用 BLSTM-HMM 从零训练与 Whisper 英文模型微调做说话人相关识别，并把微调后的 medium 模型泛化到 TORGO，最强证据是 medium 测试词错误率 10.5% 与重度组平均 6.4 个百分点改善，代价是需要十小时级单人数据与大模型微调成本且极重度个案未获益。

针对自监督语音离散化会丢信息的问题，论文在训练保持硬聚类、推理改用簇后验加权嵌入，在 ASR 与语音合成上优于硬赋值并在非母语等域外数据上更稳，代价是推理要算全簇距离并为每任务调温度参数。

针对自注意力平方复杂度与语音帧间高冗余的矛盾，该研究用查询保持原分辨率、键和值做平均池化压缩的非对称注意力，并在 Zipformer 中按层设置不同步长，报告在 AISHELL-1 上最高降低 0.2% 字错率、在 LibriSpeech 上降低 0.3% 词错率，代价是干净语音小模型细节可能被平滑以及流式部署仍待验证。

针对构音障碍数据稀缺与说话人差异大，论文用单句注册的零样本声音克隆扩充训练集，在 TORGO 上把 Whisper-medium 从 31.62% 降到克隆微调 26.00%，混合微调 25.12%，并在 SAP-1102 跨库从 14.50% 降到 12.84%，但增益高度依赖严重程度且合成数据量超过 15 小时后不再提升。

针对拉脱维亚语医疗口述的富格式转写问题，论文比较直接生成格式文本的端到端微调与先逐字转写再用大模型格式化的两阶段路线，最强证据是微调 Whisper-large-v3 加 75 小时伪标注数据达到 10.6% 词错误率，代价是幻觉风险与格式细节仍需人工校验。

针对稀有术语难识别且已有音频对音频关键词检出存不下大词表的问题，该文用层稀疏选择加隐维和帧率压缩构造可预存的压缩关键词库，在不微调识别模型下以 128 倍内存节省和数倍延迟下降保持实体召回，但在大而未清洗词表上仍受干扰词影响。

针对自回归解码慢、非自回归精度差的矛盾，该文用音频条件掩码扩散解码器加两步自我纠正训练与位置偏置采样，在多英语基准上达到 1.8%/3.6% 等词错误率并保持并行加速，代价是仍需多步迭代且未覆盖更广泛语言域。

论文以 DiCoW 与 Sortformer 为载体系统改变轮次、源域、增强与混合策略，报告显示加大重叠把 NSF-1 上合成训练 DiCoW 推到 22.1% 而把 Sortformer 宏平均推差到 27.6%，多样源混合与噪声加混响组合则分别主导两任务，合成加真实联合训练取得最优。

针对级联多说话人识别中分离残留导致串话被转写的问题，该文用独立日志模型做声学验证并经三重一致才剪词，在高泄漏子集上报告最高约 29% 相对 cpWER 下降，代价是依赖词级时间戳与相似度门限且联合分离-日志结构泛化不稳。

针对口音导致识别错误上升而全量微调昂贵的问题，论文提出在冻结 Whisper-small 上加口音码本注入与口音度门控的混合适配器路由，并用多任务与对抗去性别泄漏约束训练，在 AESRC 上报告 7.49% 词错误率和 3.81% 字错误率，最强增益依赖解码后确定性幻觉过滤配合。

针对多人重叠语音不知跨说话人词序的问题，该文用洗牌积与偏序有限状态自动机构造全部合法交错序列并以 CTC 式前向算法边缘化训练，实现单遍对齐与说话人归属转写，主要代价是图规模随重叠长度膨胀而必须用时间领约束剪枝。

论文把鲁棒性当作随分布漂移持续演化的能力，用语言内容、说话人特征、声学环境三类因子构建 MoDiCoL 并设计四段课程，对比经验回放、表征正则与正交梯度三种持续学习策略，最强证据是 10% 回放把平均词错率降到 17.31 并接近零遗忘，代价是仍依赖记忆容量与任务顺序且部分组合靠合成与仿真补齐。

针对固定下采样在不同采样率下帧移错位的问题，MSR-HuBERT 用按采样率分流的自适应下采样卷积把多率波形对齐到统一 20 毫秒时间网格并保留掩码预测与 Transformer，在 16 至 48 kHz 的识别与全带重建对照中给出可核对的收益与代价。