语音识别

论文用冻结 HuBERT 加 12 个事后融合模块做对照，问 64 维韵律监督表示是否在参数量相同的零输入融合之外再降词错误率，最强证据是三语料上 Learned 与 Null 差值仅 +0.07、-0.09、+0.00 个百分点且不显著，代价是干预实验显示模型仍依赖该表示。

该文把说话人级遗忘定义为逼近去掉遗忘集后重训模型的分布，用五种近似遗忘方法在 E-Branchformer 上比较效用与成员推断隐私，发现梯度上升类在简单攻击下最接近理想权衡，但复杂方法会被知晓遗忘的攻击识别，多人同时或顺序遗忘则同时损伤效用与隐私。

论文研究英语语音识别在推理时用语音文本示范做领域自适应，对比拼接与交错两种示范组织，发现六个模型无需额外训练都能获益，词与说话人信息是主要来源，而拼接方式适用面更广但受上下文长度限制。

针对原生大词表 CTC 需物化帧乘词表激活的问题，论文用目标词并集加 blank 做对齐、用全词表归一化加分块重算保持等价，并以有限波束剪枝和因果查询读出把预训练 LLM 做成非自回归与流式识别，在编码器上全步显存降 2.3 至 5.1 倍、LLM-CTC 保持在 LLM-CE 的 7% 相对词错率内并快 7.2 至 10.3 倍，代价是每步增加约 14 至 …

该研究用共享交叉注意力接口统一文本线索和注册语音两种目标指定方式，在 30000 个双说话人混合评估上以五字文本加注册语音达到总体字错率 8.80%，代价是单线索推理弱于并行融合且依赖 oracle 文本跨度。

针对闽南语缺少大规模真实语音加方言与普通话配对转写的问题，该文用约 10000 小时多源媒体加三系统投票与翻译或字幕抽取构造配对语料，并在人工核验基准上显示微调后闽南转写字错率降至 15.21%，普通话转写平均指标接近商用系统，代价是保留了低质量历史剧集录音与转写非逐字对齐带来的跨基准不可比。

论文把双片段线索选择与下游执行拆开测量，发现四模型在近全数组合条件下问答与转写都大幅退化，而格式与思维链只能解释部分失败。

针对 Whisper 解码器逐词生成耗时的问题，Whisper-Flash 用读取编码音频与已接受解码器状态的两层并行起草器一次提出 8 个词并由冻结 Whisper 验证，在完整 LibriSpeech 测试集上达到贪心解码 3.16 倍与 2.85 倍的音频吞吐且输出词元完全一致，代价是编码器固定开销占比上升与大批量下加速比收窄。

论文研究音频大模型能否预判自身转写是否可靠，发现解码器自评严重高估而冻结音频编码器表示可支撑四分类预测，在域内宏 F1 达 81.10% 且跨域保持 78.09%，代价是需按模型实测构建标签库并做边界对齐。

针对标注稀缺且带声调和形态变化的 Basaà语，研究用多语言自监督表示 XLS-R 做微调，在 1671 条测试上报告词错误率 14.13% 和字错误率 3.51%，代价是方言覆盖窄且声调细节仍易错。

论文针对 Whisper 在无语音音频上编造句子的问题，用同一批幻觉短语的合成真人朗读做正例来配对抑制训练，在 33 组配对微调中把野外无语音词发射率中位数降低约 0.118 并把短语召回中位数提高约 0.186，最佳点把静音幻觉从 61.9% 降到 2.4%，代价是 FLEURS 多语言误差仍高于基线。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

该工作解决阿拉伯语语音问答中误引经训的高风险问题，选择检索优先于参数记忆、六路工具检索与自管语音链路，用 124 例中 122 例通过的背诵校验与 0.9–1.7s 端到端语音延迟证明接地可行，代价是单 GPU 主机成为可用性单点且方言与覆盖外问题仍回退到参数知识。

针对巴尔的摩与芝加哥警用电台噪声大、无标注量大的问题，论文用现成大模型生成伪标签再微调，并报告大语言模型作评判的过滤在两城两模型上优于对数概率与注意力分数，但与人工阈值构成的上限仍有明显差距。

该研究用 123M 参数的缓存感知流式混合 RNNT/CTC 模型解决日语流式与完全开放不能兼得的问题，在五个测试集上以 12.4% 平均 CER 超越大 5-8 倍的开放基线，代价是预训练筛选与多域微调加解码器容量三者组合时会在讲座域明显退化。

针对现代标准阿拉伯语学习者语音少、合成错音与真实错音分布不一致的问题，该研究用预训练编码器加因果空洞时序卷积做音素识别，先在大规模母语加合成数据上学通用映射再在约 2 小时真实学习者数据上适应，并用 6 个检查点混淆网络融合加 N 元重打分稳定输出，在 QuranMB.v2 盲测上音素级 F1 达到 0.7201，相对基线 0.4414 提升 63.1%，代 …

针对注意力编解码器逐字生成慢而 CTC 贪心快但易错的问题，论文提出在同一联合模型内用 CTC 贪心做初稿、注意力解码器只重写低置信位置的 SASD，并在 AISHELL-1 等数据上报告接近注意力重打分的字错率与 2.8 到 3.5 倍加速，但跨硬件的非同条件数值只能定性参考。

针对八种英语口音的识别退化问题，该工作把口音差建模为编码器激活空间中的可加均值偏移方向，先做逐层敏感性定位再在中间层做无参数推理时干预，最强证据是在平衡评测集上原生口音词错误率下降约 19.92 至 33.80 个百分点，代价是尾层干预会引起严重崩溃且非原生口音增益较小。

针对文本大模型做语音持续预训练时会严重遗忘文本能力的问题，该文选择冻结原模型、只训练新插入的四分之一层，用 48k 小时英语识别数据证明交错插入在识别上接近全量微调而文本退化小一个数量级，代价是推理时多 25% 层开销且纯文本使用需丢弃新层。

针对语音语言模型中语音 token 过长且时域冗余的问题，论文提出在编码器后按成对余弦相似度自适应合并的 AdaTS，用阈值 0.85 附近约 2 倍压缩在 ASR、问答与翻译上保持或超过均匀下采样，代价是阈值过低与只在对齐阶段压缩会明显掉点。