语音识别

共分析 47 篇语音/AI 论文

该论文把多语言识别误差按语音、形态、句法拆开，让大语言模型智能体据此逐轮选择语言配比、语句和词元监督，在 12 种 Common Voice 语言上用相同 1200 小时训练预算取得更低平均错误率，但结论只在 Whisper-medium 加固定微调配置下成立。

论文针对孟加拉语缺少长音频和说话人标注的问题，用频道筛选加字幕过滤加自动说话人切分做出 885 小时弱监督语料，并以四系统零样本与微调对比证明情感化方言内容最难而微调能明显降低词错误率。

共分析 25 篇语音/AI 论文

论文把部分伪造检测做成带伪造标记的语音识别，用受保护子空间融合补充伪造线索并用参照锚定的策略优化同时改进转写和词级定位，在五个数据集的平均词错误率和词级 F1 上优于所比较的基线，但域外词级定位仍有明显下降且多任务设置并非处处有益。

HobbyLM 用细粒度稀疏混合专家加稳定路由与归一化，在 40B 与 100B 词元预算下做出 500M 与 1B 基座，并延伸出对话、扩散语言模型、多模态智能体与 1024px 文生图，但多项能力仍受小词元量与单次训练的限制。

用按音素查平均声学向量并按对齐时长展开的伪语音代替冻结语音合成模型做文本注入，在保持词错误率的同时把训练加速到 1.8 倍，但增益大小随文本音频比和配对音频量变化。

论文研究在不回放源语言数据时只调连接器来加新语言，用源语言校准冻结加更新合并平衡新语言习得与旧语言保持，多目标时联合合并更稳而按序递归更看顺序。

针对只有无标注领域音频时的适应问题，论文把同一批伪标签从有监督微调的目标改为 GRPO 的奖励参照，在银行等对话领域上更抗标签噪声，但直接 GRPO 要求学生已有目标语种的输出支持。

针对因子化 Transducer 用文本微调非空预测器会提升新领域但损害源领域的问题，论文提出把适配后预测器当作残差修正并用每前缀门控决定采纳多少，在保留新领域增益的同时源领域词错误率基本不变。

RoleHear 用解耦的转折标记加延迟的角色取值标记让流式换能器内联输出角色，并用离线教师的一遍伪标签加多模态大模型的银标签补足监督，在客服与财报电话上缩小了流式与离线的角色归属差距。

Uni-Stream 用时间对齐的流式交错序列把识别与合成放在同一个解码器模型里，先分别适配再联合训练，在约 4 万小时英文数据上接近专用流式模型的识别与合成水平，但表示探测显示语音与文本仍处在不同子空间。

共分析 80 篇语音/AI 论文

论文比较 CTC 与单调 Transducer 在不同剪枝和语言模型下的词错误率与搜索耗时，核心证据是外部语言模型下多数时刻活跃假设很少但困难处出现瞬时高峰，而按分数差距保留假设的动态剪枝能在保持词错误率的同时把搜索耗时降低约一个数量级。

论文用三值 MLGRU 做时序滤波、用并行共振发放神经元在训练中直接产生二进制脉冲，在 LibriSpeech 上达到 6.44% 左右的 test-clean 词错误率，代价是更宽的通道、长卷积核与仍保留的逐元素连续乘法，且能耗数字只是基于 45nm 常数的建模估算。

针对自回归语音识别在教师强制训练下的曝光偏差，论文用最小化字符错误率的组相对策略优化对 Whisper-large-v3 解码器做后训练，在噪声和低资源语言上获得更稳的改进，但单语言最优和跨库泛化仍受限。

Qwen-Audio-3.1-ASR 针对说什么、谁何时说、音频还传达什么三个问题，用音频编码器加指令控制解码统一转写、说话人日志转写与音频理解，并用加权说话人损失、帧对齐时间戳、强化学习与多教师蒸馏改进结构化输出，在多语、方言、说话人日志与音频理解评测上给出条件明确的对比结果。

Spark-Audio 1.0 要解决从只转写到真正理解语音的问题，用表示增强的掩码预训练加三阶段音频编码器与三阶段音频语言模型训练，在 1300 万小时音频下在多语种识别和真实场景对话上接近更大数据量模型，但复杂音频推理和指令遵循仍有差距。

论文用 0.95 小时合成混说语音做监督微调实现到 15.45 小时真实播客的主要迁移，再用序列级策略优化做 173 句级别的小幅边界修正，同时发现脚本奖励在已收敛编码器-解码器上无额外增益，且单语能力基本保持。

论文针对真实语码切换语音稀缺而合成语音存在失配的问题，对每个语言对和每个预训练模型用合成语音做 Reptile 元训练得到易适应的初始化，再用 1 小时真实标注语音适配，并在四种架构上以持续微调为主要对照验证了词错误率的相对下降，但增益大小依赖模型与语言对且部分小样本结论仍待多种子验证。