语音识别

针对西班牙语和法语 10 个国家级方言自建 20 小时性别均衡播客语料并评测 7 个模型，发现法语偏向欧洲、西班牙语呈现多米尼加优于半岛而智利最差的非均匀差距，词法与声学分析及编码器冻结微调共同指向解码器语言模型先验是主要故障点，但小规模适配只能部分恢复方言特征。

针对精神病高危结构化访谈的长时双人对话问题，DIALOG-DeID 用可替换的语音识别加说话人分离加角色映射加文本去标识流水线产出带角色的脱敏转写，并用说话人归属词错率和限定词保留率证明总词错率 13.3±1.4 时归属词错率仍达 33.1±6.7 且 20-24% 片段丢限定词，代价是分离误差与小样本临床验证的局限。

针对英-普通话混说转写中漏语言、翻代转写和幻觉三类失败，该工作用 10 万对真值选优对合成翻错拒答做直接偏好优化，在分布内最高相对降低 89.6% 混合错误率，在分布外 SEAME 上最高降低 20.0%，代价是仅覆盖翻译类拒答且未验证其他能力是否退化。

DiscoPhon 要求在未见过的语言上仅用 10 小时语音产出离散单元并映射到预定音位表，用多对一与一对一两轨分别考查单元纯度与音位对应，最强基线 SpidR VP-20 微调后在多对一上显著优于 HuBERT，但插入错误主导且一对一仍极难。

该文把神经音频编解码器与编解码器自监督预训练解耦做三组对照，报告重建语音与离散-token 预训练在英日中任务上对编解码器训练语言不敏感、但对自监督预训练语言高度敏感，代价是仍需为目标语言做一次自监督预训练。

针对重叠语音下编码器表示难解耦而大模型解码又慢又不稳的问题，该文用适配后的 LLaMA 在训练时做串行输出教师信号来正则编码器，并用话者计数头路由到两话者或三话者串行 CTC 分支，在 LibriMix 上实现推理全编码器化，三话者条件显著优于同类大模型系统且实时率大幅降低。

论文用视觉世界眼动时间线做基准，对比因果与非因果端到端语音识别模型的词激活轨迹，发现因果循环模型能复现先队列后押韵的竞争顺序而非因果与大预训练模型不能，但识别准确率更高者反而偏离人类，代价是小词表孤立词和受控语义目标的生态效度有限。

针对孟加拉语-英语句内语码切换在固定前视流式中被截断词缀的问题，论文用语音活动检测切分的 3 秒语义块调用离线全局注意力并配 750 词脚本锚定注入，在通用集上把形态误差降到 0.35 左右，代价是延迟随停顿变化且依赖语音活动检测质量。

该研究要解决金融财报电话会议上通用语音识别因术语、数字和行业长尾而失准的问题，选择构建 498 小时全量集与 46 小时行业均衡切片并配说话人角色与行业元数据，用 Whisper 与 Parakeet-TDT 可复现基线显示均衡集更难且生物技术等领域词错误率明显高于平均，但均衡切片仍只覆盖美国英语且未验证多语言与部署代价。

针对 BEST-RQ 固定随机量化器监督弱且对初始化敏感的问题，论文用在线主成分投影、迭代码本精修和中间层蒸馏码本三处在线改进，在 Librispeech 960 小时预训练加 100 小时微调下把 test-other 从 10.1% 降到 8.8%，代价是增加一个小码本与相似矩阵损失的计算。

针对成人与多环境多年龄儿童语音难以用单一模型兼顾的问题，该工作用显式分类器路由选择领域专家并结合混合投影器与混合低秩适配器建模声学与语言差异，再以归一化熵引入共享专家缓解边界不确定，最强证据是软路由加熵感知在 OGI-S 三年龄组平均词错率降到 11.08% 且 MyST 保持 8.58%，代价是专家参数增加约 5% 且熵感知目前只在 OGI-S 年龄组内验 …

论文在只用成人语音训练、冻结自监督表示做儿童测试的严格零样本条件下，比较 Wav2Vec2、HuBERT 和 Data2Vec 逐层表示，证明最好词错误率相近的层误差结构、逐句最优选择和大模型纠错可恢复性并不一致，而互补表示的理想选择在失配更重的 CMU Kids 上增益更大，代价是单层选择不稳定且文本纠错几乎无效。

针对大规模语音预训练中数据集组合笨重与多节点迭代开销大的问题，ESPnet3 用配置化数据组织与分片迭代加模块化系统重构流程，在 OWSM-Base 预训练上把每轮时间从 95.3 分钟降到 74.2 分钟并保持 80% 以上 GPU 利用率，代价是配置行数增加且部分细粒度控制仍依赖配方扩展。

针对语音模型激活范围大导致常规校准信息损失的问题，论文把每层激活缩放因子校准写成局部均方误差初始化加全局任务误差优化，并用 CMA-ES 免梯度搜索求解，在五个语音任务上报告 INT8 基本无损、INT4 结合 PTQ 接近无损，但平均 2.31×加速等部署收益与部分 INT4 大误差并存。

针对不足 60 分钟无标注濒危语言音频的音位发现问题，该工作用类型学锚定选择爪哇语和他加禄语做 VQ-VAE 预训练再适配，在三种语言上以自一致性 NMI 和簇纯度超越 XLS-R，代价是评价仍是扰动稳定性而非对照真值转写的准确率。

论文把 Whisper 幻觉归因于信号传播几何的相变，用谱传播不稳定性框架解释小模型因跨注意力秩崩解而丢失声学证据、大模型因自注意力压缩锁定内部先验，并以 Tiny 到 Large-v3-Turbo 在对抗扰动下的有效秩与谱衰减变化为证据，代价是未直接测量层间对齐且结论限于 Whisper 家族。

针对 Whisper 类 Transformer 在噪声、窄带、方言和儿童语音上的失配问题，论文把 Conformer 式门控深度可分离卷积放进作用于注意力输出投影的低秩旁路，在 Whisper-medium 上以 447k 可训练参数把四套测试集词错误率降到 11.5、6.3、9.9 和 8.6，代价是新增卷积超参数与推理侧少量时延和计算量。

论文用三数据集、四系统、十一档性别配比共 132 次训练检验微调能否揭示构成与偏差关系，最强证据是 Kaldi 从头训练下 DDS 随女性占比单调翻转超 80 个百分点而三预训练模型始终在约±12 内无序波动，代价是平衡微调数据不足以修复预训练带来的偏差。

针对行政标签掩盖真方言差异导致评测失真的问题，GLAD-CSpeech 按《中国语言地图集》划分 16 个方言区 23 个点并分离真方言与带口音普通话，用 163.3 小时以上三层对齐语料在 ASR、TTS、DID 上报告基线，最强证据是 DID 微调后宏 F1 达 99.08% 而零样本仅 72.29%，代价是温州、梅县等非官话点 ASR 仍极难且长文本重 …

该研究在儿向语上比较音素与语音转写下的四种无监督切词算法，发现两类算法几乎不受语音变体影响，另两类下降幅度也明显小于成人语既往报告，但小数据下基于词典累积的算法代价增大。