预训练

论文用 VAD、去重和 ASR 置信度把 210 万小时广播音频筛到 47.1 万小时做 wav2vec 2.0 预训练，并在相同参数量下比较四种编码器，Base 规模卷积增强结构域外优势最大，X-Large 规模差距缩小。

针对眼镜超声静音识别配对数据难收集的问题，论文用语音克隆 TTS 加两阶段生成器从文本合成回波包络与条纹，并在 104 小时合成数据预训练后把词错误率从 25.9% 降到 23.6%，叠加故障会话与解码后到 14.9%，代价是需要 TTS 语音、两阶段对抗训练与语言模型重打分。

针对无编码器语音大模型缺乏说话人判别力的问题，论文用性别情感说话人等元数据监督加即时多说话人拼接与适度掩码做预训练，在匹配数据下优于随机初始化编码器并接近大语料预训练编码器，但大规模纯转写预训练对说话人归属增益有限且存在任务差异。

论文研究语音自监督是否必须构造精细预测目标，提出直接预测当前编码器连续表示并只用高斯正则防塌缩的 GLaS-JEPA，在 960 小时 LibriSpeech 上以 57M 参数取得冻结编码器 SUPERB 语音识别 6.89% 词错误率和槽填充 25.87% 概念错误率，但情绪识别等副语言任务仍落后且大模型扩展尚未验证。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

SAID 把四通道音频先转成按方向排布的全景特征再为每个活动声源预测一张带类别的声学图，在 DCASE2026 任务 3 轨道 A 评估集上报告 0.1080 宏观平均精度与 0.3962 宏观皮尔逊相关，代价是需要仿真预训练加真实微调与稀疏压缩才能满足存储限制。

针对语音质量评价依赖背景声学和细粒度 cues 而常用自监督表征对此不变的问题，该文用局部谱时编码加帧级谱聚合的新编码器与包含直接混响比和窄带宽带的新声学任务做联合预训练，在冻结编码器下以较小参数在多数据集上达到可比大模型的平均意见分预测，并以消融显示新任务的增益与小数据训练的代价。

针对背景噪声与帧损坏会让融合偏向坏模态的问题，该研究用 Mamba2 加交叉注意力做带噪输入重建干净特征的预训练，在 RAVDESS 上显示噪声音频获益而视频基本保持，仅以视频小幅下降为代价。

BEST-RQ-2 保留冻结随机投影离散目标，用只看未掩码块的 ViT 上下文编码器加轻量预测器做两步掩码预测，在同一 AudioSet 划分和 20 万步预算下 X-ARES 与 XARES-LLM 总体迁移优于单阶段基线，而推理只用编码器故推理代价不变，代价是补块式切分仍使语音略低于条带式 BEST-RQ。

针对流水线式语音助手靠静音超时切轮导致迟钝打断的问题，DualTurn 用双通道生成式语音预训练学对话动态再微调出六种信号组合成五种智能体动作，在 Switchboard 上以 wF1 0.633 超过 VAP 的 0.389 并提前约 220 毫秒预判轮替，但回声信号精度仍低且训练限于英语双人对话。

针对 BEST-RQ 固定随机量化器监督弱且对初始化敏感的问题，论文用在线主成分投影、迭代码本精修和中间层蒸馏码本三处在线改进，在 Librispeech 960 小时预训练加 100 小时微调下把 test-other 从 10.1% 降到 8.8%，代价是增加一个小码本与相似矩阵损失的计算。

针对大规模语音预训练中数据集组合笨重与多节点迭代开销大的问题，ESPnet3 用配置化数据组织与分片迭代加模块化系统重构流程，在 OWSM-Base 预训练上把每轮时间从 95.3 分钟降到 74.2 分钟并保持 80% 以上 GPU 利用率，代价是配置行数增加且部分细粒度控制仍依赖配方扩展。

论文用单被试五十小时听觉脑磁图预训练的 Conformer 编码器，再到十八名新被试每任务约五分钟数据上微调做语音有无检测，证明任务内小幅提升而跨听觉感知与朗读产出任务提升更大，但个体差异和仅做检测任务限制了推广。

针对固定下采样在不同采样率下帧移错位的问题，MSR-HuBERT 用按采样率分流的自适应下采样卷积把多率波形对齐到统一 20 毫秒时间网格并保留掩码预测与 Transformer，在 16 至 48 kHz 的识别与全带重建对照中给出可核对的收益与代价。

论文以连续扩散直接建模对数梅尔谱研究无文本语音语言模型的可扩展性，用音素 JSD 度量语言性并在十档算力上拟合验证损失与下游指标的扩展律，发现最优词元参数比随算力下降且等损失带变宽，但把模型推到 16B 参数与数千万小时对话数据后长程连贯仍是主要代价。

针对成对电磁发音数据稀少导致声学到发音反演泛化受限的问题，论文用大规模语音网格数据提取伪发音轨迹做预训练再在真实电磁发音数据上微调，在 HPRC 上把 PCC 提升 2.9%、在 USC-TIMIT 上提升 45.3%，代价是伪监督只覆盖可见唇颌且需两阶段训练。

论文以音素受控仿真加英到日真实跨语言两路对照，检验预训练语音合成模型在微调中学习未见目标音素的能力，发现微调自然度更高但达到相同目标音素错误率需要相同或更多数据，说明预训练主要改善自然度而对音素增加帮助有限。

针对哈萨克语、吉尔吉斯语、乌兹别克语数据稀缺问题，论文用 200 万小时音频的簇级重加权预训练加领域感知微调，在受控对比中降低中亚语言词错误率，代价是英语小幅回退且依赖内部众包与合成数据。

针对同一声音可被多种文本描述、同一文本可对应多种声音的多对多含糊性，MixProLAP 用波形叠加与文本拼接构造语义超集并施加多级包含损失，在 AudioCaps 与 ClothoV2 零样本检索上提升音频到文本召回，但文本到音频方向存在不对称与轻微代价。

针对穿玻璃墙采集的 -5 dB 到 -1 dB 带限毫米波雷达语音，本文用预训练学带宽扩展加微调学抗噪的两阶段 RAD-GAN 实现 1 kHz 到 4 kHz 重建，最强证据是加权分 0.333 超过 WaveVoiceNet 的 0.260 和 HiFi-GAN 的 0.288，代价是 87,000,536 参数与两阶段共约 20 小时单卡训练。