自监督学习

针对注册与测试语言不一致时说话人确认性能下降的问题，该工作用 w2v-BERT 2.0 做冻结前端加多层聚合与三阶段训练，在 tv26 eval-A 上报告等错误率 2.21%、eval-U 上报告 2.99%，代价是 580M 级前端带来的计算开销与对域内微调数据的依赖。

针对无可靠教师模型的低资源语言因式分解编码问题，CycleCodec 用编解码器内部的循环说话人交换自监督代替蒸馏，在英语训练、中越零样本测试中提升了解耦稳定性，重建 WER 仍弱于有 WavLM 教师的 LSCodec。

DiscoPhon 要求在未见过的语言上仅用 10 小时语音产出离散单元并映射到预定音位表，用多对一与一对一两轨分别考查单元纯度与音位对应，最强基线 SpidR VP-20 微调后在多对一上显著优于 HuBERT，但插入错误主导且一对一仍极难。

论文在巴斯克语 C1 考试独白与英语 ICNALE 独白上用纯语音自监督模型做二分类，巴斯克语上 mHuBERT-147 显著优于 wav2vec 2.0 xlsr 而英语 B2 上结论反转，代价是高水平相邻等级差异细微且语料不可公开。

该文把神经音频编解码器与编解码器自监督预训练解耦做三组对照，报告重建语音与离散-token 预训练在英日中任务上对编解码器训练语言不敏感、但对自监督预训练语言高度敏感，代价是仍需为目标语言做一次自监督预训练。

针对 BEST-RQ 固定随机量化器监督弱且对初始化敏感的问题，论文用在线主成分投影、迭代码本精修和中间层蒸馏码本三处在线改进，在 Librispeech 960 小时预训练加 100 小时微调下把 test-other 从 10.1% 降到 8.8%，代价是增加一个小码本与相似矩阵损失的计算。

论文在只用成人语音训练、冻结自监督表示做儿童测试的严格零样本条件下，比较 Wav2Vec2、HuBERT 和 Data2Vec 逐层表示，证明最好词错误率相近的层误差结构、逐句最优选择和大模型纠错可恢复性并不一致，而互补表示的理想选择在失配更重的 CMU Kids 上增益更大，代价是单层选择不稳定且文本纠错几乎无效。

针对儿童与方言等低资源域偏移，Gumbel-BEARD 用可训练的硬 Gumbel-Softmax 在每步自动选择 Whisper 编码器预测层并配合 BEST-RQ 自监督适配，在 MyST 上以 10 小时标注达到全量 133 小时微调相当的 9.35% 词错误率，并在全量时达到 8.21%，代价是仍需两阶段适配与有限标注微调。

该文用芬兰语俄语双语者的电磁发音仪数据做线性探测，检验自监督语音表示是否编码发音动作，最强证据是多语言模型平均相关约 0.69 且约 5 分钟配对数据即饱和，代价是自发任务与上唇垂直通道明显更难预测。

针对双耳录音中方向与混响参数标注稀缺的问题，该工作用跨通道重建加软声学对比约束预训练空间编码器，在五个仿真房间参数任务上多数超过重建基线，但吸收系数等弱几何任务仍有未胜出项且只在仿真条件下验证。

该研究只用母语语音训练离散单元与三元语言模型，用惊异度统计和文本预测单元的动态时间规整对齐做发音评估，在 SpeechOcean762 上音频加文本达到准确度 0.661 并跨库迁移到 L2-ARCTIC，代价是仍需朗读文本才能发挥对齐增益且回归校准依赖少量学习者打分。

针对固定下采样在不同采样率下帧移错位的问题，MSR-HuBERT 用按采样率分流的自适应下采样卷积把多率波形对齐到统一 20 毫秒时间网格并保留掩码预测与 Transformer，在 16 至 48 kHz 的识别与全带重建对照中给出可核对的收益与代价。

针对 ALS 构音障碍分级与 ALSFRS-R 进展预测，该工作把每人多段 2 秒语音的冻结 SSL 嵌入建成单张 k 近邻图并做图分类，最强证据是官方验证集上 HuBERT+GIN 的宏 F1 为任务 1 的 0.73 与任务 2 的 0.69，代价是固定补齐引入重复伪影与固定 kNN 可能连入通道相似而非临床相似的边。

论文把帧级语音直接映射为 22 维音系特征并以发音方式门控保证组合合法，在四种训练语言上以 91.3% 域内和 88.9% 域外平均宏 F1 超过同骨干 CTC 音素基线约 8.8 和 8.6 个点，未见语言平均从 66.9% 提升到 73.6%，代价是特征库存不含鼻化元音与腭化等对比且跨语迁移仍明显掉点。

该文要解决词级强制对齐在多语下的可扩展问题，选择融合 MMS 与无监督音素边界表示再用可学习动态规划定边界，最强证据是在 TIMIT 和 Buckeye 上超过 MFA 与 MMS 基线，代价是编码器与解码器不能联合优化且在荷兰语等未见语言上优势只在部分容差下成立。

该研究把声带双质量振动与一维声道波动方程写成无监督物理损失，用分支输入声道形状、主干输入时空坐标的深度算子一次学习五个元音的稳态周期解，最强证据是基频误差约 0.1-0.2% 与声门流量和唇端声压波形接近传统求解器，代价是训练约 80 小时且目前只验证已见形状的稳态推理。

论文把 Wav2Vec2 与 HuBERT 微调到两种富含搭嘴音的 Khoisan 语言上比较搭嘴与非搭嘴音素误差，报告搭嘴误差显著更低且单语 HuBERT 整体最优，但冻结基座与盲目增大规模或语言数都不能保证更好。

针对 L2 发音错误分布多变而标注难以覆盖的问题，SEA-MDD 在 wav2vec 2.0 的 Transformer 块中插入以重构为自监督任务的 TTT 模块，使每个测试句都能触发内循环权重更新，最强可运行配置在 CU-CHLOE 上取得 8.03% 的 PER 和 81.54% 的 F1，代价是单块或全块适配带来毫秒级额外延迟与数百万可更新参数。

针对整句独热标注模糊和变长聚合稀释问题，该文用冻结 HuBERT-large 加 Swin 适配器做分段嵌入，再用图注意力做序列到一聚合，并在后训练和微调用自蒸馏与监督对比增强鲁棒性，在 IEMOCAP 五折上报告 76.22% 加权准确率和 76.84% 非加权准确率，在 MER2023 上报告 71.53% 宏 F1 和 0.9844 效价值均方误差，但 …

针对说话人差异导致情感识别难泛化到未见说话人的问题，SISER 用 wav2vec 2.0 做编码器、ECAPA-TDNN 做说话人判别器并以熵最大化做对抗训练，在 IEMOCAP 上测试集达到 60.63% 非加权准确率，代价是两阶段交替训练与强判别器带来的训练复杂度。