自监督学习

该文要解决词级强制对齐在多语下的可扩展问题，选择融合 MMS 与无监督音素边界表示再用可学习动态规划定边界，最强证据是在 TIMIT 和 Buckeye 上超过 MFA 与 MMS 基线，代价是编码器与解码器不能联合优化且在荷兰语等未见语言上优势只在部分容差下成立。

该研究把声带双质量振动与一维声道波动方程写成无监督物理损失，用分支输入声道形状、主干输入时空坐标的深度算子一次学习五个元音的稳态周期解，最强证据是基频误差约 0.1-0.2% 与声门流量和唇端声压波形接近传统求解器，代价是训练约 80 小时且目前只验证已见形状的稳态推理。

论文把 Wav2Vec2 与 HuBERT 微调到两种富含搭嘴音的 Khoisan 语言上比较搭嘴与非搭嘴音素误差，报告搭嘴误差显著更低且单语 HuBERT 整体最优，但冻结基座与盲目增大规模或语言数都不能保证更好。

针对 L2 发音错误分布多变而标注难以覆盖的问题，SEA-MDD 在 wav2vec 2.0 的 Transformer 块中插入以重构为自监督任务的 TTT 模块，使每个测试句都能触发内循环权重更新，最强可运行配置在 CU-CHLOE 上取得 8.03% 的 PER 和 81.54% 的 F1，代价是单块或全块适配带来毫秒级额外延迟与数百万可更新参数。

针对整句独热标注模糊和变长聚合稀释问题，该文用冻结 HuBERT-large 加 Swin 适配器做分段嵌入，再用图注意力做序列到一聚合，并在后训练和微调用自蒸馏与监督对比增强鲁棒性，在 IEMOCAP 五折上报告 76.22% 加权准确率和 76.84% 非加权准确率，在 MER2023 上报告 71.53% 宏 F1 和 0.9844 效价值均方误差，但 …

针对说话人差异导致情感识别难泛化到未见说话人的问题，SISER 用 wav2vec 2.0 做编码器、ECAPA-TDNN 做说话人判别器并以熵最大化做对抗训练，在 IEMOCAP 上测试集达到 60.63% 非加权准确率，代价是两阶段交替训练与强判别器带来的训练复杂度。

针对自监督特征上单次全局线性映射难以适应不同音素局部结构的问题，该文用联合高斯混合的后验加权仿射变换做语音转换，在 CMU ARCTIC 六人互转上以说话人相似度提升为最强证据，代价是混合数增大后高维参数估计不稳定且小数据下无约束模型会出现可懂度和自然度退化。

针对合成器声音匹配中通用音频表示难优化、直接搜索需反复渲染的问题，Synth-JEPA 学习音频与参数互相预测的联合嵌入并以此为免渲染目标做两阶段搜索，域内匹配最优且听感偏好达 85.1%，代价是 53M 模型与随预算增长的测试时计算。

针对耳语因缺基频和谐波结构而在漏识与幻觉间摇摆的问题，该文用基频预测与掩码谱重建自监督训练不确定性感知模块，再以全局指令加帧级注意力偏置控制解码，在 AISHELL6 耳语集上报告耳语字错率 1.31% 与噪声幻觉率 4.5%，代价是三阶段训练与引入附加接口参数。

针对构音障碍临床标注稀缺问题，该工作用 QualiSpeech 合成语音评价数据的 MOS 监督做增强，对比联合训练与先预训练再微调两种范式，报告在 SAP 可懂度与自然度上微调一致增益而联合训练主要改善自然度，同时付出可懂度标签语义失配的代价。

该研究用 5754 段德语神经心理测验录音比较手工声学特征与自监督嵌入在任务级、领域级和全局级认知分数上的预测力，发现开放任务随层级升高而稀释、受限任务随聚合而增强，而二分类 MCI 时手工特征反而占优，但整体精度仍有限。

针对 1 秒左右短语音说话人确认性能崩塌问题，论文在 WavLM 加 ECAPA-TDNN 基线上插入 TVAMSP 模块，用可学习的向量档案逐帧补足说话人信息，在 Vox1-O 上 1 秒 EER 做到 8.334%，代价是 3 秒长输入会被扰动而反而不如基线。

论文在韩语情景剧训练、真实诈骗电话测试的跨域条件下比较 4 维域不变韵律特征与冻结的 HuBERT、wav2vec2.0，报告零样本下 4 特征达到 69.5% F1 而 HuBERT 在 5 样本下达到 94.2% F1，代价是后者需要真实样本与约 94M 参数的计算量。

针对冻结语音自监督特征经一阶池化丢失通道协同的问题，论文提出在可学习低维子空间估计协方差并经对数欧氏映射到切空间的二阶相关层，在 ESD 与 RAVDESS 上以可运行基线对比验证提升，同时以子空间维度与去掉映射的消融揭示稳定性代价。

针对哈萨克语、吉尔吉斯语、乌兹别克语数据稀缺问题，论文用 200 万小时音频的簇级重加权预训练加领域感知微调，在受控对比中降低中亚语言词错误率，代价是英语小幅回退且依赖内部众包与合成数据。

针对含噪说话人确认中干净参考仍带通道残留而误导增强的问题，该研究用双解码器加混合一致性约束做面向确认的分解，在 VoxCeleb1 加 MUSAN 上 Vox2 训练平均等误率做到 1.19%，代价是干净与高信噪比下不占优且依赖受控仿真条件。

论文用固定宽度分段 N 与 K-means 聚类数 K 组成 64 种离散单元研究语音重合成与续写问题，发现中等偏大的 N 在更低比特率下仍保持可懂与连贯，而自动指标与人评的相关仍有限且评估方法需改进。

针对双模自监督在流式与非流式下注意力可见范围不一致导致的优化困难，论文用多步未来预测约束在线寄存器并分离层归一化参数，在 LibriSpeech 160 ms 条件下把在线词错误率从 3.65% 降到 3.40% 和从 10.15% 降到 9.65%，代价是增加一个权重为 0.1 的辅助损失和按模式维护的归一化参数。

针对常规平均意见分模型对日语局部音调核错误不敏感的问题，PASQA 用可控合成构造的重音核错误数据和自监督表示加四项增强学习重音正确度排序，主观评测中以斯皮尔曼 0.828 和肯德尔 0.614 优于常规模型，代价是绝对分数校准存在偏移且资源声明当前不可用。

该研究用普通话三声到四声的 14 步连续体检验 wav2vec2.0 是否随前字声调补偿知觉边界，发现纯自监督嵌入无补偿而微调与探测分类器仅显示弱且不似人的语境敏感，代价是孤立音节分类严重偏离人类基线。