自监督学习

针对自监督特征上单次全局线性映射难以适应不同音素局部结构的问题，该文用联合高斯混合的后验加权仿射变换做语音转换，在 CMU ARCTIC 六人互转上以说话人相似度提升为最强证据，代价是混合数增大后高维参数估计不稳定且小数据下无约束模型会出现可懂度和自然度退化。

针对合成器声音匹配中通用音频表示难优化、直接搜索需反复渲染的问题，Synth-JEPA 学习音频与参数互相预测的联合嵌入并以此为免渲染目标做两阶段搜索，域内匹配最优且听感偏好达 85.1%，代价是 53M 模型与随预算增长的测试时计算。

针对耳语因缺基频和谐波结构而在漏识与幻觉间摇摆的问题，该文用基频预测与掩码谱重建自监督训练不确定性感知模块，再以全局指令加帧级注意力偏置控制解码，在 AISHELL6 耳语集上报告耳语字错率 1.31% 与噪声幻觉率 4.5%，代价是三阶段训练与引入附加接口参数。

针对构音障碍临床标注稀缺问题，该工作用 QualiSpeech 合成语音评价数据的 MOS 监督做增强，对比联合训练与先预训练再微调两种范式，报告在 SAP 可懂度与自然度上微调一致增益而联合训练主要改善自然度，同时付出可懂度标签语义失配的代价。

该研究用 5754 段德语神经心理测验录音比较手工声学特征与自监督嵌入在任务级、领域级和全局级认知分数上的预测力，发现开放任务随层级升高而稀释、受限任务随聚合而增强，而二分类 MCI 时手工特征反而占优，但整体精度仍有限。

针对 1 秒左右短语音说话人确认性能崩塌问题，论文在 WavLM 加 ECAPA-TDNN 基线上插入 TVAMSP 模块，用可学习的向量档案逐帧补足说话人信息，在 Vox1-O 上 1 秒 EER 做到 8.334%，代价是 3 秒长输入会被扰动而反而不如基线。

论文在韩语情景剧训练、真实诈骗电话测试的跨域条件下比较 4 维域不变韵律特征与冻结的 HuBERT、wav2vec2.0，报告零样本下 4 特征达到 69.5% F1 而 HuBERT 在 5 样本下达到 94.2% F1，代价是后者需要真实样本与约 94M 参数的计算量。

针对冻结语音自监督特征经一阶池化丢失通道协同的问题，论文提出在可学习低维子空间估计协方差并经对数欧氏映射到切空间的二阶相关层，在 ESD 与 RAVDESS 上以可运行基线对比验证提升，同时以子空间维度与去掉映射的消融揭示稳定性代价。

针对哈萨克语、吉尔吉斯语、乌兹别克语数据稀缺问题，论文用 200 万小时音频的簇级重加权预训练加领域感知微调，在受控对比中降低中亚语言词错误率，代价是英语小幅回退且依赖内部众包与合成数据。

针对含噪说话人确认中干净参考仍带通道残留而误导增强的问题，该研究用双解码器加混合一致性约束做面向确认的分解，在 VoxCeleb1 加 MUSAN 上 Vox2 训练平均等误率做到 1.19%，代价是干净与高信噪比下不占优且依赖受控仿真条件。

论文用固定宽度分段 N 与 K-means 聚类数 K 组成 64 种离散单元研究语音重合成与续写问题，发现中等偏大的 N 在更低比特率下仍保持可懂与连贯，而自动指标与人评的相关仍有限且评估方法需改进。

针对双模自监督在流式与非流式下注意力可见范围不一致导致的优化困难，论文用多步未来预测约束在线寄存器并分离层归一化参数，在 LibriSpeech 160 ms 条件下把在线词错误率从 3.65% 降到 3.40% 和从 10.15% 降到 9.65%，代价是增加一个权重为 0.1 的辅助损失和按模式维护的归一化参数。

针对常规平均意见分模型对日语局部音调核错误不敏感的问题，PASQA 用可控合成构造的重音核错误数据和自监督表示加四项增强学习重音正确度排序，主观评测中以斯皮尔曼 0.828 和肯德尔 0.614 优于常规模型，代价是绝对分数校准存在偏移且资源声明当前不可用。

该研究用普通话三声到四声的 14 步连续体检验 wav2vec2.0 是否随前字声调补偿知觉边界，发现纯自监督嵌入无补偿而微调与探测分类器仅显示弱且不似人的语境敏感，代价是孤立音节分类严重偏离人类基线。

针对 GAN 声码器域内保真与未见场景泛化不足的问题，论文提出用语音自监督表示辅助的质量差距加相对配对反馈的训练目标 RAF，在 LibriTTS 训练并在多未见集验证，最强证据是 RAF 版 BigVGAN-base 在感知指标上超过参数量约 8 倍的 LSGAN 版 BigVGAN，代价是训练需更长片段、自监督模型与梯度惩罚带来更高训练开销。

针对无说话人标签时伪标签噪声大且低置信样本难利用的问题，该方法用预训练模型多层聚类一致性选出高置信集合做伪监督，并对低置信集合做教师软目标蒸馏与一致性正则，在 Vox1-O 上报告 EER 为 1.09%，代价是需要多轮聚类与重训的迭代流程。

该文用冻结自监督表征做无标注音频到音频检索，在哼唱找歌上用嵌入加动态时间规整最强，在语音找例上用量化聚类加词频逆文档频率最强，而时间敏感性分析解释了为何两域需要相反策略。

ViP-VL 针对 8 倍降采样带来的时间稀疏与掩码错位问题，用声学堆叠加感受野对齐与严格掩码阈值改造 BEST-RQ 加 ChunkFormer，在约 17000 小时越南语无标注语音上预训练出 78M 参数模型，在识别、情感、方言和说话人验证四类任务上报告最优平均结果，代价是仍需大规模预训练算力与多条件微调验证。

针对联邦环境中设备算力不一与语音任务所需表征深度不同，该工作在 Wav2Vec 2.0 中间层插入独立预测头并按层独立聚合，证据显示中间层常优于全 12 层，而浅层可大幅降低内存占用。

针对无成对编辑数据时难以同时改对语义又保住原声音色与环境的问题，Bagpiper-Edit 把编辑改写为丰富描述的文本变换再以原音频为声学锚点生成，并在相邻片段自监督下实现零样本编辑，转写编辑准确率达 79.76% 而说话人相似度保持 0.83，代价是整句替换仍有极端失败与复杂场景稳定性不足。