变分自编码器

MSVAE 针对歌词与连续音频隐变量难对齐的问题，把 64 维隐变量切成两个 32 维子空间分别对齐曲谱与语音识别参考，并以冻结音乐自监督特征为后验基底加门控声学修正，在保持重建的同时用无时间标注的音素前缀实现可懂歌声，代价是两阶段大语料训练与多判别器联合优化。

针对离散语音编码易丢声学细节而连续隐变量难做离散建模的问题，SemiCodec 用同步的离散 token 加连续隐变量做波形重建，并用先保留后接地两阶段训练缓解连续通路捷径，在 LibriSpeech test-other 上以 25 帧每秒实现 PESQ-WB 4.03 与 WER 5.02%，代价是仍需保留连续通路和两阶段训练。

EVA 针对连续序列的下一时刻多峰预测问题，用编码器、因果解码器和自回归潜变量预测器三部分学习与后验对齐的先验，在 ImageNet 上以更少推理参数和更快祖先采样达到与自回归扩散基线可比的生成质量。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

SAGE 用复数 STFT 上的三阶段 SwinV2 变分自编码器加延迟蒸馏 CLAP 语义，在 105M 参数和 Stable Audio Open 同级推理成本下达到 SAME-L 的主观质量并在客观重建与十九个探测任务上领先，代价是两阶段大算力训练与对 SDR 类样本精确指标的让步。

针对音乐重建中相位不准与声像塌陷问题，论文用 K 加权感知滤波、相位相关损失与幅度相位分离的 MSLR 监督改造连续变分自编码器，并在多分辨率评价与消融中验证高频谐波与空间保持的收益及其对内部数据的依赖。

该文把说话人匿名定义为区分两个说话人的高斯差分隐私权衡函数，用裁剪加噪的高斯说话人机制扰动低维说话人嵌入并经变分自编码器映射回有效嵌入，在 2024 语音隐私挑战上以词错误率低于 4% 实现最高 41.2% 等错误率，同时给出任意攻击者的等错误率理论下界。

针对多通道远场会议中重叠与混响导致说话人日志不稳的问题，该文在神经 FCASA 上为说话活动倾向引入贝塔先验并用变分下界代替交叉熵训练，在 AMI 上报告 DER 至少下降 3 个百分点且 JER 至少下降 4 个百分点，代价是只验证了说话人日志而未评价分离质量与计算开销。

该文针对混响语音盲估计的房间嵌入易被语音内容和破损扰动的问题，用冻结 RIR-VAE 潜空间锚定加多正对比学习表示，并用破损离散度排序校准单句不确定性分数，在 RIR 验证 AP 达 0.99 和全局排序相关 0.90 的同时保持重建与参数估计基本不变。

针对连续隐表示在重建保真与合成可懂度之间的权衡，论文提出在变分自编码器隐空间加语义对齐正则的 Semantic-VAE，在 LibriSpeech-PC 上以 2.10% 词错率和 0.64 说话人相似度超过梅尔谱与普通声学变分自编码器基线，而重建质量与普通变分自编码器基本持平。

针对长度归一化说话人嵌入更符合超球面几何而高斯后端与启发式过滤加重负担的问题，论文用环面球面判别分析替换变分贝叶斯聚类的高斯后端做冯米塞斯费希尔推断，在八个基准上把平均日志错误率维持在更低水平并省去过滤与质心重分配，代价是仍需调节缩放超参数且多流联合分配会增加窗内组合计算。

DiffRhythm 2 用块内并行、块间自回归的分块流匹配解决长歌曲词声对齐难题，以 5 Hz 音乐变分自编码器支撑 210 秒建模，并用随机块表示对齐与跨对偏好优化提升结构与综合偏好，最强证据是 Mulan-T 0.40 与 PER 0.13，代价是低帧率压缩限制重建上限与人声精细度仍弱于商业系统。

针对低帧率低码率下保真与可训练性的矛盾，论文用高帧率对抗变分自编码器先吸收波形建模难度，再在潜在空间做分片流匹配压缩与语义监督，并在单卡消费级 GPU 条件下报告了重建与语音合成下游证据，但流式与非英语泛化仍未验证。

针对语义 Token 到波形解码器在流匹配多步采样下延迟过高的问题，该文把 MeanFlow 一步生成放在 25 Hz 低维波形变分自编码器隐空间并用波形域微调缓解隐分布失配，在 LibriSpeech test-clean 上以 140M 模型实现 0.0046 实时率和 3.41% 词错率，代价是感知质量仍略低于 10 步基线。

针对无纵向追踪、无类型标签时如何度量每个发声随发育变化多少的问题，该文用变分自编码器加年龄条件位移模型生成 7 个目标年龄的反事实潜变量并求轨迹方差，在三只斑胸草雀上以去时长残差后 Cohen's d 为 0.29-0.57、AUC 为 0.58-0.67 分离鸣音节与叫声，代价是与时长强相关且无纵向真值可直接验证。

针对耳语缺少基频且与正常音谱和时长差异大的问题，WhisperVC 用有限配对数据做跨域对齐、只用正常音做由粗到精的梅尔生成与声码器适配，在普通话上把字错率从 22.937% 降到 16.932%，代价是仍需分阶段训练且依赖内容编码器与说话人嵌入条件。

针对只用英语训练、直接在七个未见语言上做零样本音素识别时替换错误占主导的问题，论文把识别改写为向通用发音特征空间的预测并用信息瓶颈过滤语言特异变化，报告平均音素错误率相对降低 20.56%、发音特征错误率相对降低 7.01%，代价是仍需目标语言音素清单做向量对齐且推理依赖 CTC 分段质量。

为解决离散音素表示难以做平滑语音编辑的问题，论文提出给每个音素类学习一个高斯先验并用监督对比损失拉紧推开隐空间，在 LibriSpeech 训练并在 LJSpeech 与 CMU ARCTIC 上验证插值可听辨且编辑语音质量接近原始录音，代价是依赖强制对齐与仅限英语验证。

该工作用分层向量量化变分自编码器把 Greenwood 频谱映射为每个时频格的 Gamma 分布参数并随机采样出平均发放率神经图，在低中频与静默段复现了原电刺激听神经模型的分布与结构，但高频与跨通道精细时间相关仍有明显误差，而计算时间从近 70 秒降到毫秒级。

针对手腕动作相似但物体材质不同时惯性传感器难分辨的问题，AnomaSense 用只在无声动作上训练的异常检测器决定何时打开麦克风至多一秒并做掩码，在 15 人 20 类受控实验中把识别从惯性单模态的 78.98% 提升到融合无掩码音频的 96.89%，而 90% 连续掩码下仍保持 86.32%，代价是触发器相对声音事件的召回为 74.28% 且结论限于安静离 …