零样本

该文用槽注意力把 AST 片段嵌入拆成 4 个槽并以重构为目标自监督预训练，再冻结主干只训练轻量任务头，在三声源合成场景上同时支撑分类、检测与分离，并在未见类上做零样本分离，但结论依赖合成混合与固定任务头的评测条件。

论文把同一录音中选哪段做提示当作选择问题，用四个零样本模型的几十万条合成输出衡量可懂度、自然度和说话人相似度，并训练只听候选音频的小网络按词错率排序选提示，在不合成时接近逐个试合成的效果。

ImageTTS 把对数梅尔谱图变成伪 RGB 图后冻住图像 VAE、只微调 FLUX.2 的 DiT 做条件流匹配，在受控对比中验证了表征与先验迁移，再用约 100K 小时数据在零样本和指令控制合成上达到可比基线的语言准确率，但说话人相似度仍受冻住 VAE 限制。

针对长推理会稀释定位证据的问题，论文提出先自由推理再压缩成目标相关短语境然后作答的三段流程，并用四阶段强化学习逐步训练，在六个定位基准上做了零样本验证。

针对掩码扩散模型一旦提交预测就不能修改而累积错误的问题，论文用分层二进制量化提供由粗到细的语音表示，并用生成式精修网络以真假混合输入训练和随机丢弃重预测的迭代方式修正错误，在匹配码本下优于有限标量量化，中文可懂度有优势但说话人相似度仍有代价。

论文针对孟加拉语合成数据少且难以做零样本声音克隆的问题，用两层均衡语料加三步适配改造英语自回归语音基础模型，并用母语人评测证明自然度和克隆保真度的提升与适用边界。

论文用只在训练加替换、采样只用掩码的 DeMaR 检验零样本语音合成，发现字错率下降在不再改写已定词元时依然保留，而两种解码运行方式不同且原文未报告延迟对比。

论文在 MGPHot 上模拟新增 7 个属性的模式扩展，比较零样本音频语言预测与 8、32、128 首标注下的有监督复用，发现冻结表征上训练线性头在小预算下最有效，而更深的网络更新收益小且不稳定。

论文针对逐查询指标和损失不管跨查询相似度是否可比的问题，提出把全部查询候选对放在一个全局排序里优化的平滑损失 gSAP，用去掉小负相似度的策略控制二次代价，在跨模态对齐、自监督预训练和度量学习中提升全局精度并改善单阈值下的判定。

针对音频填充式零样本合成在联合求解常微分方程时提示块偏离训练插值路径的问题，论文提出每次计算速度场前把提示块恢复为解析值的提示一致推理，并在冻结的 E2 TTS、F5-TTS 和 ZipVoice 系列上验证了说话人相似度和可懂度的改善，且不增加网络前向次数。

针对跨语言零样本合成把参考音频的源语言口音带进目标英语的问题，该文用双语拼接加区域感知掩码让训练见到推理时的跨语言提示模式，母语人听辨显示口音明显下降，但掩码位置决定了口音抑制与音色保持的折中。

论文用 163 段儿童临床互动录音检验通用大语言模型能否沿 BOSCC 决策树答题复刻两项语音编码，最强零样本平衡准确率超随机 19.3 个百分点，而说话人角色标注是最稳定的增益，音频与示例增益不一致且不足以独立使用。

针对一步零样本语音转换中内容编码器耗时约为主流程十倍的问题，MeanVoiceFlow2 用教师 MeanVoiceFlow 做转换蒸馏并联合训练轻量内容编码器与平均速度网络，再以真实数据重建、扩散判别器混合对抗和教师增强条件扩充提升真实感与解耦，在 VCTK 上自然度高于教师且推理约快 9 倍、说话人相似度基本持平。

针对全双工对话中犹豫停顿与真实说完难以区分的问题，FD-VAD 用冻结语音编码器加轻量适配器和低秩微调语言模型对 2.56 秒因果窗口做继续或停止判断，在 TurnBench 开发集零样本下取得限定误报内最高终点召回，但中位提交延迟高于最快的轮流预测基线。

针对直接图像到语音中图像可多述且与语音单元无单调对应的问题，MGSA 用语义语音单元统一多说话人内容目标、以单调查询对齐器生成位置相关条件再做块级掩码扩散生成，在 Flickr8k-Audio 上达到与单说话人基线可比的字幕指标并支持未见说话人的零样本合成，代价是内容准确性仍是主要局限。

针对离散扩散语音克隆中词正确性与说话人保持未被直接优化的问题，RAWD-TTS 用识别与说话人波形奖励算组内优势并加权前向掩码重建，在 500 条俄语克隆提示上把词错误率从 3.18% 降到 2.42% 并把说话人余弦从 0.733 提到 0.748，代价是单奖励会损伤另一属性且训练奖励上升不等于评测单调变好。

Tacit-TTS 针对 IndexTTS2 自回归语义解码慢且已有并行方案依赖参考文本的问题，用掩码非自回归生成加免训练语速估计与重流蒸馏实现免文本克隆，跨语言证据显示英文目标相似度 0.789 且词错率 0.10%，代价是中文指标与内容准确率仍低于教师模型。

针对弦乐四声部在同音高与泛音重叠下难以仅凭混合区分的问题，SCISSOR 用乐谱音高加乐器身份构成逐帧查询去竞争共享音频表示，证据显示在少量真实录音参与训练后其在留出真实集平均 SDR 最高，而乐器身份类乐谱错误仍会使其回落到音频对照以下。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

论文把说话人确认改写为音频问答，用零样本评测暴露短板，再以 18M 参数的 LoRA 微调加规则难例采样把性别与语言条件 EER 降到 4.87% 和 2.93%，代价是整体仍落后专用模型且依赖成对构造与打分换算。