零样本

针对阿拉伯语标准语与多方言零样本识别落差，论文用解码器提示、编码器加解码器前缀和 CTC 代理引导 n-best 重选三种免训练上下文接入，在十个条件下取得 MSA 相对 22.29% 等词错率下降，代价是首遍解码、检索与合成带来的额外延迟与对辅助信号质量的依赖。

针对双人自发对话需要同时保证可懂度与正确分声道轮转的问题，ZipVoice-Dialog 在单人流匹配基础上引入单人预训练到对话微调的课程与说话轮次嵌入，最强证据是 6.8k 小时 OpenDialog 与对比基线上的可懂度和轮转精度提升，代价是仍集中于双人单声道且表达力受小模型限制。

论文用冻结语音基础模型做表示、图神经网络做已知生成器归因、近邻分支做未知检测并以置信度阈值分流，在 DiffSSD 上 Mamba-B 的联合配置取得 DEV 准确率 98.11% 与等错误率 2.33%，代价是仍依赖固定阈值且不对多个未知源做细粒度区分。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

针对零样本语音合成中误读、可听噪声与异常停顿导致的不稳定问题，论文用能同时输出错误时间范围、转写文本与整句质量分的 Vox-Evaluator 做局部遮罩重改与细粒度偏好优化，在 Seed-TTS 上把 F5-TTS 的字错率从 1.73% 降到 1.42%，代价是最多两轮迭代改写与偏好训练过久后奖励饱和回落。

HQ-SVC 针对无目标说话人数据、无微调的零样本歌声转换，用冻结的解耦编解码同时取内容与音色特征，再经 EVA 模块融合音高能量并用 DDSP 加扩散两级重建 44.1 kHz 梅尔谱，在不足 80 小时数据与单张消费级 GPU 条件下取得比大资源基线更高的自然度与音高准确性，代价是音色相似度客观指标未全面领先且重建引入可接受的发音音高误差。

IndexTTS2 针对自回归零样本语音合成难以精确控时长与情感易混入音色的问题，用语义标记数约束、风格与音色双提示解耦与 GPT 隐状态增强做级联合成，在多数据集上报告了词错误率、说话人相似度和情感相似度的领先结果，但强情感下清晰度与极端变速仍有代价。

针对视觉特征预处理复杂且跨域易失效的问题，InstructDubber 用多模态大模型生成语速与情绪自然语言指令，再分别蒸馏时长线索与校准情绪分析以预测音素时长和韵律，在三个基准的域内与跨域零样本配音中报告了更稳的对齐，但部分时长指标仍有基线更优且推理依赖外部大模型。

M2M 只用英文文本训练 2 个线性层完成多语言到多模态的映射，在 XTD 上英文达到 94.9% 的 Recall@10 而 11 个语言平均为 89.5%，代价是生成保真度和超大检索库上的差距仍然存在。

针对自回归 TTS 整句打分太粗、难以定位个别错词的问题，论文用冻结 Whisper 交叉注意力算出注意力纯度与对齐单调性两个词级奖励，再做组内相对策略优化，在 CoSyVoice 上把域内 WER 从 5.25 降到 3.21、域外从 8.92 降到 4.54，代价是需要额外采样与 ASR 打分开销且未报告延迟。

论文把多说话人对话中的手术式伪造注入形式化为时序定位问题，用冻结二分类器加滑窗与迟滞解码器实现零样本定位，在 180 段构造对话上以强骨干达到时序交并比 0.90 左右，但边界位移约 3.5 秒且短时域外生成器注入仍接近全漏检。

在从场景化演员录音训练、真实诈骗电话测试的跨域条件下，论文对比域不变的 4 维韵律特征与冻结的 HuBERT/wav2vec2.0 表示，显示 4 维韵律在零样本达 69.5% F1 可直接部署，而 HuBERT 在 5 样本时达 94.2% F1 但需真实样本与 GPU。

语音合成 | 8.2/10

语音合成 | 7.6/10

语音转换 | 8.0/10

空间音频 | 7.5/10

音视频语音合成 | 6.7/10

音频分类 | 7.2/10

音视频生成 | 6.8/10

语音识别 | 5.6/10