同一套符号读多种方言：以国际音标统一输入再用专家分流保住口音

英文题目：DiaMoE-TTS: A Unified IPA-Based Dialect TTS Framework with Parameter-Efficient Adaptation and Reward-Driven Optimization

会议身份：conference:interspeech:2026:conference-paper-id:chen26z_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#混合专家模型 #语音学与音系 #低资源 #文本到语音

评分：6.6/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.6/1 | 影响力 1.0/1.5 | 开源 0.5/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Ziqi Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Gongyu Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Yihua Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Zihao Chen：机构信息未能从会议 PDF 纯文本可靠映射
• Wei-Qiang Zhang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

方言语音合成需由文本生成对应方言发音的语音，难点在于同字异读、标注稀缺且多方言联合训练易相互干扰。该工作先以统一国际音标前端将多方言拼音与汉字映射到共享音素空间，再用F5-TTS骨干联合训练普通话与多方言，随后在文本嵌入后接入方言混合专家以分离方言表征，最后对新方言冻结主干只调适配器并用语音识别反馈做强化优化。相对字符或拼音直输与稠密共享编码，共享音素加稀疏路由在保留跨方言共享声学能力的同时显式保留方言特异性。消融显示去掉混合专家会同时恶化自然度与错误率，而以拼音替代国际音标会导致错误率灾难性恶化，从而证实两组件缺一不可。在成都话子集上，流匹配组相对策略优化（Flow-GRPO）在Qwen3-ASR评测下将WER从29.25%降至23.93%，优于继续训练的29.15%。其适用边界受限于中文多方言及京白云白等有限低资源戏曲变体，南闽话与云白等远离普通话的变体构成明确失败条件，跨语种泛化与大规模商用效果尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 第三方资源：https://github.com/rany2/edge-tts — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么：为什么方言合成先卡在前端？

这篇论文的输入是目标文本和一段参考音频及其转写，目标是在参考说话人音色下合成自然且方言发音准确的语音。读者需要先建立的判断是，方言合成的难点不只是声学模型容量，而是前端如何把汉字变成模型可读的发音序列。中国方言存在大量同字异读，同一汉字在普通话、粤语、闽南语里声母韵母声调都可能不同，若直接用汉字或普通话拼音作为输入，模型会看到相同符号却要发出不同声音，训练信号自相矛盾。

论文因此把统一发音表示作为第一步，用白话说就是先把各方言的实际读音都翻译成同一套细粒度拼音，再让声学模型学习。英文名是国际音标，缩写为 IPA，后文统一称国际音标。

国际音标 × 拼音： 国际音标的分工是用一套与具体方言无关的音素符号直接记录声母韵母和声调的实际发音，拼音的分工是依附普通话正字法的拼写习惯；两者搭配的理由是同一个汉字在不同方言里读音不同而拼音会复用同一写法造成歧义，组合意义是把马在普通话 ma3、粤语 ma5、闽南语 be2 这类差异显式写成不同国际音标串，让后续声学模型在统一符号空间里学习。

论文报告的系统起点是一个在大规模普通话和英语数据上预训练的 F5-TTS 检查点，它提供高质量语音生成的先验。作者要解决的矛盾是，一方面想把普通话、粤语、上海话、成都话、西安话、郑州话、天津话、闽南语、石家庄话、南京话以及京剧京白云白等装进一个统一模型，另一方面各方言数据量极不均衡且多为识别用途采集，质量参差不齐。输出必须保留的信息包括各方言的词错误率、主观平均意见分、自然度预测分，以及训练数据规模和可运行的训练阶段划分。本文按学习依赖展开，先讲任务与相关路线，再讲方法全景与组件计算，然后讲训练构造与实验条件，最后讲结果反证与复现要点。

同输入同目标的已有路线如何处理多方言？

在同输入同目标的维度上，已有方言合成多采用字符或拼音输入，优点是与现有普通话系统兼容，缺点是跨方言存在发音歧义。论文引用的早期合成与跨语言工作显示，国际音标能提供更精确且跨语言一致的发音指导，减少误读，这构成选择国际音标前端的依据。

在同监督同运行阶段的维度上，F5-TTS 属于完全非自回归模型，基于最优传输条件流匹配和扩散变换器主干，以参考音频、参考转写和目标文本为条件合成语音，文本侧用 ConvNeXt V2 编码，声学侧以掩蔽梅尔谱和流匹配隐变量为条件，用多层扩散变换器逐步去噪得到隐谱图。论文没有把 F5-TTS 当成黑盒调用，而是把它作为阶段 0 的初始化和后续多方言扩展的骨架。

另一条相关路线是混合专家文本理解和低资源跨语言持续学习，前者提示可以用专家结构增强域外文本理解，后者提示可以用参数高效微调做低资源扩展。论文与它们的区别在于把混合专家放在文本嵌入层并用方言分类损失显式引导，同时把低秩适配与条件适配器组合用于方言增量。需要提醒初学者，相关工作类别差异不能直接当成同条件胜负，例如商业系统的数据量达到数十万到数百万小时级，与本文约 1.11,000 小时的训练量不在同一数据条件下。

论文把多方言统一建模拆成哪三个可验证问题？

第一个问题是发音歧义。不同方言共享汉字但发音不同，若共享同一套拼音标识，模型难以建立稳定的字音映射。论文把它转化为可操作的前端构造问题：能否为所有方言构造同一套国际音标符号表，使同字不同音被写成不同符号串。第二个问题是联合训练中的风格平均与音系干扰。多方言数据一起训练而无结构引导时，模型可能生成折中的平均风格，方言特征被削弱。

论文把它转化为文本表示问题：能否在共享编码器基础上加入方言感知分支，让模型自动捕捉方言相关信息。第 3 个问题是扩展与整合的权衡。一是只有几小时数据的新方言如何快速加入而不遗忘旧方言，二是已有方言拿到高质量新数据时直接继续训练为何不一定带来一致提升。论文把前者交给参数高效微调，把后者交给基于群组相对策略优化的奖励驱动优化，并分别用南京话与京白云白的低资源实验和成都话高质量数据实验来验证。

方法全景：一个样本如何走完四阶段流水线？

沿一个样本走一遍有助于建立全局图。假设输入是鲸鱼在粤语和闽南语中的读法，系统先经过统一国际音标前端，把粤语 king4 jyu4 和闽南语 kiang1-hi5 分别转成各自的国际音标音素串，而不是保留会混淆的汉字或普通话拼音。随后音素串进入 ConvNeXt V2 文本编码，再经过方言混合专家得到方言感知特征，与噪声语音和掩蔽语音的条件一起送入输入嵌入和扩散变换器，最终预测被掩蔽区间的流场并重建梅尔谱。训练目标是流匹配损失，阶段 2 额外加入方言分类损失。

为理解前端为何能统一多方言，先看统一前端示意图的导读。该图用马和鲸鱼两个具体汉字展示同一字在普通话、粤语、闽南语中的不同拼音和国际音标写法，右侧再把音素串映射到统一矩阵中，目的是让初学者直观看到共享符号集如何编码差异。

看图路径： 1. 先看左侧两幅示例图对应的汉字马和鲸鱼，再横向追踪每种方言的拼音写法；2. 再看中间国际音标串如何把同字不同音写成不同符号；3. 最后看右侧统一音素矩阵中绿色格点位置随方言变化，确认共享符号集但编码不同

论文图 1。原论文 Figure 1：“Unified dialect frontend based on IPA.”。

该图显示，左侧马对应普通话 ma3、粤语 ma5、闽南语 be2，鲸鱼对应普通话 jing1 yu2、粤语 king4 jyu4、闽南语 kiang1-hi5，中间国际音标串随之变化，右侧统一音素串矩阵用不同位置的绿色格点表示不同发音。这支持论文的说法，即国际音标能一致捕捉跨方言的音段和超音段差异，而拼音不能。教学例子仅用于说明映射关系，不代表模型对这些词的合成效果。 为理解阶段划分与参数冻结关系，再看整体架构图的导读。该图左侧列出阶段 0 预训练、阶段 1 和阶段 2 迁移与混合专家、阶段 3 新方言加入的数据变化，右侧展示从国际音标到声学目标的完整计算路径，并用不同标记区分参数高效微调模块、可训练与冻结部分。

看图路径： 1. 先沿底部国际音标经卷积编码器和方言混合专家再到输入嵌入的主路径向上看；2. 再确认噪声语音和掩蔽语音在拼接点汇入的位置与预测流和训练目标的对应关系；3. 最后对照左侧阶段 0 到阶段 3 的数据说明，看可训练与冻结标记在不同阶段的变化

论文图 2。原论文 Figure 2：“The overall architecture of the proposed dialect TTS system.”。

该图显示，底部国际音标经 ConvNeXt V2 进入方言混合专家，混合专家内含多个前馈专家和门控并外接方言分类分支，向上与噪声语音和掩蔽语音汇合后进入输入嵌入和多层扩散变换器块，顶部为预测流与训练目标的流匹配对照。阶段 0 使用普通话拼音与英语，阶段 1 和阶段 2 使用普通话与多方言国际音标数据并在阶段 2 加入混合专家，阶段 3 只用新方言数据训练参数高效微调模块。这种分阶段设计把数据效率、模型容量和泛化分开处理，是后文复现时必须照抄的训练顺序。

文本侧如何保留方言个性：混合专家算什么？

文本侧的核心是方言风格混合专家，英文为 Mixture-of-Experts，缩写为 MoE。白话解释是多个小型前馈网络并联，每个专家偏向处理某类方言的发音和韵律模式，门控网络根据输入决定让哪些专家参与。论文采用残差形式，即原始文本特征加上混合专家输出作为增强后特征，避免完全替换带来的不稳定。门控输入是对输入序列 hidden 状态做时间平均后得到的句子级向量，再经线性投影得到各专家的打分。

为防止门控学到与方言无关的划分，论文引入辅助的方言分类损失，对门控输出做交叉熵监督， ground truth 为样本的方言标签。总损失为流匹配损失加系数乘方言分类损失，论文报告阶段 2 系数为 0.1，其他阶段为 0。这种设计的计算目标很明确：共享编码器负责稳定的字音映射，专家分支负责方言特异的韵律模式，稀疏激活保证扩展到更多方言时计算可控。

混合专家 × 风格平均： 混合专家的分工是让多个前馈网络各自偏向一类方言的韵律和音变模式并由门控按输入选择，风格平均的分工是指多方言合训时无约束模型把各方言特征抹平的现象；搭配理由是共享文本编码器本身不区分方言来源，组合意义是在文本嵌入后加残差式专家分支并用方言分类损失引导门控，使模型既共享底层发音知识又保留方言特异表达。

声学侧沿用 F5-TTS 的流匹配与扩散变换器组合。流匹配的英文为 Flow Matching，扩散变换器的英文为 Diffusion Transformer，缩写为 DiT。论文未重新推导流匹配公式细节，实际实现是给定噪声起点和真实语音终点构造中间插值，模型预测掩蔽区域的流场。需要指出的缺项是，原文未给出混合专家中专家数量是否严格等于方言数之外的负载均衡细节，也未报告门控激活是稠密还是稀疏 top-k，因此复现时只能按论文字面实现线性门控加分类损失，不能自行假设稀疏路由。

流匹配 × 扩散变换器： 流匹配的分工是定义从噪声频谱到目标频谱的渐进去噪训练目标，扩散变换器的分工是提供承载长程韵律和语义条件的变换器去噪网络；搭配理由是方言合成需要同时建模音段准确性和长句 prosody，组合意义是以掩蔽梅尔谱和文本嵌入为条件，让多层扩散变换器块逐步预测被掩蔽区间的流场从而生成目标说话人音色的连续语音。

奖励优化如何利用高质量数据：只改发音一致性吗？

当成都话出现高质量新增数据时，论文比较了两条可运行策略。一是直接继续训练基座模型，二是基于 Flow-GRPO 的强化学习。Flow-GRPO 的英文全称为 Flow Group Relative Policy Optimization，奖励为 1 减词错误率，识别来自外部语音识别系统。白话说就是对同一文本生成一组语音，用识别系统转写后看谁更接近输入文本，发音更准的样本获得更高奖励。论文明确本研究把词错误率作为唯一奖励信号，因为发音准确性是方言合成的主要瓶颈，未来可加入韵律或自然度奖励，但本次不做。

为保证稳定，训练时冻结前端编码器，只更新扩散变换器主干。训练数据来自 WenetSpeech-Chuan 中的四川话子集，且只保留识别置信度高于 0.98 的句子。这一构造把高质量数据的利用从似然拟合转为发音一致性优化，是理解后文成都话实验的关键。

群组相对策略优化 × 词错误率奖励： 群组相对策略优化的分工是在同一文本下采样一组语音并按相对优劣更新策略而不用单独价值网络，词错误率奖励的分工是用外部识别系统转写生成语音并以 1 减词错误率衡量发音一致性；搭配理由是高质量方言数据直接继续训练时提升不一致，组合意义是冻结前端编码器只更新扩散变换器主干，让发音更准的采样获得更高权重从而降低目标及相关方言的词错误率。

四阶段如何训练：冻谁练谁，数据增广怎么做？

阶段 0 从预训练 F5-TTS 检查点开始，该检查点已在大规模普通话和英语数据上训练，提供高质量合成先验。阶段 1 和阶段 2 在统一的国际音标图文对上联合训练，覆盖标准普通话和多种中国方言，阶段 2 额外加入方言风格混合专家模块。阶段 3 面向低资源新方言做快速适配，采用参数高效微调，英文为 Parameter-Efficient Fine-Tuning，缩写为 PEFT。论文报告只训练低秩适配和条件适配器，主模型冻结，混合专家结构在微调时保持冻结以保留已学路由并避免小数据过拟合。

低秩适配作用于输入嵌入和扩散变换器块注意力中的查询与值投影，秩为 16。数据增广方面，对每条原始新方言语音做音高和时间尺度变换，系数包括 0.85、0.9、0.95、1.05、1.1 和 1.15，在不改变方言风格的前提下扩大几小时数据的有效覆盖。优化器统一用 AdamW，阶段 1 和阶段 2 峰值学习率为 7.5e-5，预热 21,000 步，共 200,000 步，每卡每步 28,000 帧。阶段 3 训练 100,000 步，学习率为 1e-5。强化学习阶段组大小为 8，有效组数为 12，KL 权重为 0.1，噪声水平为 0.4，随机微分方程窗口为第 2 到第 6 步，扩散采样 10 步，学习率为 1e-7。

参数高效微调 × 灾难性遗忘： 参数高效微调的分工是只更新低秩适配和条件适配器等小量参数而冻结主干，灾难性遗忘的分工是指全量微调新方言时冲掉已学多方言能力的风险；搭配理由是新方言往往只有几小时数据而主干已具备高质量合成先验，组合意义是用冻结混合专家路由加小参数更新和变速变调增广，在学会京白云白和南京话的同时保住原有方言能力。

初学者易误解冻结即确定性输出，需要澄清冻结只说明参数不更新，生成仍包含采样噪声和条件变化，不能从冻结推定输出确定。本文也未报告混合专家门控在阶段 3 是否完全停止梯度之外的细节之外的梯度路径假设，复现时应严格按冻结混合专家实现。

数据、基线与指标：在什么条件下比较才公平？

数据方面，论文使用 Common Voice 粤语集、Emilia 普通话集、KeSpeech 方言数据、开源闽南语数据，以及商业采购的上海话和天津话数据，覆盖更广的方言。低资源微调用约 3 小时专业录制的京剧念白，含京白和云白两种风格，以及等量的南京话数据做对照。论文强调统一模型只用约 0.71,000 小时普通话加 0.41,000 小时方言语音，与商业系统完全不在同一量级。

基线包括 Edge-TTS、CosyVoice2 和 Qwen-TTS，均为可运行的外部系统，但论文明确评估条件并不完全一致，特别是本文采用零样本声音克隆评估，而商业系统训练数据大得多，因此差距主要用于定位而非同条件胜负。缩写对应为 YUE 粤语、SH 上海话、CD 成都话、XA 西安话、ZZ 郑州话、TJ 天津话、NAN 闽南语、SJZ 石家庄话、NJ 南京话，以及京白云白两种京剧发音类型。指标方面，客观用 Qwen3-ASR 计算的词错误率，越低越好，英文为 Word Error Rate，缩写为 WER；自然度用 UTMOSv2 预测分，越高越好。

主观用平均意见分，英文为 Mean Opinion Score，缩写为 MOS，每种方言招募 5 名母语者打分，京白云白因专业性改由语言学专家和京剧爱好者评价。资源可用性方面，论文声明将开源数据集构建流水线、多方言数据集与训练推理脚本，但本次收到的唯一可验证第三方资源是 Edge-TTS 代码库，其链接当前可用。论文自带的 DiaMoE-TTS 仓库链接在本次证据中未给出可达性验证，不能写成已公开可下载。

主结果测什么：在小数据统一模型下保住多少可用性？

主结果要回答的问题是，在 1.1k hours 量级统一训练下，模型能否覆盖多种方言并扩展到 3 hours 级新方言，比较对象是数据量大得多的商业系统，指标方向为词错误率越低越好、主观分与自然度预测分越高越好。由于训练规模和评估条件不一致，比较只能说明差距来源，不能读成同条件排名。

论文报告本方法在成都话词错误率为 29.25%，西安话为 37.85%，上海话为 51.48%，粤语为 34.01%，而 CosyVoice2 在成都话为 8.06%，Edge-TTS 在粤语为 8.66%，商业平均明显更低。

论文解释差距主要来自训练数据规模和零样本克隆条件，并指出闽南语词错误率高达 74.39%、云白达 61.30%，反映其与普通话的音系距离和程式化韵律特性，且这些品种在所有对比商业系统中完全缺失。这是一个重要的未胜出边界：统一小数据模型换来覆盖广度，但发音准确性尚未达到大系统水平。主观分上本方法多在 1.6 到 3.1 之间，同样低于商业平均，但自然度预测分差距较小，部分方言如成都话本方法 2.80 分略高于对比平均。

重提这些数字时新增的判断是，低词错误率与高主观分并不自动一致，自动识别指标不能当成人评，复现时必须同时报告 3 类指标。

高质量成都话数据应该继续训练还是做奖励优化？

该实验要回答的问题是，已有方言拿到高质量新数据时如何整合才能同时惠及相关方言，比较的是同一基座上的直接继续训练与冻结前端只更新扩散变换器的流式群组相对策略优化，指标方向为自然度越高越好、词错误率越低越好。

表后解释的关键是，直接继续训练在成都话上几乎无提升且让西安话、郑州话、石家庄话词错误率小幅上升，自然度预测分仅从 2.80 到 3.07 区间微升到 2.81 到 3.14 区间，说明似然拟合高质量数据不能保证跨方言一致改善。

而奖励优化把成都话从 29.25% 降到 23.93%，同时西安话降到 35.71%，郑州话降到 28.67%，石家庄话微降到 35.66%，自然度也小幅升到 2.86 到 3.15 区间。论文因此报告奖励驱动学习能更好利用高质量方言语音。限制是该结论仅在成都话目标和 3 个相关北方方言上验证，未测量韵律自然度奖励和延迟成本，不能推广到所有方言或所有数据质量。

拿掉哪一块会塌：混合专家与国际音标各自贡献多少？

消融要回答的问题是，风格平均的改善来自混合专家还是仅仅来自国际音标，比较条件是同一 4 种方言上的主观分与词错误率，指标方向与主结果一致。

表后解释需要同时给出收益与代价。

去掉混合专家后 4 种方言词错误率（%）一致恶化，主观分也从完整方法的 2.22 到 3.15 区间掉到 2.3 到 2.6 区间，支持混合专家缓解风格平均的判断。把国际音标换成拼音则出现灾难性崩塌，词错误率全部超过 90%，主观分掉到 1.0 到 1.2 区间，论文说明比较拼音是因为原始 F5-TTS 使用拼音，这确认统一前端是必要条件而非可选优化。反例是即使保留两者，西安话 37.85% 和石家庄话 35.91% 仍偏高，说明专家与前端不能完全弥补数据稀缺和口音距离，低资源方言仍需更多数据或更强奖励优化。

哪些边界尚未验证：数据、评估与成本缺什么？

首先是数据边界。低资源扩展只在 3 小时京白云白和南京话上验证，闽南语 74.39% 的高错误率表明远亲方言仍是短板，论文未报告在少于 3 小时或噪声更大的田野录音下的表现。其次是评估边界。词错误率依赖 Qwen3-ASR，该识别器本身对方言的误识会传导到奖励和评估中，论文未报告识别器在各方言上的误判率，也未做统计显著性检验。主观评价每方言仅 5 名评分者，京白云白改用专家评价，样本量小且评价者类型不一致，跨方言比较需谨慎。

再次是成本边界。论文报告了训练步数、学习率和批量帧数，但未报告具体硬件型号、总机时、推理实时率和显存占用，因此不能承诺延迟或成本改善。最后是开源边界。正文声明将开源流水线、数据集与脚本，但本次可验证的只有第三方 Edge-TTS 链接可用，自带仓库未验证可达，不能写成当前可用。把缺失证据当成技术错误是不对的，它们只是限制结论适用范围的待验证项。

复现先做什么：按什么顺序搭流水线？

复现应先做前端。对照论文图 1 示例，把普通话、粤语、闽南语的拼音词典分别映射到同一套国际音标符号表，检查马和鲸鱼这类同字异读是否被写成不同符号串，再把音素串转为统一矩阵索引，这是后续所有训练的前提。第二步按阶段 0 到阶段 3 顺序训练，不要跳过预训练检查点。

阶段 1 先做多方言国际音标联合训练，阶段 2 再加入混合专家并把方言分类损失系数设为 0.1，其他阶段设为 0，阶段 3 冻结主干与混合专家，只训练秩 16 的低秩适配和条件适配器，并对新方言做 0.85 到 1.15 的变速变调增广。第三步复现奖励优化时，只保留识别置信度高于 0.98 的四川话句子，冻结前端编码器，只更新扩散变换器，用组大小 8 和 10 步扩散采样跑小学习率优化。何时值得尝试这个方案？

当你已有普通话高质量基座、需要覆盖多个数据稀缺方言且能接受词错误率高于大商业系统时值得尝试；当目标是单一高资源方言的极致自然度时，直接扩大数据或用大商业系统可能更划算。还需补的验证是同一识别器在各方言上的基准误识率、不同随机种子的方差，以及低秩秩数与增广系数的敏感性。

收束：这条路线回答了什么，还留下什么？

这条路线回答的是，如何用小数据统一多方言。答案是先用国际音标消除前端歧义，再用混合专家在共享编码器上保留方言个性，然后用小参数微调扩展新方言，用识别反馈的强化学习整合高质量数据。支持该答案的最强证据是成都话奖励优化带来目标与相关方言的一致词错误率下降，以及去掉任一组件都会导致明显恶化特别是拼音替换导致超过 90% 的崩塌。

代价与适用条件同样清晰：整体准确性和主观分仍落后于数十万小时级系统，闽南语等远亲方言和程式化戏曲风格仍难处理，且评估依赖特定识别器、开源与成本信息尚不完整。对刚入门的研究生而言，可复述的方法是 4 阶段的数据与冻结关系、可执行的前端检查动作，以及必须同时报告词错误率、主观分与自然度预测分 3 类指标的实验习惯。下一步值得补的不是更大的修辞，而是跨方言识别偏差校准、更多低资源方言的重复实验，以及推理开销的实测。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总