没有目标域语音时，只用目标域文本能否教会语音对话状态跟踪跨域

英文题目：Joint Speech And Text Training For LLM-based End-To-End Spoken Dialogue State Tracking

会议身份：conference:interspeech:2026:conference-paper-id:vendrame26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#多模态学习 #大语言模型 #端到端 #语音 #口语意图与槽位识别

评分：6.4/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.9/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Katia Vendrame：机构信息未能从会议 PDF 纯文本可靠映射
• Bolaji Yusuf：机构信息未能从会议 PDF 纯文本可靠映射
• Santosh Kesiraju：机构信息未能从会议 PDF 纯文本可靠映射
• Šimon Sedláček：机构信息未能从会议 PDF 纯文本可靠映射
• Oldřich Plchot：机构信息未能从会议 PDF 纯文本可靠映射
• Honza Černocký：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

口语对话状态追踪（spoken dialogue state tracking，spoken DST）需从当前轮用户语音与多轮转写对话历史中直接输出含全量域槽的结构化可扩展标记语言对象表示法（JavaScript Object Notation，JSON），难点是口语噪声与标注语音稀缺导致的跨域泛化差。本文在端到端语音大语言模型（large language model，LLM）基线 [7] 上，先冻结 LLM 做多数据集语音识别（automatic speech recognition，ASR）预训练以稳固语音编码器与连接器（connector），再冻结语音编码器与 LLM 基座，联合微调共享连接器、低秩适配（low-rank adaptation，LoRA）与新增文本编码器（text encoder）。语音支路将用户语音经 WavLM 加卷积降采样与 Transformer 映射为 LLM 前缀，文本支路将无配对纯文本用户轮经文本编码器走同一连接器 Transformer，两支路分别与历史拼接后统一预测转写加 JSON 状态。SpokenWOZ（SW）语音联合 MultiWOZ（MW）文本训练时，MW 验证集联合目标准确率（joint goal accuracy，JGA）从 15.1% 升至 19.0%，相对缩小与域内语音训练差距的 28.9%；反向 MW 语音联合 SW 文本时 SW 验证集从 20.5% 升至 30.6%，缩小差距 64.7%。在 Gemma-3-12B-it 上后者测试集达 42.2%，几乎追平域内语音训练的 42.6%。收益主要来自槽键与常见表达，跨城市新实体槽值仍有限，推理时丢弃文本编码器故无额外推理开销。原文未披露延迟吞吐与训练耗时。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

任务要从声音里抽出什么结构？

任务导向对话系统的输入是多轮用户与系统交替出现的话语，目标是在每一轮维护一个结构化对话状态，也就是当前用户意图所涉及的域、槽位与槽值。举例来说，这是一个教学例子而非论文数值：用户说应该在 13 点 45 分之后出发，结合上下文是周日从剑桥出发的列车查询，状态就应记为列车域的日期、出发地与离开时间 3 个槽位。

必须保留的信息包括当前轮用户输入、之前所有轮的对话历史，以及每轮累积的状态标注，输出是一个可被下游订票或查询模块直接使用的字典结构。 论文研究的是从语音直接做这件事的端到端语音对话状态跟踪。输入的当前轮是语音波形，对话历史在论文实现中是之前用户与系统轮的转写文本，用换行符隔开。输出被规定为单个 JSON 字符串编码的字典，其中同时包含本轮语音识别转写与对话状态。

这种规定的好处是学习依赖很清晰：模型必须先听准，再抽对，两个能力用同一个生成过程监督。 为什么不是把声音丢给模型就结束？因为语音对话状态跟踪同时面临声学变异与语义结构化两重难度。口语有停顿、重复、口音与背景噪声，地名、餐馆名等实体词又长又稀疏，识别错一个词就可能导致整个槽值错。而联合目标精度要求一轮中所有槽全对才算对，一个实体错就整轮零分，这使得语音输入下的状态跟踪比纯文本更脆弱。

对话状态跟踪 × 端到端语音输入： 对话状态跟踪的分工是从多轮用户与系统话语中抽取出结构化的域、槽位与槽值，例如从离开时间语句得到列车域的目的地与时间；端到端语音输入的分工是直接以当前轮用户语音波形作为待解析对象，而不是先经过独立语音识别再做文本跟踪。两者搭配的原因是语音是更自然的交互入口，但口语省略、重复与识别噪声会直接污染状态抽取，组合意义是把声学鲁棒性与结构化抽取放在同一个可训练链路里，用同一套监督同时约束转写与状态，避免级联系统的误差传递。

传统路线是级联：先用自动语音识别把语音转成文字，再接可选的纠错模块，最后接文本对话状态跟踪器。论文指出这类级联存在系统复杂、误差传递、延迟以及丢失韵律等副语言信息的问题，更重要的是口语与书面语本身存在差异，纯文本跟踪器未必适应语音转写风格。端到端路线则是训练一个模型直接从语音预测状态，省去显式级联，但代价是需要大量标注过的语音对话数据，而这类数据采集昂贵，这正是后文联合训练要解决的学习依赖起点。

已有路线在什么条件下能走通？

在同输入同目标下，论文把基线锚定在文献 7 的端到端框架上。该框架用预训练语音编码器加预训练大语言模型，中间用连接器桥接，训练时更新连接器与大语言模型中的低秩适配器，直接从语音预测 JSON 状态。论文报告该基线在多域 SpokenWOZ 上明显超过此前最优系统，但在训练域之外的域上泛化差，特别是地点、餐馆名等槽值对应的域。这说明同监督同运行阶段下，有域内语音监督则强，无域内语音监督则弱。 在同目标但不同监督下，文本对话状态跟踪有更丰富的增强手段。

论文引用槽位增强工作指出，对文本系统做槽值替换或改写能显著提升鲁棒性。这类操作在文本上容易实现，在语音上则难以直接做，因为改一个槽值就要重新录音或合成对应音频。论文的思路正是把文本侧易于增强与易于获取的优势借过来，而不是在语音侧硬做增强。 在跨模态联合训练方面，论文提到机器翻译、语音识别与口语理解等任务已有语音文本联合训练先例。其共同点是让文本数据帮助声学管线学会语言结构，而不是只让语言模型背答案。

论文把这一思想搬到对话状态跟踪，区别在于监督目标不是转写或翻译，而是多轮累积的结构化状态，且文本数据明确指没有配对语音的纯文本状态跟踪数据。 与合成语音替代方案相比，论文设置了一个实际可运行的对照：用文本到语音系统把标注过的用户轮转成合成语音，再按配对语音训练。论文使用 Qwen3-TTS 把用户轮合成语音，并在结果中比较联合文本训练与合成语音训练的差距恢复比例。

这为后文判断何时值得用联合文本训练、何时可用合成语音提供了同条件参照，而不是把类别差异当成胜负。

要解决的跨域泛化问题是什么？

论文要解决的问题可以表述为：只有源域的配对语音对话状态跟踪数据，加上目标域的非配对文本数据，能否得到在目标域语音上可用的多域模型。输入条件是源域每一轮有语音、转写、对话历史与状态标注，目标域只有文字轮、对话历史与状态标注，没有语音。输出要求是在推理时只给目标域语音加文本对话历史，仍能输出正确 JSON 状态。 这个问题的难点在于域差异同时出现在槽键与槽值两个层面。

槽键是槽的类型名，例如区域、食物类型，槽值是具体取值，例如南区、葡萄牙菜。论文特别指出 MultiWOZ 训练集与验证测试集来自不同城市，训练文本在剑桥，验证测试在纽约，因此用 MultiWOZ 训练文本做联合训练可能改善槽键识别，但不一定改善槽值，因为地名实体本身就不重叠。这是一个必须在解读结果时保留的条件，否则会误把槽键进步当成整体可用。 另一个难点是文本与语音的输入分布不一致。

文本编码器看到的是干净文字，语音编码器看到的是带噪声的声学帧，即使共享后续参数，两条管线的前端统计特性也不同。如果只是让语言模型背下目标域状态，而不改善语音管线从自然语言输入中抽取状态的能力，跨域增益会受限。论文后文专门用去掉文本编码器、只微调低秩适配器的对照来分离这两种效应。 论文明确界定非配对的含义是文本数据没有语音，而不是文本没有标注。所有联合训练用的文本都带有状态标注。

这一点对复现很关键：不能用无标注对话文本直接套用该方法，至少在论文实验中监督来源始终是标注过的状态与转写。

联合语音文本模型的全景是什么？

论文方法的全景是在基线端到端语音到状态模型上增加一条文本支路。训练时有两个入口：语音入口走语音编码器，文本入口走新增的文本编码器，两路输出都经过同一个连接器，再与对话历史文本嵌入拼接后送入同一个带低秩适配器的大语言模型，生成包含转写与状态的 JSON。推理时可以丢掉文本编码器，不增加推理代价。 沿一个样本走完流程有助于建立学习依赖。假设当前轮用户语音是查询餐馆，历史是系统问候。

语音波形先被语音编码器变成帧表示，再被连接器中的卷积降采样与 Transformer 编码成与语言模型对齐的语音嵌入；对话历史则被语言模型自身的词嵌入变成文本嵌入；两者拼接后经过大语言模型层，模型自回归生成转写加状态字符串。若是文本训练样本，则当前轮文字先经文本编码器与词嵌入，再走同一连接器 Transformer 部分，不经过卷积降采样部分，最后同样由语言模型生成状态。这种共用连接器 Transformer 与低秩适配器的设计是跨域迁移的参数载体。

下图是论文给出的联合模型示意图，阅读时先分清训练期双支路与推理期单支路的区别，再看参数共享点在哪里。

看图路径： 1. 先沿左上语音波形经语音编码器到连接器再到大语言模型的箭头走一遍主路径；2. 再看右上文字用户输入经文本编码器在连接器处与语音路径汇合的位置；3. 确认右侧对话历史虚线框是以文本形式拼接到连接器输出之后再进入模型的；4. 最后看底部输出框同时包含转写标签与域槽位字典两部分

论文图 1。原论文 Figure 1：“Joint speech and text E2E DST model.”。

从像素可见，图顶部分为左右两个入口：左侧蓝色梯形为语音编码器，上方有声波示意，右侧橙色圆角框为文本编码器，上方有一句英文示例输入。两者箭头都指向中部橙色连接器方框，说明两路在连接器汇合。右侧绿色虚线框为对话历史，示例包含用户问候与系统应答，其箭头与连接器输出一起向下汇入底部蓝橙渐变的大语言模型加低秩适配器方框。底部右侧白色输出框明确写出标签转写示例与域槽位字典示例，例如餐馆域的区域与食物类型，表明模型输出同时覆盖转写与结构。这张图不支持读出卷积步长或注意力头数等细节，那些需回到正文超参数部分核对。

编码器、连接器与语言模型各自做什么？

语音编码器在所有实验中固定为 WavLM，大语言模型在多数实验中为 Gemma-3-1B-it，另用 Gemma-3-4B-it、Gemma-3-12B-it 看规模效应，用 OLMo-1B 对齐先前最优并降低数据污染风险。文本编码器是一个与连接器 Transformer 维度相同的 Transformer 编码器，前面是与相应语言模型共用分词器的输入嵌入层。连接器由两层步长分别为 3 和 2 的卷积层加一个 4 层 Transformer 编码器组成，隐藏维度 1024，注意力头 4 个，前馈中间维度 4096，正弦位置编码最大长度 512。卷积使语音到语言模型的输入降到 8 赫兹，文本输入只过 Transformer 而不经过卷积。

语音基础编码器 × 大语言模型： 语音基础编码器的分工是把用户语音变成帧级声学表示，保留发音与内容信息；大语言模型的分工是读入对话历史文本并生成结构化对话状态，例如输出包含域与槽位的 JSON 字符串。搭配原因是单一模型难以同时做好声学建模与复杂结构抽取，组合意义是通过一个连接器把语音表示映射到语言模型词嵌入空间，再把语音嵌入拼到对话历史嵌入之前，让语言模型像读一段前缀提示一样读语音，从而复用其自然语言理解能力。

连接器与低秩适配器的组合是论文复现时最需保留的细节。低秩适配器的秩与缩放系数均设为 32，只训练连接器、文本编码器与低秩适配器参数，语音编码器与基础语言模型冻结。原文先冻结语言模型做语音识别预训练，再插入低秩适配器做对话状态跟踪微调。未报告的是文本编码器初始化方式与连接器卷积部分的梯度在文本支路是否完全不更新之外的细节，论文只明确文本输入不经过卷积模块，但未给出文本编码器是否从预训练权重出发，因此复现时应按随机初始化加完整训练记录实际做法，不从模型名推定实现。

连接器 × 低秩适配器： 连接器的分工是做模态对齐与降采样，把语音编码器或文本编码器的长序列压缩变换为语言模型可接受的嵌入序列；低秩适配器的分工是在冻结大语言模型主参数的前提下，用少量可训练低秩矩阵调整其生成对话状态的行为。搭配原因是全量微调大模型代价大且易破坏原有能力，而只训练连接器又不足以学会状态格式，组合意义是训练时只更新连接器、文本编码器与低秩适配器，让语音与文本两条管线共享同一套对齐与生成参数，使文本域的状态知识能沉淀到语音推理也使用的参数中。

输入表示也需精确复现。模型输入包括当前轮用户语音或文字，以及由之前用户与系统轮转写组成、轮间用换行符分隔的对话历史。语音嵌入被拼到对话历史嵌入之前，再送入语言模型 Transformer 层。这种前缀式拼接意味着对话历史长度与截断策略会直接影响状态预测，论文未单独报告截断规则，复现时需固定最大长度并记录截断对多轮长对话的影响。

文本支路在训练后为何可以丢掉？

文本支路的作用是训练期提供目标域监督，而不是推理期提供额外信息。因为推理输入始终是语音加对话历史，文本编码器在推理时没有输入可编码。论文明确指出文本编码器只用于辅助训练，推理时可丢弃，因此相对基线端到端系统不带来额外推理成本。训练资源与推理开销应分开讨论：训练期多了文本编码器参数与文本批的前向后向，推理期则与基线相同。

这种设计隐含一个可验证的机制问题：增益究竟来自语言模型见过目标域状态，还是来自语音管线本身变强。论文用去掉文本编码器、只在非配对文本上微调低秩适配器的对照来回答。若增益完全来自前者，则无文本编码器也应达到相近目标域精度；若后者有贡献，则有文本编码器应更高。原文报告有文本编码器一致更好，但无文本编码器也比无文本基线好，说明两部分都有贡献，后文消融表将量化这一点。

另一个相关问题是文本支路是否改变了语音识别能力。论文同时报告通用词错误率、实体词错误率与槽键 F1，发现加入目标域文本后通用词错误率可能改善，但实体词错误率与槽键 F1 的改善模式与数据城市是否重叠有关。这提示不能把联合目标精度的提升简单归因于听写变好，需分开看转写与结构两路指标。

两阶段训练如何组织监督与冻结？

训练分 2 个阶段。第一阶段冻结语言模型，在 Fisher、Librispeech、CommonVoice 版本 17 与 VoxPopuli 等多样数据上用交叉熵目标做语音识别预训练，训练编码器与连接器，优化器为 AdamW，训练 100,000 步，前 1000 步热身到峰值千分之二的 0.0002 再线性衰减到 0.000002。论文称在 OLMo 基线上用了比文献 7 更多预训练数据，这是其无文本基线超过文献 7 报告值的原因之一，复现时应保留这一数据量差异，不把基线提升当成方法本身增益。

第二阶段是对话状态跟踪微调，插入秩 32 的低秩适配器，联合微调连接器、文本编码器与低秩适配器参数，语音编码器与基础语言模型冻结。优化器仍为 AdamW，热身 1000 步到峰值 0.00005，再衰减，最多 60,000 步，用验证集上教师强制模式下的联合目标精度做早停与选点。每个训练步喂一个语音批与一个文本批，最小化三项交叉熵损失之和：语音数据的状态损失、非配对文本数据的文本状态损失，以及语音批转写对应的文本状态损失。

第三项的含义是用语音的文字转写再走 1 次文本支路做状态预测，起到对齐两条管线的作用。

配对语音文本数据 × 非配对文本对话状态跟踪数据： 配对语音文本数据的分工是提供源域的语音、转写、对话历史与状态四元组，用于教会模型从声音到状态的完整映射；非配对文本对话状态跟踪数据的分工是只提供目标域的文字用户轮、对话历史与状态标注，没有对应语音，用于暴露目标域的槽键与槽值分布。搭配原因是目标域语音采集昂贵而文本相对易得，组合意义是在每个训练步同时喂一个语音批与一个文本批并求三项交叉熵损失之和，让共享参数同时在源域声音与目标域文字上被优化，从而在推理时只用语音也能处理目标域。

需要指出的缺项是三项损失的权重默认配比未在正文给出具体数值，只在调参分析中提到把文本损失权重设为 8 可在域内与目标域之间折中。复现时应先按等权实现三项求和，再单独记录文本损失权重扫描，因为原文显示调大文本权重能换取目标域增益但会损失源域精度。梯度路径方面，原文未明确给出是否对转写支路停止梯度，解读时不猜测，只按共享参数同时被三项损失优化来理解。

在什么数据、指标与模型下比较？

数据集方面，论文用 SpokenWOZ 与 Speech-aware MultiWOZ 两个语音对话状态跟踪集，多数实验把其中一个的语音加另一个的文本联合训练，互为源与目标，以测跨域性能。另用 DialogStudio 文本作为不完全匹配目标域的替代非配对文本，以测大文本语料中混有少量目标域时的效果。对 SpokenWOZ 沿用文献 7 预处理，丢弃 9 段损坏对话，用 Whisper-large-v3 重转写用户与系统语音。MultiWOZ 训练在剑桥、验证测试在纽约，这是解释槽值难迁移的关键条件。

指标方面，论文用 MultiWOZ 评测脚本计算联合目标精度，评分前用模糊匹配按编辑距离把假设槽位映射到本体中最接近的槽。这是标准做法，但意味着报告值已包含后处理增益，复现时必须保留同一脚本与同一模糊匹配库，否则跨论文数字不可比。转写侧同时报告词错误率、实体词错误率与槽键 F1，以区分听写与结构错误。 模型与基线方面，语音编码器固定 WavLM，语言模型覆盖 Gemma-3-1B-it、4B、12B 与 OLMo-1B。

比较时保留实际可运行策略：无文本基线、加目标域文本的联合训练、加 DialogStudio 文本、混合文本、合成语音对照、去文本编码器对照，以及双域语音 topline 与验证文本 oracle。搜索最优与 oracle 需另行标明，不能代替可部署收益，例如把验证集文本也拿来训练的 C4 是大规模领先的 oracle 实验，只说明理想上限。

联合目标精度 × 实体词错误率： 联合目标精度的分工是整轮级严格指标，只有该轮所有域的所有槽位与槽值全对才算对，用于衡量对话状态整体可用性；实体词错误率的分工是只看转写中与槽值相关的实体词的识别错误，用于定位是声音没听准还是状态没抽对。搭配原因是整体精度下降可能来自语音识别错，也可能来自槽键理解错，组合意义是同时报告整轮精度、通用词错误率、实体词错误率与槽键 F1，才能判断加入目标域文本后改善的是听写、实体还是结构预测。

资源状态是正文开源声明的唯一依据。本次未发现来源绑定且完成 HTTPS 状态验证的资源，不得声称代码、模型或数据已公开。论文脚注给出一个代码与数据链接，但按本次证据规则应写本次未能确认可达，复现时以论文描述的超参数与数据划分为准，先做小规模可运行链路，再补全大规模预训练。

加目标域文本能恢复多少跨域差距？

比较问题是：在源域语音固定时，加入目标域文本相对无文本基线能提升多少目标域联合目标精度，相对目标域语音训练又恢复了多少差距。公平条件是同一语音编码器、同一语言模型与同一评测脚本，指标方向是联合目标精度越高越好，词错误率越低越好。下表整理论文直接报告的差距恢复比例与转写改善，数值与单位保留原文写法，条件列写明源与目标方向。

表后解释需要同时讲收益与代价。

论文显示在 Gemma-1B 上，从 SpokenWOZ 到 MultiWOZ 恢复约 28.9% 的差距，反向恢复约 64.7%，说明方法在 2 个方向都有效但幅度不对称，这与 MultiWOZ 跨城市实体不重叠、SpokenWOZ 实体在文本中更易学到有关。在 OLMo 上对应恢复为 46% 与 79%，表明结论跨语言模型家族成立。转写侧词错误率相对改善 35%，但实体词错误率与槽键 F1 改善有限，反映听写整体变好不等于实体变好，这是目标域槽值多为地名餐馆名时的预期限制。 未胜出项也需就近说明。

当非配对文本只用 DialogStudio 而无目标域文本时，MultiWOZ 验证集有中等改善而 SpokenWOZ 无改善，论文解释为 DialogStudio 包含 MultiWOZ 训练数据但不包含 SpokenWOZ。当目标文本混入大语料时，目标集性能比只用目标训练文本略降但仍明显好于无文本基线，说明方法容忍无关文本但目标越纯越好。原文还报告把目标训练加测试集都当文本的 topline 与双域语音 topline，其中验证文本 oracle 大幅领先，但那是不可部署的上限，不能当成日常收益。

增益来自文本编码器还是合成语音？

比较问题是：若去掉文本编码器只微调语言模型，或改用合成语音训练，能否得到相近目标域收益。公平条件是同一源语音、同一目标文本内容与同一语言模型，指标仍是联合目标精度越高越好。下表整理论文对机制与替代方案的直接报告，文本损失权重与恢复比例保留原文单位。

表后解释要区分可部署与不可部署。

论文显示无文本编码器时目标域仍好于无文本基线，但差于有文本编码器的联合训练，支持增益一部分来自语言模型见过目标域状态，另一部分来自语音管线经共享参数得到改善。合成语音能进一步恢复差距，在 SpokenWOZ 恢复 49%，在 MultiWOZ 恢复 27%，但会略损原语音域性能。

把文本损失权重设为 8 时，在目标域上取得 32.4% 与 21.8% 的联合目标精度，与合成语音结果相近，因此论文判断在高质量文本到语音不可用时，联合文本训练是有效替代，这对低资源语言是重要优势，但前提是接受源域精度的折中。 规模与提示对照提供额外边界。用 Gemma 从 1B 到 4B 再到 12B，整体精度上升，且联合文本训练的相对作用更大，在 12B 上 MultiWOZ 语音加 SpokenWOZ 文本几乎与 SpokenWOZ 语音训练持平，而 1B 上加目标文本还会损伤 MultiWOZ 自身精度，大模型上这种损伤缩小或消失。

提示 Gemini-2.5-flash 做转写加状态预测的结果差于域内 12B 基线但好于跨域验证集，不过论文提醒该比较受训练数据不透明与提示敏感性影响，只能谨慎对待，不能当成同条件胜负。

哪些边界尚未被验证？

论文直接报告的限制首先是槽值泛化仍受城市与实体分布制约。MultiWOZ 训练与评测城市不同，即使加入目标训练文本，评测集中的纽约实体仍未在训练文本中出现，因此槽键可能进步而槽值不一定进步。解读时不能把验证集提升推广到完全未见实体，复现时应分别报告槽键 F1 与实体词错误率，而不是只看联合目标精度。 其次是超参数与数据配比的验证不完整。

正文只给出文本损失权重为 8 的一个折中点，未系统报告权重扫描曲线、语音批与文本批比例、DialogStudio 混合比例以及早停选点对两个验证集的不同影响。由于每个验证集单独选最优点，实际部署时需一个统一检查点，其双域性能可能低于论文按验证集分别选点的报告值。 第三是成本与延迟未被直接测量。论文说明推理可丢掉文本编码器因而无额外推理成本，报告总体趋势，但未测量误判率、延迟、显存或训练时间的定量值，也未报告合成语音生成的成本与质量门槛。

因此不能承诺联合训练改善了延迟或降低了总成本，只能说它避免了为每个目标域采集语音或部署高质量合成语音系统的复杂性。缺失证据不是技术错误，相关性也不是因果，后续验证应补上统一检查点双域精度、不同文本权重下的源目标曲线，以及长对话截断与模糊匹配对精度的影响。

复现应先固定哪些信息条件？

复现先做数据与评测固定。按论文保留 SpokenWOZ 丢弃 9 段损坏对话、用 Whisper-large-v3 重转写的流程，固定 MultiWOZ 剑桥训练与纽约评测的划分，保留 MultiWOZ 评测脚本与模糊匹配后处理。先在小规模上跑通语音到 JSON 的基线，确认输出同时包含转写与状态，再加入文本支路。不要一开始就混入 DialogStudio 大语料，先做 SpokenWOZ 与 MultiWOZ 互为源目标的干净对照。 再固定模型与冻结。

语音编码器用 WavLM，语言模型先用 Gemma-3-1B-it，连接器按两层卷积步长 3 和 2 加 4 层 Transformer、隐藏 1024、4 头、前馈 4096、正弦位置最大 512 实现，文本编码器用同维度 Transformer 加同分词器嵌入。低秩适配器秩与系数均 32。第一阶段在 Fisher、Librispeech、CommonVoice 与 VoxPopuli 上做语音识别预训练，第二阶段冻结语音编码器与基础语言模型，只更新连接器、文本编码器与低秩适配器，每步同时喂语音批与文本批并优化三项交叉熵之和。学习率按第一阶段峰值 0.00005 热身 1000 步、第二阶段峰值 0.00005 的 schedule 实现，早停看教师强制下的验证集联合目标精度。

还需补的验证包括统一检查点选择、文本损失权重扫描、去文本编码器对照与合成语音对照。记录源域与目标域精度随权重变化的曲线，明确为提升目标域付出了多少源域代价。资源方面，本次未能确认代码与数据链接可达，应按论文文字重实现并记录硬件预算、步数与随机种子，不声称权重或系统已可直接下载运行。

何时值得尝试这种联合训练？

当已有源域语音标注，又能拿到目标域文字状态标注，但拿不到目标域语音或高质量合成语音时，值得尝试这种联合训练。它的可操作动作是新增一个文本编码器，与语音共享连接器 Transformer 与低秩适配器，用三项损失联合优化，推理时丢掉文本支路。这种安排的理由是文本易得且易增强，而语音采集昂贵，共享参数让文本域的状态知识沉淀到语音推理也使用的部分。

适用条件是目标文本与目标语音的域与槽键尽量重叠，若评测实体与训练实体来自不同城市，应预期槽键改善大于槽值改善，并用实体词错误率单独验收。若有大文本语料但目标域未知，混入训练仍可能带来增益，但不如纯目标文本，此时可先按论文混合实验估计下限。模型越大，联合训练的相对增益与对源域的损伤控制越好，资源允许时优先放大语言模型而非一味调大文本权重。

不适用或需谨慎的情形包括目标文本完全缺失、目标实体高度动态变化、或要求单检查点同时最优双域而论文是按验证集分别选点。此时应先补统一检查点评测，再决定文本权重。未来工作可沿论文提示把文本侧的改写与槽位增强搬到联合训练中，这在语音侧原本难以直接实现，而在文本支路上是自然的下一步，但需用同条件实验验证其是否真正改善语音实体的识别，而不只是背下更多文本模板。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总