槽填充

📄 DOMA: Leveraging Diffusion Language Models with Adaptive Prior for Intent Classification and Slot Filling #语音对话系统 #意图识别 #槽填充 #扩散模型 #鲁棒性 🔥 8.5/10 | 前25% | #语音对话系统 | #扩散模型 | #意图识别 #槽填充 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Siqi Yang（电子科技大学） 通讯作者：Fan Zhou（电子科技大学；智能数字媒体技术四川省重点实验室；喀什电子与信息产业研究院） 作者列表：Siqi Yang（电子科技大学），Yue Lei（电子科技大学），Wenxin Tai（电子科技大学），Jin Wu（电子科技大学），Jia Chen（电子科技大学），Ting Zhong（电子科技大学），Fan Zhou*（电子科技大学；智能数字媒体技术四川省重点实验室；喀什电子与信息产业研究院） 💡 毒舌点评 这篇论文巧妙地将扩散语言模型（DLM）的并行生成能力用于纠正ASR转录错误，并通过一个轻量级的自适应先验模块来解决DLM可能“改对为错”的痛点，想法很实用。不过，整个框架的性能瓶颈和复杂度高度依赖于所使用的DLM（如LLaDA），自适应先验模块本身也可能引入新的错误（例如错误地掩码了本应保留的token），论文对此的边界讨论不足。 🔗 开源详情 代码：论文提供了代码仓库链接：https://github.com/ICDM-UESTC/DOMA。 模型权重：论文未提及DOMA中的自适应先验（AP）模块权重是否开源。所使用的DLM（LLaDA-8B-Instruct）为第三方开源模型。 数据集：论文使用的是公开的基准数据集（SLURP, ATIS, SNIPS），未提及对数据集的修改或私有部分。 Demo：论文中未提及在线演示。 复现材料：论文提供了关键的超参数设置（假设数N=5， 门控阈值p=0.5， 生成长度64， 扩散步数32）、优化器学习率（1e-5）、训练轮数（10 epochs）以及骨干模型（RoBERTa-base），但未提供更详细的训练配置（如batch size）、检查点、完整训练日志或附录中的额外设置。 论文中引用的开源项目：论文明确提到使用了开源的LLaDA模型（[14] Nie et al., ICLR 2025 Workshop），以及作为下游骨干的RoBERTa [20]。ASR使用了Whisper Large-v3。 📌 核心摘要 本文针对自动语音识别（ASR）错误会传播并损害下游口语理解（SLU）任务（如意图分类和槽填充）性能的问题，提出了一个模型无关的框架DOMA。DOMA的核心是使用扩散语言模型（DLM）对ASR转录文本进行细化，并引入了一个自适应先验（AP）机制来引导DLM的生成过程。具体来说，DOMA首先使用DLM生成多个候选细化假设，然后利用一个轻量级的、可训练的AP模块（包含自注意力和门控机制）来识别并保留原始ASR转录中可能正确的token，从而构建一个部分掩码的初始序列，而非从完全掩码开始生成。这有助于减少DLM的过度纠正，同时减少所需的扩散步数，提升推理效率。在SLURP、ATIS和SNIPS三个基准数据集上的实验表明，DOMA在多种基线模型（如RoBERTa, SpokenCSE）上一致提升了ICSF性能，相对提升最高达3.2%（例如，DOMA+SpokenCSE在SLURP上的IC准确率从85.51%提升至88.26%）。同时，与自回归LLM细化方法相比，DOMA将推理延迟降低了34.8%（RTF从0.66降至0.43）。该框架的意义在于为提升SLU系统对ASR错误的鲁棒性提供了一种高效、通用的后处理方案。主要局限性在于其效果依赖于强大的预训练DLM（如LLaDA-8B），且AP模块的训练需要额外数据和计算资源。 ...

ICASSP 2026 - 槽填充 共 1 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 Slot Filling as a Reasoning Task for Speechllms 6.5分 前25% 📋 论文详情 🥇 Slot Filling as a Reasoning Task for Speechllms ✅ 6.5/10 | 前25% | #槽填充 | #思维链 | #语音理解 #语音大模型 👥 作者与机构 第一作者：Kadri Hacioglu（Uniphore） 通讯作者：未说明 作者列表：Kadri Hacioglu (Uniphore), Manjunath K. E. (Uniphore), Andreas Stolcke (Uniphore) 💡 毒舌点评 论文亮点在于清晰地指出了推理优化型LLM（如DeepSeek R1蒸馏版）在直接应用于语音槽填充时“水土不服”的现象，并提出了通过混合训练来兼顾直接与推理模式的务实解决方案。然而，其主要短板在于实验局限于有限的几个开源模型和单一的脚本对话数据集，未能充分验证该方法在更多样化语音场景（如自然对话、噪声环境）下的普适性，且完全缺失代码和数据开源，削弱了结论的说服力和影响力。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及是否公开微调后的模型权重。 数据集：使用的DefinedAI客服对话数据集未提及是否公开及获取方式。构建的推理数据集也未开源。 Demo：未提及。 复现材料：给出了部分训练细节（如LoRA设置、批量大小、学习率、硬件），但未提供完整的训练配置、数据预处理脚本、评估脚本或附录中的详细超参数表。 论文中引用的开源项目：主要依赖了开源的预训练模型，如Whisper, Llama系列, Qwen系列, Phi系列等。 📌 核心摘要 ...

📄 Slot Filling as a Reasoning Task for Speechllms #语音理解 #槽填充 #语音大模型 #思维链 #监督微调 ✅ 6.5/10 | 前25% | #槽填充 | #思维链 | #语音理解 #语音大模型 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Kadri Hacioglu（Uniphore） 通讯作者：未说明 作者列表：Kadri Hacioglu (Uniphore), Manjunath K. E. (Uniphore), Andreas Stolcke (Uniphore) 💡 毒舌点评 论文亮点在于清晰地指出了推理优化型LLM（如DeepSeek R1蒸馏版）在直接应用于语音槽填充时“水土不服”的现象，并提出了通过混合训练来兼顾直接与推理模式的务实解决方案。然而，其主要短板在于实验局限于有限的几个开源模型和单一的脚本对话数据集，未能充分验证该方法在更多样化语音场景（如自然对话、噪声环境）下的普适性，且完全缺失代码和数据开源，削弱了结论的说服力和影响力。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及是否公开微调后的模型权重。 数据集：使用的DefinedAI客服对话数据集未提及是否公开及获取方式。构建的推理数据集也未开源。 Demo：未提及。 复现材料：给出了部分训练细节（如LoRA设置、批量大小、学习率、硬件），但未提供完整的训练配置、数据预处理脚本、评估脚本或附录中的详细超参数表。 论文中引用的开源项目：主要依赖了开源的预训练模型，如Whisper, Llama系列, Qwen系列, Phi系列等。 📌 核心摘要 问题：传统语音槽填充任务通常被建模为单步预测，缺乏显式的推理过程，而新兴的推理型大语言模型（LLM）在此类任务上的适用性尚不明确。 方法核心：提出将槽填充重构为多步推理任务，模仿人类标注流程（听写-识别-分配）。利用思维链（CoT）框架构建包含转录、提及识别和理由说明的推理数据集，并通过监督微调（SFT） 训练语音大模型（SpeechLLM）。模型架构包含语音编码器（Whisper-base）、适配器和文本LLM，支持在“常规”（直接输出）和“推理”（先输出思考过程再输出答案）模式间切换。 新意：与此前端到端直接生成槽填充结果的方法不同，本文首次系统性地探索了将显式CoT推理引入语音大模型用于槽填充的可行性，并对比了不同类型（基础、指令、推理、混合）和规模的基础LLM，还创新性地提出了同时保留两种操作模式的混合训练策略。 主要实验结果：在约31K通客服电话数据集上，中等规模（8B参数）的基础或指令微调LLM 作为语音大模型骨干时，引入推理监督能提升性能（如Llama 3.1 8B Base的F1从0.6923提升至0.7736）。然而，专门为数学/代码等推理任务优化的模型（如DeepSeek R1蒸馏版）作为骨干时，尽管在推理模式下提升幅度最大（+22.72%），但绝对性能仍低于同规模其他模型。小规模（≤4B）的混合或推理LLM 在引入显式推理后，性能反而下降。最终，基于混合LLM（Qwen3 4B）并采用混合监督训练的语音大模型取得了最佳性能（F1达0.7988）。具体数据见表1和表2。 实际意义：为提升语音理解任务的可解释性和性能提供了新思路，指出构建兼顾指令遵循与推理能力的“混合”基础模型对于下游语音任务可能更有效，对工业界构建实用型语音大模型有指导价值。 主要局限性：实验数据来自单一来源（DefinedAI客服脚本），可能缺乏泛化性；对比的LLM型号和数量有限；未提供代码和数据集，复现困难；推理模式显著增加计算成本（4-5倍）和延迟。 🏗️ 模型架构 论文提出的语音大模型（SpeechLLM）架构如图1 (pdf-image-page1-idx0) 所示，主要包含三个组件： ...