低资源多口音下毒性语音为何失效：冻结音频大模型加三段软提示的解法

英文题目：Speak No Evil, Just Prompt: Low-resource Multilingual Toxic Speech Detection with Audio Language Model

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.439

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#内容审核 #提示学习 #低资源 #多语言 #音频分类

评分：8.3/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 1.5/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：数据集与基准

👥 作者与机构

• Mingzi Zuo：机构信息未能从会议 PDF 纯文本可靠映射
• Lei Zhang：机构信息未能从会议 PDF 纯文本可靠映射
• Hailiang Sun：机构信息未能从会议 PDF 纯文本可靠映射
• Shengzhi Huo：机构信息未能从会议 PDF 纯文本可靠映射
• Changyu Dong：机构信息未能从会议 PDF 纯文本可靠映射
• Xin Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Bo Wang：机构信息未能从会议 PDF 纯文本可靠映射
• Hao Liu：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

输入为原始语音波形，输出为有毒或安全的二分类标签，难点在于低资源语言自动语音识别转写错误传播、口音韵律差异显著，且毒性常藏于语调与语用而非显性词汇。方法链分三步：先以冻结音频语言模型将语音离散声学词元与固定英文指令拼接编码为统一嵌入，再在输入前拼接任务专用提示、多语言共享提示与语种残差提示以注入三级先验，最后经冻结变换器与语言模型头比较有毒与安全两个标签词元的概率完成判别。该框架冻结主干参数仅优化轻量提示，实现了参数高效的多语言知识共享与语种特化平衡。与级联式语音识别加文本分类相比，该设计避免了转写瓶颈并保留了声学线索。在PolySpeechTox测试集下，SoftPrompt-TSD的微平均ROC-AUC为98.07%，高于少样本学习FSL的87.89%。结论适用边界仅在所收集的53种语言与口音分布内成立，对未见语种、强噪声与隐晦讽刺的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 数据相关资源：https://github.com/PolySpeechTox/ — 链接可访问（HTTP 200）
• 第三方资源：https://voicertool.com/cn — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先保留哪些关键信息？

本文解读的输入是会议论文正文证据与本次收到的官方原图像素，目标是让刚进入语音音频方向的研究生能核对并复述方法。必须保留的信息包括数据集规模与划分、冻结与更新的参数边界、比较基线的训练条件、评价指标的聚合口径，以及主要数字的适用条件。输出是 1 篇按学习依赖展开的中文技术解读，不做营销式判断。

毒性语音检测的任务是听一段完整语音，判断它是否会让合理听者感到被贬低、被威胁或明显不适。白话说，判断依据不只是说了哪个词，还包括怎么说的语气。英文名是 toxic speech detection，缩写为 TSD。论文研究的是多语言多口音条件下的低资源毒性语音检测，难点是很多语言没有足够标注语音，且口音差异会改变声学实现。

为什么不是把声音丢给大模型就结束。前导读：下面这张动机图把同一毒性输入分别送给现有方法和本方法，可以直观看到低资源语言和口音分支的分叉结果，读图时重点看输入一致性和右侧判定差异。

看图路径： 1. 先看左侧三行输入是否都是红色感叹号标记的毒性语音，确认比较起点一致；2. 再看中间粉色现有方法和绿色本方法两个方框的分支走向；3. 最后对比右侧虚线框内现有方法把后两条误判为安全的叉号，本方法三条全对的对号

论文图 1。原论文 Figure 1：“Existing toxic speech detection methods ex- hibit a significant drop in performance for low-resource languages and accents.”。

上图显示左侧高资源语言、低资源语言和口音 3 类输入均为毒性语音，现有检测方法只判对第一条，后两条被误判为安全并打叉；下方本方法 3 条都判为毒性并打对号。论文用该对比提出中心矛盾：现有方法在高资源条件下可用，但在语言和口音变化时出现严重下滑，而本方法追求跨语言和跨口音的稳定表现。该图不提供具体数值，数值判断以后文表格为准。

已有哪些路线，各自在什么条件下成立？

已有多条路线。第一条是级联流水线，白话说就是先转写后分类。英文是 cascaded pipeline。做法是用 Whisper 等自动语音识别把语音转成文字，再用 Detoxify 或 XLM-R 毒性分类器等文本模型判分。成立条件是转写词错误率足够低且下游分类器覆盖该语言。一旦毒性词被错转或漏转，下游很难恢复，这是论文强调的误差传播。

第二条是端到端声学建模，白话说就是直接听声判分。英文是 end-to-end detection。代表包括基于 wav2vec2 加分类头的做法、基于多语言语音嵌入加前馈分类器的做法，以及基于元学习的少样本做法。论文梳理指出这些方法多在单语、高资源或单一语系内有效，对多样低资源语言和口音的泛化尚未解决。

级联流水线 × 端到端检测： 级联流水线分工是先由自动语音识别把语音转成文字，再由文本毒性分类器判分，搭配理由是可以复用成熟文本分类器；端到端检测分工是直接从原始语音声学特征判分，搭配理由是保留韵律和语气等线索；组合意义在于论文用对照说明级联受词错误率上限约束，端到端才能避免转写丢词后下游无法恢复。

第 3 条是音频语言模型适配。白话说就是把能听懂语音的大模型拿来改造成分类器。英文是 audio language model，缩写为 ALM。直接套用冻结模型的固定指令效果有限，因为生成式预训练目标与判别式检测目标不对齐。参数高效微调如 LoRA 和前缀调优可以在小参数预算下适配，但论文认为通用适配没有区分任务对齐、跨语言共享和语言特异校准三件事，因此提出分解式软提示。

论文把问题切成哪几块来回答？

论文把大问题切成数据缺口和方法缺口两块。数据缺口是缺少覆盖 53 种语言和口音、且聚焦低资源的毒性标注语音，现有 MuTox 等覆盖 30 种语言但仍偏向中高资源，单语数据更无法支撑多口音研究。方法缺口是如何在冻结骨干的前提下，用很小的可训练量同时做到全局任务对齐、跨语言泛化和语言口音校准。

形式化后任务是二分类。输入是一段语音波形与一条固定英文指令，指令要求只输出毒性或安全中的一个词，不许解释。输出是比较两个候选标签词的下一词元概率，取高者为预测。评价主指标是 ROC-AUC，白话说是把阈值从严到松扫一遍后真阳性率与假阳性率围成的面积，越大表示排序能力越强，方向是越高越好。论文报告的是在评测切分上对所有语言口音 utterance 做微平均，即按条平均而非按语言先平均再平均，这对类别不平衡相对不敏感，但仍需注意毒性与安全比例会影响阈值选择，F1 分数在附录另行给出。

跟着一个样本走完输入到输出的全景

拿一条带语言口音标签的语音为例。第一步，原始波形进入音频分词器变成离散声学词元序列，固定硬提示指令进入文本分词器变成文本词元序列，两段拼接后经冻结嵌入层得到输入嵌入。第二步，根据该样本的语言口音标签取出对应的组合软提示，前置拼接到输入嵌入之前，形成增广输入序列。第 3 步，增广序列经过冻结的 Transformer 堆叠得到上下文表示，取最后一个输入位置的隐藏状态作为作答表示，送入冻结的语言模型头得到词表 logits。

第四步，只取出安全与毒性两个标签词的 logits，做 Softmax 得到毒性概率，取概率高者为预测。训练时只更新软提示参数，骨干全部冻结；推理时若语言标签未知，则丢弃语言残差部分，只用任务提示加共享提示。

前导读：下面这张框架图是理解冻结与可训练边界的关键，左侧是 3 路输入与提示组成器，中间是冻结主干与分类损失回传，右侧是推理时标签有无的两条路径，读图时注意火焰与雪花图标的含义。

看图路径： 1. 先沿训练阶段左侧语言标签加语音加硬提示三路输入找到前置提示拼接点；2. 再看中间冻结的多头注意力和前馈与顶部可训练提示组成器的冻结与可训练图标区分；3. 最后对比推理阶段语言残差变为按标签有无决定保留或丢弃的分支

论文图 4。原论文 Figure 4：“Overview of the SoftPrompt-TSD framework.”。

上图训练阶段显示语言标签进入顶部提示组成器，语音经音频分词器与嵌入层、硬提示经文本分词器汇入前置提示拼接点，随后进入多头注意力和前馈等 Transformer 层，语言模型头输出后算交叉熵损失并只回传到提示组成器；推理阶段显示语音、语言标签有无、硬提示共同进入模型，若标签可用则保留语言残差，否则只用前两段提示，最终输出安全或毒性之一。该图支持的判断是梯度路径被限制在提示参数内，骨干不参与更新。

三段软提示各自管什么，为什么这样拼？

软提示白话说是拼在输入前面的一组可训练连续向量。英文是 soft prompt。它不对应自然语言词，而是靠梯度学到的引导向量。前置拼接后，冻结模型的注意力可以看到这段额外上下文，从而改变后续表示而不改模型权重。

音频语言模型 × 软提示： 音频语言模型分工是提供冻结的语音分词器、文本分词器、Transformer 堆叠和语言模型头，用于编码声学与指令；软提示分工是提供可训练的连续向量前缀，用于在不改骨干参数时引导决策边界；搭配原因是生成式预训练目标与判别式毒性检测目标不对齐，组合后只优化提示参数即完成任务对齐和多语言适配。

论文把完整提示拆成 3 段。第一段是任务特异提示，所有语言共用，负责把生成式骨干拉向毒性检测任务，学习与语言无关的高层判别模式。第二段是多语言共享提示，也是所有语言共用，负责捕捉跨语言共同的声学语言结构。第 3 段是语言特异残差提示，每个语言或口音存一份，与共享提示相加使用，负责捕捉特定辱骂表达、音系线索或声学环境。最终组合形式是任务段拼接共享加残差，训练时按语言标签检索对应残差。

多语言共享提示 × 语言特异残差提示： 多语言共享提示分工是跨语言学习共同的声学语言结构，所有语言共用同一组参数；语言特异残差提示分工是为每个语言或口音存一组残差增量，捕捉特定辱骂模式和发音环境；搭配原因是共享带来迁移、特异带来校准，组合成共享加残差的形式既让梯度汇聚到通用规律，又把个性偏差约束在小范数残差里。

任务特异提示 × 硬提示指令： 硬提示指令分工是给出固定自然语言要求，即把音频判为毒性或安全且只输出一个词；任务特异提示分工是给出全局可学习的任务向量，把冻结模型拉向毒性检测的分类目标；搭配原因是硬指令语义明确但表达能力弱，组合后硬指令稳定输出格式，软任务向量建立可优化的决策边界。

优化上 3 组用不对称学习率与权重衰减。任务段最小，聚合所有语言梯度求稳；共享段中等，保持跨语言灵活性；残差段最大学习率加密确正则，鼓励学细粒度偏差但防过拟合。残差还加了按范数的显式正则，促使通用规律留在共享部分，个性留在残差部分。论文未报告具体数值超参数如提示长度、正则系数和学习率数值，这是复现时需要对照代码补齐的缺项，不能从模型名推定。

数据怎么建成，标注与质检如何执行？

数据集构建分两路取数。一路是来自社交媒体和在线社区的用户生成语音评论，自然含有毒性内容。另一路是文本评论经在线合成语音工具生成，用多男声女声并在合理范围内随机扰动音高和语速，再经 3 人盲测一致认为是真人语音才保留，以避免过于均匀的合成腔。两路汇成原始语音后进入过滤，再进入人工标注。

标注标准区分词汇语义毒性与言外实用毒性。前者看说了什么，如辱骂歧视和性侮辱；后者看怎么说和起什么效果，如蔑视语气、威胁韵律、伪装成玩笑的持续贬低。安全与边界情形明确排除无恶意俚语、指向非人目标的抱怨、自指发泄除非被用作针对他人的敌意手段，以及双方共识的玩笑。每条语音由 3 名具备目标语言能力的标注员独立听完全段后判毒性或安全，只有 3 人一致才保留，不一致则作为模糊样本删除。

质检由独立的乙组执行。前导读：下面这张流水线图把数据源与人工标注左右分栏展示，左侧注意合成语音的过滤淘汰分支，右侧注意甲组标注与乙组抽查之间的指导与回流关系。

看图路径： 1. 先沿左侧蓝色语音数据源看社交媒体语音评论和文本评论经合成语音汇入原始语音的路径；2. 再看右侧绿色人工标注区标注组甲与抽查组乙之间标注指导和回流箭头；3. 最后确认标签聚合加质量控制汇入最终数据集的出口

论文图 2。原论文 Figure 2：“Overview of the PolySpeechTox construction pipeline.”。

上图左侧蓝色区显示语音评论直达原始语音，文本评论经合成语音与过滤过程汇入；右侧绿色区显示甲组先按标注指导判毒性或安全并做标签聚合，乙组对 40% 抽查样本独立标注并聚合，双方经质量控制后形成最终数据集。该流程支持的判断是标注一致性经过组间协议率与 Kappa 双阈值把关，未达标整批打回重标，重标后重新进入质检循环。

最终规模与资源分层是理解泛化实验的前提。下表直接选用原文矩阵的前几行，用于说明每种语言口音都同时保留毒性与安全样本且量级相近，避免把单类数据当成评估。

上表截取原文分布表的前 6 个语言口音行，表头为语言与毒性安全计数及总数。可以看到南非荷兰语、阿尔巴尼亚语、阿姆哈拉语及多个阿拉伯语口音各有约 90 条左右的安全样本和 130 条左右的毒性样本，说明评估不是只测单一类别。代价是该表只展示头部行，不能据此推断全部 53 种的分布，完整分布需看原文附录与环形分布图。未胜出项是部分口音总数明显更大，如摩洛哥阿拉伯语，采样不完全均衡，跨口音比较时需注意样本量差异。

实验条件如何保证比较公平？

骨干统一用 MiMo-Audio-7B 并全程冻结，只优化所提提示参数。训练用 AdamW，批量为 4 并经 4 步梯度累积，带预热的线性学习率调度，按验证集 AUC 选最优检查点，启用时按验证 AUC 早停。论文未报告具体学习率数值、预热步数和提示长度，这些是复现前必须从代码确认的缺项。

数据划分上自建数据按训练验证测试为 6 比 2 比二切分，所有基线在同一划分下重训，而非直接用现成检查点，保证比较条件一致。外域数据用 MuTox 的可用子集，原文说明因部分原始音频链接不可达，过滤后剩 14 种语言共 16097 条，其中毒性 1823 条、安全 14274 条，类别明显不平衡，因此 ROC-AUC 比阈值依赖指标更合适。

基线分 3 类。第一类是端到端重训基线，包括基于语音嵌入加 3 层前馈的 MuTox 分类器、基于 wav2vec2 加投影与池化的 E2E 分类器、基于元学习的少样本 FSL 分类器。第二类是级联基线，统一用 Whisper 大三版转写，再接 Detoxify、XLM-R 毒性分类器或 Qwen2.5-7B 的提示调优与 LoRA。第 3 类是同骨干同预算的参数高效基线，即作用于注意力投影的 LoRA 与前缀调优，用于证明增益来自提示分解而非一般高效微调。主指标为微平均 ROC-AUC，F1 只在附录给出，不能把两类指标混为一列比较。

主结果测什么，谁在什么条件下赢了多少？

主结果测在同一划分下各方法按条微平均的 ROC-AUC，方向越高越好。比较问题是冻结大模型加分解提示是否在多语言多口音上同时超过重训的端到端基线、级联基线和同骨干高效微调，公平条件是同一训练验证测试划分与同一评测聚合口径。

上表把原文连续句中的关键数字整理为五列，指标单位为 AUC 100 分制小数，聚合对象为全部语言口音的评测条目。主要收益是本方法以约 11 到 20 个百分点的优势超过各级联基线，并以约 4 到 5 个百分点的优势超过同骨干 LoRA 与前缀调优，说明增益不只是用了高效微调。具体代价与反例是级联在标称被下游分类器覆盖的语言上仍因转写错漏而下滑，低资源口音分支尤其明显；未胜出项是部分语言如阿拉伯叙利亚口音本方法也只在 60 左右，说明总体趋势不等于每组都强。

跨语言泛化 × 跨口音泛化： 跨语言泛化分工是检验在高资源或中等资源语言上训练后对未见低资源语言的效果；跨口音泛化分工是检验在同一语言内用部分口音训练后对另一低资源口音的效果；搭配原因是二者分别对应词汇系统差异和声韵实现差异，组合评估才能说明提示分解是学到毒性通用线索还是只记住训练口音。

跨语言与跨口音的泛化进一步支撑该判断。用高资源或中等资源训练、低资源测试时，本方法保持在 95 到 96 左右，而基线明显回落；用部分口音训练、另一低资源口音测试时，本方法在中文、英文、阿拉伯 3 组上分别为 81.00、74.37、82.74，均高于基线。限制是这些泛化数字仍低于域内主结果，且外域互测时所有方法都下滑，说明分布偏移依然存在，只是本方法下滑更小。

拿掉一段提示会发生什么，单段能走多远？

消融测每段提示的必要性。比较问题是 3 段中哪段最关键、单段与完整组合差多少，公平条件是同一冻结骨干与同一评测集，只改变提示组成。原文报告只用固定指令而无可训练提示时 AUC 仅为 55.49，接近随机，说明冻结模型本身不足以做毒性检测，适配必不可少。

单段变体中只用任务段、只用共享段、只用残差段各达到约 94 到 96 左右，其中残差单段最强，但仍低于完整组合的 98.07。去掉任一段都会下滑，去掉残差下滑最大，说明全局对齐、跨语言共享与语言校准互补。F1 附图呈现同样排序，完整模型最高，单残差次之，无提示最低，但 F1 绝对值低于 AUC，不能把两类指标直接相减比较。

失败条件也值得保留。基线在匈牙利语、西班牙语等个别语言上出现严重失效，E2E 与 FSL 的跨语言迁移在中等资源训练时退化更大，说明强依赖训练语言直接监督的模型更容易过拟合声学或词汇细节。本方法的残差若正则不足也可能过拟合低资源语言，这是原文用不对称优化与显式正则来约束的原因，但具体阈值未报告，复现时需做敏感性验证。

哪些结论有边界，哪些量没有被测量？

论文明确报告的局限是只用单一冻结骨干 MiMo-Audio-7B 构建框架，因当时无更大或更小变体可用，无法系统考察骨干规模与提示适配的交互，观测到的性能是否随规模继续提升或饱和待验证。这是直接报告，应表述为报告显示单骨干结论成立，跨骨干外推属于待验证。

未测量的量包括推理延迟、训练与推理算力开销、输出帧率与误判率的人工复核成本。论文给出批量与梯度累积等训练设置，但未报告硬件型号、耗时与显存占用，也未报告阈值选定后的假阳性分布。因此不能承诺本方法改善了延迟或成本，只能说参数更新量远小于骨干，属于参数高效。

数据边界同样重要。合成语音虽经 3 人盲测过滤，仍可能残留人工痕迹；不一致标注被删除虽提升训练稳定性，但也移除了最具争议的边界样本，实际部署会遇到更多模糊情形。隐私上论文说明只用公开用户生成语音并去除可识别信息，标注员被告知可随时退出并有休息与心理支持，这些是伦理条件而非性能证据。

要复现先准备什么，按什么顺序跑？

先确认资源可达性。数据集链接当前可用，地址为论文给出的代码仓库，合成语音工具链接当前可用，状态码均为 200。可用不等于开箱可运行，还需核对仓库中的划分脚本、语言口音标签文件与评测聚合代码是否与正文 6 比 2 比二一致。

再准备数据与标签。按原文先复现过滤与 3 人一致保留规则，单独跑通 40% 抽查的组间一致率与 Kappa 计算，确认双阈值分别为 0.98 与 0.8。资源分层按原文附录分为高资源 12 种、中等 15 种、低资源 17 种，跨语言泛化需严格按资源层划分训练与测试，避免把测试语言的样本漏入训练。

然后复现模型。冻结 MiMo-Audio-7B 全部参数，只建任务提示、共享提示与语言残差查找表，按语言标签拼接为任务加共享加残差。固定硬指令要求只输出毒性或安全，取两标签词 logits 做二分类交叉熵，加残差范数正则，用 AdamW 加梯度累积训练并按验证 AUC 选点。推理分两支：标签已知则带残差，标签未知则只用前两段。基线复现必须在同一划分下重训 MuTox、E2E、FSL 与各级联，不能直接引用外部检查点分数。

上表把原文连续句中的规模与主结果数字整理为五列，用于复现前核对数据量级与目标值。主要收益是数字口径清晰可核对，具体代价是超参数与硬件预算缺失，复现时需先跑小规模网格确认提示长度与正则系数，再补延迟与显存测量，不能把参数高效直接等同于推理更快。

何时值得尝试，还需补哪项验证？

当任务是多语言多口音毒性语音检测，且只有冻结音频大模型可用、标注预算有限时，值得尝试本方法。适用条件是训练时有语言口音标签可做路由，推理时允许标签缺失回退到通用提示。先做域内复现，再做高资源到低资源与跨口音的零样本迁移，最后做跨语料库互测，3 步都保留同一聚合口径才能比较。

还需补的验证包括换骨干后的效应、提示长度与正则系数的敏感性、阈值选定后的误判分析，以及真实模糊样本上的表现，因为训练集已删除不一致样本。相关工作对照应按同输入同目标同监督同运行阶段进行，不把文本毒性分类的分数直接当成语音端到端分数，也不把事后最优阈值当成可部署收益。只有补齐这些，才能把微平均 AUC 的优势转化为线上可用的稳定策略。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

区域 4 · 查看论文原页

区域 5 · 查看论文原页

区域 6 · 查看论文原页

区域 7 · 查看论文原页

另有 24 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 acl-2026 论文汇总