英文题目：MMBERT: Scaled Mixture-of-Experts Multimodal BERT for Robust Chinese Hate Speech Detection Under Cloaking Perturbations
会议身份：
conference:aaai:2026:conference-paper-id:40715
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#内容审核 #混合专家模型 #多模态学习 #对抗鲁棒性 #音频分类
评分：5.7/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Qiyao Xue：机构信息未能从会议 PDF 纯文本可靠映射
- Yuchen Dou：机构信息未能从会议 PDF 纯文本可靠映射
- Zheyuan Ryan Shi：机构信息未能从会议 PDF 纯文本可靠映射
- Xiang Lorraine Li：机构信息未能从会议 PDF 纯文本可靠映射
- Wei Gao：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
中文仇恨言论检测输入为社交文本，输出为仇恨与非仇恨二分类，难点在于变形字、同音替换、缩写与语码混杂等伪装扰动使纯文本语义失效。MMBERT首先用语音合成模型生成对应语音并渲染词级字形图，将缺失听觉与视觉线索的纯文本补成三模态输入。接着语音编码器与视觉编码器分别抽取声学与字形特征，经线性模态对齐器投影为与词嵌入同空间的软词元并与文本词元拼接。最后拼接序列送入混合专家增强的BERT块，经共享自注意力交互后由路由器按输入动态加权调用文本、语音、视觉专家，再经三阶段渐进训练完成对齐、专家特化与联合微调。与固定嵌入融合的ChineseBERT相比，关键差异是按扰动类型自适应分配专家权重以调用语音与视觉线索，具有输入敏感的鲁棒意义。在ToxiCloakCN基准下，文本语音融合的F1为91.1，高于纯文本的86.1。该结论适用边界限于中文三数据集与合成多模态输入，真实语音图像与跨平台泛化尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 第三方资源：https://huggingface.co/Qwen — 暂时无法访问
- 第三方资源：https://huggingface.co/DeepSeek-AI — 暂时无法访问
- 第三方资源：https://openai.com/index/gpt-4o — 链接不可用（HTTP 403） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，本文要解决哪一步？
本文的输入是中文社交媒体上的短文本，目标是判断它是否属于仇恨言论或冒犯性内容。难点不在于正常措辞，而在于发布者会有意做伪装，让机器看不懂但人能看懂。输出是一个二分类或多分类标签，评价用准确率、宏精确率、宏召回率和宏 F1 分数，数值越高表示分类越好。
对于刚进入语音与音频方向的研究生，可以把任务理解为带对抗噪声的文本分类。噪声不是加在波形上的高斯噪声，而是语言层面的变形：把字拆开、换同音字、缩写成拼音首字母、混入拼音或表情。纯文本模型看到的是被改写后的字面序列，很容易误判为无害。
本文选择的技术路线是补齐另外两个通道。第一是语音通道，把文本用语音合成模型读出来，再用语音编码器提取发音表示，这样同音替换在文字上不同但在声音上相近。第二是视觉通道，把每个词渲染成字形图像，再用视觉编码器提取字形表示，这样拆字和变形在图像上仍保留部件线索。3 个通道一起判决，是全文的主线。
需要保留的关键信息是数据来源、模型结构、训练分阶段安排、基线类型与实验条件。本文不做语音识别或语音生成质量评价，只把语音和图像当作辅助文本分类的证据。后续各节按学习依赖展开，先讲伪装类型与已有路线，再走完一个样本的前向过程，然后讲 3 阶段训练与实验对照。
已有路线做了什么，为什么还不够？
第一条路线是英文仇恨言论检测的积累，包括数据、去偏与分类方法，但直接搬到中文会遇到汉字特有的字形与发音问题。第二条路线是用大语言模型做中文仇恨检测或内容审核，做法多为提示学习和少样本示例，优点是不需要微调，缺点是本文报告在伪装数据上提升有限，对领域对抗样本的适应不足。
第 3 条路线是中文建模中加入字形与拼音，例如 ChineseBERT 同时加入字形嵌入与拼音嵌入，用多字体刻画视觉特征，用拼音消解多音字，在命名实体识别与情感分析上有效。类似还有引入实体知识或视觉线索的模型。这类方法的局限在正文中有明确判断，即多把融合做在嵌入层，而编码器本身仍是固定的，难以按输入动态调整对不同模态的依赖。
第四条路线是多模态大模型中的混合专家，例如用稀疏激活的专家模块处理不同模态，或用双路由平衡泛化与记忆，或用模块化扩展降低重训成本。这些工作说明混合专家可以兼顾扩展性与模态分工，但多集中在视觉语言问答等生成任务。本文要做的是把混合专家放进判别式的 BERT 结构，用于中文仇恨分类。
字形信息 × 拼音信息： 字形信息负责刻画汉字的部件与视觉结构，有助于识别拆字和变形，拼音信息负责刻画读音，有助于消解同音替换与多音字，二者搭配的原因是中文伪装同时利用看和听两个通道的歧义，组合意义在于此前的 ChineseBERT 等工作已证明在嵌入层同时加入字形与拼音能提升中文理解，而 MMBERT 把这种思想从固定嵌入融合推进到可路由的专家级动态融合。
理解这段对照时不要把类别差异当成同条件胜负。嵌入层融合、提示学习与混合专家分类分属不同输入、不同监督与不同运行阶段，后文实验比较时要回到相同的划分、指标与可运行策略上看。
伪装具体长什么样，为什么纯文本会失效？
正文把中文伪装归纳为 4 类。第一是变形，利用汉字是表意文字的特点，拆解或重组部件并赋予感情色彩，例如把特定字拆成带有贬义联想的偏旁组合。第二是同音替换，用发音相近但字面不同的字替代敏感词，文字不同而读音相近。第三是缩写，把敏感词压缩为拼音首字母，例如用 3 个字母代表 3 个汉字的首字母，简短但懂拼音规则的人能还原。第四是语码混杂，混入拼音、英文近似发音或表情符号，既遮蔽关键词又加强语气，例如用拼音近似英文侮辱性发音，或在贬义词后加表情放大贬义。
纯文本模型的失效可以这样理解。分词与词嵌入依赖字面共现，遇到没见过的变形或缩写就变成生僻组合。上下文建模再强，也缺少发音是否相同、字形是否同源的直接证据。特别是缩写与混杂拼音，文本序列里只剩几个拉丁字母，语义高度欠定。
伪装扰动 × 多模态建模： 伪装扰动负责把仇恨意图藏进字形或发音的微小改动里，例如拆解偏旁、同音替换、拼音缩写和混入表情符号，多模态建模负责从文本之外的语音和字形图像中找回这些线索，二者搭配的原因是单看字面序列无法区分伪装与正常表达，而听读音、看字形可以恢复被遮蔽的语义，组合意义在于把文本的语义主干与语音的发音证据、视觉的字形证据放在同一表示空间中联合判决。
举一个教学例子帮助记忆，但不代表原文数值。假设正常词是某个敏感词，发布者换成同音字后，文本编辑距离变大而发音距离很小；若只看文本会判为正常，若同时听到合成语音的发音相近，就能把怀疑分数拉回来。视觉同理，拆字后文本变成两个生僻部件，但字形图像仍能看到原字的结构痕迹。这就是后文要构造语音与图像输入的动机。
MMBERT 让一个样本走完哪条路？
先沿一个样本走完全程。输入是一条中文文本。系统同时准备两份派生输入，一份是用文本转语音模型把该文本读成音频，另一份是把文本按词渲染成一系列字形图像。三份输入分别进入文本分词加词嵌入、语音编码器加语音对齐器、视觉编码器加视觉对齐器，得到维度 1 致的文本序列、语音序列与视觉序列，再拼接成一个长序列送入堆叠的 MMBERT 块，最后由分类头输出仇恨与否的预测。
MMBERT 块与传统 BERT 块的区别在于前馈部分被混合专家替代。每个块保留自注意力与加和归一化，用于跨模态上下文交换，然后由路由器决定当前表示更依赖文本专家、语音专家还是视觉专家，3 路专家的加权和作为该块输出。块重复 N 层，顶层表示进入分类头。
以下导读帮助对照官方结构图理解主路径与分支汇合位置，重点看底部 3 路输入如何汇入同一序列，以及中间共享层与上层专家层的关系。
看图路径： 1. 先从底部文本输入出发，跟踪文本分叉到字形图像与合成语音的两条生成箭头；2. 再看语音编码器加语音对齐器、视觉编码器加视觉对齐器与词嵌入如何汇入同一输入；3. 观察中间共享自注意力与上方混合专家中文本、语音、视觉三路专家加路由的连接方式；4. 最后确认顶部加和归一化重复 N 次后进入分类头的完整前向路径
论文图 1。原论文 Figure 1：“Illustration of MMBERT model structure. Compared to traditional BERT-based model, it leverages the MoE architecture to scale and effectively handle multiple modalities.”。
从像素可见，底部有文本输入、图像输入与音频输入 3 条支路，文本转语音模型同时指向音频与图像生成，表明后两者是文本的派生而非独立采集。上方三列分别为语音编码器加语音对齐器、视觉编码器加视觉对齐器、分词器加词嵌入，3 路输出汇入同一自注意力模块。自注意力上方是包含文本专家、语音专家、视觉专家与路由器的混合专家框，路由器用小柱状示意权重分配，3 路专家输出经加权汇合后再经顶部加和归一化进入分类头，整个虚线框标注重复 N 次。左下图例区分渐进训练、可训练与冻结的含义，阅读训练节时需要回看该图例。
对齐器、编码器与专家各负责什么计算？
编码器负责把原始信号变成特征。视觉用中文 CLIP 模型提取图像特征，语音用中文 Whisper 模型的编码器提取语音特征，文本用分词器加词嵌入得到词表示。对齐器负责把视觉与语音特征映射到 BERT 的语言嵌入空间，实现方式是各加一个可学习的线性投影，输出可视为软图像 token 与软语音 token。文本不需要额外对齐，直接用词嵌入。
对齐后的 3 个序列按文本、语音、视觉的顺序拼接。记文本长度为 n，语音长度为 m，视觉长度为 k，拼接序列作为第 0 层输入。每层先做层归一化加自注意力加残差，再做层归一化加混合专家加残差。自注意力是共享的，混合专家是分路的。路由器是一个轻量线性层，对当前表示计算 3 路权重，经归一化后与 3 路专家的输出加权求和。
混合专家 × 共享自注意力： 共享自注意力负责让拼接后的文本、语音、视觉序列先做跨位置的信息交换，建立统一的上下文表示，混合专家负责把同一表示按需要分给文本专家、语音专家和视觉专家做专门的非线性变换，二者搭配的原因是如果每层都完全分开建模会失去跨模态对齐，如果完全共享又难以处理各模态特有的扰动，组合意义在于先共享上下文再按模态分工，既保留全局语义又获得对同音和字形变形的针对性处理。
视觉与语音对齐的数学形式在原文中定义为对各自编码器输出做对齐器投影，并把词级图像嵌入拼接为视觉序列，符号含义是输入图像块经视觉模型编码后再经视觉对齐器，输入音频经语音模型编码后再经语音对齐器。
\[Ii = VisionAligner(CLIP(Ii)) V = [I1, . . . , Ik]\]上式中 T 为文本词嵌入序列，S 为语音对齐后序列，V 为多张字形图像对齐并拼接后的序列，大括号表示 3 类输入的集合，方括号表示序列拼接。理解时先确认输入是派生数据，再确认输出维度已与 BERT 兼容。
拼接后每层的输入构造与块内计算按首层拼接与注意力加专家两步进行，首层把 3 段序列拼成统一输入，后续层在共享注意力与专家加权之间交替更新。
\[Xl0 = [T1\]上式中 X 表示拼接后的统一序列，下标表示层与块内位置，上标 a 表示注意力子层输出，LN 为层归一化。目标是让同一序列既能做跨模态注意力，又能在专家层按模态分工。原文未给出路由器内部除线性层外的更多细节，不应从名称推定门控形式。
模态对齐器 × 混合专家： 模态对齐器负责把语音编码器和视觉编码器的输出经线性投影映射为与 BERT 词嵌入维度兼容的软 token，混合专家负责在 BERT 块内部消费这些已对齐的 token，二者分工是前者解决维度与语义空间不一致，后者解决不同输入条件下该信任哪个模态，搭配的原因是未经对齐的多模态拼接会让路由和专家学到错位的相关性，组合意义在于先把异构信号拉到同一语言空间，再让路由做有意义的加权。
复述时要能说清梯度与冻结的边界在训练节才完整交代，本节只记前向分工。编码器提供模态特征，对齐器解决空间一致，路由器解决按需加权，专家解决模态内专门变换。
三阶段训练每步冻结谁、更新谁、用什么监督？
直接把混合专家插入 BERT 并做多模态联合训练会出现不稳定与性能下降，这是原文引入渐进训练的理由。3 阶段按先对齐、再专精、最后联合调度的顺序展开，目标是让跨模态映射与专家分工逐步就位，而不是 1 次学会所有事。
阶段一是对齐器训练。输入仍是文本及其派生的语音与图像，监督是均方误差，让语音与视觉分支经对齐器与 BERT 编码后的文本表示靠近。为了对扰动敏感，训练中还把由扰动文本生成的语音与图像表示往对应无扰动文本的表示上靠。这 1 阶段主要更新对齐器，为后续专家提供已对齐的输入。
阶段二是专家训练。模态专家独立用跨模态数据训练各自领域，监督是分类交叉熵，同时继续适配阶段一得到的对齐器权重，使其更好刻画仇恨分类任务下的模态特性。为让异构数据能投影到统一语言空间，原先在文本上训练的分类头被共享到其他模态。阶段三是整体微调，把训练好的专家装入混合专家层，用上下文感知的路由按语义相关性分配表示，并用辅助损失鼓励专家均衡使用，分类头联合微调输出最终预测。
以下导读对应 3 阶段示意图，重点看权重复制箭头与每阶段的可训练位置。
看图路径： 1. 先对照左上角图例区分可训练初始块、可训练适配块、冻结块与权重复制虚线；2. 再按阶段一到阶段三的顺序看对齐器权重与专家权重是何时复制到下一阶段；3. 观察阶段二中三路并行的语音、视觉、文本分支各自保留哪个分类头做监督
论文图 2。原论文 Figure 2：“Illustration of MMBERT Training strategy. (a) Stage 1: Aligner training, (b) Stage 2: Expert training, (c) Stage 3: MMBERT tuning”。
从像素可见，图分三栏对应阶段一到阶段三。阶段一底部为 3 路输入，顶部为语音、图像、文本 3 路预测与均方误差监督，中间对齐器为可训练初始色。阶段二为 3 路并行的含自注意力与前馈的编码器结构，底部对齐器变为适配色并标注复制对齐器权重，顶部前馈标注复制专家权重。阶段三右侧为完整 MMBERT 结构，3 路专家均为适配色并标注复制专家权重，底部对齐器延续适配结果，顶部经分类头输出预测。左上图例明确实线为前向路径、虚线为权重复制，阅读时应沿虚线确认知识是如何从前 1 阶段搬运到后 1 个阶段，而不是重新随机初始化。
总损失为交叉熵加辅助损失的加权和，辅助项与路由到每个专家的序列比例及平均门控概率有关，专家总数、比例与平均门控概率的符号含义如下式所示。
\[Ltotal = Lcross-entropy + α · Laux Laux = N ·\]上式中交叉熵负责分类正确，辅助项负责均衡使用专家，系数控制两者 trade-off。原文未报告该系数的具体取值与搜索过程，这是复现时需要补记的缺项，不应猜测默认值。
路由分配 × 辅助损失： 路由分配负责根据当前表示的语义相关性计算每个模态专家的权重，辅助损失负责约束路由不要长期只用某一个专家，二者分工是前者追求按需选择，后者追求负载均衡，搭配的原因是纯交叉熵会让路由坍缩到最好优化的单路专家，组合意义在于在保持分类目标的同时维持 3 路专家的有效协作。
需要提醒的是冻结与更新的细节只在正文文字层面描述，未给出逐层学习率、冻结轮次或梯度截断等实现，复现时应以原文为准并记录缺项，不能从编码器名称推定其是否冻结。
在哪些数据、基线与协议下比较，指标方向是什么？
数据用 3 个中文仇恨与冒犯数据集。ToxiCN 提供自然中文文本的标准仇恨标注，作为常规分类基线。ToxiCloakCN 提供带语码混杂与同音替换的伪装样本，专门考验文本检测器的鲁棒性。COLD 覆盖更广的冒犯内容，考验跨毒性类型的泛化。三者构成从常规到对抗再到开放域的对照。
比较对象分两类。编码器基线包括 BERT、BERT 全词掩码版、RoBERTa 与融合字形拼音的 ChineseBERT，均在编码器池化输出上加全连接分类层做微调。解码器基线包括 GPT-3.5、GPT-4o、LLaMA3-8B、Qwen2.5 系列与 DeepSeek-v3，采用统一提示的少样本推理，并设置仅无扰动示例、加入扰动示例、再加思维链等不同提示条件。微调模型与提示模型的运行阶段不同，对照时应区分参数更新与上下文示例的作用。
协议上所有数据集按 8 比 1 比 1 划分为训练、验证与测试，用早停防止过拟合，微调模型在测试集上保留最好超参数，实验在英伟达 H100 上运行。指标为准确率、宏精确率、宏召回率与宏 F1 分数，均为越高越好，其中宏平均对各类别平等加权，更能反映仇恨类别的识别质量。
下表提出本节的比较问题，即 3 个数据集的规模与用途是否覆盖常规、对抗与泛化 3 个层次，表中规模数字与划分比例均来自原文连续表述，阅读时注意划分比例是 3 段划分而非两段。
| 数据集 | 样本量 | 用途定位 | 划分与训练控制 |
|---|---|---|---|
| ToxiCN | 12,011 samples | 自然文本标准仇恨基线 | 8 比 1 比 1 划分，早停 |
| ToxiCloakCN | 4,582 cloaking perturbed examples | 语码混杂与同音替换的对抗鲁棒性 | 8 比 1 比 1 划分，早停 |
| COLD | 37,480 samples | 更广冒犯内容的泛化 | 8 比 1 比 1 划分，早停 |
上表说明常规、对抗与开放域 3 个层次都有对应数据，样本量从 4 千到 3 万 7 不等，划分一致使跨数据集比较更公平。代价是原文未报告随机种子、划分重复次数与显著性检验，跨数据集的微小差距需要谨慎解读。未评测边界包括真实采集的语音与图像缺失，语音与图像均为文本派生，这一条件限制了结论向真实多模态场景的直接推广。
主结果测什么，谁在什么条件下胜出？
主结果要回答在相同划分与相同四项指标下，多模态混合专家是否同时在常规、伪装与开放域上优于微调编码器与提示大模型。公平条件是微调模型都经过超参数选择并取测试集最优，提示模型用统一提示框架，指标方向均为越高越好。
下表聚焦伪装最重的 ToxiCloakCN，把 MMBERT 的宏 F1、相对最强微调基线的提升点数、以及提示模型在基础与思维链条件下的 F1 放在同一行，便于判断差距来自模型结构还是提示技巧，表中数字全部来自原文连续句子而非自行计算。
| 数据集 | MMBERT 的 F1 | 相对 ChineseBERT 提升点数 | GPT-4o 基础提示 F1 | GPT-4o 思维链后 F1 |
|---|---|---|---|---|
| ToxiCloakCN | 95.2 | 8.4 points | 62.4 F1 | 69.3 F1 |
上表显示在伪装数据上 MMBERT 报告 95.2 的宏 F1，相对 ChineseBERT 提升 8.4 个百分点，而 GPT-4o 基础提示仅 62.4，加入扰动示例与思维链后到 69.3，仍远低于 MMBERT。结合原文，MMBERT 在 ToxiCN 与 COLD 上也报告 92.2 与 85.8 的宏 F1，相对 ChineseBERT 分别提升 1.6 与 3.6 个百分点，说明常规与开放域也有增益但幅度小于伪装场景。代价是这种比较混合了微调与提示两种运行阶段，提示模型的不足不能直接等同于其参数能力不足。
以下导读对应专家负载分布图，用于解释路由是否按扰动类型自适应调整，而不是只看总分。
看图路径： 1. 先确认横轴为混合专家层序号 1 到 12，纵轴为百分比，三色分别对应文本、语音、图像专家；2. 再对比左中右三组堆叠条形在无扰动、同音扰动与语码混杂下的颜色比例变化；3. 重点观察同音条件下蓝色语音段在浅层是否变高，混杂条件下绿色图像段是否占优
论文图 3。原论文 Figure 3：“Distribution of expert loading with different input perturbation types, left: non perturbation, middle: homophonic perturbation, right: code-mixing perturbation”。
从像素可见，3 组堆叠条形分别对应无扰动、同音扰动与语码混杂，每组横轴为 12 个混合专家层，纵轴为百分比。无扰动时橙色文本专家在中层占比较高，蓝色语音与绿色图像相对稳定。中间同音扰动下蓝色语音段在浅层与中层 visibly 变高，文本保持稳定而视觉略降。右侧语码混杂下绿色图像段在多数层占优，文本在浅层参与较多而语音下降。该模式支持路由按输入特性动态调整的判断，但属于有限解释而非因果证明，原文未做路由干预实验来验证去掉某路专家的必然影响。
需要就近说明未胜出项。传统编码器在 ToxiCN 上表现接近，COLD 上整体分数偏低但 MMBERT 仍保持最好召回。提示模型中 Qwen2.5-72B 与 DeepSeek-v3 在思维链下也有 modest 提升，但均未改变排序。百分点与相对百分比不同，此处 8.4 等为百分点差值，不应读成相对提升 8.4%。
拿掉训练阶段或模态会发生什么，代价是什么？
消融要回答两个问题，一是 3 阶段中哪一段不可少，二是语音与视觉谁的补充作用更大。条件是同一 ToxiCloakCN 数据、同样训练 50 轮与相同设置，只改变阶段组合或输入模态，观察训练损失与验证准确率或准确率与 F1 的变化。
训练策略消融比较完整 3 个阶段、去掉对齐预训练、去掉专家专精、以及两段都去掉 4 种配置。原文报告完整管线训练损失最低且验证准确率最高，收敛稳定而泛化强。去掉对齐会导致收敛变慢且验证不稳，说明跨模态映射次优。去掉专家专精会导致准确率下降而损失升高，说明专家表示学习关键。两段都去掉时过拟合最快且泛化最差。以下为该消融的训练动态图导读。
看图路径： 1. 先按图例区分三阶段完整训练、去掉阶段一、去掉阶段二与都去掉的训练与验证曲线；2. 再看横轴 50 个轮次内黄色完整训练的训练损失是否下降最快且验证准确率爬升最高；3. 观察去掉两阶段的红色曲线是否出现训练损失难下降而验证准确率停滞的现象
论文图 4。原论文 Figure 4：“Ablation study evaluating the impact of each stage in the proposed three-stage training strategy”。
从像素可见，横轴为 50 个轮次，纵轴为损失与准确率共享刻度。黄色完整 3 阶段的训练损失从高位持续下降到约 0.2 附近，验证准确率从约 0.57 爬升到约 0.97 附近，为 4 组中最好。绿色去掉阶段一与蓝色去掉阶段二的验证曲线明显更低，红色两段都去掉的训练损失长期停留在高位而验证准确率停滞在约 0.6 附近。阅读时注意纵轴同时放损失与准确率，曲线向下不一定是性能变差，需要按图例区分训练损失下降为好与验证准确率上升为好。像素不能精确读出每轮数值时不应硬写，只做趋势判断。
模态消融比较纯文本、文本加语音、文本加视觉三档。下表聚焦 ToxiCloakCN 的 F1，表中数字来自原文连续句子，指标单位按原文为 F1 分数。
| 数据集 | 指标 | 纯文本 | 文本加语音 | 文本加视觉 |
|---|---|---|---|---|
| ToxiCloakCN | F1 score | 86.1 for text-only | 91.1 for text–speech | 86.6 text–vision |
上表显示加语音从 86.1 到 91.1，提升明显，而加视觉到 86.6 几乎持平，支持语音线索对伪装更关键的判断。原文还报告在 ToxiCN 与 COLD 上文本加语音同样最好，但具体数值未在连续句子中完整给出，此处不硬补。代价是语音来自合成而非真实录音，视觉来自字体渲染而非真实配图，因此语音更强的结论只在派生多模态条件下成立。未评测边界是 3 模态全加与单语音单视觉的完整对照缺失，不能从两两组合推定三者联合的精确增量。
哪些结论有边界，什么还没有被验证？
首先是输入真实性边界。语音由文本转语音模型合成，图像由词级字体渲染生成，好处是可大规模构造配对数据，代价是与真实场景中的口音、噪声、截图字体与排版仍有差距。论文直接报告的是在派生数据上的鲁棒性，是否能推广到真实语音与真实图片配文的仇恨检测属于待验证。
其次是基线与协议边界。微调模型取测试集最优超参数，提示模型用少样本与思维链，这种比较能说明可部署策略的差距，但不能说明参数规模相同下的结构优劣。原文未报告多次随机种子的方差与显著性，也未报告误判率、延迟与推理成本，因此不能承诺误伤更低或部署更快。总体趋势不等于每层每步都成立，路由分析展示的是平均权重分布，不能推广为每个样本都如此分配。
第三是资源可达性边界。本次收到的官方资源状态显示，第三方模型页面本次未能确认可达或当前不可用，论文代码链接在原文中给出但本次未做可达性验证。引用 GPT-4o 等闭源结果时应注明其为特定时间的接口行为，不宜当作固定基线。缺失证据不是技术错误，但在复现前应把超参数、辅助损失权重与编码器冻结细节列为缺项清单。
要复现先做什么，需要准备什么条件？
第一步是准备数据与划分。按原文取 ToxiCN 12,011 条标准样本、ToxiCloakCN 4,582 条伪装扰动样本、COLD 37,480 条样本，用 8 比 1 比 1 划分训练验证测试并加早停。先用纯文本 BERT 跑通分类基线，确认四项指标的计算口径为宏平均，再逐步加入派生模态，避免 1 次引入所有复杂度。
第二步是构造派生多模态。文本转语音需要选定中文语音合成模型并固定说话人与采样率，字形图像需要固定字体、字号与渲染方式，保证同一文本每次生成一致。语音用中文 Whisper 编码器加线性投影，视觉用中文 CLIP 加线性投影，投影维度与 BERT 词嵌入对齐。阶段一用均方误差把语音与视觉表示往 BERT 文本表示上拉，并包含扰动到无扰动的对齐，阶段二用交叉熵训练专家并共享文本分类头，阶段三加入路由与辅助损失做联合微调。
第三步是记录缺项与对照。辅助损失权重、学习率、冻结层、训练轮次除消融中 50 轮外多未完整报告，需要自己网格记录并保留验证曲线。基线要同时保留可运行的微调编码器与统一提示的大模型，不能用事后最优值代替可部署收益。硬件原文为 H100，复现时应记录 batch 大小与显存占用，训练资源与推理延迟分开讨论。
何时值得尝试这种做法，如何一句话记住它？
当任务满足 3 个条件时值得尝试。一是错误集中在同音、变形与缩写等可发音或可视化恢复的伪装，二是能用合成语音与渲染字形大规模构造配对数据，三是允许分阶段训练与维护多专家结构。如果伪装主要是语义隐喻或常识推理，语音与字形的增益可能有限，此时应优先补标注与领域微调。
一句话记住，MMBERT 是先把听到的读音与看到的字形对齐到 BERT 能懂的语言空间，再让路由器按输入决定更信文字、读音还是字形，3 阶段训练保证对齐先行、专家专精、最后联合调度。在伪装最重的 ToxiCloakCN 上该做法报告最高的宏 F1，而在常规与开放域上增益变小，提示其价值集中在对抗鲁棒性而非全面替代文本建模。
对初学者的可核对动作是，先复述 4 类伪装的定义，再画出文本到语音与图像的两条派生箭头，然后说清共享注意力与混合专家的先后关系，最后用两张表核对主结果与模态消融的数字与条件。能做到这 4 步，就抓住了本文可复述的方法与证据边界。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses