(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221089190 3.8 (22)申请日 2022.07.27 (71)申请人 方盈金泰科技 （北京） 有限公司 地址 102300 北京市门头沟区龙西路58号 永定镇政 府办公楼YD169 (72)发明人 张连新　郑海　王靖午　 (74)专利代理 机构 北京棘龙知识产权代理有限 公司 11740 专利代理师 杨培芳 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/232(2020.01) G06F 40/30(2020.01) G06N 20/00(2019.01) (54)发明名称 基于对抗训练和对比学习的中文多模态对 抗样本防御方法 (57)摘要 基于对抗训练和对比学习的中文多模态对 抗样本防御方法包括： 对文本数据集进行预处 理； 将训练集中每个批次的样 本依次输入进原始 防御模型中执行前向计算得到每批次样本的样 本向量； 计算当前批次样本在原始防御模型损失 函数下的梯度及对抗扰动生 成对抗样本； 将对抗 样本输入到原始防御模型中得到当前批次对抗 样本的特征向量； 改造损失函数， 通过损失函数 最小化训练原始防御模型； 训练得到当前批次样 本的改进防御模 型， 选取在验证集上表现最好的 改进防御模 型作为最终防御模型。 本方法针对中 文拼写检测性能有限且无法并行化运行， 运行速 度慢的问题， 改进融合中文字音、 字形、 字义信息 的多模态ChineseBERT模型， 使其能够更好地防 御真实环境中的中文 对抗样本攻击 。 权利要求书2页 说明书5页 附图1页 CN 115309897 A 2022.11.08 CN 115309897 A 1.基于对抗训练和对比学习的中文多模态对抗样本防御方法， 其特征在于， 所述方法 包括： 步骤一： 对文本数据集进行预处理： 将文本数据集按照一定比例划分为训练集、 测试集 和验证集， 并将训练集分为batc h_num批次， 每 个批次中有batc h_size个文本数据； 步骤二： 将训练集中每个批次的样本依次输入进原始防御模型中执行前向计算得到每 批次样本的样本向量， 其中， 所述原始防御模型为ChineseBERT模型， 所述样本为训练集中 每个批次中的文本数据； 步骤三： 通过FGSM算法进行反向传播得到当前批次样本在原始防御模型损失函数下的 字音嵌入的梯度 字义嵌入的梯度 和字形嵌入的梯度 并根据字音嵌入、 字义嵌入和字形嵌入的梯度分别计算字音的对抗扰动 字义的对抗扰动 和字形的对抗扰动 其中， LCE为 交叉熵损失函数， ∈为FGSM算法迭代的每步 步长， x为样本， 为梯度； 步骤四： 将字音的对抗扰动、 字义的对抗扰动和字形的对抗扰动分别加入到样本的字 音嵌入、 字义嵌入和字形嵌入中生成对抗样本的字音嵌入： x'1＝x1+radv1、 对抗样本的字义 嵌入： x'2＝x2+radv2、 对抗样本的字形嵌入： x'3＝x3+radv3； 其中， x'1是对抗样本的字音嵌入、 x′2是对抗样本的字义嵌入、 x'3是对抗样本的字形嵌入； 步骤五： 将对抗样本的字音嵌入、 字义嵌入和字形嵌入输入到原始防御模型中， 得到原 始防御模型对当前批次对抗样本的特 征向量F([x'1,x'2,x'3])； 步骤六： 改造损失函数， 计算当前批次中每个样本的损失值， 通过损失函数最小化训练 原始防御模型； 步骤七： 选择下一个样本， 重复步骤三到步骤六， 若当前原始防御模型损失值在一定训 练轮次内得不到提升， 或当前原始防御模型在 验证集上的准确率下降， 则停止训练， 得到当 前批次样本的改进防御模型； 步骤八： 选择下一个批次， 重复步骤三到步骤七， 计算所有批次样本的改进防御模型， 在所有批次样本的改进防御模型中选取在验证集上表现最好的改进防御模型作为最终防 御模型； 步骤九： 对新的对抗样本， 使用最终防御模型预测其类别， 若输出类别未发生改变则防 御成功。 2.如权利要求1所述的基于对抗训练和对比学习的中文多模态对抗样本防御方法， 其 特征在于， 文本数据集是所述文本数据集是Thucnews数据集、 豆瓣影评数据集、 携程平均评 论数据集、 通过Github代码托管网站获取的数据集中的一个。 3.如权利要求1所述的基于对抗训练和对比学习的中文多模态对抗样本防御方法， 其 特征在于， 所述 步骤三中∈的取值区间为[0,0.5]。 4.如权利要求1所述的基于对抗训练和对比学习的中文多模态对抗样本防御方法， 其 特征在于， 所述 步骤六的方法具体包括以下步骤： 选取当前批次中的一个样本向量和及其对抗样本的特征向量作为正样本对， 将该批次权　利　要　求　书 1/2 页 2 CN 115309897 A 2中其他样本的向量和其 他样本的对抗样本的特 征向量作为负 样本对； 将损失函数改造为： L ＝(1‑λ )LCE+λLCL； 其中， 交叉熵损失函数： 对比损失函数为： 其中， yi,c为真实概率， 为预测概率， F为原始防御模型， x+为正样本， x‑为负样本， i∈ N， N为一个批次中样本的数量， c为样本类别的数量， i为当前批次中的第i个样本， λ为权重 参数； 通过改造后的损失函数计算正样本对和负样本对的损失值， 通过最小化所述损失值拉 进正样本对距离、 拉远负 样本对距离； 对当前批次中的每一个样本向量及其正负样本对， 根据损 失函数计算其损 失值， 并将 损失函数回传更新模型的参数， 训练原 始防御模型。 5.如权利要求4所述的基于对抗训练和对比学习的中文多模态对抗样本防御方法， 其 特征在于， 通过对比学习改造改造损失函数。 6.如权利要求4所述的基于对抗训练和对比学习的中文多模态对抗样本防御方法， 其 特征在于， λ∈[0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9]。 7.如权利要求6所述的基于对抗训练和对比学习的中文多模态对抗样本防御方法， 其 特征在于， 通过网格搜索选取能使损失函数L的损失值 最低的权 重参数 λ。 8.如权利要求1所述的基于对抗训练和对比学习的中文多模态对抗样本防御方法， 其 特征在于， batc h_size是64、 128或25 6中的一个。 9.如权利要求1所述的基于对抗训练和对比学习的中文多模态对抗样本防御方法， 其 特征在于， 按照8 :1:1的比例划分为训练集、 测试集和验证集。 10.如权利要求1所述的基于对抗训练和对比学习的中文多模态对抗样本防御 方法， 其 特征在于， 在所述步骤八中通过交叉验证及模型早停技术， 选择在验证集上分类效果最好 的改进防御模型作为 最终防御模型。权　利　要　求　书 2/2 页 3 CN 115309897 A 3