(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211119922.5 (22)申请日 2022.09.15 (71)申请人 湖南大学 地址 410013 湖南省长 沙市岳麓区麓山 南 路 (72)发明人 李肯立　段明星　唐卓　方森　 杨志邦　余思洋　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 唐彩琴 (51)Int.Cl. G06F 21/64(2013.01) G06F 21/62(2013.01) G06K 9/62(2022.01) (54)发明名称 基于黑盒模型的对抗攻击数据的处理方法 和装置 (57)摘要 本申请涉及一种基于黑盒模型的对抗攻击 数据的处理方法、 装置、 计算机设备、 存储介质和 计算机程序产品。 所述方法包括： 确定第一被攻 击数据样本和被攻击样本数据的至少一个第一 候选数据 样本； 对第一被攻击数据样本进行扰动 处理， 得到对应的伪样本； 将伪样本与至少一个 第一候选 数据样本进行特征比对， 得到特征相似 度最高的候选数据样本； 根据特征相似度最高的 候选数据 样本对伪样本的扰动特征进行更新， 得 到构造的伪样本。 采用本方法能够提高了构造的 伪样本的真实性。 权利要求书2页 说明书13页 附图8页 CN 115470526 A 2022.12.13 CN 115470526 A 1.一种基于黑盒模型的对抗 攻击数据的处 理方法， 其特 征在于， 所述方法包括： 确定第一被攻击数据样本和所述被攻击样本数据的至少一个第一 候选数据样本； 对所述第一被攻击数据样本进行扰动处 理， 得到对应的伪样本； 将所述伪样本与所述至少一个第 一候选数据样本进行特征比对， 得到特征相似度最高 的候选数据样本； 根据所述特征相似度最高的候选数据样本对所述伪样本的扰动特征进行更新， 得到构 造的伪样本 。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述伪样本与所述至少一个第 一候 选数据样本进行 特征比对， 得到特 征相似度最高的候选数据样本， 包括： 获取所述伪样本的特 征属性； 若所述特征属性为离散特征， 且所述伪样本所有扰动特征不存在于所述至少一个候选 数据样本中， 则确定不存在于所述至少一个第一 候选数据样本中的待更新扰动特 征； 确定所述至少一个第 一候选数据样本的样本特征与所述待更新扰动特征的相似度， 根 据所述相似度得到特 征相似度最高的候选数据样本 。 3.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 根据所述构造的伪样本攻击目标黑盒模型， 得到攻击结果； 根据所述 攻击结果确定所述构造的伪样本的可靠度。 4.根据权利要求1所述的方法， 其特征在于， 所述对所述第 一被攻击数据样本进行扰动 处理， 得到对应的伪样本， 包括： 将所述第一 攻击数据样本 输入至训练好的扰动生成网络中， 输出对应的伪样本 。 5.根据权利要求 4所述的方法， 其特 征在于， 所述扰动生成网络的训练， 包括： 获取用于训练所述扰动生成网络的第二被攻击数据样本和所述被攻击数据样本的至 少一个第二 候选数据样本； 将所述第二被攻击数据样本输入至所述扰动 生成网络， 经过所述扰动生成网络的嵌入 层、 编码器和解码器， 输出 所述第二被攻击数据样本的扰动向量； 将所述扰动向量输入至替代模型的网络层， 得到预测结果； 将所述预测结果与对应的候选 子数据样本进行比对， 得到对比损失； 基于所述对比损失对所述编码器和解码器进行训练， 得到训练好的扰动生成网络 。 6.根据权利要求5所述的方法， 其特征在于， 所述基于所述对比损失对所述编码器和解 码器进行训练， 得到训练好的扰动生成网络， 包括： 基于所述对比损 失， 将所述至少一个第二候选数据样本输入至替代模型， 输出中间向 量特征； 对所述扰动向量和所述中间向量特 征进行相似性 求解， 得到平均损失； 基于所述平均损失对所述编码器和解码器进行训练， 直到所述平均损失收敛到预设 值， 得到训练好的扰动生成网络 。 7.根据权利要求5所述的方法， 其特征在于， 所述替代模型是根据 所述目标黑盒模型确 定的， 所述 替代模型的确定方式， 包括： 获取原始数据集和构建的替代模型； 分别将所述原始数据集输入至替代模型和目标黑盒模型中， 得到所述替代模型的第 一权　利　要　求　书 1/2 页 2 CN 115470526 A 2输出特征， 和所述目标黑盒模型的第二输出 特征； 根据所述第 一输出特征和所述第 二输出特征， 确定所述替代模型和所述目标黑盒模型 之间的输出损失； 根据所述第一输出 特征确定所述 替代模型的分类损失； 根据所述分类损 失和所述输出损 失， 确定所述替代模型的总损 失函数， 得到与所述目 标黑盒模型功能相同的替代模型。 8.根据权利要求5所述的方法， 其特征在于， 所述获取用于训练所述扰动 生成网络的第 二被攻击数据样本和所述被攻击数据样本的至少一个第二 候选数据样本， 包括： 获取训练样本集； 根据所述训练样本集中各样本的属性， 对所述训练样本集进行划分， 得到被攻击数据 样本集和候选数据样本集； 基于推荐算法， 从所述候选数据样本集中确定与 所述被攻击数据样本集中每个第 二被 攻击数据样本集相似的至少一个第二 候选数据样本 。 9.一种基于黑盒模型的对抗 攻击数据的处 理装置， 其特 征在于， 所述装置包括： 数据确定模块， 用于确定第 一被攻击数据样本和所述被攻击样本数据的至少一个第 一 候选数据样本； 扰动处理模块， 用于对所述第一被攻击数据样本进行扰动处 理， 得到对应的伪样本； 特征比对模块， 用于将所述伪样本与所述至少一个第一候选数据样本进行特征比对， 得到特征相似度最高的候选数据样本； 构造模块， 用于根据 所述特征相似度最高的候选数据样本对所述伪样本的扰动特征进 行更新， 得到构造的伪样本 。 10.一种计算机设备， 包括存储器和 处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115470526 A 3