(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211171745.5 (22)申请日 2022.09.26 (65)同一申请的已公布的文献号 申请公布号 CN 115270192 A (43)申请公布日 2022.11.01 (73)专利权人 广州优刻谷科技有限公司 地址 510535 广东省广州市黄埔区伴河路 190号自编A栋1 112房 (72)发明人 赖方民　 (74)专利代理 机构 广东穗科知识产权代理事务 所(普通合伙) 44834 专利代理师 黄启文　李英杰 (51)Int.Cl. G06F 21/62(2013.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06F 21/57(2013.01) (56)对比文件 CN 110135507 A,2019.08.16 CN 108648095 A,2018.10.12 CN 112100295 A,2020.12.18 CN 114548428 A,202 2.05.27 CN 113051620 A,2021.0 6.29 CN 114662155 A,2022.06.24 CN 111177791 A,2020.0 5.19 审查员 颜佳 (54)发明名称 样本标签隐私风险评估 方法、 系统及 存储介 质 (57)摘要 本发明涉及一种样本标签隐私风险评估方 法、 系统及存储介质， 包括： S1.选定一批样本作 为待训练样本并在全局模型上计算得到全局模 型最后一层全连接网络的梯度 ； S2.构建正则 化项 ； S3.加载辅助数据集； S4.设定训练转换 矩阵的超参数； S5.加载转换矩阵； S6.随机从辅 助数据集中抽取一批样本， 在当前全局模型上计 算对应的梯度 G； S7.从梯度 G中获取全局模型最 后一层全 连接层的梯度 ； 将 按行求和得到向 量 ； S8.基于向量 训练转换矩阵的参数； S9.重复步骤S6 ‑S8直至达到为转换矩阵设定的 超参数； S10.基于训练好的转换矩阵对待训练样 本的梯度 进行标签泄露的风险评估。 权利要求书2页 说明书7页 附图1页 CN 115270192 B 2022.12.30 CN 115270192 B 1.一种样本标签隐私风险评估方法， 其特 征在于： 包括以下步骤： S1.选定一批样本作为待训练样本并在全局模型上计算得到全局模型最后一层全连接 网络的梯度 ； S2.构建正则化项 ； S3.加载辅助数据集； S4.设定训练转换矩阵的超参数； S5.加载转换矩阵； S6.随机从辅助数据集中抽取一批样本， 在当前全局模型 上计算对应的梯度 G； S7. 从梯度G中获取全局模型最后一层全连接层的梯度 ； 将 按行求和得到向量 ； S8.基于向量 训练转换矩阵的参数； S9.重复步骤S6 ‑S8直至达到为转换矩阵设定的超参数； S10.基于训练好的转换矩阵对待训练样本的梯度 进行标签泄露的风险评估； 所述步骤S2构建正则化项 ， 具体表示 为： 其中， 为求取的转换矩阵 T的模大小； M为全局模型倒数第二层网络的神经 元个数， 即为目标模大小约束； 表示求取模值大小操作； B为批大小；K为标签种类个数； 表示梯度 按行求和得到的维度为 K的向量； 梯度 为维度为 M*K的矩阵； 所述步骤S4设定训练转换矩阵的超参数， 具体包括： 训练总轮次、 学习率、 正则化权重、 批大小； 所述 步骤S9中， 当训练的轮次达 到设定的训练总轮次 时， 执行步骤S10； 所述步骤S5加载转换矩阵， 具体包括： 对转换矩阵中的数值以正态分布进行初始化， 矩 阵维度为 K×K； 所述步骤S6随机从辅助数据集中抽取一批样本， 在当前全局模型上计算对应的梯度 G， 具体包括： 所述抽取的该批样本的标签列表设为 Y， 标签列表 Y共有K个元素， 元素的数值表示为某 一类标签的数目； 基于标签列表 Y在当前全局模型 上计算该批样本对应的梯度 G； 所述步骤S8基于向量 训练转换矩阵的参数， 具体包括： 梯度向量 乘上转换矩阵 T得到向量 Z： 向量Z经过Softmax函数转换， 并乘上批大小B得到预测的标签列表 ： 权　利　要　求　书 1/2 页 2 CN 115270192 B 2其中标签列表 中的元素 表示如下： 其中e＝2.71， 为尤拉常数； j的取值范围为1~K； 利用平均绝对误差衡量预测的标签列表 和抽取的样本的真实标签列表Y的差异值加 上正则化项作为训练的损失值： 其中 为正则化权 重； 为标签列表 Y中的第i个元素； 计算损失值 对转换矩阵 T的偏导 ， 利用所述偏导 更新转换矩阵： ， 为学习率； 所述步骤S 10基于训练好的转换矩阵对待训练样本的梯度 进行标签泄露 的风险评估 具体包括： 基于向量 计算向量 ： ； 对待训练样本的标签列表进行 预测， 得到预测的标签列表： 求取风险评估值 ： 其中 表示 中的第i个元素， 为待训练样本的真实标签列表 中的第i个元素。 2.根据权利要求1所述的样本标签隐私风险评估方法， 其特征在于： 所述步骤S3加载辅 助数据集， 具体包括： 在本地数据集中抽取所有符合要求的样本构成辅助数据集； 辅助数据集中， 样本的标 签是待训练样本中存在的标签。 3.一种样本标签隐私风险评估系统， 应用权利要求1 ‑2任一项所述的样本标签隐私风 险评估方法， 其特征在于： 包括： 梯度计算模块、 初始 化模块、 转换矩阵训练模块及风险评估 模块； 所述梯度计算模块用于执行步骤S1； 初始化模块用于执行步骤S2 ‑S4； 转换矩阵训练 模块用于执 行步骤S5 ‑S9； 风险评估 模块用于执 行步骤S10 。 4.一种存储介质， 包括存储器及处理器， 所述存储器内存储有程序， 其特征在于： 所述 程序被所述处 理器执行时， 执行权利要求1 ‑2任一项所述方法的方法步骤。权　利　要　求　书 2/2 页 3 CN 115270192 B 3