(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211067316.3 (22)申请日 2022.09.01 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 李瑞轩　王号召　詹帆　李玉华　 辜希武　 (74)专利代理 机构 华中科技大 学专利中心 42201 专利代理师 夏倩 (51)Int.Cl. G06N 20/00(2019.01) G06N 3/08(2006.01) (54)发明名称 一种加权聚合的联邦蒸馏方法及系统 (57)摘要 本发明公开了一种加权聚合的联邦蒸馏方 法及系统， 属于联邦学习技术领域； 本发明通过 中心服务器端将本地生成器分别下发给各客户 端， 并在各客户端中分别将其中的本地生成器进 行分布式训练， 最后再返回给中心服务器端进行 全局聚合以来模拟全局数据分布， 从而代替了直 接引入外源 数据， 从未提高了联邦蒸馏方法的可 用性； 此外， 本发明还在各客户端中均引入了一 个小型的判别器， 通过训练使 其输出蒸馏数据在 本地数据中对应的概率密度， 并以此概率密度进 行加权平均， 获取准确度更高的教师软标签， 来 提升蒸馏效率和训练所得模型精度， 从而提高了 数据集非独立同分布场景下联邦学习训练模型 的准确率。 权利要求书2页 说明书13页 附图3页 CN 115526334 A 2022.12.27 CN 115526334 A 1.一种加权聚合的联邦蒸馏方法， 其特 征在于， 包括： 在中心服 务器端执 行以下步骤： A1、 从客户端集合中随机挑选K个客户端， 并分别对全局随机变量、 本地训练模型和本 地生成器进行初始化； A2、 将全局随机变量、 本地训练模型和本地 生成器分别下发到所挑选的K个客户端中； A3、 将全局随机变量输入到本地生成器中， 得到全局蒸馏数据； 待收集到K个客户端返 回的全局蒸馏数据所对应的概率密度、 以及训练好的本地生成器和本地训练模型后， 将K个 客户端所返回的本地训练模型进行参数平均， 得到聚合模型； 将全局蒸馏数据分别输入到K个客户端所返回的本地训练模型中， 并以K个客户端返回 的全局蒸馏数据所对应的概率密度为权重， 对各本地训练模型的输出进 行加权平均； 采用K 个客户端所返回的本地训练模型所构成的教师网络集及所得加权平均结果对所述聚合模 型进行知识蒸馏； A4、 从客户端集合中重新随机挑选K个客户端； 随机更新全局随机变量， 并将本地训练 模型更新为所述聚合模型， 将本地生成器更新为将K个客户端所返回的本地生成器进行参 数平均后的模型； A5、 重复步骤A 2‑A4进行迭代， 直至 达到预设迭代次数； 其中， 每一个客户端中均设置有本地判别器； 当客户端接收到中心服务器下发的全局 随机变量、 本地训练模型和本地 生成器后， 在客户端中执 行以下操作： B1、 将接收到的全局随机变量输入到 接收到的本地 生成器中， 得到全局蒸馏数据； B2、 将客户端中的本地数据集输入到其接收到的本地训练模型中进行训练； 将客户端 中的本地数据集输入到其接收到的本地生成器和其内部的本地判别器所构成的GA N模型中 进行对抗训练； 将所得全局蒸馏数据输入至训练好的本地判别器中得到全局蒸馏数据所对 应的概率密度； B3、 将全局蒸馏数据所对应的概率密度、 以及训练好的本地生成器和本地训练模型返 回给中心服 务器中。 2.根据权利要求1所述的加权聚合的联邦蒸馏方法， 其特征在于， 所述步骤A3中， 对聚 合模型进行知识蒸馏的方法， 包括： 将全局蒸馏数据分别输入到K个客户端所返回的本地训练模型中， 得到全局蒸馏数据 的K个预测输出； 以K个客户端返回的全局蒸馏数据所对应的概率密度为权重， 对 K个预测输 出进行加权平均， 得到客户端集 合对全局蒸馏数据的综合输出值； 将全局蒸馏数据输入至所述聚合模型中， 得到中心服 务器对全局蒸馏数据的输出值； 通过最小化客户端集合对全局蒸馏数据的综合输出值与中心服务器对全局蒸馏数据 的输出值之间的差异， 对所述聚合模型进行 更新， 从而实现对所述聚合模型的知识蒸馏。 3.根据权利要求1所述的加权聚合的联邦蒸馏方法， 其特征在于， 在所述步骤B2中， 以 本地数据集作为真实标签， 外源相似数据集或未标记数据集为虚假标签， 对接 收到的本地 生成器和其内部的本地判别器所构成的GAN模型中进行对抗训练。 4.根据权利要求1 ‑3任意一项所述的加权聚合的联邦蒸馏方法， 其特征在于， 采用 warm‑up策略， 具体包括： 待 得到所述聚合模 型后， 判断此时步骤A2 ‑A4的迭代次数是否大于 预设迭代阈值， 若 是， 则对聚合模型进 行知识蒸馏； 否则， 不对聚合模 型进行知识蒸馏， 直接权　利　要　求　书 1/2 页 2 CN 115526334 A 2转至步骤A4。 5.根据权利要求1 ‑3任意一项所述的加权聚合的联邦蒸馏方法， 其特征在于， 在所述步 骤B2中， 采用WGA N‑GP算法对接收到的本地生 成器和其内部的本地判别器所构成的GAN模 型 中进行对抗训练。 6.根据权利要求5所述的加权聚合的联邦蒸馏方法， 其特征在于， 在所述步骤B2中， 采 用early‑stop策略， 当其接收到的本地生成器的损失值低于预设early ‑stop阈值时， 在接 下来的训练当中停止对生成器的更新， 只更新 客户端内部的本地判别器。 7.根据权利要求1 ‑3任意一项所述的加权聚合的联邦蒸馏方法， 其特征在于， 所述步骤 B2中， 将客户端中的本地数据集输入到其接收到的本地训练模型中进 行训练的过程与将客 户端中的本地数据集输入到其接收到的本地生 成器和其内部的本地判别器所构成的GA N模 型中进行对抗训练后， 将所得全局蒸馏数据输入至训练好的本地判别器中得到全局蒸馏数 据所对应的概 率密度的过程并行 执行。 8.根据权利要求1 ‑3任意一项所述的加权聚合的联邦蒸馏方法， 其特征在于， 各客户端 并行执行步骤B1 ‑B3的操作。 9.一种加权聚合的联邦蒸馏系统， 其特征在于， 包括： 存储器和 处理器， 所述存储器存 储有计算机程序， 所述处理器执行所述计算机程序时执行权利要求1 ‑8任意一项所述的加 权聚合的联邦蒸馏方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质包括存储的计算 机程序， 其中， 在所述计算机程序被处理器运行时控制所述存储介质所在设备执行权利要 求1‑8任意一项所述的加权聚合的联邦蒸馏方法。权　利　要　求　书 2/2 页 3 CN 115526334 A 3