(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211234025.9 (22)申请日 2022.10.10 (71)申请人 上海交通大 学深圳研究院 地址 518000 广东省深圳市粤海街道高新 区南区虚拟大 学园楼B202 申请人 上海交通大 学　杭州电子科技大 学 (72)发明人 蒋炜　郑志强　张忠良　江亚东　 雒兴刚　 (74)专利代理 机构 上海锻创知识产权代理有限 公司 314 48 专利代理师 陈少凌 (51)Int.Cl. G06N 20/00(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 循环联邦学习 系统及其加速训练方法 (57)摘要 本发明提供了一种循环联邦学习系统及其 加速训练方法， 包括： 初始化模块： 本地参与方分 别向服务器方请求建立通信连接， 服务器方响应 并初始化一个联邦全局模型； 模型训练模块： 服 务器方与本地参与方采用循环协同策略依次训 练所述联邦全局模型， 得到最终收敛的联邦全局 模型； 模型加速模块： 本地参与方训练GAN模型生 成人工数据， 并在服务器方的协作下共享， 加速 联邦全局模 型的收敛速度。 本发 明在服务器方的 协作下使多个本地参与方依次循环多轮的训练 同一个联邦全局模型， 并通过数据增强技术GAN 提升参与方数据非独立同分布时模型的收敛速 度， 解决各个参与方之间数据非独立同分布导致 的模型性能下降以及收敛速度慢的问题。 权利要求书3页 说明书10页 附图5页 CN 115526336 A 2022.12.27 CN 115526336 A 1.一种循环联邦学习 系统， 其特 征在于， 包括： 初始化模块： 分别建立各个本地参与方与服务器方的通信连接， 在服务器方响应并初 始化一个联邦全局模型； 模型训练模块： 在服务器方， 于每一轮训练中， 协调各个本地参与方利用各自的私有数 据依次训练当前 联邦全局模型， 经 过多轮训练得到最终收敛的联邦全局模型。 2.根据权利要求1所述的循环联邦学习 系统， 其特 征在于， 所述模型训练模块包括： 模块M1： 将所述当前 联邦全局模型从服 务器方发送给当前本地 参与方； 模块M2： 令当前本地参与方接收所述当前联邦全局模型后在私有数据上训练， 生成训 练后的联邦全局模型； 模块M3： 令服务器方接收所述训练后的联邦全局模型并更新作为当前 联邦全局模型； 模块M4： 判断所有参与 方是否全部完成训练； 若否， 则将当前轮尚未参与过训练的下一 个本地参与方作为当前本地 参与方， 返回触发模块M1； 若是， 则继续触发模块M 5； 模块M5： 判断所述当前联邦全局模型是否收敛； 若是， 则训练结束； 若否， 则继续执行下 一轮训练。 3.根据权利要求2所述的循环联邦学习系统， 其特征在于， 所述模型训练模块执行多轮 的依次循环训练， 直至训练后的联邦全局模型收敛； 所述本地参与 方在参与每一轮训练后均保留私有数据并存储至本地， 发送训练后的联 邦全局模型 给服务器方； 所述服务器方在每一轮的训练中更新存储当前训练的联邦全局模型并将所述当前训 练的联邦全局模型发送至下一个本地参与方参与训练， 协作本地参与方依次串行参与训 练。 4.根据权利要求1所述的循环联邦学习 系统， 其特 征在于， 还 包括： 模型加速模块： 令本地参与方在私有数据上训练GAN模型， 使用生成器生成人工数据发 送给服务器方； 令服务器方聚集所有人工数据后， 分别随机选择部分人工数据分享给每个 本地参与方作为本地 参与方的私有数据的一部分， 来训练当前全局联邦模型； 所述模型加速模块在所述初始化模块和所述模型训练模块之间执 行。 5.根据权利要求 4所述的循环联邦学习 系统， 其特 征在于， 模型加速模块包括： 模块A： 令本地参与方i训练一个GAN模型直至收敛； i＝1， 2， …， N， 其中， N表示本地参与 方的总数量； 模块B： 令 本地参与方使用GAN模型的生成器G生成人工数据X ′i上传至服 务器方； 模块C： 在服务器方聚集所有本地参与方上传的人工数据X ′i后得到全局人工数据集合 模块D： 从所述全局人工数据集 合 中分别随机选择部分 的人工数据共享给本地参与 方， 即为： 其中， 表示共享给本地 参与方的人工数据集 合； 模块E： 令本地参与方i接收所述人工数据集合 并将所述人工数据集合 加入私有数权　利　要　求　书 1/3 页 2 CN 115526336 A 2据Xi中； 所述GAN模型是在 本地参与方i的私有数据Xi上训练， 并生成了人工数据X ′i， GAN的优化 式如下： 其中， D表示鉴别器， G表示生成器， D( ·)表示鉴别器表达的非线性判别函数， G( ·)表 示生成器表达的非线性映射函数， x表示输入鉴别器的样本， z表 示输入生 成器的随机噪声， pdata表示训练数据集的真实分布， pz表示随机噪声的分布， log表示以2为底的对数， 表示 期望函数； LGAN表示GAN的损失函数； 所述生成器表达的非线性映射函数将所述随机噪声z映射为符合所述私有数据Xi分布 的人工数据X ′i。 6.一种循环联邦学习方法， 其特 征在于， 包括： 步骤S1： 分别建立各个本地参与方与服务器方的通信连接， 在服务器方响应并初始化 一个联邦全局模型； 步骤S2： 在服务器方， 于每一轮训练中， 协调各个本地参与方利用各自的私有数据依次 训练当前 联邦全局模型， 经 过多轮训练得到最终收敛的联邦全局模型。 7.根据权利要求6所述的循环联邦学习方法， 其特 征在于， 步骤S2还 包括： 步骤S2.1： 将所述当前 联邦全局模型从服 务器方发送给当前本地 参与方； 步骤S2.2： 令当前本地参与方接收所述当前联邦全局模型后在私有数据上训练， 生成 训练后的联邦全局模型； 步骤S2.3： 令服务器方接收所述训练后的联邦全局模型并更新作为当前联邦全局模 型； 步骤S2.4： 判断所有参与方是否全部完成训练； 若否， 则将当前轮尚未参与过训练的下 一个本地 参与方作为当前本地 参与方， 返回触发步骤S2.1； 若是， 则继续触发步骤S2.5； 步骤S2.5： 判断所述当前联邦全局模型是否收敛； 若是， 则训练结束； 若否， 则继续执行 下一轮训练。 8.根据权利要求7所述的循环联邦学习方法， 其特征在于， 所述模型训练模块执行多轮 的依次循环训练， 直至训练后的联邦全局模型收敛； 所述本地参与 方在参与每一轮训练后均保留私有数据并存储至本地， 发送训练后的联 邦全局模型 给服务器方； 所述服务器方在每一轮的训练中更新存储当前训练的联邦全局模型并将所述当前训 练的联邦全局模型发送至下一个本地 参与方训练， 协作本地 参与方依次串行参与训练。 9.根据权利要求6所述的循环联邦学习方法， 其特 征在于， 还 包括： 步骤S3： 令本地参与方在私有数据上训练GAN模型， 使用生成器生成人工数据发送给服 务器方； 令服务器方聚集所有人工数据后， 分别随机选择部分人工数据分享给每个本地参 与方作为本地 参与方的私有数据的一部分， 来训练当前全局联邦模型； 所述步骤S3在步骤S1和步骤S2之间执 行。 10.根据权利要求9所述的循环联邦学习方法， 其特 征在于， 步骤S3包括： 步骤S3.1： 令本地参与方i训练一个GAN模型直至收敛； i＝1， 2， …， N， 其中， N表示本地权　利　要　求　书 2/3 页 3 CN 115526336 A 3