(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211014315.2 (22)申请日 2022.08.23 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 陈晋音　李明俊　刘涛　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06K 9/62(2022.01) G06F 17/16(2006.01) G06N 20/00(2019.01) (54)发明名称 一种基于隐私保护的个性化联邦学习方法 和装置 (57)摘要 本发明公开了一种基于隐私保护的个性化 联邦学习方法和装置， 客户端进行每轮训练， 得 到训练好的本地模型矩 阵参数并上传给相对应 的个性化模 型； 根据本轮训练好的本地模型矩阵 参数的变化量， 计算每个客户端的阈值， 随后计 算每个客户端的频率稀 疏度； 根据频率稀疏度集 合， 将客户端分簇； 对同一个簇的客户端上传的 本地模型参数求平均， 并将平均值作为新的全局 模型矩阵参数下发给同一个簇的客户端； 重复直 至全局模型收敛， 完成个性化联邦学习的训练。 本发明在计算频率稀疏度过程中始终保护用户 隐私， 通过稀疏度的相似性对客户端进行聚类， 形成K个簇， 对这K个簇的客户端分布进行聚合操 作， 以达到协作训练和个性 化联邦学习的效果。 权利要求书2页 说明书8页 附图3页 CN 115329885 A 2022.11.11 CN 115329885 A 1.一种基于隐私保护的个性 化联邦学习方法， 其特 征在于， 包括以下步骤： (1)初始化联邦学习训练环境； (2)服务器在云端为每个客户端设置相对应的个性化模型， 每个个性化模型将自身的 全局模型矩阵参数 下发给相对应的客户端， 开始联邦学习训练； (3)参与训练的客户端， 进行第t轮的训练， 得到训练好的本地模型矩阵参数并上传给 相对应的个性化模型； 根据本轮训练好的本地模型矩阵参数 的变化量， 计算每个客户端的 阈值αi,t， 并更新每个客户端的矩阵[(wcf ‑matrix)i,t]； 根据每个客户端的矩阵[(wcf ‑ matrix)i,t]， 计算每个客户端的频率稀疏度εi,t， 得到频率稀疏度集合{ε1,t, ε2,t,…, εi,t,…, εk,t}； (4)根据频率稀疏度集合{ ε1,t, ε2,t,…, εi,t,…, εk,t}进行K‑Means聚类操作， 将频率稀 疏度集合{ ε1,t, ε2,t,…, εi,t,…, εk,t}中的频率稀 疏度分为K簇； 并将同一簇内的频率稀 疏度 εi,t所表示的客户端分为同一簇； (5)对同一个簇的客户端上传的本地模型参数求平均， 并将平均值作为新的全局模型 矩阵参数 下发给同一个簇的客户端； (6)重复步骤(3) ‑步骤(5)， 直至全局模型收敛， 完成个性 化联邦学习模型的训练。 2.根据权利要求1所述的一种基于隐私保护的个性化联邦学习方法， 其特征在于， 所述 步骤(1)具体为： 设定整体训练轮次E、 本地数据D、 参与联邦学习的整体客户端数k。 3.根据权利要求2所述的一种基于隐私保护的个性化联邦学习方法， 其特征在于， 所述 步骤(2)具体包括以下子步骤： (2.1)服务器在云端为每个客户端pi设置好相对应的个性化模型Ni， 并初始化每个个性 化模型Ni得到初始化的全局模型矩阵参数 所述初始化的全局模型矩 阵参数 的矩阵尺寸 为W×H； (2.2)每个个性化模型Ni将初始化的全局模型矩阵参数 下发给相对应的客户端pi， 开始联邦学习训练。 4.根据权利要求3所述的一种基于隐私保护的个性化联邦学习方法， 其特征在于， 所述 步骤(3)具体包括以下子步骤： (3.1)参与训练的客户端pi不进行数据共 享， 在本地对下 发的全局模型权重进行本地模 型训练： 对于第t轮训练， 得到训练好的本地模型矩阵参数 并上传给相对应的个性 化模型Ni； (3.2)计算第t轮本地模型训练后每 个客户端pi的阈值αi,t， 计算公式如下： 权　利　要　求　书 1/2 页 2 CN 115329885 A 2其中， αi,t表示第t轮本地模型训练后每个客户端pi的阈值； 表示本地模型矩阵 参数 中第u行、 第v列的子参数； 表示初始化的全局模型矩阵参数 中第u行、 第v列的子参数； (3.3)若 则更新矩阵[(wcf ‑matrix)i,t]中第u行、 第v列 的子参数： 若 则更新矩阵[(wcf ‑matrix)i,t]中第u行、 第v列的子参 数： 其中， [(wcf ‑matrix)i,t]u,v表示矩阵[(wcf ‑matrix)i,t]中第u行、 第v列的子参数； 重复上述 步骤， 更新整个矩阵[(wcf ‑matrix)i,t]； (3.4)由每个客户端的矩阵[(wcf ‑matrix)i,t]， 计算每个客户端的频率稀疏度εi,t， 并 得到频率稀疏度集 合{ ε1,t, ε2,t,…, εi,t,…, εk,t}， 频率稀疏度 εi,t的计算公式如下： 5.根据权利要求4所述的一种基于隐私保护的个性化联邦学习方法， 其特征在于， 所述 步骤(4)具体包括以下子步骤： (4.1)根据频率稀疏度集合{ ε1,t, ε2,t,…, εi,t,…, εk,t}进行K‑Means聚类操作， 设置簇 的数量为K， 所述K ‑Means聚类操作具体如下： 从频率稀疏度集合{ε1,t, ε2,t,…, εi,t,…, εk,t}中随机选择K个频率稀疏度作为初始质 心； 计算每个频率稀疏度 εi,t到各个质心的距离， 将频率稀疏度 εi,t划分到距离最近的质心 所对应的簇中； 计算每个簇内所有频率稀疏度 εi,t的均值， 并使用该均值更新簇的质心重复 步骤达到最大迭代次数， 最终形成K个簇： S1、 S2…SK； (4.2)将在同一簇内的频率稀疏度 εi,t所表示的客户端分为同一簇 。 6.一种基于隐私保护的个性化联邦学习 装置， 其特征在于， 包括一个或多个处理器， 用 于实现权利要求1 ‑5中任一项所述的基于隐私保护的个性 化联邦学习方法。 7.一种计算机可读存储介质， 其上存储有程序， 其特征在于， 该程序被处理器执行时， 用于实现权利要求1 ‑5中任一项所述的基于隐私保护的个性 化联邦学习方法。权　利　要　求　书 2/2 页 3 CN 115329885 A 3