(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211006630.0 (22)申请日 2022.08.22 (71)申请人 昆明理工大 学 地址 650093 云南省昆明市五华区学府路 253 (72)发明人 沈韬　柏粉花　何苗　刘英莉　 张弛　于卓　曾凯　 (74)专利代理 机构 昆明明润知识产权代理事务 所(普通合伙) 53215 专利代理师 王鹏飞 (51)Int.Cl. G06F 21/64(2013.01) G06N 20/00(2019.01) H04L 67/1097(2022.01) H04L 69/04(2022.01) (54)发明名称 一种基于中国剩余定理的联邦学习模型压 缩传输优化方法 (57)摘要 本发明涉及一种基于中国剩余定理的联邦 学习模型压缩传输优化方法， 属于数据安全传输 技术领域。 首先参与联邦学习的各边缘设备在本 地完成本地模型训练， 得到W＝[W1,W2,…,Wn]T。 再在本地模 型上传到聚合器过程中， 利用中国剩 余定理对本地模型进行压缩得到 然 后通过聚合器对压缩过的梯度进行解压缩后完 成梯度聚合。 最后将聚合后的模 型下发到各个训 练方， 完成模型的更新。 本发明专利 能够优化模 型上传到聚合器过程中的通信时间， 降低带宽开 销， 并且能够保证模型传输过程的安全性。 权利要求书2页 说明书5页 附图1页 CN 115495797 A 2022.12.20 CN 115495797 A 1.一种基于中国剩余定理的联邦学习模型压缩传输优化方法， 其特 征在于： Step1： 参与联邦学习的各边 缘设备在本地完成本地模型训练， 得到W ＝[W1,W2,…,Wn]T； Step2： 本地模型上传到聚合器过程中， 利用中国剩余定理对本地模型进行压缩得到 Step3： 聚合器对压缩过的梯度进行解压缩后完成梯度聚合； Step4： 将聚合后的模型 下发到各个训练方， 完成模型的更新。 2.根据权利要求1所述的基于中国剩余定理的联邦学习模型压缩传输优化方法， 其特 征在于， 所述Step1为： 各边缘设备根据其本地数据集独立的进行模型更新， 在任意一个边缘设备中， 使用随 机梯度下降算法来训练模型， 本地模型采用下式进行 更新： 式(1)中， μ是模型在本地更新的次数， M(M≤K)是参与每轮训练的边缘设备数量， 是这M个边缘设备的数据总量， 是边缘设备i选择共享的模型参数， gi是模型梯 度， w(i)是边缘设备i在本地多次更新模型后得到的权 重向量。 3.根据权利要求1所述的基于中国剩余定理的联邦学习模型压缩传输优化方法， 其特 征在于， 所述Step2具体为： 在各边缘 设备的每轮训练 中， 每个边缘 设备基于本地数据集得到模型梯度Δwi， 1≤i≤ M， 然后通过差分隐私 添加噪声将wi扰动为 使用中国剩余定理CRT压缩扰动后的梯度 最后将压缩后的梯度 通过智能合约上传到区块链 节点中进行存 储。 4.根据权利要求1所述的基于中国剩余定理的联邦学习模型压缩传输优化方法， 其特 征在于， 所述Step3具体为： 边缘设备对聚合智能合约发送调用请求， 获取新的区块中的本地梯度， 并通过式(2)将 解压为 再进行梯度聚合， 最终得到聚合梯度： 其中， mj为正整数且两 两互质。 5.根据权利要求1所述的基于中国剩余定理的联邦学习模型压缩传输优化方法， 其特 征在于， 所述Step4中， 完成模型更新具体为： 采用随机梯度算法进行本地模型更新和全局 模型更新。 6.根据权利要求3所述的基于中国剩余定理的联邦学习模型压缩传输优化方法， 其特 征在于： 所述Step2中， 差分隐私添加噪声通过 下式计算： 其中， M为提供ε ‑差分隐私保护的随机算法， M的输出域是Range， 输出域中的每个r～ Range为一个实体对象， q(Δwi,r)→R为输出对象的打分函数， 用来判断输出结果r的好坏 程度， Δf为 算法的敏感度， ε为差分隐私预算。 7.根据权利要求3所述的基于中国剩余定理的联邦学习模型压缩传输优化方法， 其特 征在于， 所述Step2中， 使用中国剩余定理CRT来压缩扰动 后的梯度 具体为：权　利　要　求　书 1/2 页 2 CN 115495797 A 2假设第i个边 缘设备的模型梯度为 则其计算公式如下： 其中， 为同余方程的解。 8.根据权利要求4所述的基于中国剩余定理的联邦学习模型压缩传输优化方法， 其特 征在于， 所述Step3中， 边缘设备根据所述聚合智能合约调用请求 获取新的区块中的本地梯 度， 具体为： 根据本轮迭代的所述聚合梯度， 确定边 缘设备的梯度熵值 为： 其中， Ei,t(g(Wi,t))表示梯度熵值， p(wi)是根据所述本地梯度与所述聚合梯度的比值得 到的， g(Wi,t)表示本地梯度， wi为本地模型参数。 9.根据权利要求4所述的基于中国剩余定理的联邦学习模型压缩传输优化方法， 其特 征在于， 所述Step3中， 根据所述梯度熵值确 定各个边缘终端的本地梯度的选择概率， 具体 为： 根据梯度熵值确定贡献评估值， 根据贡献评估值确定各边缘设备的本地梯度选择概 率， 所述贡献评估值 为： 其中， St表示进行梯度聚合的边 缘设备的数量， Ci,t表示贡献评估值。 10.根据权利要求5所述的基于 中国剩余定理 的联邦学习 模型压缩传输优化方法， 其特 征在于， 所述Step4中， 采用随机梯度算法进行本地模型 更新和全局模型 更新具体为： Step4.1： 确定所有边 缘设备中可用边 缘设备和不可用边 缘设备； Step4.2： 可用的边 缘设备采用随机梯度算法进行全局模型 更新； Step4.3： 不可用的边缘设备在恢复通讯后通过智能合约在区块链上查找并接受最新 的全局模型， 并且根据最 新的全局模型来更新本地模型。权　利　要　求　书 2/2 页 3 CN 115495797 A 3