(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210975053.X (22)申请日 2022.08.15 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区黄桷垭崇文路2 号 (72)发明人 李开菊　王豪　张清华　夏英　 张旭　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 专利代理师 廖曦 (51)Int.Cl. G06N 20/00(2019.01) G06F 9/54(2006.01) (54)发明名称 一种基于响应时间实时均衡的联邦学习高 效通信方法 (57)摘要 本发明涉及一种基于响应时间实时均衡的 联邦学习高效通信方法， 属于联邦机器学习领 域。 首先， 在预先设定的簇迭代训练中， 每个 响应 的终端设备分别根据自身的本地模 型计算时间， 均衡的划分至预先设定的计算簇中， 构建基于 “云服务器 ‑Head节点 ‑终端设备 ”一体的分层通 信架构， 从通信结构上间接增加了低响应设备的 模型训练参与度。 然后， 使响应快的设备能够帮 助响应慢的设备进行训练。 本发 明通过对异构的 计算设备动态分组， 自适应构建分层的逻辑通信 架构， 并在计算簇内设计加权的协作训练机制， 间接提高了低响应 设备的模型训练参与度， 从本 质上解决了联邦机器学习技术中， 由于资源异构 所导致的通信等待延时问题， 提高了训练模型的 精确度。 权利要求书4页 说明书12页 附图4页 CN 115392481 A 2022.11.25 CN 115392481 A 1.一种基于响应时间实时均衡的联邦学习高效通信方法， 其特征在于： 该方法包括以 下步骤： S1： 初始化， 定义 为设备集合， N为设备个数， 和 分别为 所有设备所采 集的本地隐私数据和计算能力集合， 和 分别为簇以及簇 的Head节点集合， M为簇个数， 云服务器初始化全局模型ω0， 全局模型训练轮数T， 簇内模型 训练轮数H； S2： 动态分层通信架构构建， 根据给定的设备计算能力 以及设备的数据集合 动态的将终端设备划分至给定的计算簇中， 使得每个计算簇在当前迭代轮次h ∈H的簇模型训练时间均衡， 并构建基于 “云服务器 ‑Head节点 ‑终端设备 ”的动态分层通信 架构； S3： 簇内加权协作训练， 每个簇 的Head的节点 分别进行簇内加权协作训练， 得到每个簇在当前迭代轮次h∈H的簇内模型 更新 S4： 簇间模型聚集， 每个计算簇 的Head节点分别将获得的簇模型更新 上传 至云服务器， 云服务器对上传的簇模型更新 进行聚集操作， 得到下一轮迭代的全局 模型ωt+1； S5： 全局模型分发， 云服务器将更新的全局模型ωt+1下发给所有计算设备， 模型训练进 入下一轮迭代。 2.根据权利要求1所述的一种基于响应时间实时均衡的联邦学习高效通信方法， 其特 征在于： 所述S2具体包括以下步骤： S2‑1： 所有终端设备 从云服务器获取迭代 轮次t∈T的全局模型ωt(t＝0,1, 2,...,T)； S2‑2： 所有终端设备 根据各自的本地隐私数据 以及全局模型ωt 并行地进行本地模型训练， 对于设备 有如下计算公式： 其中， e∈E为终端设备的本地模型训练轮次， 和 为终端设备 在本地迭代轮次e 和e‑1的本地模型 更新， b∈B为训练块大小， η和 分别为学习率和梯度函数； S2‑3： 记簇内迭代训练轮次h∈H， 得到经过E轮本地模型训练的终端设备集合为S且S中 每个设备 的本地模型更新为 则分别预测评估将设备 划分至每个簇 的簇模型训练时间 对于设备 有如下计算公式： S2‑4： 将设备 分配至使得簇间训练时间差异 最小的簇中， 对于簇 有如权　利　要　求　书 1/4 页 2 CN 115392481 A 2下计算公式： S2‑5： 更新每 个簇 的簇模型训练时间 重复S2‑3至S2‑5， 直至集合S中所有设备划分完成为止， 得到当前迭代轮数h∈H的一次 簇划分结果； S2‑6， 在每个簇 中， 选择一个计算能力最强的设备作为簇的Head节点， 并构建基 于“云服务器‑Head节点 ‑终端设备 ”一体的逻辑分层架构。 3.根据权利要求2所述的一种基于响应时间实时均衡的联邦学习高效通信方法， 其特 征在于： 所述S3具体包括以下步骤： S3‑1： 分别统计每个设备 直至迭代轮次h∈H， 训练得到本地模型更新的总频次 S3‑2： 分别计算每个设备 在当前迭代轮次h∈H的簇内模型聚集权重 其计算 公式如下： S3‑3： 计算每个簇 在当前迭代轮次h∈H的簇内模型 更新， 对于簇 其计算公式如 下： 其中， 表示簇 在簇内迭代轮次(h ‑1)的簇模型 更新； 不断重复S2～S3， 直至每个簇 迭代训练H轮为止， 得到经过H轮迭代训练的簇模型 更新 4.根据权利要求3所述的一种基于响应时间实时均衡的联邦学习高效通信方法， 其特 征在于： 所述S4具体包括以下步骤： S4‑1， 每个计算簇 的Head节点将训练得到的簇模型 更新 传输至云服务器； S4‑2， 云服务器对所有上传的簇模型更新 进行聚集操作， 并得到下一轮迭代的 全局模型ωt+1， 其计算公式如下： 其中， ωt为第t轮迭代的全局模型。 5.根据权利要求4所述的一种基于响应时间实时均衡的联邦学习高效通信方法， 其特 征在于： 所述S5具体包括以下步骤：权　利　要　求　书 2/4 页 3 CN 115392481 A 3