(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211084633.6 (22)申请日 2022.09.06 (71)申请人 中国科学院计算机网络信息中心 地址 100190 北京市海淀区中关村南四街 4 号 (72)发明人 马英晋　李治莹　刘倩　金钟　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 专利代理师 司立彬 (51)Int.Cl. G06F 9/50(2006.01) G06N 20/00(2019.01) (54)发明名称 一种基于机器学习辅助的负载均衡方法及 系统 (57)摘要 本发明公开了一种基于机器学习辅助的负 载均衡方法及系统， 本方法包括： 1)输入模块接 收待计算的计算任务， 并将其传递给预测模块； 2)预测模块预测每一计算任务所需要的计算时 间并将其发送给规划模块； 3)规划模块依据计算 时间， 在分布式计算集群上对计算任务进行统筹 规划： a)若采用minimizing方案， 则采用贪心算 法对计算任务进行分配； b)若采用min ‑max方案， 则采用贪心算法对计算任务进行分配且整体计 算节点的利用率P大于或等于设定阈值； 4)计算 模块将静态规划结果中排序靠后的若干计算任 务或计算时间小于设定时间长度的计算任务动 态调整到分布式计算集群中空闲的计算节点。 本 发明能够最大程度的利用计算 集群的算力。 权利要求书2页 说明书4页 附图5页 CN 115391045 A 2022.11.25 CN 115391045 A 1.一种基于 机器学习辅助的负载均衡方法， 其 步骤包括： 1)输入模块接收待计算的N个 计算任务， 并将其传递给 预测模块； N 为大于1的自然数； 2)所述预测模块预测每一所述计算任务所需要的计算时间 并将其发送给规划模块； 3)所述规划模块依据所述预测模块提供的计算时间， 在分布式计算集群上对该N个计 算任务进行统筹规划： a)若分布 式计算集群采用单任务单节点的minimizing方案， 则根据 所述预测模块提供 的计算时间， 采用贪心算法将该N个计算任务分配到分布式计算集群中 的对应计算节点， 获得一静态规划结果并发送给计算模块； b)若分布式计算集群采用单任 务多节点的min ‑max方案， 则根据所述预测模块提供的计算时间， 采用贪心算法将该N个计 算任务分配到分布式计算集群中的对应计算节点， 获得一候选静态规划， 并计算当前候选 静态规划下计算节点的利用率P， 如果整体计算节点的利用率P均小于设定阈值， 则增加当 前最耗时计算任务的计算节点数目并更新当前最耗时计算任务的预测计算时间， 然后采用 贪心算法对该N个计算任务重新分配， 直到所得候选静态规划中整体计算节点的利用率P大 于或等于设定阈值， 将此时的候选静态规划作为静态规划结果发送给计算模块； 4)所述计算模块将所述静态规划结果中排序靠后的若干计算任务或计算时间小于设 定时间长度的计算任务动态调整到 分布式计算集群中空闲的计算节点， 将所述静态规划结 果中其余计算任务按照所述静态规划结果中对应的分配方案分配到对应 计算节点。 2.根据权利要求1所述的方法， 其特征在于， 所述计算模块对所述静态规划结果进行调 整的方法为： 所述计算模块将所述静态规划结果中排序靠后的若干计算任务或计算时间小 于设定时间长度的若干计算任务加入到一动态负载任务列表中； 然后 将该动态负载任务列 表中的计算任务均匀分配到各个可计算的计算节 点上； 当按照所述静态规划结果分配到计 算任务的计算节点i同时分配了该动态负载任务列表中的计算任务， 则计算节 点i首先完成 按照所述静态规划结果分配的计算任务， 然后计算节点i完成所分配的该动态负载任务队 列表中的计算任务。 3.根据权利要求1所述的方法， 其特征在于， 所述计算模块对所述静态规划结果进行调 整的方法为： 所述计算模块将所述静态规划结果中排序靠后的若干计算任务或计算时间小 于设定时间长度的若干计算任务加入到一动态负载任务列表中； 然后 将该动态负载任务列 表中的计算任务均匀分配到任务池中， 当按照所述静态规划结果分配到计算任务的计算节 点i完成所分配的计算任务后， 从所述任务池中持续选取 未计算的计算任务进行计算。 4.根据权利要求1或2或3所述的方法， 其特征在于， 所述计算模块首先获取所述分布式 计算集群的任务调度权限对各所述计算节点控制， 使 各所述计算节点 实现“自监控”任务状 态， 即： 非运行的计算节点自动按照规划获取计算作业、 运行中的计算节点自我锁定防止任 务冲突、 空 闲节点自发匹配的单任务 跨节点并行计算、 支持异构计算。 5.根据权利要求1或2或3所述的方法， 其特征在于， 所述输入模块对收到的每一所述计 算任务进行 预处理， 然后将预处 理后的计算任务发送给 所述预测模块。 6.根据权利要求5所述的方法， 其特征在于， 所述计算任务为量子化学计算任务， 所述 预处理包括： a)检测原子成键合理性， 对不合理的原子成键进 行补氢； b)针对待计算任务中 的分子结构进行电荷和自旋多重度进行检查， 如果不合理则对其进行校正； c)对原子坐标 位置进行检查。 7.一种基于机器学习辅助的负载均衡系统， 其特征在于， 包括输入模块、 预测模块、 规权　利　要　求　书 1/2 页 2 CN 115391045 A 2划模块和计算模块； 其中， 所述输入模块， 用于接收待计算的N个计算任务， 并将其传递给预测模块； N为大于1的 自然数； 所述预测模块， 用于预测每一所述计算任务所需要的计算时间并将其发送给规划模 块； 所述规划模块， 用于依据所述预测模块提供 的计算时间， 在分布式计算集群上对该N个 计算任务进行统筹规划： a)若分布式计算集群采用单任务单节点的minimizing方案， 则根 据所述预测模块提供 的计算时间， 采用贪心算法将该N个计算任务分配到分布式计算集群 中的对应计算节点， 获得一静态规划结果并发送给计算模块； b)若分布式计算集群采用单 任务多节点的min ‑max方案， 则根据所述预测模块提供的计算时间， 采用贪心算法将该N个 计算任务分配到分布式计算集群中的对应计算节点， 获得一候选静态规划， 并计算当前候 选静态规划下各计算节点的利用率P， 如果整体计算节点的利用率P小于设定阈值， 则增加 当前最耗时计算任务的计算节点数目并更新当前最耗时计算任务的预测计算时间， 然后采 用贪心算法对该N个计算任务重新分配， 直到所得候选 静态规划中所有计算节 点的利用率P 大于或等于设定阈值， 将此时的候选静态规划作为静态规划结果发送给计算模块； 所述计算模块， 用于将所述静态规划结果中排序靠后的若干计算任务或计算 时间小于 设定时间长度的计算任务动态调整到分布式计算集群中空闲的计算节点， 将所述静态规划 结果中其 余计算任务按照所述静态规划结果中对应的分配方案分配到对应 计算节点。权　利　要　求　书 2/2 页 3 CN 115391045 A 3