(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211427195.9 (22)申请日 2022.11.15 (71)申请人 阿里云计算有限公司 地址 310000 浙江省杭州市西湖区转塘科 技经济区块12号 申请人 清华大学 (72)发明人 杨家海　贺鑫　张世泽　董恩焕　 王之梁　卢建元　吕彪　祝顺民　 (74)专利代理 机构 广州铸智知识产权代理有限 公司 44886 专利代理师 徐瑞红 (51)Int.Cl. H04L 41/0604(2022.01) H04L 41/069(2022.01) G06N 20/00(2019.01) (54)发明名称 基于强化学习的云网络异常检测模型训练 方法及存 储介质 (57)摘要 本说明书实施例提供基于强化学习的云网 络异常检测模 型训练方法及存储介质， 其中所述 方法包括： 将与待检测设备相关的历史 时间序列 数据， 输入异常检测模型的第一检测网络进行处 理， 生成所述待检测设备在至少一个历史时刻对 应的第一异常检测结果， 确定所述第一异常检测 结果对应的检测误差， 并将所述检测误差以及所 述待检测设备的至少一个历史报警信息， 输入所 述异常检测模型中第二检测网络的智能体进行 处理， 生成所述待检测设备在目标时刻的第二异 常检测结果， 根据所述第二异常检测结果及所述 待检测设备在所述目标时刻 的目标异常检测结 果， 确定所述第二检测 网络的奖励信息， 基于所 述奖励信息对 所述智能体的网络参数进行调整， 生成目标异常检测模型。 权利要求书3页 说明书18页 附图9页 CN 115514614 A 2022.12.23 CN 115514614 A 1.一种基于强化学习的云网络异常检测模型训练方法， 包括： 将与待检测设备相关的历史时间序列数据， 输入异常检测模型的第 一检测网络进行处 理， 生成所述待检测设备在至少一个历史时刻对应的第一异常检测结果； 确定所述第 一异常检测结果对应的检测误差， 并将所述检测误差以及所述待检测设备 的至少一个历史报警信息， 输入所述异常检测模型中第二检测网络的智能体进行处理， 生 成所述待检测设备在目标时刻的第二异常检测结果； 根据所述第 二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果， 确定所述第二检测网络的奖励信息； 基于所述奖励信息对所述智能体的网络参数进行调整， 生成目标异常检测模型。 2.根据权利要求1所述的基于强化学习的云网络异常检测模型训练方法， 所述根据所 述第二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果， 确定所述第 二检测网络的奖励信息， 包括： 根据所述第 二异常检测结果及所述待检测设备在所述目标时刻的目标异常检测结果， 确定所述第二异常检测结果对应的异常检测类型； 根据所述异常检测类型确定所述第二检测网络的奖励信息 。 3.根据权利要求2所述的基于强化学习的云网络异常检测模型训练方法， 所述根据所 述异常检测类型确定所述第二检测网络的奖励信息， 包括： 在确定所述异常检测类型属于第 一类型的情况下， 确定所述第 一类型对应的预设奖励 值， 并将所述预设奖励值确定为所述第二检测网络的奖励信息； 在确定所述异常检测类型属于第 二类型的情况下， 通过奖励值计算函数对所述至少一 个历史报警信息进行处理， 生成对应的函数值， 并将所述函数值确定为所述第二检测网络 的奖励信息 。 4.根据权利要求1所述的基于强化学习的云网络异常检测模型训练方法， 所述将所述 检测误差以及所述待检测设备的至少一个历史报警信息， 输入所述异常检测模型中第二检 测网络的智能体进行处 理， 生成所述待检测设备在目标时刻的第二异常检测结果， 包括： 将所述检测误差以及所述待检测设备的至少一个历史报 警信息， 输入所述异常检测模 型中第二检测网络的智能体； 通过所述智能体将所述检测误差以及所述至少一个历史报 警信息， 输入异常值计算函 数进行处 理， 生成第一报警动作对应的第一异常值以及第二报警动作对应的第二异常值； 根据所述第 一异常值及所述第 二异常值， 确定所述待检测设备在目标时刻的第 二异常 检测结果。 5.根据权利要求4所述的基于强化学习的云网络异常检测模型训练方法， 所述根据所 述第一异常值及所述第二异常值， 确定所述待检测设备在目标时刻的第二异常检测结果， 包括： 将所述第一异常值与所述第二异常值进行比对； 在根据比对结果确定所述第 一异常值大于所述第 二异常值的情况下， 将所述第 一报警 动作确定为所述待检测设备在所述目标时刻的第二异常检测结果； 在根据比对结果确定所述第 二异常值大于所述第 一异常值的情况下， 将所述第 二报警 动作确定为所述待检测设备在所述目标时刻的第二异常检测结果。权　利　要　求　书 1/3 页 2 CN 115514614 A 26.根据权利要求4所述的基于强化学习的云网络异常检测模型训练方法， 所述根据所 述第一异常值及所述第二异常值， 确定所述待检测设备在目标时刻的第二异常检测结果， 包括： 获取第一指示信息及第二指示信息， 其中， 所述第一指示信息用于指示第一异常值的 选择概率， 第二指示信息用于指示第二异常值的选择概 率； 根据所述第一指示信 息、 所述第 二指示信 息、 所述第 一异常值及所述第 二异常值， 确定 目标异常值， 其中， 所述目标异常值 为所述第一异常值或所述第二异常值之一； 将所述目标异常值对应的报警动作确定为所述待检测设备在所述目标时刻的第二异 常检测结果。 7.根据权利要求4所述的基于强化学习的云网络异常检测模型训练方法， 所述基于所 述奖励信息对所述智能体的网络参数进行调整， 包括： 根据所述第 二异常检测结果对所述异常值计算函数的函数参数进行调整， 生成目标函 数参数； 根据所述函数参数、 所述目标函数参数及所述奖励信息， 计算所述智能体对应的误差 信息； 根据所述 误差信息对所述智能体的网络参数进行调整。 8.根据权利要求1所述的基于强化学习的云网络异常检测模型训练方法， 所述将与待 检测设备相关的历史时间序列数据， 输入异常检测模型 的第一检测网络进行处理， 生成所 述待检测设备在至少一个历史时刻对应的第一异常检测结果， 包括： 获取与待检测设备相关的历史时间序列 数据， 并通过预设长度的滑动窗口对所述历史 时间序列数据进行划分， 生成至少两个数据集 合； 将目标数据集合中的历史时间序列 数据输入异常检测模型的第 一检测网络进行处理， 生成所述待检测设备在第一历史时刻对应的第一异常检测结果， 其中， 所述 目标数据集合 为所述至少两个数据集 合中的任意 一个。 9.根据权利要求8所述的基于强化学习的云网络异常检测模型训练方法， 所述确定所 述第一异常检测结果对应的检测误差， 包括： 确定所述待检测设备在所述第一历史时刻对应的历史异常检测结果； 确定所述第一异常检测结果与所述历史异常检测结果间的误差； 相应地， 所述方法还 包括： 根据所述 误差对所述第一检测网络的网络参数进行调整。 10.根据权利要求1所述的基于强化学习的云网络异常检测模型训练方法， 还 包括： 将与待检测设备相关的时间序列数据， 输入所述第一检测网络进行处理， 生成所述待 检测设备在目标历史时刻对应的第三异常检测结果； 确定所述第 三异常检测结果对应的检测误差， 并将所述检测误差以及所述待检测设备 的至少一个历史报警信息， 输入所述智能体进行处理， 生成所述待检测设备 的第四异常检 测结果； 在基于所述第四异常检测结果确定满足报 警条件的情况下， 对所述待检测设备进行报 警处理， 并基于所述第四异常检测结果对所述智能体的网络参数进行调整。 11.一种基于强化学习的云网络异常检测方法， 包括：权　利　要　求　书 2/3 页 3 CN 115514614 A 3