(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211129938.4 (22)申请日 2022.09.16 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 杨家海　宋光磊　何林　李城龙　 王之梁　张辉　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 孟洋 (51)Int.Cl. H04L 43/10(2022.01) H04L 43/0805(2022.01) H04L 43/16(2022.01) G06N 20/00(2019.01) (54)发明名称 基于强化学习的全互联网端口扫描方法及 装置 (57)摘要 本发明公开了基于强化学习的全互联网端 口扫描方法及装置， 该方法包括将互联网划分为 多个目标网络， 对每个目标网络中的预设数量的 活跃地址进行全端口扫描， 以根据扫描得到的端 口开放信息构建开放端口关联图； 根据开放端口 关联图推荐每个目标网络中未探测的活跃地址 的候选端口， 对候选端口进行扫描得到端口扫描 反馈结果； 基于端口扫描反馈结果对候选端口的 预期奖励 进行更新， 并基于更新后的预期奖励更 新开放端口关联图， 根据更新后的开放端口关联 图预测每个目标网络下一个需要被扫描的活跃 地址的候选端口； 当每个目标网络的探测端口的 数量达到探测数量阈值时， 完成一个目标网络的 端口扫描任务。 本发明优先扫描更有可能开放的 端口提高探测的利用率。 权利要求书3页 说明书8页 附图3页 CN 115208800 A 2022.10.18 CN 115208800 A 1.一种基于强化学习的全互联网端口扫描方法， 其特 征在于， 包括以下步骤： 将互联网划分为多个目标网络， 并对每个目标网络 中的预设数量的活跃地址进行全端 口扫描， 以根据扫描得到的端口开 放信息构建开 放端口关联图； 根据所述开放端口关联图推荐每个目标网络 中未探测的活跃地址的候选端口， 并对候 选端口进行扫描得到端口扫描反馈结果； 基于所述端口扫描反馈结果对候选端口的预期奖励进行更新， 并基于更新后的预期奖 励更新所述开放端口关联图， 根据更新后的开放端口关联图预测每个目标网络下一个需要 被扫描的活跃地址的候选端口； 以及， 当每个目标网络的探测端口的数量达到探测数量阈值 时， 完成一个所述目标网络的端 口扫描任务。 2.根据权利要求1所述的方法， 其特征在于， 所述对每个目标网络 中的预设数量的活跃 地址进行全端口扫描， 以根据扫描得到的端口开 放信息构建开 放端口关联图， 包括： 在一个目标网络中选取 预设数量的活跃地址进行全端口扫描， 获取端口开 放信息； 基于所述端口开放信 息对所述全端口的端口开放概率进行计算， 得到初始化端口开放 概率； 根据所述初始化端口开 放概率和预设的权 重计算公式， 构建所述 开放端口关联图。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述开放端口关联图推荐每个目 标网络中未探测的活跃地址的候选端口， 包括： 当扫描一个目标网络中未探测的活跃地址的端口时， 基于所述开放端口关联图选取最 高概率的端口节点作为入口节点； 判断入口节点对应端口的开放状态， 根据开放状态判断结果更新所述最高概率的端口 节点对应的端口开 放概率； 以及， 根据预设的概率计算公式对所述最高概率的端口节点所指向的其他所有端口节点对 应的端口开放概率进 行计算得到端口开放的后验概率， 以根据更新后的端口开放概率推荐 候选端口。 4.根据权利要求3所述的方法， 其特征在于， 所述预设数量活跃地址为种子地址， 所述 方法， 还包括： 基于预扫描机制获取开 放端口i的先验奖励： 其中， k表示种子地址的数量， ni表示种子地址中开 放端口i的数量。 5.根据权利要求4所述的方法， 其特征在于， 所述方法， 还包括： 在所述每个目标网络的 一个活跃地址上扫描 端口i的奖励为： 在完成对一个活跃地址的端口扫描后， 开 放端口 的奖励更新 为：权　利　要　求　书 1/3 页 2 CN 115208800 A 2其中， 表示在端口i上进行了n次扫描后的奖励， 表示端口i的第j次扫描的 奖励； 根据端口i更新后的奖励更新 开放端口关联图， 则更新过程 为： 其中， 为权重。 6.一种基于强化学习的全互联网端口扫描装置， 其特 征在于， 包括： 关联图构建模块， 用于将互联网划分为多个目标网络， 并对每个目标网络中的预设数 量的活跃地址进行全端口扫描， 以根据扫描得到的端口开 放信息构建开 放端口关联图； 端口扫描模块， 用于根据所述开放端口关联图推荐每个目标网络 中未探测的活跃地址 的候选端口， 并对候选端口进行扫描得到端口扫描反馈结果； 奖励和图更新模块， 用于基于所述端口扫描反馈结果对候选端口的预期奖励进行更 新， 并基于更新后的预期奖励更新所述开放端口关联图， 根据更新后的开放端口关联图预 测每个目标网络下一个需要被扫描的活跃地址的候选端口； 以及， 扫描完成模块， 用于当每个目标网络的探测端口的数量达到探测数量阈值时， 完成一 个所述目标网络的端口扫描任务。 7.根据权利要求6所述的装置， 其特 征在于， 所述关联图构建模块， 还用于： 在一个目标网络中选取 预设数量的活跃地址进行全端口扫描， 获取端口开 放信息； 基于所述端口开放信 息对所述全端口的端口开放概率进行计算， 得到初始化端口开放 概率； 根据所述初始化端口开 放概率和预设的权 重计算公式， 构建所述 开放端口关联图。 8.根据权利要求7 所述的装置， 其特 征在于， 所述端口扫描模块， 还用于： 当扫描一个目标网络中未探测的活跃地址的端口时， 基于所述开放端口关联图选取最 高概率的端口节点作为入口节点； 判断入口节点对应端口的开放状态， 根据开放状态判断结果更新所述最高概率的端口 节点对应的端口开 放概率； 以及， 根据预设的概率计算公式对所述最高概率的端口节点所指向的其他所有端口节点对 应的端口开放概率进 行计算得到端口开放的后验概率， 以根据更新后的端口开放概率推荐 候选端口。 9.根据权利要求8所述的装置， 其特征在于， 所述预设数量活跃地址为种子地址， 所述 奖励和图更新模块， 还用于基于预扫描机制获取开 放端口i的先验奖励：权　利　要　求　书 2/3 页 3 CN 115208800 A 3