(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221080782 9.7 (22)申请日 2022.07.11 (71)申请人 广东电网有限责任公司广州供电局 地址 510620 广东省广州市天河区天河南 二路2号 (72)发明人 许斌斌　陈畅　黄均才　刘鉴栋　 袁晶　 (74)专利代理 机构 北京睿智保诚专利代理事务 所(普通合伙) 11732 专利代理师 杜娟 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01)G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于FCOS目标检测的工地异常行为检测方 法及系统 (57)摘要 本发明公开了一种基于FCOS目标检测的工 地异常行为检测方法及系统， 涉及工地异常行为 检测技术领域， 获取工地异常行为样本图像以及 对应的样 本标签文件作为第一训练数据集， 训练 FCOS深度学习网络模型； 依据FCOS深度学习网络 模型输出的识别结果、 定位结果以及特征， 对工 地异常行为样本图像中的作业人员及异常行为 标志物进行关系标定； 将标定结果、 定位结果以 及特征作为第二训练数据集， 训练MLP多层感知 器； 将两级网络进行结合得到异常行为检测模 型， 对待测图像进行检测， 得到检测结果。 本发明 能够实现工地异常行为的自动检测， 具有准确率 高、 稳定性好、 抗干扰能力强、 通用性高、 速度快 等优点， 能在实际应用中发挥有效作用。 权利要求书2页 说明书7页 附图5页 CN 115171214 A 2022.10.11 CN 115171214 A 1.一种基于FCOS目标检测的工地异常行为检测方法， 其特 征在于， 包括以下步骤： 建立第一训练数据集， 所述第 一训练数据集中包括工地异常行为样本图像以及对应的 样本标签文件； 使用第一训练数据集训练FCOS深度学习网络模型； 将第一训练数据集再次输入训练好的FCOS深度学习网络模型， 得到工地异常行为样本 图像中的作业人员及异常行为标志物的识别结果、 定位结果以及特征； 依据所述识别结果， 对工地异常行为样本图像中的作业人员 及异常行为标志物进行关系 标定， 得到标定结果； 将标定结果、 定位结果以及特 征作为第二训练数据集； 使用第二训练数据集训练MLP多层感知器； 结合训练好的FCOS深度学习网络模型和训练好的MLP多层感知器， 作为异常行为检测 模型； 将待测图像输入异常行为检测模型， 得到检测结果。 2.根据权利要求1所述的一种基于FCOS目标检测的工地异常行为检测方法， 其特征在 于， 所述工地异常行为样本图像包括跨越和移动两个大类， 以及跨越安全围栏、 移动安全围 栏、 移动电缆支撑架、 移动消防栓四个小类； 异常行为标志 物包括安全围栏、 电缆支撑架、 消防栓； 异常行为包括 跨越安全围栏、 移动安全围栏、 移动电缆支撑架、 移动消防栓 。 3.根据权利要求1所述的一种基于FCOS目标检测的工地异常行为检测方法， 其特征在 于， 所述样本标签文件满足Pascal  VOC格式的xml标签文件标准， 内容包含图像名称、 图像 路径、 图像的高度宽度以及真实目标框的坐标。 4.根据权利要求1所述的一种基于FCOS目标检测的工地异常行为检测方法， 其特征在 于， 所述FC OS深度学习网络模 型由三部 分组成： 骨干网络、 特征金字塔、 检测模块； 骨干网络 对输入的图像进行特征提取得到三层特征图， 三层特征图被送入特征金字塔进行特征融 合， 得到的五层融合特征图依 次被送入检测模块进行逐像素点回归， 得到识别结果和定位 结果。 5.根据权利要求4所述的一种基于FCOS目标检测的工地异常行为检测方法， 其特征在 于， 选择ResNet5 0作为FCOS深度学习网络模型的骨干网络 。 6.根据权利要求4所述的一种基于FCOS目标检测的工地异常行为检测方法， 其特征在 于， 在所述检测模块中， 每个特征图有两条支路， 分类和回归， 分别通过卷积运算， 输出预测 分类结果、 中心度和回归结果； 其中分类结果即为识别结果； 回归结果即为定位结果， 用向量t*＝(l*,t*,r*,b*)表 示， 参数l*、 t*、 r*、 b*分别表示识别框四条边到图像四条边的距离； 中心度位于分类支路 中， 用于降低远离目标中心的识别框的权 重， 计算公式为： 7.根据权利要求2所述的一种基于FCOS目标检测的工地异常行为检测方法， 其特征在 于， 对工地异常行为样本图像中的作业人员 及异常行为标志物进行关系标定的方法为： 采 用0表示两者之 间并无异常行为关系、 1表示跨越安全围栏、 2表 示移动安全围栏、 3表 示移动 电缆支撑架、 4表示移动消防栓 。权　利　要　求　书 1/2 页 2 CN 115171214 A 28.根据权利要求1所述的一种基于FCOS目标检测的工地异常行为检测方法， 其特征在 于， MLP多层感知器由一个输入层、 若干个隐含层、 一个输出层组成， 每层神经元与下一层神 经元全互连， 但同层之间不存在神经 元互连情况。 9.根据权利要求1所述的一种基于FCOS目标检测的工地异常行为检测方法， 其特征在 于， 所述检测结果包括作业人员识别框及坐标、 异常行为标志物识别框及坐标、 异常行为识 别框及坐标、 作业人员与异常行为标志 物之间的关系标定结果。 10.一种基于FCOS目标检测的工地异常行为检测系统， 其特 征在于， 包括： 第一训练数据集获取模块， 用于建立第一训练数据集， 所述第一训练数据集中包括工 地异常行为样本图像以及对应的样本标签文件； FCOS深度学习网络模型训练模块， 用于使用第一训练数据集训练FCOS深度学习网络模 型； 第二训练数据集获取模块， 用于将第一训练数据集再次输入训练好的FCOS深度学习网 络模型， 得到工地异常行为样本图像中的作业人员 及异常行为标志物的识别结果、 定位结 果以及特征； 依据所述识别结果， 对工地异常行为样本图像中的作业人员 及异常行为标志 物进行关系标定， 得到标定结果； 将标定结果、 定位结果以及特 征作为第二训练数据集； MLP多层感知器训练模块， 用于使用第二训练数据集训练MLP多层感知器； 检测模块， 用于结合训练好的FCOS深度学习网络模型和训练好的MLP多层感知器， 作 为 异常行为检测模型； 将待测图像输入异常行为检测模型， 得到检测结果。权　利　要　求　书 2/2 页 3 CN 115171214 A 3