(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210505616.9 (22)申请日 2022.05.10 (71)申请人 中国矿业大 学 地址 221116 江苏省徐州市大 学路1号 (72)发明人 朱金佗　黄静　王亮　何新建　 蒋奇君　梁琛裕　张馨木　荆鹏俐　 刘金钰　杨进　孙海松　李响　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 王美章 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G16Y 10/30(2020.01) G16Y 40/10(2020.01) G16Y 40/20(2020.01) G16Y 40/50(2020.01) (54)发明名称 一种无人机巡查个体防护缺失行为与预警 矫正系统及方法 (57)摘要 本发明公开一种无人机巡查个体防护缺失 行为与预警矫正系统及方法， 包括： 基于自主建 立的个体防护装备穿戴数据库、 员工头像数据 库、 员工工号&防护装备编号数据库进行神经网 络算法识别训练， 分别构建防护装 备缺失检测模 块、 员工头像识别模块、 员工工号&防护装备编号 识别模块三大检测识别模块； 依托无人机图像采 集系统采集作业人员图像， 并输入三大检测识别 模块进行防护装 备缺失检测和员工信息识别； 检 测识别结果被传输至预警矫正播报系统进行播 报， 并上传至云平台和客户端进行数据汇总显 示、 提醒。 本发明可实现全自动、 无人化、 实时在 线地精准检测、 识别、 预 警、 矫正个体防护缺失行 为， 为作业人员的生命安全健康保驾护航。 权利要求书4页 说明书9页 附图2页 CN 114842419 A 2022.08.02 CN 114842419 A 1.一种无人机巡查个体防护缺失行为与预警矫正方法， 其特征在于， 所述方法包括以 下步骤： S11： 建立神经网络训练系统中的个体防护装备穿戴数据库、 员工头像数据库、 员工工 号&防护装备编号数据库三大数据库， 基于数据库及神经网络算法进 行防护装备缺 失、 员工 头像识别、 员工工号&防护装备编号识别训练， 进而构建个体防护缺 失检测系统中的防护装 备缺失检测模块、 员工 头像识别模块及员工 工号&防护装备编号识别模块； S12： 依托无人机图像采集系统采集施工现场作业人员图像作为待检测图， 并记录作业 人员位置信息； S13： 将待检测图输入个体防护缺失检测系统中， 先进行图像的预处理， 再将图像输入 防护装备缺 失检测模块进 行目标检测， 若 未发现个体防护缺 失行为， 则结束； 若发现个体防 护缺失行为， 则将图像输入员工头像识别模块和员工工号&防护装备编号识别模块， 如果可 检测到头像， 则以头像信息为准进行身份确认， 若不能检测到头像， 则通过检测呼吸器上的 编号进行员工身份信息确认； S14： 将作业人员位置信息传输至无人机图像采集系统， 以进行跟踪拍摄； 同时， 将此位 置信息反馈 至中控室信息处 理系统的云平台进行记录； S15： 个体防护缺失检测系统将检测到的个体防护缺失信息、 识别的身份信息传输至预 警矫正播报系统， 预警矫正播报模块根据噪声传感器检测的施工现场噪声自动调整播报音 量， 并进行 预警矫正播报； S16： 预警矫正播报模块将个体防护装备缺失信息、 个体防护缺失人员身份信息传输至 云平台与作业人员位置信息共同进 行数据的统计汇总、 更新、 存档， 并将信息显示于数据 汇 总显示模块， 客户端可随时查看上述数据。 2.根据权利要求1所述的一种无人机巡查个体防护缺失行为与预警矫正方法， 其特征 在于， 个体防护装备穿戴数据库和员工 头像数据库的建立包括以下步骤： S21： 在工作场所密集布设摄像头， 获取员工作业状态下穿戴个体防护装备的视频录 像； 采取头像识别打卡的上、 下班的方式， 获取全部员工 头像； S22： 将视频录像转换为图片， 从图片中找到人物， 并将图片格式变成448*448； 采用SSD 算法检测出图片中的人； 对图像进行 取均值和归一 化处理； S23： 标注训练集和测试集； 当数据库的图片量达到百万级别以上时， 以数据库的 99.5％做训练集， 0.25％做验证集和测试集； 若 数据库的图片量没有达到百万级别， 以70％ 为训练集， 3 0％为测试集。 3.根据权利要求1所述的一种无人机巡查个体防护缺失行为与预警矫正方法， 其特征 在于， 员工 工号&防护装备编号数据库的建立包括以下步骤： S31： 以反光材料对每个员工的每件防护 装备进行编号， 编号包括员工工号+装备类型+ 装备编号， 每人每件防护装备编号唯一可区分； S32： 录入上述编号， 建立员工 工号&防护装备编号数据库。 4.根据权利要求1所述的一种无人机巡查个体防护缺失行为与预警矫正方法， 其特征 在于， 所述防护装备缺失训练模块基于个体防护装备穿戴数据库， 依托YOLO算法进行目标 检测训练， 主要由三个组件组成： Backbone、 Neck、 Heads； 其中Backbone为主干网络， 用来提 取特征； Neck放在backbone和head之间， 进一步提升特征的多样性及鲁棒性； Head获取网络权　利　要　求　书 1/4 页 2 CN 114842419 A 2输出， 利用提取 特征做出预测； 防护装备缺失训练包括以下步骤： S41： 将经 过预处理的图像进行网格划分； S42： 对划分网格中每一个子格定义训练标签[pc bx by bh bw c1 c2 c3c4]T， T表示向量 转置， 格子中有目标图像pc的输出值是1， 格子中无目标图像pc的输出值是0， (bx,by,bh,bw) 是目标图像的边界框坐标， c1、 c2、 c3、 c4分别代表安全帽、 安全带、 呼吸器、 背景； S43： 将待检图片导入图像分类和定位算法中， 经过卷积和池化操作后， 输出n*n*9的特 征向量， n为划分 网格的大小， 并用softmax分类器预测每个网格中所含的个体防护装备， 对 应步骤S42定义的训练标签即可 得到在目标框内是否存在个 体防护装备； S44： 判断目标检测结果好坏， 采用交并比函数， 即设 如 果IoU≥0.5， 则检测正确； S45： 建立防护装备缺失检测模型， 并内置 于防护装备缺失检测模块。 5.根据权利要求1所述的一种无人机巡查个体防护缺失行为与预警矫正方法， 其特征 在于， 所述员工工号&防护装备编号识别模块是基于员工工号&防护装备编号数据库， 运用 卷积神经网络实现 的， 包括卷积层、 池化层、 全连接、 分类器； 员工工号&防护装备编号识别 训练包括以下步骤： S51： 引入卷积层,初步 提取图像特 征； S52： 引入 池化层， 提取图像主 要特征； S53： 引入全连接层， 将各部分特 征汇总； S54： 产生分类 器， 进行预测识别； S55： 建立员工工号&防护装备编号识别 模型， 并分别内置于员工工号&防护 装备编号识 别模块； 所述员工 头像识别模块基于员工 头像数据库， 并引入Siamese网络， 具体包括： S61： 训练Si amese网络， 包括引入卷积层,初步提取图像特征； 引入池化层， 提取图像主 要特征； 引入全连接层， 将各部分特 征汇总； S62： 在全连接层后引入 对输入图像的编码f(xi),xi代表输入的图像编号； S63： 对工作场所所有员工采用相同的Si amese网络参数和步骤得到每一位员工各自对 应的编码； S64:将待检测图的编码与库中编码使用lo gistic回归的二分类算法匹配， 得到员工身 份信息； S65： 建立员工 头像识别模型， 内置 于员工头像识别模块。 6.一种应用于如权利要求1 ‑5中任意一项所述的无人机巡查个体防护缺失行为与 预警 矫正方法的系统， 其特征在于， 包括神经网络训练系统、 无人机图像采集系统、 个体防护缺 失检测系统、 预警矫 正播报系统、 中控室信息处 理系统； 所述神经网络训练系统包括个体防护装备穿戴数据库、 员工头像数据库、 员工工号&防 护装备编号数据库、 防护装备缺失训练模块、 员工头像识别训练模块、 员工工号&防护装备 编号识别训练模块； 所述无人机 图像采集系统包括无人机机体、 无线红外感应模块、 高清摄像模块和通信 传输模块；权　利　要　求　书 2/4 页 3 CN 114842419 A 3