(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210445557.0 (22)申请日 2022.04.24 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 郑润森　董美蓉　黄冲　郑沐阳　 刘振杰　洪楚锋　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 郑秋松 (51)Int.Cl. H04N 7/18(2006.01) H04N 17/00(2006.01) G08B 17/12(2006.01) G08B 21/02(2006.01)G06V 10/25(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/52(2022.01) (54)发明名称 一种智能矿井 视频分析和联动系统 (57)摘要 本发明公开了一种智能矿井视频分析和联 动系统。 该系统包括以太网、 多个摄像头、 PLC控 制器、 图像故障检测单元、 图像内容识别单元， 多 个摄像头、 PLC控制器、 图像故障检测单元、 图像 内容识别单元均分别与以太网连接， PLC控制器 控制矿井内的矿 车， 图像故障检测单元用于检测 图像是否存在故障， 图像内容识别单元利用深度 学习目标检测网络进行识别图像中的矿井不安 全内容。 本发明相比现有技术， 对摄像头画面可 能出现的多类型故障分别提出了检测方法， 方便 人员对系统进行维护提高稳定性， 在矿井现场能 简单部署， 基本利用了矿井内现有的硬件设施， 实现矿井视频安全检测分析且联动控制矿车的 同时， 还具有成本低安装方便的优势。 权利要求书2页 说明书7页 附图3页 CN 114866739 A 2022.08.05 CN 114866739 A 1.一种智能矿井视频分析和联动系统， 其特征在于， 包括以太网、 多个摄像头、 控制单 元、 图像故障检测单 元、 图像内容识别单 元； 所述多个摄像头、 控制单元、 图像故障检测单元、 图像内容识别单元均分别与所述以太 网连接； 以太网用于进行图像传送和信号传送， 所述信号包括故障检测信号、 安全识别 信号； 多个摄像头分别用于拍摄矿井内的图像发送到以太网； 控制单元分别与矿井 内的多台矿车电性连接， 控制单元用于根据从以太网获取的信号 调整多台矿车的动作； 图像故障检测单元用于从以太网获取矿井内的图像进行图像噪点、 图像色差偏度、 图 像定格的检测， 并根据检测结果向以太网传送故障检测信号； 图像内容识别单元用于从以太网获取矿井内的图像， 使用YOLOV5深度学习目标检测网 络进行安全识别， 并根据安全识别的结果向以太网传送安全识别 信号。 2.根据权利要求1所述智能矿井视频分析和联动系统， 其特征在于， 图像 内容识别单元 包括危险区域模块、 人员安全帽模块、 火警模块； 所述危险区域模块、 人员安全帽模块、 火警模块均分别为由危险区训练集、 安全帽训练 集、 明火烟火训练集训练得到的YOLOV5深度学习目标检测网络； 危险区域模块用于识别图像 内的人员、 矿车是否进入所设定的危险区域并输出对应类 型的安全识别 信号； 人员安全帽模块用于识别图像内的人员是否佩戴安全帽并输出对应类型的安全识别 信号； 火警模块用于识别图像内是否出现 火警并输出对应 类型的安全识别 信号。 3.根据权利要求2所述智能矿井视频分析和联动系统， 其特征在于， 图像 内容识别单元 还包括矿车模块； 所述矿车模块用于识别图像内矿车的位置并输出对应 类型的安全识别 信号。 4.根据权利 要求1所述智能矿井视频分析和联动系统， 其特征在于， YOLOV5深度学习目 标检测网络设于深度学习模型部署工具0PENVI NO上。 5.根据权利要求1所述智能矿井视频分析和联动系统， 其特征在于， 图像故障检测单元 包括图像噪点模块、 图像色差偏度模块、 图像定格模块； 所述图像噪点模块用于检测图像是否出现噪点故障， 并向 以太网传送对应类型的故障 检测信号； 所述图像色差偏度模块用于检测图像的色差偏度程度的故障， 并向以太网传送对应类 型的故障检测信号； 所述图像定格模块用于检测是否出现图像定格的故障， 并向以太网传送对应类型的故 障检测信号。 6.根据权利要求5所述智能矿井视频分析和联动系统， 其特征在于， 图像噪点模块包括 噪点故障判定模块、 噪点识别模块、 卷积模块、 灰度模块、 中值滤波模块； 所述卷积模块用于使用0 °、 45°、 90°的卷积核分别对图像进行卷积并取最小绝对值 Pmin； 所述灰度模块用于将图像转换成灰度图， 得到灰度图中各像素点的灰度值Gray；权　利　要　求　书 1/2 页 2 CN 114866739 A 2所述中值滤波模块用于将图像转换成中值滤波图， 得到中值滤波图中个像素点的滤波 中值Median； 所述噪点识别模块用于根据灰度值Gray、 滤波中值Medi an、 最小绝对值Pmin识别图像中 的像素点是否为噪点； 所述噪点故障判定模块用于根据被噪点识别模块识别为噪点的像素点占图像像素点 的比例是否大于设定的比例阈值， 判断是否出现图像噪点故障。 7.根据权利要求5所述智能矿井视频分析和联动系统， 其特征在于， 图像色差偏度模块 包括Lab色彩转换模块、 色差偏度因子计算模块、 色差偏度故障判定模块； 所述Lab色彩转换模块用于将图像转换到Lab色彩空间； 所述色差偏度因子计算模块用于在图像的Lab色彩空间内根据平均色度D和色度中心 距M计算色差偏度因子K； 所述色差偏度故障判定模块用于根据色差偏度因子K是否大于设定的色差偏度阈值， 判断是否出现图像色差偏度故障。 8.根据权利要求5所述智能矿井视频分析和联动系统， 其特征在于， 图像定格模块包括 周期抽帧模块、 相似度计算模块、 定格故障判定模块； 所述周期抽帧模块用于从摄 像头所拍摄的图像中以T帧为周期进行图像抽帧； 所述相似度计算模块用于计算抽帧出来的前后两帧图像的相似度， 并将相似度 大于设 定的相似度阈值的图像数量进行累计； 所述定格故障判定模块用于根据相似度计算模块累计的图像数量是否大于设定的累 计阈值， 判断是否出现图像定格故障。 9.根据权利要求5所述智能矿井视频分析和联动系统， 其特征在于， 图像故障检测单元 还包括图像丢失模块； 所述图像丢失模块用于检测摄像头拍摄的图像是否出现丢失故障， 并向 以太网传送对 应类型的故障检测信号。 10.根据权利要求1 ‑9任一项所述智能矿井视频分析和联动系统， 其特征在于， 控制单 元包括PLC控制器和拉力传感器； 所述PLC控制器与矿车电性连接， PLC控制器与以太网直连， PLC控制器用于根据从以太 网接收的信号调整矿车的动作； 所述拉力传感器设于矿车的缆绳上， 拉力传感器与PLC控制器通过无线通信的方式连 接。权　利　要　求　书 2/2 页 3 CN 114866739 A 3