(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210811752.0 (22)申请日 2022.07.12 (65)同一申请的已公布的文献号 申请公布号 CN 114882447 A (43)申请公布日 2022.08.09 (73)专利权人 南通森田消防装备有限公司 地址 226000 江苏省南 通市启东市汇龙工 业园区杨沙路10号 (72)发明人 章雪琴　 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/26(2022.01) G06V 10/778(2022.01)(56)对比文件 CN 10216 3358 A,201 1.08.24 CN 10937 7703 A,2019.02.2 2 CN 111626188 A,2020.09.04 CN 114332739 A,202 2.04.12 审查员 夏冰 (54)发明名称 一种基于视觉感知的防火卷帘门实时预警 方法及系统 (57)摘要 本发明涉及防火设备技术领域， 具体涉及一 种基于视觉感知 的防火卷帘门实时预警方法及 系统。 方法包括： 将目标图像输入到目标检测 网 络中， 得到危险系数图和设备防护系数图； 将目 标图像输入到语义分割网络中， 生成烟雾区域图 像和火焰区域图像； 根据目标图像的火焰区域图 像得到火焰蔓延特征； 根据目标图像的烟雾区域 图像得到烟雾蔓延特征； 从而实现对 下一帧图像 的火焰距离和烟雾距离进行预测， 若预测到的火 焰距离小于等于火焰安全距离阈值或/和烟雾距 离小于等于烟雾安全距离阈值， 则发出预警。 本 发明通过对火焰区域和烟雾区域到防火卷帘门 的距离进行实时的预测， 来实现对防火卷帘门的 实时预警， 有效的避免了防火卷帘门的错误控 制。 权利要求书2页 说明书9页 附图1页 CN 114882447 B 2022.09.20 CN 114882447 B 1.一种基于 视觉感知的防火卷帘门实时预警方法， 其特 征在于， 该 方法包括以下步骤： 获取连续多帧特定区域的RGB全局俯视图作为图像序列； 对图像序列中对应的每个位 置的像素点的像素值序列进行混合高斯建模， 得到每 个位置像素点的混合高斯模型； 将目标图像输入到训练好的目标检测网络中， 根据输出结果得到目标图像对应的危险 系数图和设备防护系数图， 所述目标图像为实时采集的RGB全局俯视图； 将目标图像输入到训练好的语义分割网络中， 得到目标图像中对应的烟雾区域图像和 火焰区域图像， 所述语义分割网络用于监测图像中的火焰区域和烟雾区域； 根据连续帧的目标图像对应的火焰区域图像得到当前帧目标图像对应的火焰蔓延特 征， 所述火焰蔓延特征包括火焰距离特征和火焰蔓延速度特征； 根据连续帧的目标图像对 应的烟雾区域图像得到 当前帧目标图像对应的烟雾 蔓延特征， 所述烟雾蔓延特征包括烟雾 距离特征和烟雾蔓延速度特 征； 根据防火卷帘门前后的RGB图像对应的危险系数图和设备防护系数图， 得到防火卷帘 门对应的危害性指数； 根据对应的防火卷帘门对应的危害性指数， 得到烟雾安全距离阈值 和火焰安全距离阈值； 根据目标图像对应的火焰蔓延特征预测下一帧火焰区域与防火卷帘门的距离记为火 焰距离； 根据目标图像对应的烟雾 蔓延特征预测下一帧烟雾区域与防火卷帘门的距离记为 烟雾距离； 判断火焰距离是否小于等于火焰安全距离阈值以及烟雾距离是否小于等于烟雾 安全距离阈值， 若火焰距离小于等于火焰安全距离阈值或/和烟雾距离小于等于烟雾安全 距离阈值， 则发出 预警。 2.根据权利要求1所述的一种基于视觉感知的防火卷帘门实时预警方法， 其特征在于， 所述将目标图像输入到训练好的目标检测网络中， 根据输出结果得到目标图像对应的危险 系数图和设备防护系数图， 包括： 将所述目标图像输入到训练好的目标检测网络 中， 得到易燃物和消防设备对应的中心 点坐标和包围框尺寸大小； 以易燃物对应的中心点坐标为 圆心， 对应的包围框宽和高平方和的算术平方根为直径 做圆， 得到易燃物对应的危险辐射范围； 将危险辐射范围内的各个像素点的像素值设置为该易燃物对应的危险系数， 得到危险 系数图； 根据消防设备的类别获得消防防护范围， 将消防防护范围内的各个像素点的像素值设 置为该消防设备对应的防护系数， 得到设备防护系数图。 3.根据权利要求1所述的一种基于视觉感知的防火卷帘门实时预警方法， 其特征在于， 语义分割网络的损失函数为： 其中， 为损失函数的值， 为输入图像的宽， 为输入图像的高， 为类别的标记， 为标签数据中位置 属于类别 的概率值， 为网络输出结果中位置 处属于权　利　要　求　书 1/2 页 2 CN 114882447 B 2类别 的概率， 为混合高斯模型中第 个高斯分函数的权重， 为混合高斯模型中第 个高斯分布函数的 协方差矩阵的各元素之和， 为图像 处像素点的混合高斯 模型， 为图像 处像素点的危险系数， 为图像 处像素点对应的像素值。 4.根据权利要求1所述的一种基于视觉感知的防火卷帘门实时预警方法， 其特征在于， 所述根据连续帧的目标图像对应的烟雾区域图像得到当前帧目标图像对应的烟雾蔓延特 征的方法包括： 对连续帧的目标图像对应的烟雾区域图像进行连通域分析， 得到连通域的中心点坐标 和轮廓信息； 根据连通域的中心点和防火卷帘门的连线获得连线与轮廓信 息的交点， 记为烟雾区域 轮廓信息点； 根据各帧目标图像对应的烟雾区域轮廓信息点和防火卷帘门的位置得到各帧目标图 像对应的烟雾距离特 征， 所述烟雾距离为烟雾区域与防火卷帘门之间的距离； 根据相邻两帧图像的烟雾距离特 征， 得到上一帧目标图像的烟雾蔓延速度； 选择历史帧中最大的烟雾蔓延速度作为当前帧的烟雾蔓延速度特 征。 5.根据权利要求1所述的一种基于视觉感知的防火卷帘门实时预警方法， 其特征在于， 所述根据防火卷帘门前后的RGB图像对应的危险系 数图和设备防护系 数图， 得到防火卷帘 门对应的危害性指数， 包括： 获取防火卷帘门前后的RBG图像； 将防火卷帘门前后的RBG图像输入到所述训练好的目标检测网络中， 得到对应的危险 系数图和设备防护系数图； 将所述防火卷帘门前后的RBG图像中各个位置像素点对应的危险系数与防护系数作 差， 得到所述防火卷帘门前后的RBG图像中各个位置像素点的危害性指数； 选取最大的危害性指数作为防火卷帘门对应的危害性指数。 6.根据权利要求1所述的一种基于视觉感知的防火卷帘门实时预警方法， 其特征在于， 所述对图像序列中对应的每个位置的像素点的像素值序列进 行混合高斯建模， 得到每个位 置像素点的混合高斯模型， 包括： 计算所述图像序列中相邻两帧图像的差值图， 得 前一帧图像对应的到二 值图； 利用图像序列中各帧图像对应的二值图， 对图像序列中各帧图像的前景区域对应的像 素点进行 标记； 将每个位置的像素点对应的初始像素值序列中前景区域对应的像素点的数值舍去， 得 到每个位置的像素点对应的像素值序列， 所述初始像素值序列为没有舍去 前景区域对应的 像素点的数值的像素值序列； 对每个位置的像素点的像素值序列进行混合高斯建模， 得到每个位置的像素点的混合 高斯模型。 7.一种基于视觉感知的防火卷帘门实时预警系统， 包括存储器和处理器， 其特征在于， 所述处理器执行所述存储器存储的计算机程序， 以实现如权利要求1 ‑6任一项所述的一种 基于视觉感知的防火卷帘门实时预警方法。权　利　要　求　书 2/2 页 3 CN 114882447 B 3