(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210109359.7 (22)申请日 2022.01.28 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 张启兴　霍一诺　张永明　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 金怡 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种端到端三维卷积目标检测网络的视频 烟雾检测方法 (57)摘要 本发明涉及一种基于端到端三维卷积目标 检测网络的视频烟雾检测方法及系统， 其方法包 括： S1： 从多个烟雾视频中获取视频帧并进行分 组， 构建视频帧序列， 对其进行数据增强， 构建增 强数据集； S2： 将增强数据集输入三维卷积烟雾 检测网络， 烟雾检测网络包括： 三维卷积层、 跨阶 段局部残差网络模块、 金字塔池化模块、 路径聚 合网络模块和张量解码器； 输出烟雾识别结果以 及定位。 本发明提供的方法， 能够有效地提取出 烟雾的静态和动态特征， 动态特征与静态特征的 结合可以有效提高视频烟雾检测算法的可靠性， 从而准确地识别和定位视频帧中的烟雾 。 权利要求书1页 说明书4页 附图2页 CN 114550032 A 2022.05.27 CN 114550032 A 1.一种基于端到端三维卷积目标检测网络的视频烟雾检测方法， 其特 征在于， 包括： 步骤S1： 从多个烟雾视频中获取视频帧并进行分组， 构建视频帧序列， 对其进行数据增 强， 构建增强数据集； 步骤S2： 将所述增强数据集输入三维卷积烟雾检测网络， 所述烟雾检测网络包括： 三维 卷积层、 跨阶段局部残差网络模块、 金字塔池化模块、 路径 聚合网络模块和张量解码器； 输 出烟雾识别结果以及定位。 2.根据权利要求1所述的基于端到端三维卷积目标检测网络的视频烟雾检测方法， 其 特征在于， 所述步骤S1： 从多个烟雾视频中获取视频帧并进行分组， 构建视频帧序列， 对其 进行数据增强， 构建增强数据集， 具体包括： 步骤S11： 获取多个烟雾视频， 每隔固定帧提取图像， 每提取100 张图像构 建一个视频帧 序列， 对其中每张包 含烟雾的图像进行 标记； 步骤S12： 生成两个随机数a和b， 令0<a<132， 0<b<89， 令i＝a ×100+b； 从所述增强数据 集中第i张图片， 即第a个所述视频帧序列的第b张图片开始 提取12张连续的图像， 得到新的 视频帧序列； 步骤S13： 选取4个所述新的视频帧序列， 对其中图像进行增强变换后， 依次将4个所述 视频帧序列中图像按相同的方式进行缩小拼接， 得到一个增强视频帧序列， 由此构建增强 数据集； 所述增强变换包括： 翻转、 裁 剪、 尺寸变换、 平 移变换与色域扭曲。 3.根据权利要求1所述的基于端到端三维卷积目标检测网络的视频烟雾检测方法， 其 特征在于， 所述步骤S2： 将所述增强数据集输入三 维卷积烟雾检测网络， 所述烟雾检测网络 包括： 三维卷积层、 跨阶段局部残差网络模块、 金字塔池化模块、 路径聚合网络模块和张量 解码器； 输出烟雾识别结果以及定位， 具体包括： 步骤S21： 所述三维卷积层包括4个三维卷积层， 输入为12 ×416×416×3， 其中12为一 个所述增强视频帧序列中的12张图像， 416 ×416为图像大小， 3为图像的RGB通道， 每经过一 个所述三维卷积层， 长与宽均缩小一半， 输出为1 ×52×52×128； 步骤S22： 所述跨阶段局部残差 网络模块由11个二维深度可分离卷积串联构成， 将所述 三维卷积层的输出， 选取52 ×52， 26×26， 13×13三个尺度进行输出解码； 步骤S23： 所述金字塔池化模块分别对应所述跨阶段局部残差网络模块的3个输出进行 强化区域特 征处理； 步骤S24： 将所述金字塔池化模块的输出经由所述路径聚合网络模块进行各尺度之间 的特征融合， 得到 3个大小为52 ×52×18， 26×26×18， 13×13×18的特征张量； 步骤S25： 将3个所述特征张量分别输入对应的张量解码器进行解码， 最终输出烟雾识 别结果以及定位。 4.一种基于端到端三维卷积目标检测网络的视频烟雾检测系统， 其特征在于， 包括下 述模块： 数据集构建模块， 从多个烟雾视频中获取视频帧并进行分组， 构建视频帧序列， 对其进 行数据增强， 构建增强数据集； 检测网络构建及训练模块， 用于将所述增强数据集输入三维卷积烟雾检测网络， 所述 烟雾检测网络包括： 三维卷积层、 跨阶段局部残差网络模块、 金字塔池化模块、 路径聚合网 络模块和张量 解码器； 输出烟雾识别结果以及定位。权　利　要　求　书 1/1 页 2 CN 114550032 A 2一种端到端三维卷积目标 检测网络的视频烟雾检测方 法 技术领域 [0001]本发明涉及视频火灾探测和深度学习领域， 具体涉及一种基于端到端三维卷积目 标检测网络的视频烟雾检测方法及系统。 背景技术 [0002]目前使用深度学习方法进行视频烟雾探测的研究主要有以下四种类型： (1)分别 对每个视频帧进行独立的检测， 利用较高的检测速度实现实时检测的效果， 这种 方式完全 没有利用连续视频帧之间蕴含的时序信息， 因此不可避免的存在严重的漏报与误报。 (2)使 用传统的运动检测算法提取运动区域， 再利用DCNN对运动区域进行检测， 这种 方式仅仅利 用了浅层的时序信息， 虽然能排除部分静止物体造成的误报， 但对于运动物体的干扰或漏 报无能为力。 (3)首先对每个视频帧进 行独立的检测， 当检测到 疑似目标时再利用时序网络 进行判断， 这种 方式虽然提取到了有效的深层动态特征， 但其作用仅仅是对目标检测网络 检测结果的校验， 可以排除误报， 但对于漏报束手无策。 此外这种算法并非端到端的形式， 因此运行速度往往较慢。 (4)利用时序网络构 造针对视频片段的分类器， 这种方式可以充分 提取视频中包含的运动特征与静态特征， 但是这些特征仅仅用来进行分类， 没有对烟雾目 标进行定位。 因此， 如何有效地提取出烟雾的静态和 动态特征， 提高烟雾检测的可靠性 成为 一个亟待解决的问题。 发明内容 [0003]为了解决上述技术问题， 本发明提供一种基于端到端三维卷积目标检测网络的视 频烟雾检测方法及系统。 [0004]本发明技术解决方案为： 一种基于端到端三维卷积目标检测网络的视频烟雾检测 方法， 包括： [0005]步骤S1： 从多个烟 雾视频中获取视频帧并进行分组， 构建视频帧序列， 对其进行数 据增强， 构建增强数据集； [0006]步骤S2： 将所述增强数据集输入三维卷积烟 雾检测网络， 所述烟 雾检测网络包括： 三维卷积层、 跨阶段局部残差网络模块、 金字塔池化模块、 路径聚合网络模块和张量解码 器； 输出烟雾识别结果以及定位。 [0007]本发明与现有技 术相比， 具有以下优点： [0008]本发明公开了一种基于端到端三维卷积目标检测网络的视频烟雾检测方法， 能够 有效地提取出烟雾的静态和 动态特征， 动态特征与静态特征的结合可以有效提高视频烟雾 检测算法的可靠性， 从而准确 地识别和定位视频帧中的烟雾。 该方法可应用在视频火灾探 测领域， 具有较高的应用价值， 提供了解决困扰目前视频火灾探测存在的高误报率问题的 新方法。说　明　书 1/4 页 3 CN 114550032 A 3