(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221079675 0.9 (22)申请日 2022.07.08 (65)同一申请的已公布的文献号 申请公布号 CN 114863370 A (43)申请公布日 2022.08.05 (73)专利权人 合肥中科类脑智能技 术有限公司 地址 230088 安徽省合肥市高新区望江西 路5089号中国科大先进技术研究院一 号嵌入式研发楼3楼 (72)发明人 孙俊　康凯　刘海峰　艾坤　 王子磊　 (74)专利代理 机构 北京知联天下知识产权代理 事务所(普通 合伙) 11594 专利代理师 张迎新(51)Int.Cl. G06V 20/52(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 杨霜雪 (54)发明名称 一种复杂场景高空抛物 识别方法及系统 (57)摘要 本发明适用于智能识别技术领域， 提供了一 种复杂场景高空抛物识别方法及系统， 将图像序 列集合SI和物 体图片集合SO进行合成， 得到带抛 物的训练图片序列集合DI； 使用训练图片序列集 合DI训练时序块分割网络， 得到TPSNet； 使用训 练后得到的TPSNet， 对测试视频进行抛物识别预 测。 根据高空抛物的特性合 成数据来解决用于高 空抛物领域的深度学习算法需求大量多维度的 高空抛物标注数据的问题。 通过较高的下采样， 让网络提取特征时忽略具体的浅层特征， 关注相 对语义性的序列特征， 解决无法低成本无缝迁移 到各个场景的问题。 权利要求书4页 说明书13页 附图2页 CN 114863370 B 2022.10.25 CN 114863370 B 1.一种复杂场景高空抛物 识别方法， 其特 征在于， 所述方法包括： 将图像序列集 合SI和物体图片集 合SO进行合成， 得到带 抛物的训练图片序列集 合DI； 其中， 所述训练图片序列集合DI合成的方法包括： 从物体图片集合SO中随机选取一张 物体图片作为前景图片， 再从图像序列集合SI中选取一个图像序列段作为背景图片； 根据 高空抛物的特性， 将选取 的前景图片与选取 的背景图片进行合成， 获得带抛物的训练图片 序列D； 重复合成获取多个带抛物的训练图片序列D， 多个训练图片序列D构成训练图片序列 集合DI； 使用训练图片序列集 合DI训练时序块分割网络， 得到TP SNet； 使用训练后得到的TPSNet， 对测试视频进行抛物识别预测， 判断测试视频中是否存在 高空抛物； 其中， 所述高空抛物的特性具体包括： 预设包括k个坐标的符合自由落体定律的纵向间 隔序列Fallbase为 （fb0， fb1， fb2， ......， fbk‑1） ， fbk‑1表示在纵向间隔序列Fallbase中第k个纵 向间隔值； 预设一组横向扰动XO ffset为 （xf0， xf1， xf2， ......， xfn） ， 其中xfn表示在一组横 向扰动XOffset中第n+1个横向扰动值； 预设一组面积比值ratios为 （r0， r1， r2， ......， rn） 其中rn表示在一组面积比值ratios中第n+1个面积比值； 预设一组纵坐标缩放系 数YScale 为 （ys0， ys1， ys2， ......， y sn） ， 其中ysn表示在一组纵坐 标缩放系数YScale中第n+1个纵坐 标 缩放系数。 2.根据权利要求1所述的复杂场景高空抛物识别方法， 其特征在于， 所述图像序列集合 SI获取的方法包括： 收集N1段视频， 抽取视频中的每一帧图像； 对于每个视频中的所有图像按照时序划分成长度为T的多个图像序列段S； 划分所得的所有图像序列段构成图像序列集 合SI。 3.根据权利要求2所述的复杂场景高空抛物识别方法， 其特征在于， 所述图像序列集合 SI具体为： { （0， 1， .....， T ‑1）, （sep， 1+sep， .....， T+sep ‑1） ， ......}， 其中， （sep， 1+sep， .....， T+sep‑1） 表示一组图像序列段S内图像的编号集合； sep表 示采样的间隔； T表示单个图像序 列段S的长度； 所述图像序列集合SI共包括1+FIoor （ （VL ‑T） /sep） 个图像序列段， 其中FIoor表示向下 取整， VL表示每 个视频抽取的图片张数。 4.根据权利要求2所述的复杂场景高空抛物识别方法， 其特征在于， 所述物体图片集合 SO获取的方法包括： 收集N2张物体图片， 对物体图片进行分割标注； 得到分割标注后的物体图片集 合SO。 5.根据权利要求4所述的复杂场景高空抛物识别方法， 其特征在于， 所述对物体图片进 行分割标注具体包括： 对物体图片中 需求的物体进行 标注， 得到每 个需求物体的分割标注labeli； 每张物体图片对应产生一个标注集合为{ （im1， label1） （im2， label2） ， ......， （imn， labeln） }， 其中， im1、 im2、 ...、 imn指代的是图片索引号； label1、 label2、 ...、 labeln指代n个 需求物体的标注， （imn， labeln） 表示标注集 合中第n组标注；权　利　要　求　书 1/4 页 2 CN 114863370 B 2所有物体图片进行分割标注之后， 将得到的每张物体图片的标注集合进行整合， 得到 分割标注后的图片与分割标注的集合SO， 所述图片与分割标注的集合SO表示为{ （imi， labeli） | i∈[1, m]}， 其中 （imi， labeli） 表示图片与 分割标注集合中第i组标注， imi表示 第i组标注中 的图片索引号； labeli表示第i个需求物体的分割标注， m表示所有物体图片里 面有m个需求物体。 6.根据权利要求1所述的复杂场景高空抛物识别方法， 其特征在于， 所述将选取的前景 图片与选取的背景图片进行合成， 获得 带抛物的训练图片序列D具体包括： 在选择的背景图片中， 经 过高空抛物的特性变换， 确定前 景图片的位置信息集； 根据前景图片和背景图片的面积， 确定前 景图片的尺寸信息； 根据前景图片的位置信 息集和尺寸信 息， 将前景图片与一组背景图片按序合成带抛物 的一组训练图片， 构成训练图片序列D。 7.根据权利要求6所述的复杂场景高空抛物识别方法， 其特征在于， 所述在选择的背景 图片中， 经 过高空抛物的特性变换， 确定前 景图片的位置信息集具体包括： 在选择的背景图片覆盖范围内， 随机 选取一个坐标作为初始坐标l ocbase； 从[0， T‑3)的区间中随机选取一个位置索引ind作 为初始抛物出现的索引， 从纵向间隔 序列Fallbase中按序随机选 取长为T‑ind‑1的纵向间隔序列 （fbj， ...， fbj+T‑ind‑2） ， 其中fbj表 示Fallbase中第j+1个纵向间隔数值， fbj+T‑ind‑2表示Fallbase中第j+T‑ind‑1个纵向间隔数值； 从纵坐标缩放系数Yscale中随机选取一个缩放系数ys， 得到新的纵向间隔序列 （ys* fbj， ...， ys*fbj+T‑ind‑2） ； 从横向扰动XOffset随机选取横坐标扰动序列 ;其中ki∈N （i= {0， 1， 2， . ..， T‑ind‑1}） ， 其中 表示XOffset中第kT‑ind‑1个横坐标扰动值； 将新的间隔序列和横坐标扰动序列与初始坐标locbase对应坐标值相加， 得到前景图片 在一个图像序列段的背景图片中的位置序列loc= （locbase+ ， locbase+ +ys*fbj， ...， locbase+ +ys*fbj+T‑ind‑3， locbase+ +ys*fbj+T‑ind‑2） 。 8.根据权利要求7所述的复杂场景高空抛物识别方法， 其特征在于， 所述根据 前景图片 和背景图片的面积， 确定前 景图片的尺寸信息具体包括： 计算前景图片中的物体面积Afi以及背景图片中的图片面积Abi； 从面积比值rati os中随机 选取一个比值r， 得到新的物体面积 =Abi*r； 进一步得到物体的缩放比例fr= ； 根据前景图片中的分割标注labeli， 生成每个需求物体覆盖的区域maski； 根据物体的缩放比例fr对物体图片imi和物体覆盖的区域maski进行缩放， 得到带抛物 的新的物体图片n_imi和n_maski。 9.根据权利要求8所述的复杂场景高空抛物识别方法， 其特征在于， 所述将前景图片与 一组背景图片按序合成带 抛物的一组训练图片具体包括： 对一个图像序列段的背景图片建立索引序号 （0,1,2， . ..， T‑1） ； 按序选取背景图片和位置序列l oc中的位置坐标；权　利　要　求　书 2/4 页 3 CN 114863370 B 3