(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210802386.2 (22)申请日 2022.07.07 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 涂文靖　宁高宁　邬佳浩　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G16H 50/80(2018.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01) G06V 10/82(2022.01)G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/16(2022.01) (54)发明名称 一种基于机器视觉和深度学习的流调辅助 方法及装置 (57)摘要 本发明公开了一种基于机器视觉和深度学 习的流调辅助方法及装置， 该方法包括获取待追 踪目标、 单镜头目标追踪、 口罩检测和风险人员 分类保存、 跨镜头目标重识别、 绘制目标轨迹， 创 新地将行人重识别技术运用于流调 溯源工作中， 自动生成轨迹与密接人员， 大大减少了人力工作 的同时提高了流调的精确度， 缩短了流调时间。 此外， 本系统无硬件刚需， 可直接搭载现有监控 系统使用， 远程维护， 便于更新换代。 总体来说， 本软件效果优于现有的流调方法模式， 且具有通 用性强、 使用范围广、 使用简便等优点。 权利要求书3页 说明书11页 附图3页 CN 115132370 A 2022.09.30 CN 115132370 A 1.一种基于 机器视觉和深度学习的流调辅助方法， 其特 征在于， 包括： (1)待追踪目标获取： 获取视频和视频中目标未被遮挡的视频帧， 对所述视频帧进行行 人检测， 得到若干选择框， 将收到的用户指令选择对应的选择框作为待追踪目标的选择框 并保存对应的选择框内的待追踪目标图像以及对应的时间； (2)单镜头目标追踪： 根据步骤(1)中保存 的待追踪目标图像以及对应的时间， 对待追 踪目标分别向前和向后进行跟踪， 得到所述待追踪目标出现在所述视频内的所有视频帧， 记录所述待追踪目标 的轨迹信息并保存每一视频帧以及对应的所述待追踪目标 的矩形框 内图像、 矩形框坐标、 时间； (3)口罩检测和风险人员分类保存： 所述待追踪目标出现在所述视频内的所有视频帧 进行行人检测和口罩检测， 再通过重识别算法进行分类保存； (4)跨镜头目标重识别： 在所述待追踪目标消失在所述视频中之后， 根据代表摄像头地 理位置的地图邻接矩阵， 搜索所述地图邻接矩阵中对应的摄像头的视频中是否存在所述待 追踪目标， 从而得到所述待追踪目标的完整轨 迹信息； (5)目标轨迹绘制： 根据 所述待追踪目标的完整轨迹信 息， 在地图上绘制出待追踪目标 的轨迹。 2.根据权利要求1所述的方法， 其特 征在于， 所述 步骤(1)包括如下子步骤： (1.1)获取视频中待追踪目标未被遮挡的视频帧后， 利用第一目标检测算法对所述视 频帧进行行人识别， 并将识别结果在所述视频帧中进 行框标记， 生成若干选择框， 以供用户 选择待追踪目标； (1.2)将收到的用户指令选择对应的选择框作为待追踪目标的选择框， 并保存对应的 选择框内的待追踪目标图像以及对应的时间。 3.根据权利要求1所述的方法， 其特 征在于， 所述 步骤(2)包括如下子步骤： (2.1)从所述数据库中获取所述视频中Ts时刻的图像并进行行人识别， 得到k个矩形框 RTs1、 RTs2…RTsk(k>＝1)， 将所述图像上的所有矩形框分别与所述待追踪目标的选择框进行 重合度匹配， 得到其中对应待追踪目标的矩形框Rw1， 并记录相关坐标信息； (2.2)从Ts开始向前加载视频 帧并对每一帧的图像利用第一目标检测算法进行行人检 测， 时间为Tn， 得到i矩形框RTn1、 RTn2…RTni(i>＝1)， 同时， 利用多目标跟踪算法进行所述待 追踪目标的跟踪， 直到所述待追踪目标 的矩形框在所述视频中消失， 记录该视频内所述待 追踪目标的前向轨迹信息、 消失的时间Tf， 保存每一视频帧以及对应 的所述待追踪 目标的 矩形框内图像、 矩形框坐标、 时间； (2.3)从Ts开始向后加载视频 帧并对每一帧的图像利用第一目标检测算法进行行人检 测， 时间为Tm帧， 得到j个矩形框RTm1、 RTm2…RTmj(j>＝1)， 同时， 利用多目标跟踪算法进行所 述待追踪目标 的跟踪， 直到所述待追踪目标 的矩形框在所述视频中消失， 记录该视频内所 述待追踪目标的后向轨迹信息和消失的时间Tl， 保存每一视频帧以及对应的所述待追踪目 标的矩形框内图像、 矩形框坐标、 时间。 4.根据权利要求3所述的方法， 其特 征在于， 所述 步骤(2)还 包括如下子步骤： (2.4)对于步骤(2.2)和步骤(2.3)中保存的所述待追踪目标的矩形框内图像， 删除时 间小于Tf+1或大于Tl‑1的图像， 以去除待追踪目标 出现和消失时可能残缺的图片。 5.根据权利要求1所述的方法， 其特 征在于， 所述 步骤(3)包括如下子步骤：权　利　要　求　书 1/3 页 2 CN 115132370 A 2(3.1)所述待追踪目标出现在所述视频内的所有视频帧， 利用第二目标检测算法对除 待追踪目标矩形框 外的矩形框内图片， 检测其对应行 人有无佩戴口罩， 进 而进行风险分级； (3.2)将除待追踪目标矩形框外的矩形框内图片分别输入重识别 网络， 判断其对应行 人是否已被识别过， 若所述对应行人已被识别， 则将所述矩形框内图片以及相 应的行人编 号、 时间和矩形框坐标保存至对应的数据集中， 否则创建新的数据集并将所述矩形框内图 片以及相应的行 人编号、 时间和矩形框坐标保存至新的数据集中。 6.根据权利要求1所述的方法， 其特 征在于， 所述 步骤(4)包括如下子步骤： (4.1)根据地图邻接矩阵， 直接获取与所述视频对应的摄像头在地理位置上相邻的x个 摄像头(x>＝1)， 依次加载此x个摄像头C1、 C2…Ck的从(Tf+Ta)到(Tf+Ta+ΔT)视频片段， 其 中， Ta为根据地图邻接矩阵得到的简化搜索时长， ΔT为搜索时长， 保存每个所述视频片段 及对应的起止时间； (4.2)对每个所述视频片段中的视频帧利用第一目标检测算法进行行人检测， 把得到 矩形框内图片调整大小为与步骤(3)中的重识别网络输入大小一致， 把所述图片平均亮度 调整到与步骤(1)所述视频帧的同一平均亮度水平， 保存所述图片及对应的时间、 坐标； (4.3)把步骤(4.2)保存的所述图片， 与步骤(2)中保存的待追踪 目标的矩形框内图像 输入到所述重识别网络， 判断所述图片中是否存在所述待追踪目标； (4.4)若有， 则返回步骤(2)； 若无， 则扩大搜索时间范围， 返回步骤(4.1)重新搜索， 若 搜索继续 失败则不断扩大搜索时间范围直至搜索成功或者所有视频片段， 从而得到所述待 追踪目标的完整轨 迹信息， 其中， ΔT1为本次搜索时长 。 7.根据权利要求1所述的方法， 其特 征在于， 所述 步骤(5)包括如下子步骤： (5.1)顺次读取 所述待追踪目标的完整轨 迹信息， 获得依次经 过的两摄 像头C1、 C2； (5.2)利用已经标注好的地图获取两摄像头在地图上的坐标位置P1、 P2， 并对地图作二 值化处理以获取道路信息； (5.3)利用生长算法在二值化 处理后的地图内获取P1与P2两点之间最合理的路线， 并记 录路线中每一 点的坐标， 再将路线绘制在原地图中； (5.4)重复步骤(5.1)至(5.3)操作， 直至读取完记录的待追踪目标轨 迹信息。 8.一种基于 机器视觉和深度学习的流调辅助装置， 其特 征在于， 包括： 待追踪目标获取模块： 获取视频和视频中目标未被遮挡的视频帧， 对所述视频帧进行 行人检测， 得到若干选择框， 将收到的用户指令选择对应的选择框作为待追踪目标 的选择 框并保存 对应的选择框内的待追踪目标图像以及对应的时间； 单镜头目标追踪模块： 根据获取待追踪目标模块中保存的待追踪目标图像以及对应的 时间， 对待追踪目标分别向前和向后进行跟踪， 得到所述待追踪目标出现在所述视频内的 所有视频帧， 记录所述待追踪目标的轨迹信息并保存每一视频帧对应的所述待追踪目标的 矩形框内图像、 矩形框坐标以及时间； 口罩检测和风险人员分类保存模块： 所述待追踪目标出现在所述视频内的所有视频帧 进行行人检测和口罩检测， 再通过重识别算法进行分类保存； 跨镜头目标重识别模块： 在所述待追踪目标消失在所述视频中之后， 根据代表摄像头 地理位置的地图邻接矩阵， 搜索所述地图邻接矩阵中对应的摄像头的视频中是否存在所述 待追踪目标， 从而得到所述待追踪目标的完整轨 迹信息；权　利　要　求　书 2/3 页 3 CN 115132370 A 3