(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210241439.8 (22)申请日 2022.03.11 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 匡平　冯旭东　 (74)专利代理 机构 成都虹盛汇泉专利代理有限 公司 51268 专利代理师 王伟 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/75(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/80(2017.01) (54)发明名称 单目社交距离 检测追踪方法 (57)摘要 本发明公开了一种单目社交距离检测追踪 方法， 包括以下步骤： S1、 利用YOLOv5模型对视频 图像进行行人检测； S2、 利用DeepSORT算法来完 成对行人的跟踪和每个行人ID的匹配工作； S3、 通过张氏标定法对摄像机进行标定， 获得相机的 内参和畸变参数； S4、 在真实场景划定形状为矩 形的感兴趣区域， 通过逆透视变换生成鸟瞰图， 利用鸟瞰图和道路平面比例系数对行人间的距 离进行估计； S4、 如果行人间的距离小于预设阈 值， 记录行人ID信息并提出预警。 本发明基于 YOLOv5模型和DeepSORT实现对行人的检测和追 踪， 再配合上摄像机标定和鸟瞰图变换可以准确 检测出视频中行人间的距离。 对 行人的检测和跟 踪的准确率高， 实时性 好。 权利要求书1页 说明书7页 附图5页 CN 114612933 A 2022.06.10 CN 114612933 A 1.单目社交距离检测追踪方法， 其特 征在于， 包括以下步骤： S1、 利用YOLOv5模型对视频图像进行 行人检测； S2、 利用De epSORT算法来完成对行 人的跟踪和每 个行人ID的匹配工作； S3、 通过张氏标定法对摄 像机进行 标定， 获得相机的内参和畸变参数； S4、 在真实场景划定形状为矩形的感兴趣区域， 并且测量真实世界中矩形的长度， 然后 通过逆透 视变换生成鸟瞰图， 利用鸟瞰图和道路平面比例系数对行 人间的距离进行估计； S5、 如果行 人间的距离小于预设阈值， 记录行 人ID信息并提出 预警。 2.根据权利要求1所述的单目社交距离检测追踪方法， 其特征在于， 所述步骤S1中的 YOLOv5模型有四大模块， 分别是Input、 Backbone、 Neck和Head； Backbone模块依次包括 Focus结构、 四个Conv结构和SPP金字塔结构， 每两个Conv结构之间设有GhostBottleneck模 块， 共有三个GhostBottleneck模 块； 第二个Conv结构与第二个Gho stBottleneck模块、 第三 个Conv结构与第三个GhostBottleneck模块、 第四个Conv结构与SPP金字塔结构之间均设有 SE层。 3.根据权利要求2所述的单目社交距离检测追踪方法 ， 其特征在于 ， 所述 GhostBottleneck模块由两个Gho st模块组成， 第一个Ghost模块充当扩展层， 用来增加通道 的数量； 第二个Ghost模块用于减少通道数量； 第二个Ghost模块的输出与第一个 Ghost模块 的输入相加后作为GhostBot tleneck模块的输出。 4.根据权利要求2所述的单目社交距离检测追踪方法， 其特征在于， SE层 建立在任意一 个映射Ftr： X∈RH′ ×W′ ×C′→U∈RH×W×C上， 卷积核为V＝[v1， v2， ...， vc]， 其中vc表示第c个卷积 核， 那么输出表示 为U＝[u1， u2， ...， uc]， uc表示为： 其中*代表卷积运算， X＝[x1， x2， ...， xC′]， uc∈RH×W， 表示一个s 通道的2维卷积核； S E层将卷积得到的空间特征关系和通道特征关系分开， 使得模 型直接学 习到通道的特 征关系； 对通道的特征关系， SE层执行两个操作， 分别是Squeeze操作和Excitation操作； 首先 对输入的通道特征图进行Squeeze操作得到所有通道的全局特征； 然后 再进行Excitation 操作， 学习各个通道之间的依赖 关系， 得到各个通道的权值， 最后 将权值和原 来特征图相乘 得到最终的特 征。 5.根据权利要求1所述的单目社交距离检测追踪方法， 其特征在于， 所述步骤S4中， 道 路平面比例系数kx和ky表示为： 其中， kx和ky分别代表 X方向和Y方向的比例系数， w和h分别为感兴趣区域的长和宽的实 际长度， w'和h'分别为鸟瞰图中感兴趣区域的长和宽的像素长度。权　利　要　求　书 1/1 页 2 CN 114612933 A 2单目社交距离检测追踪 方法 技术领域 [0001]本发明属于计算机 视觉领域， 特别涉及一种单目社交距离检测追踪方法。 背景技术 [0002]世界卫组织的报告指出， 冠状病毒有两种传播方式， 即呼吸道飞沫和任何形式的 身体 接触。 这些飞沫是在感染者咳嗽或打喷嚏时通过呼吸系统产生的。 如果一个人出现在 距离2 米以内的地方， 他很有可能吸入这些引起感染的飞沫。 保持一定的社交距离是防止 病毒传 播的有效途径， 是除了戴口罩之外阻止疫情传播的最好方法之一。 在医院、 商场、 车 站等 人员密集流动场所， 需要由工作人员提醒人们保持安全的社交距离， 并且佩戴口罩。 在这 种情况下， 人工智能可以在促进 社会距离监测方面 发挥重要作用。 作为人工智能的一 个子 集， 计算机视觉已经非常成功 地解决了各种复杂的医疗保健问题， 并在基于胸部ct扫 描或 x射线的COVID ‑19识别中实现了应用， 因此考虑可以将 计算机视觉的知识应用到行人 社交 距离检测中来。 [0003]在社交距离检测系统中， 主 要要考虑三个关键问题： [0004](1)如何应用机器视觉的知识将视频中的行人检测出来， 并且保证较高的准确率 和实 时性。 [0005](2)如何对检测出的行 人进行追踪。 [0006](3)如何对行 人进行三维距离估计。 [0007]1、 行人检测方法 [0008]在计算机视觉与目标检测领域中， 行人检测始终都是近些年来的研究热点之一， 行人检 测主要是利用图像处理和机器学习的方法来对图像中的行人进行定位， 准确 地预 测出每个  行人的大致位置， 一个较为准确的行人检测模型也是后续如追踪、 重识别、 检索 等图像智  能分析的先验条件之一。 随着目标检测技术的高速发展， 目前常用的行人检测算 法在对简 单场景下的行人已经能取得较好的检测效果， 但在现实生活如街道、 商场这类大 量人群聚 集的场景 下， 行人检测的性能仍然 有着较大的提升空间。 [0009]行人检测模型可以分为两大类。 一个是两阶段模型， 该类模型主要包含目标定位 和目标 识别， 包围盒的生成和判断被分成两个过程， 首先生成候选框， 然后再对候选框进 行判断， 现有模型主要有R ‑CNN、 Fast  R‑CNN和Faster  R‑CNN。 另一种是一阶段模型， 该类 模型的 检测速度快， 能够满足 实时性要求， 现有的模型主 要有SSD和YOLO系列。 [0010]2、 行人追踪方法 [0011]SORT算法是由A  Bewley等人在2016年提出的基于TBD(Tracking  and Detection) 的 简单实时多目标跟踪算法， 该算法结合了卡尔曼滤波和匈牙利算法， 它可以根据新目标 的 进入(旧目标的离开)来创建新的ID(销毁旧的ID)， 从而节省大量数据空间。 2017年，  该 团队提出了DeepSORT算法， 该算法继续使用SORT算法和匈牙利算法中的卡尔曼滤波  器框 架， 利用匈牙利算法区分当前帧目标与前一帧中的目标是否相同， 并利用卡尔曼滤波  对目 标进行追踪。 DeepSORT增加了行人重识别网络和外观信息来判断检测到的行人是否重  复，说　明　书 1/7 页 3 CN 114612933 A 3