(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210793997.5 (22)申请日 2022.07.07 (65)同一申请的已公布的文献号 申请公布号 CN 114863352 A (43)申请公布日 2022.08.05 (73)专利权人 光谷技术有限公司 地址 430000 湖北省武汉市东湖新 技术开 发区金融港一路7号神州数码武汉科 技园9栋1-4层01号 (72)发明人 刘驰　范赐恩　胡新礼　李文航　 李露　李继恒　汪磊　 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06N 3/08(2006.01)审查员 蒋亮 (54)发明名称 基于视频分析的人员群 体行为监控方法 (57)摘要 本发明涉及数据处理技术领域， 具体涉及基 于视频分析的人员群体行为监控方法。 方法包 括： 获取目标场所区域内对应的区域图像； 获取 所述区域图像中各目标人员对应的各关键点和 对应的特征向量； 根据所述区域图像中各目标人 员对应的各关键点， 得到所述区域图像中各目标 人员对应的骨架图； 获取当前采集时刻下目标场 所区域内各目标人员对应的互动域； 将各目标人 员对应的骨架 图和各目标人员对应的互动域对 应的互动人员的骨架图进行拼接， 得到各目标人 员对应的互动图； 根据各目标人员对应的互动图 中的所有关键点对应的特征向量和训练好的动 作行为识别网络， 得到各互动图中目标人员的动 作行为。 本发 明提高了对人员行为进行识别的准 确度。 权利要求书3页 说明书11页 附图2页 CN 114863352 B 2022.09.30 CN 114863352 B 1.一种基于 视频分析的人员群 体行为监控方法， 其特 征在于， 该 方法包括以下步骤： 获取目标场所区域内当前采集时刻对应的区域图像； 获取所述 区域图像中各目标人员对应的各关键点和各关键点对应的特征向量； 根据 所 述区域图像中各目标人员对应的各关键点， 得到所述区域图像中各目标人员对应的骨架 图； 所述特 征向量由关键点对应的位置向量和身体部位向量 拼接得到； 获取当前采集 时刻下目标场所区域内各目标人员对应的互动 域， 所述互动 域为目标人 员预设范围内的区域； 将各目标人员对应的骨架图和各目标人员对应的互动域对应的互动人员的骨架图进 行拼接， 得到各目标 人员对应的互动图； 根据各目标人员对应的互动图中的所有关键点对应的特征向量和训练好的动作行为 识别网络， 得到各互动图中目标 人员的动作行为； 所述得到各互动图中目标 人员的动作行为， 包括： 对于任一目标 人员对应的任一互动图： 按照预设顺序将互动图中的所有关键点进行排序； 根据该互动图中的各关键点对应的特征向量和该目标人员对应的法 向量， 计算该互动 图中的各关键点与对应的邻域集合内的各关键点之 间的权重； 所述对应的邻域集合包括该 互动图中与对应的关键点相连的各关键点； 根据该互动图中的各关键点与对应的邻域集合内的各关键点之间的权重， 对该互动图 中的各关键点进行 预设次聚合操作， 得到该互动图中的各关键点对应的目标 特征向量； 将该互动图中各关键点对应的目标特征向量按照关键点的排列顺序进行拼接， 得到该 互动图对应的综合向量； 将该互动图对应的综合向量输入到多层感知器中， 得到该互动图中该目标人员的动作 行为； 计算该互动图中的各关键点与对应的邻域 集合内的各关键点之间的权 重的公式为： 其中， 为该互动图中第j 个关键点对于第i个关键点的权重， 为该互动图中第i个关 键点对应的特征向量， 为该互动图中第j个关键点对应的特征向量， 为该目标人员对应 的法向量， 为该目标人员对应的中心点的特征向量， 为向量拼接操作， 为激活函 数， 是第一相似度向量， 为第二相似度向量， 为第一相似度向量的转置， 为第二相 似度向量的转置， 为第一权重矩阵， 为第二权重矩阵， 为以e为底的指数函 数， 为该互动图中第i个关键点对应的邻域 集合。 2.根据权利要求1所述的基于视频分析的人员群体行为监控方法， 其特征在于， 所述获 取所述区域图像中各目标 人员对应的各关键点和各关键点对应的特 征向量， 包括：权　利　要　求　书 1/3 页 2 CN 114863352 B 2利用关键点检测网络对所述 区域图像进行处理， 得到所述 区域图像中各目标人员对应 的各关键点； 以所述区域图像的左下角的顶点为坐标原点， 以水平方向为x轴， 以竖直方向y轴， 获取 所述区域图像中各目标人员对应的各关键点对应的位置向量； 所述位置向量包括关键点对 应的横坐标、 关键点对应的纵坐标和关键点对应的深度值， 所述深度值根据所述区域图像 得到； 对于任一目标人员： 对该目标人员对应的各关键点进行One ‑Hot编码， 得到该目标人员 对应的各关键点对应的身体部位向量； 将该目标人员对应的各关键点对应的位置向量和身 体部位向量进行拼接， 得到该目标 人员对应的各关键点对应的特 征向量。 3.根据权利要求1所述的基于视频分析的人员群体行为监控方法， 其特征在于， 将所述 区域图像中各目标人员对应的各关键点按照预设连接规则进 行连接， 得到各目标人员对应 的骨架图。 4.根据权利要求1所述的基于视频分析的人员群体行为监控方法， 其特征在于， 所述获 取当前采集时刻下目标场所区域内各目标 人员对应的互动域， 包括： 对于任一目标 人员： 根据该目标人员对应的各关键点中鼻子关键点、 右眼关键点和左眼关键点对应的位置 向量， 计算得到该目标人员对应的法向量； 所述该目标人员对应的法向量为： 以鼻子关键 点、 右眼关键点和左眼关键点对应的位置向量为三维空间中的坐标， 计算鼻子关键点、 右眼 关键点和左眼关键点在三维空间中构建的平面的法向量， 作为该目标 人员对应的法向量； 在目标场所区域中以该目标人员对应的中心点为圆点， 以第一预设长度为半径作圆， 得到该目标人员对应的圆形区域； 所述该目标人员对应的中心 点为该目标人员对应的鼻子 关键点； 在目标场所区域中以该目标人员对应的中心点为 圆点， 以该目标人员对应的法 向量为 中线， 以预设角度为扇形的角度， 以第二预设长度为半径作扇形， 得到该目标人员对应的扇 形区域； 将所述圆形区域和所述扇形区域的并集区域作为该目标 人员对应的互动域。 5.根据权利要求1所述的基于视频分析的人员群体行为监控方法， 其特征在于， 所述得 到各目标 人员对应的互动图， 包括： 对于任一目标 人员： 统计该目标人员对应的互动域中存在的不包括该目标人员的其他目标人员的数量， 记 为互动数量； 若该目标人员对应的互动数量不为0， 则将该目标人员对应的互动域中存在的其他目 标人员记为互动人员； 对于该目标人员对应的互动域对应的任一互动人员： 根据该目标人 员对应的各关键点的位置向量和该互动人员对应的各关键点的位置向量， 将该目标人员对 应的骨架图与该互动人员对应的骨架图进行拼接， 得到该目标 人员对应的互动图； 若该目标人员对应的互动数量为0， 则构建一个占位骨架图； 所述占位骨架图为虚拟的 互动人员的骨架图， 占位骨架图中各关键点的位置向量均为 （ ‑1，‑1，‑1） ； 将所述虚拟互动 人员作为该目标人员对应的互动域对应的互动人员； 将该目标人员对应的左手关键点与对 应的互动域对应的互动人员的左手关键点连接起来， 将该目标人员对应的右手关键点与互权　利　要　求　书 2/3 页 3 CN 114863352 B 3