(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221082145 3.5 (22)申请日 2022.07.13 (71)申请人 青岛文达通科技股份有限公司 地址 266500 山东省青岛市黄岛区望江路 500号 (72)发明人 管洪清　徐亮　王伟　张元杰　 张大千　尹广楹　孙浩云　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 闫圣娟 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/20(2022.01) G06V 10/40(2022.01) (54)发明名称 基于人体局部二值特征点对齐的抛物检测 方法及系统 (57)摘要 本公开涉及目标检测技术领域， 提出了基于 人体局部二值特征点对齐的抛物检测方法及系 统， 包括如下步骤： 获取待检测连续帧图像， 基于 像素点的局部二值特征标定图像中行人的关键 特征点， 根据关键特征点形成行人各部位的形状 轮廓， 根据人体各部位的中心点相对位置判断行 人是否做出 投掷动作及投掷动作类型； 当识别到 图像中行人做出投掷动作， 以行人躯干的中心点 为基准， 根据行人的投掷动作类型确定被抛物体 可能出现的区域； 根据像素上下文信息采用显著 物体检测方法对 行人抛物进行检测， 若检测到物 体， 则确定行人在做出投掷动作时扔出了物体。 基于人体局部二值特征点对齐， 同时采用显著物 体识别的方法对投掷物进行检测并跟踪， 提高了 抛物检测的准确性。 权利要求书2页 说明书7页 附图1页 CN 115205783 A 2022.10.18 CN 115205783 A 1.基于人体局部二 值特征点对齐的抛物检测方法， 其特 征在于， 包括如下步骤： 获取待检测连续帧图像， 基于像素点的局部二值特征标定 图像中行人的关键特征点， 根据关键特征点形成行人的四肢、 躯干、 头部的形状轮廓， 根据人体各部位的中心 点相对位 置判断行 人是否做出投掷动作及投掷动作类型； 当识别到 图像中行人做出投掷动作， 以行人躯干的中心点为基准， 根据行人的投掷动 作类型确定被抛物体可能出现的区域； 基于确定的区域， 根据像素上下文信息采用显著物体检测方法对行人抛物进行检测， 若在确定的区域检测到物体， 则确定行 人在做出投掷动作时扔出了物体。 2.如权利要求1所述的基于人体局部二值特征点对齐的抛物检测方法， 其特征在于： 确 定行人在做出投掷动作时扔出了物体之后， 还包括对行人以及抛掷物体进行跟踪的步骤： 如果上一帧含有 行人的投掷动作标定结果， 则将上帧的标定结果与当前帧的标定结果采用 匈牙利算法作匹配， 以对抛物的行 人以及物体进行跟踪； 或者， 投掷动作类型包括向前投掷、 向上投掷、 向下投掷以及向后投掷； 或者， 标定人体各个部位包括头 部、 四肢和躯 干部分。 3.如权利要求1所述的基于人体局部二值特征点对齐的抛物检测方法， 其特征在于： 判 断行人是否做出投掷动作及投掷动作类型的方法， 包括如下步骤： 获取社区行人投掷动作数据集， 并标定人体的关键特征点， 所述特征点能够形成行人 的四肢、 躯 干、 头部的形状 轮廓； 以标定处理后数据集为训练集， 建立并训练Body ‑LBF特征点对齐模型， 用于检测并自 动对行人的四肢、 躯 干、 头部进行标记； 所述Body ‑LBF特征点对齐模型的结构， 包括多个级联的卷积层， 卷积层的卷积核大小 依次减小， 以及连接在最后以及卷积层后的全连接层， 所述全连接层输出为对应设定关键 点的特征二值向量； 输入待检测连续帧图像， 标定图像 中人体的四肢、 躯干和头部， 并且根据 人体各部位的 中心点相对位置判断行 人是否做出投掷动作。 4.如权利要求3所述的基于人体局部二值特征点对齐的抛物检测方法， 其特征在于： 获 取社区行人投掷动作数据集， 并标定人体的关键特 征点的方法为： 通过在关键特征点的附近区域随机选择像素点作残差学习， 得到关键特征点对应的局 部二值特征。 5.如权利要求4所述的基于人体局部二值特征点对齐的抛物检测方法， 其特征在于： 关 键特征点的附近区域 为以关键特 征点为中心的设定大小的方 形候选区域； 或者， 关键特 征点对应的局部二 值特征提取方法为： 将关键特征点的像素值与候选区域中的像素点进行比较， 特征点像素值比选定的像素 点低， 则向量 值为0； 特征点像素值比选 定的像素点高， 向量 值为1； 按顺序将得到的向量值整合为一个由二值所组成的向量， 将所有的关键特征点的二值 向量按图像位置的前后进行连接， 形成针对于人体部位轮廓的多维二值向量， 即人体部位 轮廓的全局特 征表示。 6.如权利要求1所述的基于人体局部二值特征点对齐的抛物检测方法， 其特征在于： Body‑LBF特征点对齐模型的训练方法， 包括如下步骤：权　利　要　求　书 1/2 页 2 CN 115205783 A 2获取训练数据集的图像， 标定 图像中行人的关键特征点， 得到关键特征点对应的局部 二值特征； 以每一个图像中所有表示人体部位轮廓的多维二值向量构成的人体部位轮廓的全局 特征表示为输出， 以训练集中的原始图像作为输入， 输出至Body ‑LBF特征点对齐模型进行 训练； 根据Body ‑LBF特征点对齐模型的实际输出与全局特征表示向量计算定位损失， 根据损 失值调整Body ‑LBF特征点对齐模型的参数， 迭代训练直到达到设定的迭代次数， 得到训练 好的Body ‑LBF特征点对齐模型。 7.如权利要求1所述的基于人体局部二值特征点对齐的抛物检测方法， 其特征在于： 根 据像素上下文信息采用显著物体检测方法对行人抛物进行检测， 具体通过物体边缘的颜色 显著性以及对像素 上下文信息的分析。 8.基于人体局部二 值特征点对齐的抛物检测系统， 其特 征在于， 包括： 投掷动作识别模块： 被配置为用于获取待检测连续帧图像， 基于像素点的局部二值特 征标定图像中行人的关键特征点， 根据关键特征点形成行人的四肢、 躯干、 头部的形状轮 廓， 根据人体各部位的中心点相对位置判断行 人是否做出投掷动作及投掷动作类型； 抛掷区域判定模块： 被配置为用于当识别到 图像中行人做出投掷动作， 以行人躯干的 中心点为基准， 根据行 人的投掷动作类型确定被抛物体可能出现的区域； 检测判定模块： 被配置为用于基于确定的区域， 根据像素上下文信息采用显著物体检 测方法对行人抛物进行检测， 若在确定的区域检测到物体， 则确定行人在做出投掷动作时 扔出了物体。 9.一种电子设备， 其特征在于， 包括存储器和处理器以及存储在存储器上并在处理器 上运行的计算机指 令， 所述计算机指 令被处理器运行时， 完成权利要求 1‑7任一项方法所述 的步骤。 10.一种计算机可读存储介质， 其特征在于， 用于存储计算机指令， 所述计算机指令被 处理器执行时， 完成权利要求1 ‑7任一项方法所述的步骤。权　利　要　求　书 2/2 页 3 CN 115205783 A 3