(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210449486.1 (22)申请日 2022.04.26 (71)申请人 南京北斗创新应用科技研究院有限 公司 地址 211599 江苏省南京市六合区龙池街 道虎跃东路8号 (72)发明人 呙维　刘武平　 (74)专利代理 机构 南京佰腾智 信知识产权代理 事务所(普通 合伙) 32509 专利代理师 胡杰 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06T 17/00(2006.01) G06N 20/00(2019.01)G01C 21/20(2006.01) (54)发明名称 一种地图语义引导的单目行人室内定位预 测方法 (57)摘要 本发明公开了一种地图语义引导的单目行 人室内定位预测方法， 涉及室内定位技术领域， 通过松耦合方式集成骨架检测模 型、 行人定位模 型和行人跟踪模 型等机器学习模 型， 获取监控空 间中行人的位置信息； 基于行人定位丢失时的位 置信息， 结合其他行人位置和地图语义信息， 在 融合社会力的卡尔曼滤波模型基础上， 使用以出 入口为引导的候选位置序列预测算法得到一个 候选位置序列集； 最后对行人间的遮挡关系进行 建模， 继而对各候选位置序列评分， 选择评分最 高的作为最终的预测结果， 解决了由于遮挡、 漏 检等导致的定位结果缺失、 行人轨迹中断的问 题， 有效保障了行人在监控区域内轨迹的完整性 和连续性， 对室内监控空间中长时间定位缺失的 情形具有很好的效果。 权利要求书2页 说明书6页 附图3页 CN 114937060 A 2022.08.23 CN 114937060 A 1.一种地图语义引导的单目行 人室内定位预测方法， 其特 征在于： 包括以下步骤 S1、 通过松耦合的方式集成机器学习网络， 机器学习网络包括骨架检测模型、 视觉行为 定位模型MonoLoco以及视频行人跟踪模型FairMOT， 对监控空间中的行人位置和身份编号 进行关联并跟踪， 获取 行人的位置信息， 该位置信息包括行 人定位丢失时的位置信息； S2、 将监控空间中的行人及障碍物进行动态数据栅格建模， 构建监控空间内的栅格地 图； S3、 结合步骤s1中获取的行人定位丢失时的位置信息和步骤s2中获取的栅格地图语义 信息， 计算行 人的候选位置序列集； S4、 对行人之间的遮挡关系进行建模， 基于对行人的遮挡判断， 对候选位置序列集内的 所有候选位置序列进行评分， 且按照评分进行排序， 选择评分最高的候选位置序列作为最 终位置预测结果。 2.根据权利要求1所述的一种地图语义引导的单目行人室内定位预测方法， 其特征在 于： 所述步骤S1中视觉行为定位模型MonoLoco和视频行人跟踪模型FairMOT的松耦合方法 设置为： 在视频帧中通过视觉行为定位模型MonoLoco获取行人定位结果， 通过视频行人跟 踪模型FairMOT获取行人跟踪结果， 对行人定位结果和行人跟踪结果中行人边界框(bbox) 的重合度进行计算， 当两者的重合度低于提前设定的阈值， 则视为行 人定位缺失。 3.根据权利要求2所述的一种地图语义引导的单目行人室内定位预测方法， 其特征在 于： 所述行人定位结果和行人跟踪结果中行人边界框( bbox)的重合度的计算函数设置为 DIoU损失函数； 上述两者重合度的计算方法设置为： 以行人跟踪结果为基础结果， 行人定位结果为比 较结果， 判断行人跟踪 结果是否可以匹配到行人定位结果， 若 无法匹配， 则视为行人定位缺 失。 4.根据权利要求1所述的一种地图语义引导的单目行人室内定位预测方法， 其特征在 于： 所述步骤S1中获取行人位置信息的方法包括以下子步骤S1.1、 布置摄像头或者连接已 有摄像设备接入视频流， 输入预测图像； S1.2、 对视觉行为定位模型MonoLoco和视频行人跟踪模型FairMOT的预测 结果中的行 人预测框(b box)进行关联， 将行 人跟踪结果与定位结果 合并； S1.3、 部署松耦合后的机器学习网络， 对接入视频进行 预测， 记录行 人的位置信息 。 5.根据权利要求1所述的一种地图语义引导的单目行人室内定位预测方法， 其特征在 于： 所述步骤S 3中行人预测的候选位置序列集的算法设置为以出入口引导的候选位置序列 预测算法， 且该算法包括以下子步骤 S3.1、 以行人定位丢失时的位置为起点， 以监控空间出入口中心位置为终点， 利用路径 规划方法提取 行人初始候选路径； S3.2、 对初始候选路径进行修正优化， 得到候选位置序列， 依次遍历监控空间的各出入 口， 计算候选位置序列集。 6.根据权利要求5所述的一种地图语义引导的单目行人室内定位预测方法， 其特征在 于： 所述步骤S3.1中的路径规划方法设置为A ‑Star算法。 7.根据权利要求5所述的一种地图语义引导的单目行人室内定位预测方法， 其特征在 于： 所述步骤S3.2中初始候选路径的修 正优化方法包括以下子步骤权　利　要　求　书 1/2 页 2 CN 114937060 A 2S3.2.1、 构建行人的社会力模型， 该社会力模型包括四种社会力分力和一种社会力合 力， 四种社会力分力分别设置为 运动行为力、 目标吸引力、 障碍物排斥力以及行 人交互力； S3.2.2、 根据 栅格地图格 网尺寸来确定一 固定间距， 以此固定 间距在步骤3.1所述的行 人初始候选路径上选取一局部路径， 以此局部路径作为融合社会力的卡尔曼滤波模型的局 部目标来预测下一局部目标； S3.2.3、 循环修正直到行人初始候选路径终点， 得到平滑的候选位置序列， 再依次遍历 监控空间的各 出入口， 计算 候选位置序列集。 8.根据权利要求1所述的一种地图语义引导的单目行人室内定位预测方法， 其特征在 于： 所述步骤S4中行 人之间遮挡关系的建模方法设置为： 在时刻t， 选取候选位置序列 中位置pi和真实行人位置pj， 摄像机位置为o,当向量(pi‑ o)与向量(pj‑o)间夹角的余弦值和pi与pj间的欧式距离同时满足阈值条件 时， 行人被判断 为被遮挡。 9.根据权利要求8所述的一种地图语义引导的单目行人室内定位预测方法， 其特征在 于： 所述步骤S4中行 人之间遮挡关系的建模方法设置为： 通过摄像机的射线模型来评估行 人是否被遮挡， 该模型的遮挡 判断表达式描述如下 在时刻t， 候选位置序列中位置pi和真实行 人位置pj， 摄像机位置为 o， 遮挡关系表示 为 其中dist( ·)为位置pi和位置pj欧式距离函数， angle( ·)为向量(pi‑o)和向量(pj‑o) 间夹角的余弦值， a和b分别为距离和夹角的阈值， 只有同时满足两阈值条件时， 行人才判断 为被遮挡， 其中 阈值a＝1， 阈值b＝2。 10.根据权利要求8所述的一种地图语义引导的单目行人室内定位预测方法， 其特征在 于： 所述步骤S4中候选位置序列的评分方法设置为： 根据对行人的遮挡判断， 获知候选位置序列中行人的被遮挡数、 漏检位置数以及位置 总数， 被遮挡数为m， 漏检位置数n， 位置总数s＝m+n， 候选位置序列评分scorepre的计算公 式 为 其中ω为权重调节因子， 取ω＝1； scorepre与m成正比， 与n成反比， 当所有位置点都被 遮挡时， 取 得最大值e。权　利　要　求　书 2/2 页 3 CN 114937060 A 3