(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210614622.8 (22)申请日 2022.05.31 (71)申请人 中国科学院合肥物质科 学研究院 地址 230031 安徽省合肥市蜀山区蜀山湖 路350号 (72)发明人 王凡　张超凡　刘勇　张文　 夏营威　高震宇　 (74)专利代理 机构 合肥市上嘉专利代理事务所 (普通合伙) 34125 专利代理师 郭华俊 (51)Int.Cl. G06T 19/20(2011.01) G06T 7/73(2017.01) (54)发明名称 一种基于PnP的3D物体标注方法及工具 (57)摘要 本发明属于计算机视觉检测的技术领域， 尤 其涉及一种基于PnP的3D物体标注方法及工具， 方法包括以下步骤： S1、 设置一个将待测物体包 围的三维空间框； S2、 设置世界坐标系； S3、 通过 3D深度感知相机分别提取同一时刻或同一位置 下三维空间框的RGB图和深度图， 并提取两张图 像中立体框对应位置显著性角点， 及该角点的世 界坐标和像 素坐标； S4、 通过引入PnP算法进行3D 物体位姿求解； S5、 基于获取的位姿将所有待测 3D物体由深度图转换的点云数据校正与地平线 平行。 本申请将3D物 体位姿求解问题转换为相机 相对位姿求解， 并根据三维空间框将不规则3D物 体转换成规则3D物体进行位姿求 解。 权利要求书1页 说明书3页 附图3页 CN 114943819 A 2022.08.26 CN 114943819 A 1.一种基于PnP的3D物体标注方法， 其特 征在于， 包括以下步骤： S1、 根据待标注物体的实际尺度， 设置一个将待测物体包围的三维空间框， 所述三维空 间框的朝向与待标注 物体的朝向相同； S2、 设置世界坐标系； 将三维空间框的一个角点作为世界坐标系的原点， 以从原点出发 的三维空间框的边作为 三个坐标轴， 以右手坐标系原理创建世界坐标系； S3、 通过3D深度感知相机分别提取同一时刻或同一位置下三维空间框的RGB图和深度 图， 并提取两张图像中立体框对应位置 显著性角点， 及该角点的世界坐标和像素坐标； S4、 通过引入PnP算法进行3D物体位姿求解； 将三维空间框的世界坐标和像素坐标作 为 PnP算法的输入进 行位姿求解， 获取该时刻相机的位姿， 进而转化为三 维空间框在相机坐标 系下的位姿， 并根据物体实际尺度获取其3D中心点在相机坐标系下的坐标； S5、 基于获取的位姿将所有 待测3D物体由深度图转换的点云数据校正与地平线平行。 2.根据权利要求1所述的一种基于PnP的3D物体标注方法， 其特征在于， 所述三维空间 框为与待测物体具有相同尺度和朝向的立体框 。 3.根据权利要求1所述的一种基于PnP的3D物体标注方法， 其特征在于， 步骤S3中所述 三维空间框的角点用特殊颜色进行 标记。 4.根据权利要求1所述的一种基于PnP的3D物体标注方法， 其特征在于， 步骤S3中所述 三维空间框的角点选择不少于 3个。 5.根据权利要求1所述的一种基于PnP的3D物体标注方法， 其特征在于， 所述3D深度感 知相机包括可同时采集 RGB图和深度图的RGB ‑D相机和双目立体相机， 或是多种传感器的组 合。 6.根据权利要求1所述的一种基于PnP的3D物体标注方法， 其特征在于， 步骤S4中三维 空间框在相机坐标系下的位姿为R＝[( α, β,γ)， T]； 步骤S5具体操作为： 令β ＝0， 将点云数据的位姿*R， 即获得 校正后的数据。 7.实现权利 要求1‑6任意一项所述的一种基于PnP的3D物体标注方法的工具， 其特征在 于， 包括： 输入端口， 输入端口输入的数据包括3D深度感知相机的内部参数、 三维空间框的实际 尺度信息、 选择的角点、 目标物体的语义属性。 8.根据权利要求7所述的工具， 其特征在于， 还包括存储器， 用于存储所要求格式的数 据集。 9.根据权利要求7 所述的工具， 其特 征在于， 所述 三维空间框的实际尺度。 10.根据权利要求7所述的工具， 其特征在于， 所述目标物体的语义属性包括类别、 颜 色、 操作属性、 动静态属性、 纹 理属性。权　利　要　求　书 1/1 页 2 CN 114943819 A 2一种基于PnP的3D物体标注方 法及工具 技术领域 [0001]本发明属于计算机视觉检测的技术领域， 尤其涉及一种基于PnP的3D物体标注方 法及工具。 背景技术 [0002]3D目标检测是一种将图像几何特征和语义特征相结合的3D分析方法， 其主要包括 定位和分类两个任务。 通过对传感数据的处理分析， 从中可以直接高效的获取特定目标物 体的3D包围框， 及目标物体类别、 中心点位置、 尺寸、 方向等信息。 相比于2D目标检测， 3D目 标检测从考虑目标物的深度信息角度出发， 更能满足机器人导航避障等实际应用需求。 作 为一种数据驱动的技术， 样 本丰富的数据集将有助于提升3D目标检测网络的检测精度和泛 化能力。 [0003]目前， 现有的多数3D物体标注方法和标注工具仍需要通过搭建网络来进行标注， 如申请号为CN202010822668.X的专利 《一种基于弱标注的三维点云目标检测方法及标注工 具》 ， 因此操作复杂且不具有通用性。 此外， 大多数的3D物体标注方法和标注工具主要面向 自动驾驶等基于激光雷达的点云数据处理， 及室外汽车、 行人等少数物体标注， 如申请号为 CN201810973255.4的专利 《一种3D点云数据中物体的标注方法和装置》 和申请号为 202010757787.1 的专利 《一种3D点云数据中物体的标注方法和装置、 存储介质》 等， 而面向 室内复杂环境的基于 视觉数据处 理的3D物体标注方法和工具仍然 有限。 发明内容 [0004]为了解决了上述技术问题， 本发明提出了一种基于P nP的3D物体标注方法及工具， 具体技术方案如下： [0005]一种基于PnP的3D物体标注方法， 包括以下步骤： [0006]S1、 根据待标注物体的实际尺度， 设置一个将待测物体包围的三维空间框， 所述三 维空间框的朝向与待标注 物体的朝向相同； [0007]S2、 设置世界坐标系； 将三维空间框的一个角点作为世界坐标系的原点， 以从原点 出发的三维空间框的边作为 三个坐标轴， 以右手坐标系原理创建世界坐标系； [0008]S3、 通过3D深度感知相机分别提取同一时刻或同一位置下三维空间框的RGB图和 深度图， 并提取两张图像中立体框对应位置 显著性角点， 及该角点的世界坐标和像素坐标； [0009]S4、 通过引入P nP算法进行3D物体位姿求解； 将三维空间框的世界坐标和像素坐标 作为PnP算法的输入进 行位姿求解， 获取该时刻相机的位姿， 进而转化为三 维空间框在相机 坐标系下的位姿， 并根据物体实际尺度获取其3D中心点在相机坐标系下的坐标； [0010]S5、 基于获取的位姿将所有待测3D物体由深度图转换的点云数据校正与地平线平 行。 [0011]具体地说， 所述 三维空间框为与待测物体具有相同尺度和朝向的立体框 。 [0012]具体地说， 步骤S3中所述 三维空间框的角点用特殊颜色进行 标记。说　明　书 1/3 页 3 CN 114943819 A 3