(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210626185.1 (22)申请日 2022.06.02 (71)申请人 河南讯飞人工智能科技有限公司 地址 450000 河南省郑州市金 水区宝瑞路 115号河南省信息安全产业示范园4号 楼 (72)发明人 闫润强　杨梓钰　邓柯珀　李旭强　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 田茂虎 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/62(2017.01) G06T 7/55(2017.01) G06T 7/90(2017.01)G06V 10/80(2022.01) (54)发明名称 一种体积估计方法、 装置、 电子设备和存储 介质 (57)摘要 本申请公开了一种体积估计方法、 装置、 电 子设备和存储介质， 该方法包括获取包含待测物 体的目标图像； 基于目标图像的第一彩色特征和 第一深度特征， 确定待测物体在目标图像中的第 一图像位置； 基于第一图像位置， 得到待测物体 的目标点云数据； 基于目标点云数据， 得到待测 物体的体积。 通过上述方式， 本申请能够获得准 确的物体 体积。 权利要求书3页 说明书11页 附图8页 CN 115205380 A 2022.10.18 CN 115205380 A 1.一种体积估计方法， 其特 征在于， 所述方法包括： 获取包含待测物体的目标图像； 基于所述目标图像的第 一彩色特征和第 一深度特征， 确定所述待测物体在所述目标图 像中的第一图像位置； 基于所述第一图像位置， 得到所述待测物体的目标点云数据； 基于所述目标点云数据， 得到所述待测物体的体积。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述目标图像的第 一彩色特征和 第一深度特征， 确定所述待测物体在所述目标图像中的第一图像位置是由语义分割模型执 行的； 和/或， 所述基于所述目标图像的第 一彩色特征和第 一深度特征， 确定所述待测物体在 所述目标图像中的第一图像位置， 包括： 从所述目标图像提取 得到所述第一彩色特 征和第一深度特 征； 将所述第一彩色特 征和第一深度特 征进行融合， 得到目标融合特 征； 对所述目标融合特 征进行语义分割， 得到所述第一图像位置 。 3.根据权利要求2所述的方法， 其特征在于， 所述从所述目标图像提取得到所述第 一彩 色特征和第一深度特 征， 包括： 提取得到尺度不同的若干特征组， 每组所述特征组包括对应一个尺度的第 一彩色特征 和第一深度特 征； 所述将所述第一彩色特 征和第一深度特 征进行融合， 得到目标融合特 征， 包括： 分别将每组所述特征组中的第 一彩色特征和第 一深度特征进行融合， 得到各所述特征 组对应的初始融合特 征； 将各所述特征组对应的初始融合特 征进行融合， 得到所述目标融合特 征。 4.根据权利要求1所述的方法， 其特征在于， 所述目标图像包括目标彩色图像和目标深 度图像， 所述目标彩色图像和目标深度图像是利用相同采集参数对所述待测物体拍摄得到 的， 所述相同采集参数包括相同视角、 相同视野和相同采集时刻； 所述第一彩色特征是对所 述目标彩色图像提取得到的， 所述第一深度特征是对所述 目标深度图像提取得到的， 所述 待测物体在所述目标彩色图像中的第一图像位置与所述待测物体在所述目标深度图像中 的第一图像位置相同。 5.根据权利要求 4所述的方法， 其特 征在于， 所述获取包 含待测物体的目标图像， 包括： 获取利用所述相同采集参数对所述待测物体拍摄得到的初始彩色图像和初始深度图 像； 对所述初始彩色图像进行目标检测， 得到所述待测物体的检测框； 将所述初始彩色图像中位于所述检测框内的图像部分裁剪， 得到所述目标彩色图像； 以及， 将所述初始深度图像中位于所述检测框内的图像部分裁 剪， 得到所述目标深度图像。 6.根据权利要求1所述的方法， 其特征在于， 所述目标图像是利用相机在预设视角方向 对所述待测物体拍摄得到的； 所述基于所述第一图像位置， 得到所述待测物体的目标点云 数据， 包括： 从所述目标图像中提取对应所述第 一图像位置的第 一局部图像， 所述第 一局部图像表权　利　要　求　书 1/3 页 2 CN 115205380 A 2示所述待测物体在垂直于所述预设视角方向的第一平面上的第一投影图像； 利用所述相机的内参， 对所述第一局部图像进行转换， 得到初始点云数据； 基于所述初始点云数据得到所述目标点云数据。 7.根据权利要求6所述的方法， 其特征在于， 所述基于所述初始点云数据得到所述目标 点云数据， 包括： 将所述初始点云数据投影至第二平面上， 得到第二投影图像； 利用所述第 二投影图像的第 二彩色特征和第 二深度特征， 确定所述待测物体在所述第 二投影图像中的第二图像位置； 从所述第二投影图像中提取对应所述第二图像位置的第二局部图像； 利用所述相机的内参， 对所述第二投影图像进行转换， 得到所述目标点云数据。 8.根据权利要求7所述的方法， 其特征在于， 所述目标图像包括目标彩色图像和目标深 度图像； 所述从所述目标图像中提取对应所述第一图像位置的第一局部图像， 包括： 从所述目标彩色图像中提取对应所述第 一图像位置的第 一局部彩色图像， 以及从所述 目标深度图像中提取对应所述第一图像位置的第一局部深度图像； 所述利用所述相机的内参， 对所述第一局部图像进行转换， 得到初始点云数据， 包括： 利用所述相机的内参， 结合所述第一局部彩色图像和第一局部深度图像进行转换， 得 到初始点云数据， 其中， 所述初始点云数据中的各空间点包 含彩色信息和深度信息； 所述将所述初始点云数据投影至第二平面上， 得到第二投影图像， 包括： 将所述初始点云数据中的各空间点的所述彩色信 息投影至第 二平面上， 得到彩色投影 图像； 以及将所述初始点云数据中的各空间点的所述深度信息投影至第二平面上， 得到深 度投影图像； 所述从所述第二投影图像中提取对应所述第二图像位置的第二局部图像， 包括： 从所述彩色投影图像中提取对应所述第 二图像位置的第 二局部彩色图像， 以及从所述 深度投影图像中提取对应所述第二图像位置的第二局部深度图像； 所述利用所述相机的内参， 对所述第 二投影图像进行转换， 得到所述目标点云数据， 包 括： 利用所述相机的内参， 结合所述第二局部彩色图像和第二局部深度图像进行转换， 得 到所述目标点云数据。 9.根据权利要求1所述的方法， 其特征在于， 所述基于所述目标点云数据， 得到所述待 测物体的体积， 包括： 对所述目标点云数据进行降采样， 得到采样点云数据； 将所述采样点云数据划分为若干块； 利用各所述块的点云数据对应的点云特 征， 确定所述待测物体的体积。 10.根据权利要求9所述的方法， 其特征在于， 在所述利用各所述块的点云数据对应的 点云特征， 确定所述待测物体的体积之前， 所述方法还 包括： 对于每个块， 在所述采样点云数据中属于所述 块的空间点中， 查找所述 块的关键点； 从所述关键点的预设范围内中选择不多于预设阈值的空间点， 组成所述块的点云数 据；权　利　要　求　书 2/3 页 3 CN 115205380 A 3