(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210237068.6 (22)申请日 2022.03.10 (71)申请人 哈尔滨工程大 学 地址 150000 黑龙江省哈尔滨市南岗区南 通大街145号 (72)发明人 张磊　江坤颐　张韧然　白高颐　 黄兵　苏玉民　庄佳园　王博　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 专利代理师 张宏威 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/46(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 5/00(2006.01) G06T 5/20(2006.01) G06T 5/30(2006.01) (54)发明名称 一种融合激光点云与RGB图像数据的逆光水 面目标识别方法、 系统及装置 (57)摘要 一种融合激光点云与RGB图像数据的逆光水 面目标识别方法、 系统及装置， 涉及无人艇逆光 水面目标识别领域。 解决了无人艇逆光时造成的 图像纹理、 颜色等关键信息缺失使得水面目标识 别任务算法经常出现图像信息识别不精缺的问 题。 本发明所述的逆光水面目标识别方法， 包括： 利用无人艇识别水面点云并进行分簇， 获取水面 目标点云簇的尺寸、 点云簇距离以及点云簇ID； 根据张正友标定法处理水面三维点云特征投影， 获取点云特征矩阵和RGB原始图像； 将获取的点 云特征矩阵和RGB原始图像数据训练， 获取神经 网络模型权重； 根据神经网络模 型权重进行逆光 环境下水面目标识别， 获取目标信息。 本发明用 于无人艇在逆光条件下进行目标识别， 适用于智 能无人船舶领域。 权利要求书2页 说明书6页 附图4页 CN 114648686 A 2022.06.21 CN 114648686 A 1.一种融合激光点云与RGB图像数据的逆光水面目标识别方法， 其特征在于， 所述逆光 水面目标识别方法， 包括： 无人艇对水面 点云进行分簇， 获取 水面目标点云簇的尺寸、 点云簇距离以及点云簇ID； 根据张正友标定法处 理水面三维点云特 征投影， 获取点云特 征矩阵和RGB原 始图像； 将获取的点云特 征矩阵和RGB原 始图像数据训练， 获取神经网络模型权 重； 根据神经网络模型权 重进行逆光环境下 水面目标识别， 获取目标信息 。 2.根据权利要求1所述的一种融合激光点云与RGB图像数据的逆光水面目标识别方法， 其特征在于， 所述根据张正友标定法处理水面三维点云特征投影， 获取点云特征矩阵， 包 括： 根据张正友标定法， 利用相机投影矩阵将水面三维点云特征投影到二维图像像素坐标 上， 并利用高斯滤波与膨胀腐蚀操作进行 数据平滑， 获取点云特 征矩阵。 3.根据权利要求1所述的一种融合激光点云与RGB图像数据的逆光水面目标识别方法， 其特征在于， 所述将获取的点云特征矩阵和RGB原始 图像数据训练， 获取神经网络模型权 重， 包括： RGB原始图像输入至Dark net53， 获得RGB原 始图像A； 点云特征矩阵进行多尺度特 征提取网络操作处 理， 获得点云特 征矩阵A； 点云特征矩阵A与RGB原始图像A进行小尺度特征提取、 中尺度特征提取和大尺度特征 提取的矩阵叠加处 理， 获得RGB原 始图像B和点云特 征矩阵B； RGB原始图像B输出至 YOLO检测端； YOLO检测端输出RGB原 始图像B与点云特 征矩阵B共同输出， 获得最终检测结果。 4.根据权利要求1所述的一种融合激光点云与RGB图像数据的逆光水面目标识别方法， 其特征在于， 所述根据神经网络模型权重进 行逆光环境下水面目标识别， 获取目标信息， 具 体为： 点云簇ID映射至神经网络模型的识别结果， 根据神经网络的识别结果与目标ID进行匹 配， 获得带有目标尺寸信息和目标在随体坐标系下位置信息的图像。 5.一种融合激光点云与RGB图像数据的逆光水面目标识别系统， 其特征在于， 所述逆光 水面目标识别系统包括： 水面点云的分簇单元， 用于分簇水面点云的分簇， 获取水面目标点云簇的尺寸、 点云簇 距离以及点云簇ID； 点云特征矩阵和RGB原始图像的获取单元， 用于根据张正友标定法处理水面三维点云 特征投影， 获取点云特 征矩阵和RGB原 始图像； 神经网络模型权重的获取单元， 用于将获取的点云特征矩阵和RGB原始图像数据训练， 获取神经网络模型权 重； 目标信息的获取单元， 用于根据神经网络模型权重进行逆光环境下水面目标识别， 获 取目标信息 。 6.根据权利要求5所述的一种融合激光点云与RGB图像数据的逆光水面目标识别系统， 其特征在于， 所述神经网络模型权 重的获取 单元包括下述子单 元： RGB原始图像A获取 单元， 用于RGB原 始图像输入至Dark net53， 获得RGB原 始图像A； 点云特征矩阵A获取单元， 用于点云特征矩阵进行多尺度特征提取网络操作处理， 获得权　利　要　求　书 1/2 页 2 CN 114648686 A 2点云特征矩阵A； RGB原始图像B和点云特征矩阵B获取单元， 用于点云特征矩阵A与RGB原始图像A进行小 尺度特征提取、 中尺度特征提取和大尺度特征提取的矩阵叠加处理， 获得RGB原始图像B和 点云特征矩阵B； RGB原始图像B输出 单元， 用于RGB原 始图像B输出至 YOLO检测端； 检测结果获取单元， 用于YOLO检测端输出RGB原始图像B与 点云特征矩阵B共同输出， 获 得最终检测结果。 7.根据权利要求5所述的一种融合激光点云与RGB图像数据的逆光水面目标识别系统， 其特征在于， 所述目标信息的获取 单元进一步包括如下子单 元： 利用点云簇ID映射至神经网络模型的识别结果的子单 元， 根据神经网络的识别结果与目标ID进行匹配的子单 元， 获得带有目标尺寸信息和目标在随体坐标系下位置信息的图像的子单 元。 8.一种融合激光 点云与RGB图像数据的逆光水面目标识别装置， 其特 征在于， 包括： 一个或多个处 理器； 存储器； 以及 一个或多个程序， 其中一个或多个程序被存储在所述存储器中， 并且被配置成由所述 一个或多个处理器执行， 所述程序包括用于执行如权利要求1 ‑4任一项所述的一种适用于 水面环境的新型点云数据投影方法的指令 。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质用于储存计算机 程序， 所述计算机程序执行权利要求1 ‑4任一项所述的一种融合激光点云与RGB图像数据的 逆光水面目标识别方法。 10.一种计算机设备， 其特征在于： 包括存储器和处理器， 所述存储器中存储有计算机 程序， 当所述处理器运行所述存储器存储的计算机程序时， 所述处理器执行根据权利要求 1‑4中任一项中所述的一种融合激光 点云与RGB图像数据的逆光水面目标识别方法。权　利　要　求　书 2/2 页 3 CN 114648686 A 3