(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210611118.2 (22)申请日 2022.05.31 (71)申请人 浙江大学高端装备研究院 地址 311106 浙江省杭州市余杭区兴国路 503号5幢10 3室 申请人 浙江大学 (72)发明人 丁红钦　陈旭阳　祝毅　谢海波　 杨华勇　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 贾玉霞 (51)Int.Cl. E21D 11/40(2006.01) E21D 11/08(2006.01) G06T 7/00(2017.01)G06T 5/00(2006.01) G06T 7/10(2017.01) G06T 7/33(2017.01) G06T 7/73(2017.01) (54)发明名称 RGB-D视觉管片抓取识别系统、 拼装定位系 统及拼装定位方法 (57)摘要 本发明涉及一种RGB ‑D视觉管片抓取识别系 统、 拼装定位系统及拼装定位方法， 其中， 视觉管 片抓取识别是通过 RGB‑D相机拍摄的管片表面的 点云数据， 通过滤波移除离群点和减少噪声点干 扰， 再通过点云分割去除背景点云， 得到管片点 云； 通过点 云平滑以及法线估计对模板管片和待 抓取管片的点云进行配准， 完成待抓取管片的识 别和位姿估计， 引导拼装机对待抓取管片的抓 取； 管片拼装定位是在管片抓取后， 通过预先计 算粗定位， 将管片移动到目标位置， 之后对于不 同类型的管片设计对应的拼装 方式， 实现管片的 精定位拼装， 完成对整环管片 的拼装工作。 本发 明能够实现管片的快速识别和拼装， 且拼装定位 稳定性好， 准确率高。 权利要求书3页 说明书6页 附图5页 CN 114941543 A 2022.08.26 CN 114941543 A 1.一种RGB ‑D视觉管片抓取识别系 统， 其特征在于， 该系 统包括安装在拼装机(1)上的 前方3D视觉模块和数据处理终端； 所述前方3D视觉模块安装于抓取平台(15)上表面的前 方； 所述数据处理终端与所述前方3D视觉模块连接； 在管片抓取阶段， 所述数据处理终端 接收RGB‑D相机拍摄的管片表面的点云数据， 通过滤波移除离群点和减少噪声点干扰， 再通 过点云分割去除背景点云， 得到管片点云； 通过点云平滑以及法线估计对模板管片和待抓 取管片的点云进 行配准， 完成待抓取管片的识别和位姿估计， 引导拼装机(1)对待抓取管片 的抓取。 2.根据权利要求1所述的RGB ‑D视觉管片抓取识别系 统， 其特征在于， 所述前方3D视觉 模块包括RGB ‑D相机(21)和光源(2 2)， 所述RGB ‑D相机(21)用于拍摄管片表面的点云数据。 3.一种管片拼装定位系统， 其特征在于， 该系统包括安装在拼装机(1)上的前方3D视觉 模块、 左侧RGB视觉模块、 右侧RGB视觉模块和数据处理终端； 所述前方3D 视觉模块安装于抓 取平台(15)上表 面的前方； 左侧RGB视觉模块(3)和右侧RGB视觉模块(4)分别安装于抓取平 台(15)上表面的左侧 和右侧； 所述数据处理终端与所述前方3D视觉模块、 左侧RGB视觉模块、 右侧RGB视觉模块连接； 在管片抓取阶段， 所述数据处理终端接收RGB ‑D相机拍摄的管片表 面的点云数据， 通过滤波 移除离群点和减少噪声点干扰， 再通过点云分割去除背 景点云， 得到管片点云； 通过点云平 滑以及法线估计对模板管片和待抓取管片的点云进行配准， 完成待抓取管片的识别和位姿 估计， 引导 拼装机(1)对待抓取 管片的抓取； 在拼装粗定位阶段， 所述数据处理终端通过待抓取管片位姿和类型及预先计算得到的 管片拼装位置， 引导 拼装机(1)将待抓取 管片移到拼装粗定位 位置； 在拼装精定位阶段， 所述数据处理终端根据待抓取管片的类别， 开启前方3D视觉模块、 左侧RGB视觉模块 或右侧RGB视觉模块， 识别待拼装的管片 螺栓孔和/或边， 引导待拼装的管 片与已拼装管片对齐。 4.根据权利要求3所述的管片拼装定位系统， 其特征在于， 所述前方3D视觉模块、 左侧 RGB视觉模块、 右侧RGB视觉模块均包括一个RGB ‑D相机(21)和一个光源(22)， 所述RGB ‑D相 机(21)用于拍摄管片表面的点云数据。 5.根据权利要求3所述的管片拼装定位系统， 其特征在于， 所述拼装机(1)包括行走梁 (11)、 提升油缸(12)、 回转机构(13)、 旋转架(14)、 抓取平台(15)、 渣土传送带(16)和平移油 缸； 所述旋转架(14)安装在行走梁(11)上， 回转机构(13)安装在旋转架(14)后方， 两个提升 油缸(12)分别安装在回转机构(13)的两侧， 抓取平台(15)通过轭架固定在两个提升油缸 (12)上， 渣土传送带(16)安装在行走梁(11)中间， 平移油缸安装在行走梁(11)上且位于旋 转架(14)内侧， 用于实现提升油缸(12)的整体平移； 所述提升油缸(12)用于提升抓取平台 (15)， 回转机构(13)用于实现提升油缸(12)和抓取平台(15)的旋转。 6.一种基于权利要求3～5 中任意一项所述的管片拼装定位系统的管片拼装定位方法， 其特征在于， 该 方法包括如下步骤： 步骤一： 通过抓取管片位姿和类型及预先计算得到的管片拼装位置， 使拼装机(1)将管 片移到拼装粗定位 位置； 步骤二、 拼装当前环第一片标准片时， 开启前方3D视觉模块(2)、 左侧RGB视觉模块(3)权　利　要　求　书 1/3 页 2 CN 114941543 A 2和右侧RGB视 觉模块(4)， 同时满足如下三个条件， 则判定当前 管片拼装完成； 条件1： 利用前方3D视觉模块(2)， 通过RGB ‑D相机， 用于识别待拼装的管片长边及上一 环已拼装好的管片 长边， 计算两边之间的距离， 当距离小于或等于 设定的阈值， 则判定为与 待拼装管片的上一环管片对齐； 条件2： 利用左侧RGB视觉模块(3)， 通过识别 待拼装管片的左侧两个螺栓孔和上一环已 拼装好的管片的左侧螺栓孔， 若三个孔中心点成一条直线， 则判定为与待拼装管片的上一 环管片对齐； 条件3： 利用右侧RGB视觉模块(4)， 通过识别 待拼装管片的右侧两个螺栓孔和上一环已 拼装好的管片的右侧螺栓孔， 若三个孔中心点成一条直线， 则判定为与待拼装管片的上一 环管片对齐； 步骤三、 拼装当前环第二片标准片或第一片邻接片时， 开启前方3D视觉模块(2)和右侧 RGB视觉模块(4)， 当同时满足如下三个条件判定当前 管片拼装完成； 条件1： 利用前方3D视觉模块(2)， 通过RGB ‑D相机， 用于识别待拼装的管片长边及上一 环已拼装好的管片 长边， 计算两边之间的距离， 当距离小于或等于 设定的阈值， 则判定为与 待拼装管片的上一环管片对齐； 条件2： 利用右侧RGB视觉模块(4)， 通过识别 待拼装管片右侧的已拼装管片左侧两个螺 栓孔和待拼装管片的右侧两个螺栓孔， 若四个孔中心点所成的四边形 的四个角都是直角， 则判定与待拼装管片右侧的已拼装管片对齐； 条件3： 利用右侧RGB视觉模块(4)， 通过识别 待拼装管片右侧的已拼装管片左侧边和待 拼装管片的右侧边， 计算两边之 间的距离， 当距离小于或等于 设定的阈值， 则判定与待拼装 管片右侧的已拼装管片对齐； 步骤四、 拼装当前环第三片标准片或第二片领接片时， 开启前方3D视觉模块(2)和左侧 RGB视觉模块(3)， 当同时满足如下三个条件时， 判定当前 管片拼装完成； 条件1： 利用前方3D视觉模块(2)， 通过RGB ‑D相机， 用于识别待拼装的管片长边及上一 环已拼装好的管片 长边， 计算两边之间的距离， 当距离小于或等于 设定的阈值， 则判定为与 待拼装管片上一环管片对齐； 条件2： 利用左侧RGB视觉模块(3)， 通过识别 待拼装管片左侧的已拼装管片右侧两个螺 栓孔和待拼装管片的左侧两个螺栓孔， 若四个孔中心点所成的四边形 的四个角都是直角， 则判定与待拼装管片左侧的已拼装管片对齐； 条件3： 利用左侧RGB视觉模块(3)， 通过识别 待拼装管片左侧的已拼装管片右侧边和待 拼装管片的左侧边， 计算两边之 间的距离， 当距离小于或等于 设定的阈值， 则判定与待拼装 管片左侧的已拼装管片对齐； 步骤五、 拼装当前环封顶片时， 开启前方3D视觉模块(2)、 左侧RGB视觉模块(3)和右侧 RGB视觉模块(4)， 当同时满足三个条件时， 则判定当前 管片拼装完成； 条件1： 利用前方3D视觉模块(2)， 通过RGB ‑D相机， 用于识别已拼装好的管片长边与靠 近其的待拼装的管片的边， 计算两者之 间的距离， 当距离小于或等于 设定的阈值， 则判定为 与待拼装管片上一环管片对齐； 条件2： 利用左侧RGB视觉模块(3)， 通过识别 待拼装管片左侧的已拼装管片右侧边和待 拼装管片的左侧边， 计算两边之 间的距离， 当距离小于或等于 设定的阈值， 则判定与待拼装权　利　要　求　书 2/3 页 3 CN 114941543 A 3