(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210781580.7 (22)申请日 2022.07.04 (71)申请人 江苏科技大学 地址 212008 江苏省镇江市梦溪路2号 (72)发明人 张礼华　王浩南　王亮亮　周磊　 毛旭　郑俭　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 蒯建伟 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/30(2022.01) G06V 10/46(2022.01) G06V 10/75(2022.01) G06V 10/82(2022.01)G06T 7/66(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06N 3/04(2006.01) (54)发明名称 一种基于多目视觉的管模螺栓识别定位方 法 (57)摘要 本发明公开了一种基于多目视觉的管模螺 栓识别定位方法， 该方法包括： 对双目摄相机进 行坐标标定并建立坐标关系， 得到摄相机的位置 参数； 两个双目摄相机进行工作区的视频流获 取； 使用SURF算法对获取的视频流进行最优图像 帧的提取； 对获得的图像帧进行二值分割处理， 提取图像中的信息； 根据提取和匹配出足够的特 征点完成初次定位； 单目摄相机通过Canny算子 对螺栓边缘像素点提取， 获取螺栓面的质心坐标 位置； 通过数据拼接的方法进行整体数据的同步 处理完成三维位姿重建， 完成螺栓位置的识别定 位。 本发明通过S URF算法和CANNY边缘提取算子， 解决识别定位过程中精度低、 误匹配、 漏配和 效 果差的问题， 进一 步提高精确度和运 算速度。 权利要求书4页 说明书10页 附图2页 CN 115147764 A 2022.10.04 CN 115147764 A 1.一种基于多目视 觉的管模螺 栓识别定位方法， 其特 征在于： 所述该 方法包括： 步骤1： 通过摄像机1和摄像机2组成双目摄相机， 对双目摄相机进行坐标标定并建立坐 标关系， 得到摄相机的位置参数； 步骤2： 两个双目摄相机进行工作区的视频流获取； 步骤3： 使用SURF算法对获取的视频流进行最优图像帧的提取； 步骤4： 对获得的图像帧进行二 值分割处 理， 提取图像中的信息； 步骤5： 根据提取和匹配出足够的特 征点完成初次定位； 步骤6： 通过摄像机3形成单目摄相机， 单目摄相机通过Canny算子对螺栓边缘像素点提 取， 获取螺 栓面的质心坐标位置； 步骤7： 通过数据拼接的方法进行整体数据的同步处理完成三维位姿重建， 完成螺栓位 置的识别定位。 2.根据权利要求1所述的管模螺栓识别定位发方法， 其特征在于： 所述步骤1中， 对双目 摄相机进 行坐标标定， 坐标标定获得两个摄像机之 间的位置关系， 即旋转矩阵R和平移向量 T。 3.根据权利要求2所述的管模螺栓识别定位发方法， 其特征在于： 所述坐标标定获得摄 像机1与摄 像机2之间的位置关系包括： 通过在世界坐标系中假设存在点P， 点P在左右摄 像机图像中的成像点分别为Pl和Pr； 经过对摄像机1或摄像机2的标定， 摄像机1坐标系和摄像机2坐标系相对于世界坐标系 的旋转矩阵分别为Rl和Rr， 平移向量分别为Tl和Tr， 则可得到如下对应关系： Pl＝RlPTl Pr＝RrPTr 同时， 各旋转矩阵和平 移向量之间还 存在如下对应关系： R＝RrRlT T＝Tr‑RTl 在完成摄像机1或摄像机2单个摄像机的标定， 求得R、 Tl、 Rr和Tr后， 通过上求得摄像机1 或摄像机2之间的旋转矩阵和平 移向量。 4.根据权利要求1所述的管模螺栓识别定位发方法， 其特征在于： 所述步骤1中通过三 维坐标获取 得到摄相机的位置参数， 三维坐标获取包括以下步骤： 空间中任意一点p在世界坐标系中的坐标为(xw， yw， zw)， 在左右摄像机1、 2的图像坐标 系中的像素坐标分别为(ul， vl)和(ur， vr)， 左右摄像机的投影矩阵分别为Ml和Mr， 则空间点p 的三维世界坐标与图像 像素坐标之间的关系可以由两个 摄像机的投影模型表示如下： 权　利　要　求　书 1/4 页 2 CN 115147764 A 2其中， zcl和zcr分别表示点p在左右摄像机光轴方向的深度， 联立以上两式消掉zcl和zcr 可得： 将上式用矩阵的形式表示： 将上式简写为： A·X＝B 故由最小二乘法可以求出： X＝(ATA)‑1ATB 因此， 在对左右两个摄像机分别进行单目和双目标定得到其内外参数的前提下， 如果 已知空间中点p在左右摄像机的图像坐标系中的像素坐标(ul， vl)和(ur,vr)， 通过解上述方 程求得p在世界坐标系中的三维坐标(xw， yw， zw)。 5.根据权利要求1所述的管模螺栓识别定位发方法， 其特征在于： 所述步骤3中使用 SURF算法对获取的视频流进行最优图像帧的提取利用近试点的Hessian矩阵， 将 Hessian矩 阵在三维尺度空间的极值 点作为兴趣点。 6.根据权利要求1所述的管模螺栓识别定位发方法， 其特征在于： 所述步骤6中单目摄 相机通过Can ny算子对螺 栓边缘像素点 提取， 具体操作包括： 6‑1： 采用高斯平 滑滤波器卷积降噪， 其数 学模型可以表示 为： G(x,y)＝f(x,y)* H(x,y) 式中， f(x,y)为图像数据， H(x,y)为高斯 函数； 6‑2： 计算梯度的幅值和方向， 其中一阶差分卷积模板为： 梯度幅值 为： 梯度方向： 权　利　要　求　书 2/4 页 3 CN 115147764 A 3