(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210730878.5 (22)申请日 2022.06.24 (71)申请人 深圳市北斗云信息技 术有限公司 地址 518000 广东省深圳市龙华区龙华 街 道清华社区清湖路尚美中心大厦17层 1703A房 (72)发明人 李柯含　李慧生　袁畅　汪洋　 段雄德　王超　 (74)专利代理 机构 深圳国海智峰知识产权代理 事务所(普通 合伙) 44489 专利代理师 刘军锋　毕文悦 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/00(2017.01) G06T 7/80(2017.01) (54)发明名称 一种双目特 征匹配位移测量方法及装置 (57)摘要 本发明涉及一种双目特征匹配位移测量方 法及装置， 包括获取双目摄像头拍摄的历史帧图 像以及当前帧图像， 其中历史帧图像为左右摄像 头在第一时刻对目标分别进行拍摄得到的l0图 像、 r0图像， 当前帧图像为左右摄像头在第二时 刻对目标分别进行拍摄得到的ln图像、 rn图像； 在历史帧图像以及当前帧图像上提取特征点， 特 征点包括角点亚像素坐标以及对应的ORB描述， 根据ORB描 述对历史帧图像以及当前帧图像进行 特征点匹配， 确定同一特征点在l0、 r0、 ln、 rn图 像上的亚像素坐标； 对于每一特征点， 执行位移 测量操作， 进而得到该特征点在第二时刻相对于 第一时刻的z、 x、 y方向位移， 本发明提供的方法 及装置， 能够有效提高位移测量的精确度。 权利要求书2页 说明书8页 附图7页 CN 115100284 A 2022.09.23 CN 115100284 A 1.一种双目特 征匹配位移测量方法， 其特 征在于， 所述方法包括： 获取双目摄像头拍摄的历史帧图像以及 当前帧图像， 其中历史帧图像为左右摄像头在 第一时刻对目标分别进行拍摄得到的l0图像、 r0图像， 当前帧图像为左右摄像头在第二时 刻对目标分别进行拍摄得到的l n图像、 rn图像； 在历史帧图像以及 当前帧图像上提取特征点， 所述特征点包括角点亚像素坐标以及对 应的ORB描述， 根据ORB描述对历史帧图像以及当前帧图像进行特征点匹配， 确定同一特征 点在l0、 r0、 l n、 rn图像上的亚像素坐标； 对于每一特 征点， 执行以下位移测量操作： 根据该特征点在历史帧图像对应的视差以及 当前帧图像对应的视差， 分别计算得到该 特征点对应的历史帧距离以及当前帧距离， 并根据历史帧距离以及当前帧距离计算得到该 特征点在第二时刻相对于第一时刻的Z方向位移； 根据该特征点在l0与ln图像或者在r0与rn图像上的亚像素坐标之差， 得到x方向像素 变化量、 y方向像素变化量； 根据该特征点对应的当前帧距离以及双目摄像头参数， 计算得 到该特征点对应的x方向比例尺与y方向比例尺； 根据该特征点对应的x方向像素变化量、 y 方向像素变化量、 x方向比例尺以及y方向比例尺， 计算得到该特征点在第二时刻相对于第 一时刻的x方向位移、 y方向位移。 2.根据权利要求1所述的双目特征匹配位移测量方法， 其特征在于， 所述方法还包括： 预先对双目摄 像头进行 标定， 得到双目摄 像头的内参、 外参、 畸变校正 参数。 3.根据权利要求2所述的双目特征匹配位移测量方法， 其特征在于， 在所述在历史帧图 像以及当前帧图像上提取 特征点之前， 所述方法还 包括： 根据所述畸变校正 参数， 对所述历史帧图像以及当前帧图像进行畸变校正。 4.根据权利要求2所述的双目特征匹配位移测量方法， 其特征在于， 所述根据 该特征点 在历史帧图像对应的视差以及当前帧图像对应的视差， 分别计算得到该特征点对应的历史 帧距离以及当前帧距离为： 利用公式距离d＝baseline*fx/disparity， 分别计算该特征点对应的历史帧距离以及 当前帧距离； 其中， baseline指左右摄像头光心的距离， fx是预先标定的内参中的焦距， disp arity 是视差。 5.根据权利要求1所述的双目特征匹配位移测量方法， 其特征在于， 所述根据历史帧距 离以及当前帧距离计算得到该特征点在第二时刻相对于第一时刻的Z方向位移 为： Z方向位 移＝当前帧距离 ‑历史帧距离 。 6.根据权利要求1所述的双目特征匹配位移测量方法， 其特征在于， 所述双目摄像头参 数包括摄像头水平视角、 摄像头垂 直视角、 摄像头水平分辨率以及摄像头垂 直分辨率， 所述 根据该特征点对应的当前帧距离以及双目摄像头参数， 计算得到该特征点对应的x方向比 例尺与y方向比例尺为： 根据公式： x方向比例尺＝tan(摄像头水平视角)*dn*2/摄像头水平分辨率， 计算得到 该特征点对应的x方向比例尺； 根据公式： y方向比例尺＝tan(摄像头垂直视角)*dn*2/摄像头垂直分辨率， 计算得到 该特征点对应的y方向比例尺；权　利　要　求　书 1/2 页 2 CN 115100284 A 2其中， dn为当前帧距离 。 7.根据权利要求1所述的双目特征匹配位移测量方法， 其特征在于， 根据 该特征点对应 的x方向像素变化量、 y方向像素变化量、 x方向比例尺以及y方向比例尺， 计算得到该特征点 在第二时刻相对于第一时刻的x方向位移、 y方向位移为： 根据x方向位移＝x方向像素变化 量*x方向比例尺， 计算得到该 特征点的x方向位移； 根据y方向位移＝y方向像素变化 量*y方向比例尺， 计算得到该 特征点的y方向位移。 8.根据权利要求1所述的双目特征匹配位移测量方法， 其特征在于， 所述位移测量操作 还包括对x方向位移以及y方向位移进行 校正： 根据x方向位移＝x方向位移 ‑x方向平差角*dn以及y方向位移＝y方向位移 ‑y方向平差 角*dn， 对x方向位移以及y方向位移进行重新赋值， 以完成对x方向位移以及y方向位移的校 正； 其中， x方向平差角为全部特征点x方向偏转角的中位数， y方向平差角为全部特征点y 方向偏转角的中位数， 每 个特征点x方向偏转角的计算公式为： x方向偏转角＝ atan(x方向位移/dn)， 每个特征点y方向偏转角的计算公式为： y方向偏 转角＝atan(y方向位移/dn)， dn 为当前帧距离 。 9.一种双目特征匹配位移测量装置， 其特征在于， 所述装置包括获取模块、 特征点提取 与匹配模块以及位移测量模块， 其中： 所述获取模块， 与所述特征点提取与匹配模块连接， 用于获取双目摄像头拍摄的历史 帧图像以及当前帧图像， 其中历史帧图像为左右摄像头在第一时刻对目标分别进 行拍摄得 到的l0图像、 r0图像， 当前帧图像为左右摄像头在第二时刻对目标分别进行拍摄得到的ln 图像、 rn图像； 所述特征点提取与匹配模块， 与所述位移测量模块连接， 用于在历史帧图像以及当前 帧图像上提取特征点， 所述特征点包括角点亚像素坐标以及对应的ORB描述， 根据ORB描述 对历史帧图像以及当前帧图像进行特征点匹配， 确 定同一特征点在l0、 r0、 ln、 rn图像上的 亚像素坐标； 所述位移测量模块， 用于对于每一特 征点， 执行以下位移测量操作： 根据该特征点在历史帧图像对应的视差以及 当前帧图像对应的视差， 分别计算得到该 特征点对应的历史帧距离以及当前帧距离， 并根据历史帧距离以及当前帧距离计算得到该 特征点在第二时刻相对于第一时刻的Z方向位移； 根据该特征点在l0与ln图像或者在r0与rn图像上的亚像素坐标之差， 得到x方向像素 变化量、 y方向像素变化量； 根据该特征点对应的当前帧距离以及双目摄像头参数， 计算得 到该特征点对应的x方向比例尺与y方向比例尺； 根据该特征点对应的x方向像素变化量、 y 方向像素变化量、 x方向比例尺以及y方向比例尺， 计算得到该特征点在第二时刻相对于第 一时刻的x方向位移、 y方向位移。 10.根据权利要求9所述的双目特征匹配位移测量装置， 其特征在于， 所述装置还包括 图像畸变校正模块， 所述图像畸变校正模块分别与所述获取模块、 所述特征点提取与匹配 模块连接， 用于根据畸变校正参数， 对 所述历史帧图像以及当前帧图像进 行畸变校正， 其中 所述畸变校正 参数为对所述双目摄 像头进行 标定得到 。权　利　要　求　书 2/2 页 3 CN 115100284 A 3