(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210711751.9 (22)申请日 2022.06.22 (71)申请人 河南工业大 学 地址 450001 河南省郑州市高新 技术产业 开发区莲花街100号河南工业大学科 技处 (72)发明人 李智　但乃禹　李磊　杨卫东　 张蕙　 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/11(2017.01) G06T 5/00(2006.01) G06T 7/80(2017.01) G06V 10/75(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于双目视觉与图像分割技术的散装 粮随机扦样方法 (57)摘要 本发明涉及一种基于双目视觉与图像分割 技术的散装粮随机扦样方法， 首先使用双目相机 分别获取散粮运输车装粮区域的左图像和右图 像信息并校正， 利用图像分割模 型对校正后的左 图像进行目标分割， 识别并计算出装粮车辆粮面 区域边界的四个角点像素坐标， 并根据扦样规则 将粮面区域划分为多个扦样区域， 从中随机选取 若干扦样区域并以其中心点作为扦样点， 计算得 到扦样点像素坐标， 采用双目视觉立体匹配算法 获得扦样点的三维空间世界坐标， 从而控制粮食 扦样机将扦样杆移动至各扦样点完成随机扦样 操作。 该方法针对装粮区域有较好的识别效果， 能够实现随机 选取扦样点 位置。 权利要求书2页 说明书5页 附图1页 CN 115035193 A 2022.09.09 CN 115035193 A 1.一种基于双 目视觉与图像分割技术的散装粮随机扦样方法， 其特征在于， 包括以下 步骤： （1） 利用双目相机分别采集散粮运输车和车载装粮区域的双目图像， 所述双目图像包 括左图像和右图像； （2） 对车载装粮区域图像进行处理， 校正双目图像， 利用图像分割模型对校正后的左图 像进行目标分割， 识别并计算出装粮车辆粮 面区域边界的四个角点像素坐标； （3） 根据扦样规则将粮面区域划分为多个扦样区域， 从中随机选取若干扦样区域并以 其中心点作为 扦样点， 计算得到扦样点像素坐标； （4） 采用双目视觉立体匹配算法完成扦样点的三维空间定位， 获得扦样点的三维空间 世界坐标， 从而控制粮食扦样机将扦样杆移动至各扦样点完成随机扦样 操作。 2.根据权利要求1所述的一种基于双目视觉与图像分割技术的散装粮随机扦样方法， 其特征在于， 步骤 （2） 对车 载装粮区域图像进行处 理包括以下步骤： S1： 对双目相机进行标定， 使用标定参数对双目相机采集到车载装粮的左图像和右图 像进行畸变校正和双目校正； S2： 对采集到的车载装粮区域图像的粮面区域进行标注， 得到训练图像集， 利用训练图 像集训练图像分割网络模型， 使用训练好的图像分割网络模型对校正后的左图像进行分割 得到掩膜图像； S3： 使用Opencv计算掩膜图像中多个目标区域的边缘坐标， 设定阈值参数筛选装粮区 域， 并生成最小外 接矩形； S4： 确定装粮区域四个角点坐标， 计算装粮区域边缘与最小外接矩形四边及四角的距 离， 调整权 重参数确定出最终的四个角点像素坐标。 3.根据权利要求2所述的一种基于双目视觉与图像分割技术的散装粮随机扦样方法， 其特征在于， 所述标定参数包括： 相机内参数、 外参数、 畸变系数。 4.根据权利要求2所述的一种基于双目视觉与图像分割技术的散装粮随机扦样方法， 其特征在于， 所述畸变校正包括： 径向畸变和 切向畸变校正。 5.根据权利要求2所述的一种基于双目视觉与图像分割技术的散装粮随机扦样方法， 其特征在于， 所述图像分割网络模型为U ‑Net模型。 6.根据权利要求1所述的一种基于双目视觉与图像分割技术的散装粮随机扦样方法， 其特征在于， 步骤 （4） 采用双目视 觉立体匹配算法包括以下步骤： S1： 匹配代价计算， 采用Census变换法， 分别 对左右图像利用像素邻域 内的局部灰度差 异将像素灰度转换为比特串， 将邻域窗口内像素灰度值与窗口中心像素的灰度值进行比 较， 根据比较结果计算匹配代价， 进 而衡量待匹配 像素候选像素之间的相关性； S2： 代价聚合， 采用SGM算法， 通过建立邻接像素之间的联系对匹配代价计算得到的代 价矩阵进 行全局优化， 将 像素所有视差下的匹配代价进行像素周围所有路径上的一 维聚合 得到各个路径下的路径代价值， 最后 将所有路径代价值相加得到该像素聚合后的匹配代价 值； S3： 视差计算， 采用赢家通吃算法对代价聚合之后的代价矩阵进行处理， 对每个像素选 择最小聚合代价 值所对应的视 差值作为 最优视差,最后得到与左图像相同尺寸的视 差图； S4： 视差优化， 采用左右一致性检查算法剔除因为遮挡和噪声而导致的错误视差， 将左权　利　要　求　书 1/2 页 2 CN 115035193 A 2右图像互换位置进 行立体匹配， 得到新的视差图， 根据视差的唯一性约束， 通过左图像的视 差图， 找到每个像素在右图像中的同名点像素及该像素对应的视差值， 这两个视差值之间 的差值若 小于一定阈值， 则满足唯一 性约束被保留， 反 之则不满足唯一 性约束而被剔除。 7.根据权利要求1所述的一种基于双目视觉与图像分割技术的散装粮随机扦样方法， 其特征在于， 步骤 （4） 的采用双目视觉立体匹配算法完成扦样点的三 维空间定位过程包括： 利用立体匹配算法寻找左图像中识别到的扦样点在右图像中对应的同名点， 依据双目立体 视觉定位得出各点的实际三维空间坐标。权　利　要　求　书 2/2 页 3 CN 115035193 A 3