(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210443594.8 (22)申请日 2022.04.26 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号 (72)发明人 徐立章　潘佳慧　胡金鹏　柴晓玉　 行帅峰　戴步旺　田士超　俞洵　 罗育森　 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/80(2017.01) G06T 7/90(2017.01) G06T 5/00(2006.01) G06T 5/50(2006.01) G06T 17/05(2011.01) A01D 45/04(2006.01)A01D 75/00(2006.01) (54)发明名称 一种再生稻穗层高度在线检测方法及系统 和收获机 (57)摘要 本发明提供一种再生稻穗层高度在线检测 方法及系统和收获机， 获取收获机正前方待收获 区域再生稻的彩色图像与 深度图像， 重建高程图 像并结合联合收获机的IMU进行校正， 消除相机 位姿对穗层高度信息检测的影 响， 可以提高再生 稻穗层高度信息的在线检测的精度； 对彩色图像 进行HSV颜色处理， 提取穗头区域的外接矩形的 下边线， 将下边线映射于高程图像中， 计算得到 再生稻穗层高度， 以指导收获机割台高度的实时 调控， 为再生稻收获作业过程中留茬高度的控制 提供更精确的数据支撑 。 权利要求书3页 说明书7页 附图4页 CN 114926532 A 2022.08.19 CN 114926532 A 1.一种再生稻穗层高度在线检测方法， 其特 征在于， 包括以下步骤： 步骤S1、 通过双目相机采集收获机正前方待收获区域再生稻的彩色图像与深度图像， 并传递给信号处 理终端； 步骤S2、 通过信号处理终端重建高程图像， 并结合收获机的IMU惯性测量单元获取的相 机的位姿变化对高程图像的重建进行 校正； 步骤S3、 信号处理终端将校正后的高程图像转换成HSV颜色空间， 在HSV颜色空间中去 除拨禾轮区域； 步骤S4、 信号处理终端在处理后的HSV颜色空间的S通道图像上， 通过最大类间方差法 进行穗头区域提取， 通过形态特征 的筛选， 以及开运算闭运算处理后再通过绘制穗头区域 的外接矩形， 取外 接矩形的下边线作为 穗层下边界； 步骤S5、 信号处理终端将所述下边线映射于重建好的高程图像中， 即可计算得到穗层 高度信息 。 2.根据权利要求1所述的再生稻穗层高度在线检测方法， 其特征在于， 在所述步骤S2 中， 高程图像重建包括以下步骤： 步骤S2.1双目相机所获取的深度图像先进行图像像素坐标系到图像物理坐标系的转 换: XL＝(uL‑Cx)dx， XR＝(uR‑Cx)dx YL＝(vL‑Cy)dy， YR＝(vR‑Cy)dy 其中， (XL,YL)为图像物理坐标系下左图坐标点， (XR,YR)为图像物理坐标系下右图坐标 点， (uL,vL)为图像像素坐标系下左图坐标点， (uR,vR)为图像像素坐标系下右图坐标点， Cx、 Cy为相机光心坐标， dx表示每个像素在横轴x的物理尺寸， dy表示每个像素在纵轴 y的物理 尺寸； 步骤S2.2进行图像物理坐标系到相机坐标系的转换: XC＝B×X/D， YC＝B×Y/D， ZC＝B×f/D 其中， (XC,YC,ZC)为相机坐标系下坐标， 视差D＝XL‑XR＝(uL‑uR)dx， B为双目相机基线距 离， f为相机焦距； 步骤S2.3进行相机坐标系到世界坐标系的转换: 其中， (Xw,Yw,Zw)为世界坐标系下坐标， α为相机坐标系到世界坐标系绕x轴的旋转角 度， 即俯仰角， β 为相机坐标系到世界坐标系绕z轴的旋转角度， 即横滚角， T为相机坐标系到 世界坐标系的平 移距离。 3.根据权利要求1所述的再生稻穗层高度在线检测方法， 其特征在于， 所述步骤(2)中， 对高程图像的重建进行 校正包括以下步骤： 以初始平面作为整个作业过程的基准平面， 此时相机初 始俯仰角为安装角 α0， 初始横滚 角为0°， IMU测得收获机的初始俯仰角 α1和横滚角 β1；权　利　要　求　书 1/3 页 2 CN 114926532 A 2收获机工作时， 通过IMU实时监测收获机的俯仰角α2和横滚角β2， 计算得俯仰角和横滚 角的增量αΔ、 βΔ， 其中αΔ＝α2‑α1， βΔ＝β2‑β1； 若增量小于设定的误差值， 则认为在前后或左右方向上不存在倾角， 不对该方向进行 校正， 直接对获取图像进行 下一步处理； 若俯仰角和横滚角增量大于所设定的误差值， 则认为前后或左右方向上存在倾角， 计 算出俯仰角 α和横滚角β， 其中α ＝α0+αΔ， β ＝0°+βΔ， 在对深度图像进行坐标转换时， 结合α、 β 进行姿态校正， 得到校正后的高程图像。 4.根据权利要求1所述的再生稻穗层高度在线检测方法， 其特征在于， 所述步骤S3中， 在HSV颜色空间中去除拨禾轮区域， 包括以下步骤： S3.1、 对图像内的每 个像素， 在HSV颜色空间中做像素值 转换， v＝max 其中， r、 g、 b为RGB颜色空间中 的红、 绿、 蓝像素通道值， max为r,g和b中 的最大者， min为 r,g和b中的最小者， h、 s、 v分别为HSV颜色空间中的色相、 饱和度、 明度像素通道值； S3.2、 在H通道中拨禾轮与 其余区域差异最大， 通过阈值分割可得到拨禾轮区域， 在S通 道中通过中值滤波、 图像增强处 理， 增大再生稻穗头与背景的差异； S3.3、 在图像增强处理后的S通道中， 设置分割所得的拨禾轮区域像素值， 区分穗头和 拨禾轮。 5.根据权利要求4所述的再生稻穗层高度在线检测方法， 其特征在于， 所述步骤S3.3 中 将分割所 得的拨禾轮区域像素值设为25 5， 此时穗头为 黑色， 拨禾轮为白色。 6.根据权利要求1所述的再生稻穗层高度在线检测方法， 其特征在于， 所述步骤S4中， 绘制穗头区域的外 接矩形， 取外 接矩形的下边线作为 穗层下边界包括以下步骤： 通过最大类间方差法， 将图像分成背景和前景两部分， 前景即穗头部分， 再对图像进行 二值化， 对二值化图像进 行开运算和闭运算以消除噪点， 通过形态特征的筛选， 提取穗头区 域， 绘制穗头区域的外接矩形， 以该区域的最低点的平均值作为再生稻穗层的高度值， 作外 接矩形的下边线。 7.一种实现权利要求1 ‑6任意一项所述再生稻穗层高度在线检测方法的系统， 其特征 在于， 包括图像采集装置、 IMU惯性测量单 元和信号处 理终端；权　利　要　求　书 2/3 页 3 CN 114926532 A 3