(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211076683.X (22)申请日 2022.09.02 (71)申请人 东南大学 地址 210000 江苏省南京市玄武区四牌楼 2 号 (72)发明人 吴刚　张皓炜　高康　李胡兵　 冯锦鹏　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陈月菊 (51)Int.Cl. G06V 20/54(2022.01) G06T 7/187(2017.01) G06V 30/24(2022.01) G06N 20/00(2019.01)G06T 7/62(2017.01) G06F 30/17(2020.01) G06F 30/27(2020.01) G01G 19/02(2006.01) G06F 119/14(2020.01) (54)发明名称 一种基于多光谱成像技术的非接触式车辆 称重方法 (57)摘要 本发明公开了一种基于多光谱成像技术的 非接触式车辆称重方法， 包括： 基于OpenCV图像 处理算法对像素温度矩阵数据进行处理， 通过图 像迭代的几何拟合和区域生长算法检测得到目 标样本轮胎的力学变形参数； 检测得到目标样本 轮胎侧壁的压印字符， 获取目标样 本轮胎的轮胎 尺寸和气压信息； 将待检测轮胎的力学变形参数 及字符信息输入至机器学习模型中， 计算出待检 测轮胎的荷载。 本发明可以实现全天候多环境多 应用场景下的车辆快速称重， 用于解决现有基于 计算视觉 车辆称重方法的泛化能力弱， 适用环境 受限等问题， 以及传统称重系统服役年限短， 成 本高昂的技 术问题。 权利要求书3页 说明书7页 附图4页 CN 115497058 A 2022.12.20 CN 115497058 A 1.一种基于多光谱成像技术的非接触式车辆称重方法， 其特征在于， 所述非接触式车 辆称重方法包括以下步骤： S1， 获取目标样本轮胎在正常工作状态下的侧面热成像图像； 从侧面热成像图像中提 取像素温度 矩阵数据以获得目标样 本轮胎的表面 温度信息； 基于 OpenCV图像处理算法对像 素温度矩阵数据进行 处理， 通过图像迭代的几何拟合和区域生长算法检测得到目标样本轮 胎的力学变形参数； S2， 获取目标样本轮胎侧壁的光学图像； 从目标样本轮胎侧壁的光学图像中检测得到 目标样本轮胎侧壁的压印字符； 通过压印字符获取目标样本轮胎的轮胎尺寸和气压信息； S3， 将获得的目标样本轮胎的力学变形参数与对应的轮胎尺寸、 气压信息作为机器学 习模型的训练样本， 训练得到用于预测轮胎荷载的机器学习模型； S4， 将待检测轮胎的力学变形参数及字符信息输入至机器学习模型中， 计算出待检测 轮胎的荷载。 2.根据权利要求1所述的基于多光谱成像技术的非接触式车辆称重方法， 其特征在于， 步骤S1中， 获取目标样本轮胎在正常工作状态下的侧面热成像图像的过程包括以下步骤： 利用红外激光标定将热成像采集组件对中于轮胎轮毂中心； 采用热成像采集组件捕捉 轮胎在正常工作状态下的侧面热成像信息； 将热成像采集组件捕捉的侧面热成像信息 以 CSV的格式保存。 3.根据权利要求1所述的基于多光谱成像技术的非接触式车辆称重方法， 其特征在于， 步骤S1中， 所述力学变形参数包括： 轮胎最大像素半径R、 轮胎最大像素面积S1、 轮毂像素半 径r、 轮胎与地面接触像素长度l、 轮胎圆心到地面的像素距离h、 轮胎变形后的等效像素面 积S2、 轮胎变形 前后的图像 像素面积差 ΔS， 以及轮胎与地 面接触分割线像素长度L。 4.根据权利要求1所述的基于多光谱成像技术的非接触式车辆称重方法， 其特征在于， 步骤S1中， 基于OpenCV图像处理算法对像素温度矩阵数据进行处理， 通过图像迭代的几何 拟合和区域 生长算法检测得到目标样本轮胎的力学变形参数的过程包括以下步骤： S11， 根据像素温度矩阵数据生成与温度线性相关的温度图像； 采用sobel边缘检测算 子计算温度图像的像素梯度幅值， 在温度图像中温差大于预设温差阈值的像素点周围进 行 图像分割； S12， 将分割后图像的前5 ％的梯度幅值进行保留， 并取出梯度幅值最大的点， 进行颜色 标记； 从图像下方向上依 次选取经过颜色标记的像素点， 将选取 的像素点作为用于第一次 拟合轮胎外轮廓的种子点， 所选取的种子点均为轮胎与空气交界面上的像素点； S13， 采用步骤S12选取的种子点， 利用区域生长算法对种子点进行区域生长找到与种 子点相邻的点作为 新的种子点， 进行轮胎外轮廓的第二次拟合； S14， 保留步骤S12和步骤S13中所选取的种子点， 以第二次拟合的轮胎外轮廓为基准， 自上而下的找到轮胎上半部分的梯度幅值 最大像素点， 进行第三次轮胎外轮廓拟合； S15， 以步骤S14中所拟合的轮胎外轮廓为基准， 向轮胎中心寻找梯度幅值最大的像素 点， 以此点作为拟合轮毂外轮廓的种子点， 拟合得到轮毂外轮廓； S16， 重复迭代以拟合得到符合预设误差标准的轮胎外轮廓与轮毂外轮廓； S17， 由轮胎 圆心左下45度与右下45度的夹角范围内找到轮胎与地面交界处的像素梯 度幅值点， 以查找到的像素梯度幅值点为基准绘制轮胎与地面分割线， 得到轮胎变形后轮权　利　要　求　书 1/3 页 2 CN 115497058 A 2胎与地面的交界面； S18， 自下而上的对轮胎与地面交界面的图像像素进行端点处理， 计算相邻两个像素点 的Y坐标差值， 当任一像素点与其相邻的像素点的Y坐标差值大于预设坐标差值阈值时， 判 断该像素点 为轮胎与地 面接触的端点， 得到轮胎与地 面的真实接触 像素长度。 5.根据权利要求1或者4所述的基于多光谱成像技术的非接触式车辆称重方法， 其特征 在于， 采用比例因子α 对获取的轮胎的力学变形参数进行修 正： 式中， Rim为轮毂半径； r为拟合得到的轮毂像素半径； 修正后的力学变形参数为： rtrue＝α×r Rtrue＝α×R s1true＝α2×s1 ltrue＝α×k htrue＝α×h s2true＝α2×S2 ΔStrue＝α2×ΔS Ltrue＝α×L 式中， rtrue、 Rtrue、 s1true、 ltrue、 htrue、 s2true、 ΔStrue和Ltrue分别为修正后的轮毂像素半径、 轮胎最大像素半径、 轮胎最大像素面积、 轮胎与地面接触像素长度、 轮胎圆心到地面的像素 距离、 轮胎变形后的等效像素面积、 轮胎变形前后的图像像素面积差和轮胎与地面接触分 割线像素长度； R、 s1、 l、 h、 s2、 ΔS和L分别为拟合 得到的轮胎最 大像素半径、 轮胎最大像素面 积、 轮胎与地面接触像素长度、 轮胎圆心到地面的像素距离、 轮胎变形后的等效像素面积、 轮胎变形 前后的图像 像素面积差和轮胎与地 面接触分割线像素长度。 6.根据权利要求1所述的基于多光谱成像技术的非接触式车辆称重方法， 其特征在于， 步骤S2中， 基于深度学习端到端的OCR文字识别算法， 对目标样 本轮胎侧壁的光学图像进 行 OCR文字识别， 根据 识别结果 获取轮胎的尺 寸信息和气 压信息； 尺 寸信息包括轮胎断面高度 H、 轮胎断面宽度b、 轮毂半径Rim与气 压信息atm； 轮胎真实气压取轮胎标识符所示的最大气 压的1.1至1.2倍。 7.根据权利要求1所述的基于多光谱成像技术的非接触式车辆称重方法， 其特征在于， 步骤S3中， 每个训练样本均包括12个力 学特征和1个标签； 力学特征分别为： 轮胎最大半径 Rtrue、 轮胎最大面积s1true、 轮毂半径rtrue、 轮胎与地面接触长度ltrue、 轮胎圆心到 地面的距离 htrue、 轮胎变形后的等效面积S2true、 轮胎变形前后的面积差ΔStrue、 轮胎与地面接触分割线 长度Ltrue、 轮胎断面高度H、 轮胎断面宽度b和轮胎气压atm； 标签为： 轮胎 ‑地面接触力F； 所述机器学习模型为反映12个力学特征与1个力学响应之间映射关系的集成决策树模 型。 8.根据权利要求1所述的基于多光谱成像技术的非接触式车辆称重方法， 其特征在于， 所述非接触式车辆称重方法还 包括以下步骤： S5， 通过回归系数β 对机器学习模型 所预测的轮胎真实荷载进行温度修 正：权　利　要　求　书 2/3 页 3 CN 115497058 A 3