(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210818312.8 (22)申请日 2022.07.12 (71)申请人 深圳瀚德智能技 术有限公司 地址 518000 广东省深圳市南 山区西丽 街 道新围社区桑泰科技园3栋厂房留仙 文化园三栋418A (72)发明人 朱友康　万定锐　谢勇祥　陈玉国　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 姚大雷 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/143(2022.01) G06V 20/52(2022.01) G06V 10/82(2022.01)G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于三光融合的托辊监控 方法、 装置和巡检 机器人 (57)摘要 本申请实施例提供一种基于三光融合的托 辊监控方法、 装置和巡检机器人， 该方法包括： 获 取包含有托辊支架编号及转动托辊的监控图像； 获取对应时刻下托辊所在位置的光学图像和红 外热成像； 利用托辊识别模型实时识别光学图像 中的每个托辊， 并根据红外热成像确定每个托辊 的实际温度； 当检测到存在托辊的实际温度超 过 预设温度阈值时， 触发托辊过热报警， 并从监控 图像中提取报警时刻对应的视频片段， 视频片段 用于获得过热托辊所在的支架编号信息。 本方案 可以实现托辊的温度实时监控及在出现高温时 自动报警及定位， 进而有效地预防托辊过热导致 设备损坏， 大 大降低人力成本等。 权利要求书2页 说明书9页 附图6页 CN 115239652 A 2022.10.25 CN 115239652 A 1.一种基于三 光融合的托辊监控方法， 其特 征在于， 包括： 获取包含有托辊支 架编号及转动托辊的监控图像； 获取对应时刻下托辊所在位置的光学图像和红外热成像； 利用托辊识别模型实时识别所述光学图像中的每个托辊， 并根据 所述红外热成像确定 每个托辊的实际温度； 当检测到存在托辊的所述实 际温度超过预设温度阈值时， 触发托辊过热报警， 并从所 述监控图像中提取报警时刻对应的视频片段， 所述视频片段用于获得过热托辊所在的支架 编号信息 。 2.根据权利要求1所述的基于三光融合的托辊监控方法， 其特征在于， 所述托辊的识别 信息包括在光学图像坐标系下每个托辊中心的第一坐标； 所述根据所述红外热成像确定每 个托辊的实际温度， 包括： 利用透视变换算法将每个托辊中心的所述第一坐标转换至红外热成像坐标系下的第 二坐标； 将所述红外热成像中对应于各个所述第二坐标的温度值分别作为对应位置的托辊中 心的红外温度； 基于所述 托辊中心的红外温度确定相应托辊的实际温度。 3.根据权利要求2所述的基于三光融合的托辊监控方法， 其特征在于， 基于所述托辊中 心的红外温度确定相应托辊的实际温度， 包括： 将所述托辊中心的红外温度定义 为相应托辊的实际温度； 或者， 根据所述红外热成像统计包含所述托辊中心 的邻域内的多个温度值， 并将所述 多个温度值的平均值作为相应托辊的实际温度。 4.根据权利要求1所述的基于三光融合的托辊监控方法， 其特征在于， 所述托辊识别模 型通过预先训练得到， 包括： 采集管带机上包 含有托辊的图像数据集； 利用聚类算法计算所述图像数据集中的托辊锚框参数， 所述托辊锚框参数用于确定模 型训练输入的锚框大小； 对所述图像数据集进行图像尺寸统一化及图像增强处理， 得到图像尺寸相同的训练样 本集； 利用所述训练样本集对构建的卷积神经网络模型进行迭代训练， 直至训练损失值满足 预设条件时停止训练， 得到训练好的托辊识别模型。 5.根据权利要求1至4中任一项所述的基于三光融合的托辊监控方法， 其特征在于， 所 述托辊识别模型包括特 征提取网络、 池化过渡网络和特 征融合网络； 所述特征提取网络用于对包含托辊的输入图像进行由低层次到 高层次的特征图提取， 得到相应的特 征图； 所述池化过渡网络用于对所述特征提取网络中指定层输出的所述特征图进行先池化 后融合处 理， 得到扩充特 征图， 再对所述扩充特 征图进行残差优化， 得到优化特 征图； 所述特征融合网络用于对所述优化特征图进行上采样， 并将上采样得到的特征图与 具 有相同尺寸的 由所述特 征提取网络 输出的特 征图进行 特征融合， 以输出托辊预测结果。 6.根据权利要求5所述的基于三光融合的托辊监控方法， 其特征在于， 所述特征提取网权　利　要　求　书 1/2 页 2 CN 115239652 A 2络包括依次连接的输入卷积层、 多个优化残差结构和输出 卷积层； 所述优化残差结构包括： 按照所述输入卷积层的输入通道平均划分的两条支路， 所述 两条支路的输出连接至拼接单元， 所述拼接单元连接到卷积输出模块； 其中， 每条支路中包 括一个卷积模块， 其中一条支路中还 包括与所述卷积模块的输出 连接的瓶颈模块。 7.根据权利要求5所述的基于三光融合的托辊监控方法， 其特征在于， 所述池化过渡 网 络包括一个空间金字塔池化层和优化残差结构； 所述空间金字塔池化层包括一个卷积模块和具有卷积核大小不同的三个池化单元， 所 述卷积模块和所述三个池化单元的输出按照通道进行拼接输出， 所述空间金字塔池化层用 于输出所述扩充特 征图； 所述特征融合网络包括单尺度或多尺度特 征融合结构。 8.一种基于三 光融合的托辊监控 装置， 其特 征在于， 包括： 数据获取模块， 用于获取包 含有托辊支 架编号及转动托辊的监控图像； 所述数据获取模块， 还用于获取对应时刻下托辊所在位置的光学图像以及红外热成 像； 托辊识别模块， 用于利用托辊识别模型实时识别所述 光学图像中的每 个托辊； 温度计算模块， 用于根据所述红外热成像确定每 个托辊的实际温度； 报警控制模块， 用于当检测到存在托辊的所述实 际温度超过预设温度阈值时， 触发托 辊过热报警， 并从所述监控图像中提取报警时刻对应的视频片段， 所述视频片段用于获得 过热托辊所在的支 架编号信息 。 9.一种巡检机器人， 其特征在于， 所述巡检机器人上设有全局光学相机、 局部光学相 机、 红外热成像相 机、 处理器和存储器； 所述存储器存储有计算机程序， 所述处理器用于执 行所述计算机程序以实施权利要求1 ‑7中任一项所述的基于三 光融合的托辊监控方法； 其中， 所述全局光学相机用于采集能拍摄到托辊支架编号及转动托辊的监控图像， 所 述局部光学相机用于采集对应时刻下托辊所在位置的光学图像， 所述红外热成像相机用于 采集同一时刻下相同位置的红外热成像。 10.一种可读存储介质， 其特征在于， 其存储有计算机程序， 所述计算机程序在处理器 上执行时， 实施根据权利要求1 ‑7中任一项所述的基于三 光融合的托辊监控方法。权　利　要　求　书 2/2 页 3 CN 115239652 A 3