(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221071514 4.X (22)申请日 2022.06.23 (65)同一申请的已公布的文献号 申请公布号 CN 114792319 A (43)申请公布日 2022.07.26 (73)专利权人 国网浙江省电力有限公司电力科 学研究院 地址 310014 浙江省杭州市下城区朝晖八 区华电弄 1号 (72)发明人 韩睿　徐华荣　张弛　钱平　 姜雄伟　戴哲仁　王文浩　郑一鸣　 罗旺　李文博　姜凯华　谢凌东　 李富强　高祺　 (74)专利代理 机构 浙江翔隆专利事务所(普通 合伙) 33206 专利代理师 许守金　张建青 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01)G06N 3/04(2006.01) G06K 9/62(2022.01) G06Q 10/04(2012.01) G06Q 50/06(2012.01) G06V 20/10(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 112904877 A,2021.0 6.04 CN 109635720 A,2019.04.16 CN 114332697 A,202 2.04.12 CN 113139521 A,2021.07.20 CN 112102369 A,2020.12.18 CN 112733824 A,2021.04.3 0 CN 113590878 A,2021.1 1.02 梁松伟.基 于多源异构视 觉的变电站机 器人 巡检技术研究. 《中国优秀硕士学位 论文全文数 据库 工程科技 Ⅱ辑》 .2022, 审查员 顾琇婷 (54)发明名称 一种基于变电图像的变电站巡检方法及系 统 (57)摘要 本发明公开了一种基于变电图像的变电站 巡检方法及系统， 属于变电站技术领域。 现有技 术巡检效率不高， 智能模型分析的准确率较低。 本发明的一种基于变电图像的变电站巡检方法， 构建变电巡检目标检测模型， 对变电设备的图像 信息进行识别， 得到图像信息中的变电设备及其 组部件类型， 并获取变电设备及其组部件在图像 中的像素坐标； 并通过像素坐标对若干巡检目标 进行路径规划， 得到路径规划信息， 实现变电设 备拍摄过程的路径规划， 有效提高了巡检效率。 同时， 构建步进调整策略模型， 对巡检图像进行 判断和校核； 并根据判断和校核结果， 调整巡检 终端， 以得到满足要求的预期图像， 确保变电设备的图片质量， 有效避免图像聚焦不准、 预置位 漂移等实际问题。 权利要求书4页 说明书14页 附图2页 CN 114792319 B 2022.09.20 CN 114792319 B 1.一种基于变电图像的变电站巡检方法， 其特 征在于， 包括以下步骤： 第一步， 在预设点 位控制巡检终端对准变电设备， 获取图像信息； 第二步， 构建变电巡检目标检测模型， 对第一步中的图像信 息进行识别， 得到图像信 息 中的变电设备及其组部件类型， 并获取变电设备及其组部件在图像中的像素坐标； 第三步， 根据第二步中的像素坐标， 对若干巡检目标进行路径规划， 得到路径规划信 息； 第四步， 根据第 三步中的规划顺序信 息， 对若干个巡检目标依次开展巡检， 得到巡检图 像； 第五步， 构建步进调整策略模型， 对第四步中的巡检图像进行判断和校核； 并根据判断 和校核结果， 调整巡检终端， 以得到满足要求的预期图像； 第六步， 构建相关联识别模型对第五步中的预期图像进行识别以及异常判断， 并输出 和记录识别结果， 完成变电站的巡检； 所述第一 步中， 图像信息的获取 方法如下： 在控制巡检终端对准变电设备过程中， 对镜头移动的背景进行高斯建模， 得到高斯模 型， 用于判定 镜头是否处于预置位； 所述高斯模型的判定方法， 包括以下步骤： S11， 对输入的图像信息进行 预处理， 丢弃细节特 征， 保留宏观特 征， 得到预处 理图像； S12， 从S1 1的预处理图像中提取背景像素点； S13， 判断S12中的背景像素点在一个时间段的方差分布是否符合高斯分布； 如果符合高斯分布， 则表示镜 头移动停止， 如果不符合高斯分布， 则表示镜 头处于移动中； 所述第二 步中， 变电巡检目标检测模型的构建方法如下： 步骤21， 收集和标注变电设备及其组部件的多光谱图像数据； 所述变电设备包括变压器或/和组合电器或/和断路器或/和隔离开关或/和电容器或/ 和电抗器或/和避雷器或/和电压互感器或/和电流互感器； 所述组部件 包括油枕或/和套管或/和接 头或/和均压环或/和油温表或/和压力表； 所述多光谱图像数据包括可 见光图像、 红外图像； 步骤22， 构建注意力模型对步骤21中的多光谱图像数据进行处理， 用以排除电力目标 复杂背景的影响， 使变电巡检目标检测模型注意力集中在电力目标 上， 得到注意力图像； 步骤23， 构建特征地 图， 对步骤22中的注意力图像进行处理， 生成的小目标预测图像， 使得变电巡检目标检测模型对注意力图像中小的电力目标 敏感； 步骤24， 构建深度学习模型对步骤23中的小目标 预测图像进行识别， 得到识别 信息； 所述注意力模型包括两个独立的子单元， 其分别是通道注意力单元和空间注意力单 元； 所述通道注意力单 元， 用于对通道 注意力特 征进行提取， 其 提取方法如下： 步骤221， 通过最大池化和平均池化得到 两个1  ×  1  ×  C 的通道特 征图； 步骤222， 然后将步骤2 21中的通道特 征图送入前馈人工神经网络模型MLP中； 步骤223， 利用步骤222中的前馈人工神经网络模型MLP输出特征， 并进行像素级的加和权　利　要　求　书 1/4 页 2 CN 114792319 B 2处理， 得到输出数据； 步骤224， 利用激活函数sigmo id对输出 数据进行激活， 得到最终的通道 注意力特 征； 所述空间注意力单 元， 用于空间注意力特 征的提取， 其 提取方法如下： S221， 将通道注意力特征作 为输入， 并沿着通道维度进行最大池化和平均池化， 得到两 个H  ×  W  ×  1的空间特 征图； S223， 然后对S22 1中的空间特征图， 进行通道级联， 并经过一7   × 7卷积层降维至单通 道， 得到降维数据； S224， 利用激活函数sigmo id对降维数据进行激活， 得到空间注意力特 征； 所述第三 步中， 路径规划的方法如下； 根据像素坐标， 将巡检目标按照类别归类； 对同一类的多个巡检目标按照从左到右、 从上到下的方向分配标识编码ID； 所述第五步中， 预期图像的获取 方法如下： 对路径规划信 息中的第x个巡检目标， 根据巡检目标在图像中的位置， 利用步进调整策 略模型， 控制镜头聚焦该巡检目标， 镜头调整完毕后， 判断巡检图像的质量是否达到预期效 果； 若巡检图像的质量达 到预期效果， 则将巡检图像输出为预期图像； 若巡检图像的质量未达 到预期效果则重新调整镜 头， 直至达到预期效果； 所述步进调整策略模型的构建方法如下： 步骤41， 对调整步长进行计算， 依据步长计算得到阶段预期效果， 并生成对应的一系列 镜头控制动作； 所述阶段预期效果为执行每一个步进调整策略后的巡检目标的像素坐标、 画面占比、 清晰度的预期值； 步骤42， 根据步骤41中的一系列镜头控制动作， 对镜头步进进行调整， 并通过匈牙利模 型实现对前后两帧的巡检目标， 进行身份关联和配准， 通过卡尔曼模型预测巡检目标的下 一个出现坐标； 根据下一个出现坐标， 更新 卡尔曼预测函数； 步骤43， 步骤42调整完成后， 采用质量判断模型， 通过梯度判断， 比较巡检目标的像素 坐标、 画面占比、 清晰度的实际值与预期值的误差， 判断实际调整效果是否达到阶段预期效 果； 步骤44， 当步骤43的实际调整效果未达到阶段预期效果时， 执行步骤41 ‑步骤43继续调 整， 并采用防呆策略， 针对每个巡检目标计算一个预测的状态值， 状态值包括目标框大小、 位置、 占屏比； 在多次调整后未能成功使巡检目标状态达 到预期值时， 进行防呆处 理； 所述防呆处 理， 包括以下内容： 尝试若干次数后， 放弃对巡检目标的后续调整， 并以当前状态值 为最佳输出； 当步骤43的实际调整效果达到阶段预期效果时， 依据巡检目标当前的像素坐标、 画面 占比、 清晰度， 计算总体实际效果； 步骤45， 将步骤4 4中的总体实际效果与总体预期效果进行对比； 当总体实际效果已达到总体预期效果 时， 调用相关联识别模型对巡检目标进行识别分 析；权　利　要　求　书 2/4 页 3 CN 114792319 B 3