(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210117989.9 (22)申请日 2022.02.08 (71)申请人 国网河北省电力有限公司超高压分 公司 地址 050000 河北省石家庄市新 华区钟盛 路66号 申请人 国家电网有限公司 (72)发明人 王会增　师元康　刘海锋　王乐　 齐肖彬　张岩坡　袁冰　王昭雷　 范辰旭　靳楠　张韶光　 (74)专利代理 机构 石家庄新世纪专利商标事务 所有限公司 1310 0 专利代理师 张晓佩 (51)Int.Cl. G06V 20/62(2022.01)G06V 30/148(2022.01) G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/24(2022.01) G06V 30/16(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 一种端子排图像 检测识别方法 (57)摘要 本发明涉及一种端子排图像检测识别方法， 涉及图像处理技术领域。 该方法包括： 在端子排 机柜上， 先获取端子排待处理图像， 然后基于所 提出的一阶段结合注意力模块的文字检测网络 预先训练好的模型， 进行端子排文字检测、 分割 到实例。 基于一阶段所得到的文本实例， 再通过 二阶段预先训练好的文本识别模 型， 识别出文本 的实际的内容。 这种结合了注 意力模块和文本扭 曲增强的方式， 能够有效解决文本目标检测分割 边界定位不准的问题， 能够 有效解决扭曲文本识 别转译的问题。 最终实现端子排文本检测、 识别 的准确率 提升， 且提升效果比较明显 。 权利要求书2页 说明书7页 附图5页 CN 114550153 A 2022.05.27 CN 114550153 A 1.一种端子排图像检测识别方法， 其特征在于， 采用OCR识别系统， 以分割为基础的算 法检测， 再根据对分割结果进 行文字识别的两阶段方法， 通过由下而 上的方式， 先对文本进 行分割， 然后再根据文本分割实例， 计算出文本的实际内容； 两阶段方法为两阶段OCR字符识别， 一阶段采用可微的二值化DBNet网络结构作 为文本 检测， 在模型骨干的各个阶段添加了BAM模块， 用于增强模型的增强表达， 在文本结构信息 缺失的情况下， 仍然能对文本目标分割边界定位； 二阶段采用CNN +RNN+CTC方法实现文本识 别。 2.根据权利要求1所述的一种 端子排图像检测 识别方法， 其特征在于， 所述以分割为基 础的算法检测:就是把图像分成若干个特定的、 具有独特性质的区域并提出感兴趣目标 的 技术和过程； OCR识别技术路线， 第一阶段先通过图像分割确定文字的位置， 并将确定的文字位置进 行抠图， 第二阶段， 基于抠出的图像， 进行OCR文字识别。 3.根据权利要求1所述的一种端子排图像检测识别方法， 其特征在于， 所述两阶段OCR 字符识别的文字识别网络架构包括两 部分： 检测端和识别端。 4.根据权利要求3所述的一种端子排图像检测识别方法， 其特征在于， 检测端为OCR检 测识别模 型的第一阶段， 先对现场采集的数据做有效的数据增强功能， 包含文字的变形、 光 照和噪声数据处理方式； 其次， 再具体使用当前CNN特征提取结构作为骨干backbone， 同时 neck端， 融合CNN阶段的特征分布； 最后head端达到从输入图像到文字分割， 基于分割结果， 实现一阶段 预测定位到文本的位置信息 。 5.根据权利 要求4所述的一种端子排图像检测识别方法， 其特征在于， 采用ResNet作 为 backbone， 在残差数据融合阶段， 附加了瓶颈注 意模块， 使 得更倾向于模 型所注意的边界上 面。 6.根据权利 要求5所述的一种端子排图像检测识别方法， 其特征在于， 采用Backbone为 Resnet50， 并在网络的四个阶段： 阶段 1， 阶段2， 阶段3和阶段4， 分别添加一个BAM模块， 用于 注意不同阶段的注意力边界信息， 所提出的改进的Impr oved‑DB‑Net网络结构； 依据更改 的 网络结构在公有的数据集上， 进 行训练， 并同时确保同样的数据以及训练参数， 最 终在同一 张端子排线管图像上进行检测效果对比。 7.根据权利要求3所述的一种 端子排图像检测 识别方法， 其特征在于， 识别端包括另一 部分文本识别， 所述另一部分文本识别作为第二阶段， 二阶段的输入为一阶段4 ‑points位 置输出， 通过位置输出， 将可回归文本区域的图像信息进行抠图， 抠出原始图像， 作为二阶 段的输入； 二阶段网络结构， 使用CN N+RNN网络结构。 8.根据权利要求7所述的一种 端子排图像检测 识别方法， 其特征在于， 为了提高第 二阶 段识别准确率， 首先通过BDA+TIA的数据增强方式， 一是扩充自然环境的光照影响， 二是扩 增扭曲文本样本的数量， 增强表达进而提高模型的学习 能力， 进而提高OCR文字转译准确 率， 解决扭曲文本识别转译的问题。 9.根据权利 要求8所述的一种端子排图像检测识别方法， 其特征在于， 二阶段， CNN+RNN 之后， 将特征向量进 行融合以提取字 符序列的上下文 特征， 然后得到每列特征的概率分布， 最后通过转录层进行 预测得到文本序列； 转译阶段使用CTC解码对齐方式， 一是把从循环层获取的标签分布通过去重整合等操权　利　要　求　书 1/2 页 2 CN 114550153 A 2作转换成最终的识别结果； 二是解决图像中文字存在Sequence  to Sequence问题。 10.根据权利要求9所述的一种端子排图像 检测识别方法， 其特 征在于， 在端子排图像 检测识别之前进行端子排图像标注处 理。权　利　要　求　书 2/2 页 3 CN 114550153 A 3