(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210819775.6 (22)申请日 2022.07.12 (71)申请人 湖南匡安网络技 术有限公司 地址 410006 湖南省长 沙市芙蓉区湘湖街 道和光路102号 (72)发明人 李肯立　余思洋　林灏昶　唐伟　 杨圣洪　杨志邦　段明星　蔡宇辉　 吕婷　 (74)专利代理 机构 武汉臻诚专利代理事务所 (普通合伙) 42233 专利代理师 宋业斌 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于TSN与注意力LSTM网络模型的电气设备 完整度监测方法 (57)摘要 本发明公开了一种基于TSN与注意力LSTM网 络模型的电气设备完整度监测方法， 包括： 获取 电气设备的监控视频， 将获得的监控视频输入训 练好的视频监控模型中。 以得到电气设备的完整 度监测结果。 本发明能够解决现有基于深度学习 的方式实现电气设备完整度识别由于周期型的 检查容易出现检修时间差， 导致对电气设备的性 能有影响的技术问题， 以及现有电气设备图像识 别方式由于只是针对电气设备某个时间段的单 一信息， 无法利用连续的电气设备上下文信息， 导致识别准确率低的技术问题， 以及现有使用深 度学习分析传感器数据的方式由于某些电气设 备的外观初期 破损， 导致会对电气设备造成难以 修复的影响的技 术问题。 权利要求书3页 说明书8页 附图2页 CN 115205743 A 2022.10.18 CN 115205743 A 1.一种基于TSN与注意力LSTM 网络模型的电气 设备完整度监测方法， 其特征在于， 包括 如下步骤： (1)获取电气设备的监控视频； (2)将步骤(1)中获得的监控视频输入训练好的视频监控模型中。 以得到电气 设备的完 整度监测结果。 2.根据权利 要求1所述的基于TSN与注意力LSTM网络模型的电气设备完整度监测方法， 其特征在于， 电气设备完整度监测模型包括 顺次连接的视频 特征抽取模块、 以及序列建模 模块； 视频特征抽取模块采用时间敏感网络TSN模型， 其骨架为BN ‑Inception模型； 序列建模 模块采用注意力长短期记 忆AttentionLSTM网络； 其中视频特征抽取模块用于提取电气设备的监控视频中的特征， 而序列建模模块则用 于根据提取的特 征进行特征重组与视频分类。 3.根据权利 要求1或2所述的基于TSN与注意力LSTM 网络模型的电气设备完整度监测方 法， 其特征在于， 电气设备完整度监测模型 是通过以下步骤训练得到的： (2‑1)获取多个包含电气设备特征元素的视频数据构成的视频数据集， 按照2:8的比例 将该视频数据集划分为测试集和训练集， 然后对训练集进 行预处理， 以得到预 处理后的RGB 图像集合； (2‑2)将步骤(1)预处理后的RGB图像集合输入电气 设备完整度 监测模型中的视频特征 提取模块， 以获取对应的多个电气设备 特征。 (2‑3)将步骤(2 ‑2)得到的多个电气 设备特征输入序列建模模块 中进行训练， 以得到初 步训练好的电气设备完整度监测模型。 (2‑4)使用步骤(2 ‑1)得到的测试集对步骤(2 ‑3)初步训练好的电气设备完整度 监测模 型进行验证， 直到电气设备完整度监测模型 的检测精度达到最优为止。 从而得到训练好的 电气设备完整度监测模型。 4.根据权利 要求1至3中任意一项所述的基于TSN与注意力LSTM网络模型的电气 设备完 整度监测方法， 其特 征在于， 步骤(2‑1)是从电气设备监控视频中获取视频 数据集； 步骤(2‑1)中的电气设备特征元素包括电气设备的外观完整度， 其表示电气设备的外 观完好程度； 以及电气设备的外观破损类型与外观破损位置 。 步骤(2‑1)对训练集的预处理过程具体为， 首先， 将训练集中的第i个视频数据平均分 为K份视频片段{Si1， Si2， ...， SiK}， 其中i的取值为[1， 训练集中的视频数据总数]， K的取值 为[1， 第i个视频数据中 的总帧数]； 然后， 对于每个视频数据i对应的所有K份视频片 段Si＝ {Si1， Si2， ...， SiK}而言， 以预定的帧速率进行采样， 从而提取与视频数据i对应的所有视频 片段Si对应的、 由多个图片组成的RGB图像数据， 所有视频数据对应的所有视频片段对应的 RGB图像数据构成预处 理后的RGB图像集 合。 5.根据权利 要求4所述的基于TSN与注意力LSTM网络模型的电气设备完整度监测方法， 其特征在于， 步骤(2‑2)中的视频 特征提取模块是使用如下的视频 特征提取函数： TSN(Ti1， Ti2...Tik)＝H(G(F1(Ti1， W)， F2(Ti2， W)...Fk(Tik， W))权　利　要　求　书 1/3 页 2 CN 115205743 A 2其中， W为视频特征抽取模块的权重参数， Tik表示步骤(2 ‑1)得到的第i个视频中第k个 视频片段Tik对应的RGB图像数据(其中k∈[1， K])， Fk(Tik， W)表示视频片段Tik经过视频特征 抽取模块的输出结果， G为均值函数， 其用于对所有视频片段经过视频特征抽取模块的输出 结果取平均值， H函数表示Softmax函数。 视频特征抽取模块的损失函数 是采用标准分类交叉熵损失函数： 其中C为类别信息， yi表示训练集中第i个视频数据的实际分类结果， Gi表示训练集中第 i个视频数据经过时间敏感网络生成的视频 预测类别结果。 6.根据权利 要求4所述的基于TSN与注意力LSTM网络模型的电气设备完整度监测方法， 其特征在于， 序列建模 模块是由长短期记 忆LSTM网络、 注意力机制网络、 以及全连接层组合而成； 步骤(2‑3)具体为， 首先是将步骤(2 ‑2)得到的多个电气设备特征输入注意力长短期记 忆网络中， 以得到电气设备特征编码序列； 然后， 将电气设备特征编 码序列使用注意力机制 网络， 以得到对应的注意力权值编码序列。 最后， 将注意力权值编码序列输入全连接层， 以 得到电气设备 预测分类信息 。 7.根据权利 要求6所述的基于TSN与注意力LSTM网络模型的电气设备完整度监测方法， 其特征在于， 长短期记忆网络是由L个LSTM层 所组成， 每一层LSTM层由N个LSTM细 胞构成， 其中L的取 值范围可以为[1， 5]， N的取值范围为[10 0， 1024]； 每个LSTM细胞包括 一个遗忘门、 一个更新门、 以及一个输出门。 8.根据权利 要求7所述的基于TSN与注意力LSTM网络模型的电气设备完整度监测方法， 其特征在于， 在每一个LSTM细胞内部， 首先， 在t时刻的LSTM细胞输入进入遗忘门， 从而得到遗忘门 的输出(即遗 忘门在t时刻的特 征)ft： ft＝σ(Wf.[ht‑1， xt]+bf) 其中xt代表t时刻的LSTM细胞输入， ht‑1为上一个时刻LSTM细胞传递的隐藏层 输出， Wf代 表遗忘门的权 重参数， σ 代 表sigmoid函数， bf表示遗忘门的偏移参数； 然后， 遗忘门输出ft进入更新门， 从而得到更新门的输出(即更新门在t时刻的特 征)Ct。 其中， 更新门的输出Ct是通过以下过程得到， 首先计算需要遗忘的特征输出it和保留的 特征输出 it＝σ(Wi·[ht‑1， xt]+bi) 其中Wc代表更新门的权重参数， bi表示遗忘门sigmoid函数的偏移参数， bc表示遗忘门 tanh函数的偏移参数。 随后， 根据需要遗 忘的特征输出it和保留的特 征输出 获取更新门的输出Ct： 权　利　要　求　书 2/3 页 3 CN 115205743 A 3