(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210796580.4 (22)申请日 2022.07.06 (71)申请人 沈阳航空航天大 学 地址 110136 辽宁省沈阳市道义经济开发 区道义南大街37号 (72)发明人 王传云　孟琳琳　时中瑞　高骞　 王琳霖　王尔申　张亚娟　 (74)专利代理 机构 沈阳维特专利商标事务所 (普通合伙) 21229 专利代理师 张倩怡 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06V 10/82(2022.01) G06V 20/17(2022.01)G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/62(2022.01) (54)发明名称 用于监视低空复杂背景下小型飞行器的鲁 棒视觉跟踪方法 (57)摘要 本发明提供了一种用于监视低空复杂背景 下小型飞行器的鲁棒视觉跟踪方法， 包括将包含 飞行器的待跟踪视频提取成帧， 将初始帧送入混 合注意力机制的主干特征提取网络提取初始目 标特征作为模板； 对于之后的每一帧， 使用混合 注意力机制的主干特征提取网络提取目标特征； 将目标特征与模板进行互相关生成高斯型响应 图； 引入遮挡感知模块， 利过高斯型响应图判断 是否被遮挡； 未被遮挡则输出高斯型响应图峰值 位置， 同时将当前帧更新为新模板； 被遮挡则调 用基于LSTM的轨迹预测模块对遮挡后的飞行器 位置进行预测， 同时停止模板的更新； 在获得位 置后使用IoU网络确定在当前帧的最佳位置。 解 决低空空域飞行器的跟踪 过程中由于背景复杂、 目标遮挡导 致跟踪失败问题。 权利要求书2页 说明书5页 附图2页 CN 115131406 A 2022.09.30 CN 115131406 A 1.一种用于监视低空复杂背景下小型飞行器的鲁棒视觉跟踪方法， 其特征在于， 所述 鲁棒视觉跟踪方法包括如下步骤： 将包含小型飞行器的待跟踪视频提取成帧， 将初始帧送入混合注意力 机制的主干特征 提取网络提取初始目标 特征， 并作为模板； 对于之后的每一帧， 在图像搜索区域内使用混合注意力 机制的主干特征提取网络提取 目标特征； 将所述目标 特征与所述模板进行互相关生成高斯型响应图； 引入遮挡感知模块， 利过所述高斯型响应图判断当前帧的所述小型飞行器是否被遮 挡； 若所述飞行器未被遮挡， 则 输出所述高斯型响应图峰值位置作为所述小型飞行器的位 置， 同时将当前帧更新 为新模板； 若所述小型飞行器被遮挡， 则调用基于LSTM的轨迹预测模块对遮挡后的所述小型飞行 器的位置进行 预测， 将预测位置作为所述小型飞行器的位置， 同时停止所述模板的更新； 在获得所述小型飞行器的位置后， 使用IoU网络确定所述小型飞行器在当前帧的最佳 位置框。 2.根据权利要求1所述的用于监视低空复杂背景下小型飞行器的鲁棒视觉跟踪方法， 其特征在于， 所述使用混合注意力机制的主干特 征提取网络提取目标 特征包括： 对所述主干特征提取网络ResNet ‑18和提取后的所述目标特征引入SeNet注意力机制 来增强提取到的所述目标 特征。 3.根据权利要求2所述的用于监视低空复杂背景下小型飞行器的鲁棒视觉跟踪方法， 其特征在于， 提取后的所述目标 特征引入SeNet 注意力机制包括如下步骤： 通过转换函数 Ftr将提取的所述目标 特征X∈RH′ ×W′ ×C′映射为U∈RH×W×C； 通过全局平均池化Fsq(·)获取每个通道映射后的所述目标特征在全局信息的通道特 征描述值zi； 通过Fex(·,W)对所述通道特征描 述值zi进行自适应校准， 通过训练过程学习对 不同的 特征通道的依赖程度， 获取不同的所述特 征通道上的权 重； 通过Fscale( ·,·)把所述权重与映射后的所述目标特征相乘得到所述增强后的特征 X′∈RH×W×C。 4.根据权利要求3所述的用于监视低空复杂背景下小型飞行器的鲁棒视觉跟踪方法， 其特征在于， 所述 生成高斯型响应图包括： 将经过所述主干特征提取网络得到的所述增强后的目标特征与所述模板进行互相关 得到高斯型响应图， 并在所述高斯型响应图找出响应值在一定范围的点， 记录其位置集合 为A， 其中， 为当前帧生成的高斯型 响应图， 为当前帧的高斯型响应图中所有点的响应值的平均值， (i,j)是高斯型响 应图中点的坐标， η1和η2是为了保证遮挡判断的准确性而设置的参数， η1的取值范围为5 ‑ 10， η2的取值范围为0.7 ‑0.9。 5.根据权利要求4所述的用于监视低空复杂背景下小型飞行器的鲁棒视觉跟踪方法， 其特征在于， 判断所述目标 特征是否被遮挡包括：权　利　要　求　书 1/2 页 2 CN 115131406 A 2定义所述高斯型响应图的全局遮挡距离均值D0， 其中， n 为集合A所包含点的个数， (m,n)为响应峰值fmax所在位置， (i,j)为 集合A中的点 坐标； 当所述全局遮挡距 离均值D0大于设定的阈值θ且所述高斯型响应图的峰值fmax小于设定 的阈值ε时， 判定所述小型飞行器被遮挡； 否则判定所述小型飞行器未被遮挡， 输出所述高 斯型响应图峰值 位置作为所述小型飞行器的位置 。 6.根据权利要求5所述的用于监视低空复杂背景下小型飞行器的鲁棒视觉跟踪方法， 其特征在于， 若所述目标特征被遮挡， 则调用基于LSTM的轨迹预测模块对遮挡后的所述小 型飞行器位置进行 预测包括： 将连续k个时刻的所述小型飞行器飞行轨迹[post‑k,…,post‑1]作为输入， 其中k为时间 步长， 由人为设置， 可在{5,10,15, …}中选取； post为小型飞行器在t时刻的位置； 经过一次LS TM的编码器和解码器， 输出所述小型 飞行器在当前帧 的预测位置po st， 停止 所述模板的更新， 防止所述模板被遮挡物污染。 7.根据权利要求1至6中任一项所述的用于监视低空复杂背景下小型飞行器的鲁棒视 觉跟踪方法， 其特征在于， 所述在获得所述小型飞行器的位置后， 使用IoU网络确定所述小 型飞行器在当前帧的最佳位置 框包括： 在获得所述小型飞行器的位置时， 以所述位置为中心提取不同大小的目标框， 通过与 所述模板进行IoU计算， 得到每个所述目标框的IoU分值， 分值最大的为当前帧的所述小型 飞行器的最佳位置 框； 将每一帧中所述小型飞行器的最佳位置 框连接即可构成完整的飞行轨 迹。权　利　要　求　书 2/2 页 3 CN 115131406 A 3