(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210695527.5 (22)申请日 2022.06.20 (71)申请人 哈尔滨工业大 学 （深圳） 地址 518055 广东省深圳市南 山区大学城 哈工大园区 (72)发明人 陈芳林　钟明涵　裴文杰　卢光明　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 陈专 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06T 7/11(2017.01) G06T 7/62(2017.01) G06T 7/66(2017.01) G06T 7/73(2017.01) (54)发明名称 一种单目标跟踪方法、 装置、 终端及存储介 质 (57)摘要 本发明公开了一种单目标跟踪方法、 装置、 终端及存储介质， 方法包括： 将参考图像输入至 特征提取网络， 获取特征提取网络输出的第一特 征图像， 将待跟踪 图像输入至特征提取网络， 获 取特征提取网络输出的第二特征图像， 其中， 参 考图像中包括目标标记信息； 将第一特征图像输 入至编码器， 获取编码器输出的中间特征图像； 将中间特征图像和第二特征图像输入至解码器， 得到解码器的输出数据， 根据解码器的输出数据 确定待跟踪 图像中的目标跟踪结果， 其中， 解码 器中包括了互相关运算。 本发明在对待跟踪图像 中的目标进行跟踪时， 在解码器中结合了互相关 运算， 实现了更精确的特征融合， 减少了背景或 者其他信息的干 扰。 权利要求书2页 说明书10页 附图3页 CN 115049704 A 2022.09.13 CN 115049704 A 1.一种单目标跟踪方法， 其特 征在于， 所述单目标跟踪方法包括： 将参考图像输入至特征提取网络， 获取所述特征提取网络输出的第一特征图像， 将待 跟踪图像输入至所述特征提取网络， 获取所述特征提取网络输出的第二特征图像， 其中， 所 述参考图像中包括目标 标记信息； 将所述第一特 征图像输入至编码器， 获取 所述编码器输出的中间特 征图像； 将所述中间特征图像和所述第二特征图像输入至解码器， 得到所述解码器的输出数 据， 根据所述解码 器的输出数据确定所述待跟踪图像中的目标跟踪 结果， 其中， 所述解码 器 中包括了互相关运 算。 2.根据权利要求1所述的单目标跟踪方法， 其特征在于， 所述将待跟踪图像输入至所述 特征提取网络之前， 还 包括： 根据第一图像的目标跟踪结果， 对初始待跟踪图像进行 预处理， 得到所述待跟踪图像； 所述第一图像为所述初始待跟踪图像的前一帧。 3.根据权利要求2所述的单目标跟踪方法， 其特征在于， 所述对初始待跟踪图像进行预 处理， 包括： 在所述初始待跟踪图像中裁 剪出部分区域作为所述待跟踪图像； 其中， 所述待跟踪图像的中心点坐标与所述第一图像中的目标的中心点坐标相同， 所 述待跟踪图像的面积为所述第一图像中的目标 所占区域的面积的N 倍， N＞1。 4.根据权利要求1所述的单目标跟踪方法， 其特征在于， 所述将所述中间特征图像和所 述第二特 征图像输入至解码器， 得到所述 解码器的输出 数据， 包括： 对所述中间特 征图像进行拆解， 得到多个第一中间特 征和多个第二中间特 征； 其中， 每个所述第一中间特征的大小为C*1*1， C为所述中间特征图像的通道个数， 第j 个所述第一中间特征中的特征值为所述中间特征图像中每个通道中第j 个像素点位置的特 征值； 每个所述第二中间特征的大小为H0W0*1*1,H0和W0分别为所述中间特征图像中每个通 道中图像的长和宽， 第i个所述第二中间特征中的特征值为所述中间特征图像中第i个通道 中的特征值； 在所述解码器中， 根据所述第一中间特征、 所述第二中间特征和所述第二特征图像执 行互相关运 算， 根据互相关运 算的结果得到所述 解码器的输出 数据。 5.根据权利要求4所述的单目标跟踪方法， 其特征在于， 所述根据所述第一中间特征、 所述第二中间特 征和所述第二特 征图像执 行互相关运 算， 包括： 将所述第二特 征图像输入至所述 解码器中的多头注意力模块， 获取注意力特 征； 将所述注意力特征和所述第 一中间特征进行第 一次互相关运算， 得到第 一互相关运算 结果； 将所述第一互相关运算结果和所述第 二中间特征进行第 二次互相关运算， 得到第 二互 相关运算结果。 6.根据权利要求5所述的单目标跟踪方法， 其特征在于， 所述第 一次互相关运算的公式 为： 其中， *表示互相关运算； 表示所述注意力特征； H和W分别为所述注意力权　利　要　求　书 1/2 页 2 CN 115049704 A 2特征中每个通道中特征图的长和宽； Tj为第j个所述第一中间特征； P为所述第一互相关运 算结果， 所述第一互相关运 算由多条第一数据组成， Pj为第j个第一数据； 所述第二次互相关运 算的公式为： O＝{Oi|Oi＝Ti*P}i∈{1， ...， C}； 其中， Ti为第i个所述第二中间特征； O为所述第二互相关运算结果， 所述第二互相关运 算由多条第二数据组成， Oi为第i个第二数据。 7.根据权利要求1所述的单目标跟踪方法， 其特征在于， 所述解码器的输出数据包括目 标候选结果和所述目标候选结果对应的匹配度； 所述根据所述解码 器的输出数据确定所述 待跟踪图像中的目标跟踪结果， 包括： 根据所述目标候选结果对应的匹配度， 选择所述匹配度最高的所述目标候选结果作为 所述目标跟踪。 8.一种单目标跟踪装置， 其特 征在于， 包括： 特征提取模块， 所述特征提取模用于将参考图像输入至特征提取网络， 获取所述特征 提取网络输出 的第一特征图像， 将待跟踪图像输入至所述特征提取网络， 获取所述特征提 取网络输出的第二特 征图像， 其中， 所述 参考图像中包括目标 标记信息； 中间特征获取模块， 所述中间特征获取模块用于将所述第一特征图像输入至编码器， 获取所述编码器输出的中间特 征图像； 跟踪结果获取模块， 所述跟踪结果获取模块用于将所述中间特征图像和所述第 二特征 图像输入至解码器， 得到所述解码器的输出数据， 根据所述解码器的输出数据确定所述待 跟踪图像中的目标跟踪结果， 其中， 所述 解码器中包括了互相关运 算。 9.一种终端， 其特征在于， 所述终端包括： 处理器、 与处理器通信连接的计算机可读存 储介质， 所述计算机可读存储介质适于存储多条指令， 所述处理器适于调用所述计算机可 读存储介质中的指令， 以执 行实现上述权利要求1 ‑7任一项所述的单目标跟踪方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有一个或者 多个程序， 所述一个或者多个程序可被一个或者多个处理器执行， 以实现如权利要求 1‑7任 一项所述的单目标跟踪方法的步骤。权　利　要　求　书 2/2 页 3 CN 115049704 A 3