(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221024790 5.3 (22)申请日 2022.03.14 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 吴晓富　陈江萍　张索非　颜俊　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 叶江栩 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06N 3/04(2006.01) G06T 7/73(2017.01) G06K 9/62(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) (54)发明名称 一种融入位置感知注意力的行人重识别方 法 (57)摘要 本发明提供一种融入位置感知注意力的行 人重识别方法： 在ResNet 50网络中引入 一种位置 感知注意力模块， 该模块是非局部注 意力模块的 一种有效改进， 通过将位置信息嵌入捕获长范围 特征依赖关系的非局部注意力模块， 有效提升了 所提取特征的表达能力。 本发明提出的位置感知 注意力模块属于轻量级结构， 该模块融入 ResNet50网络能有效抽取行人的可区分特征， 同 时抑制了与行人识别任务关联度小的特征， 在多 个流行行人重识别标准数据集上取得了比传统 网络模型和其 他相关方法更好的识别效果。 权利要求书2页 说明书8页 附图2页 CN 114663974 A 2022.06.24 CN 114663974 A 1.一种融入位置感知注意力的行人重识别方法， 其特征在于， 包括将原始图片经过 ResNet50网络前两层得到的输出特征图输入到位置感知注意力模块中进行处理和将位置 感知注意力模块融入到ResNet5 0网络中进行训练和 测试； 所述的将原始图片经过ResNet50网络前两层得到的输出特征图输入到位置感知注意 力模块中进行处 理包括： S1： 获取输入特征图， 通过卷积滤波器提取出三个不同的特征图， 对其中两个特征图进 行池化操作得到特征图φ和特征图g， 特征图θ保持不变； 然后将上述三维特征图θ、 φ、 g分 别按通道维度展平拉直为二 维特征矩阵， 对三 维特征图θ和g对应的二 维特征矩阵进 行转置 得到二维特 征矩阵θ和g， 二维特 征矩阵φ保持不变； S2： 基于位置感知编码特征图中不同位置的特征， 构 建二维位置编码矩阵PE； 将所述二 维特征矩阵θ与二维特征矩阵φ相乘， 获得特征和特征之间的关系矩阵Rθ,φ； 将二维位置编 码矩阵PE与所述 二维特征矩阵θ相乘， 获得 特征与位置之间关系矩阵Rθ,PE； S3： 将S2中所述两个关系矩阵Rθ,φ和Rθ,PE相加实现位置信息嵌入， 经过归一化指数函 数， 得到含位置信息的归一 化自相关权 重系数矩阵fc＝Softmax(Rθ,PE+Rθ, φ)； S4： 将所述含位置信息的归一化自相关权重系数矩阵fc与代表特征图的二维特征矩阵g 相乘， 获得二维空间位置关键信息矩阵， 再将其按通道还原为三维空间位置关键信息特征 图， 并使用卷积滤波器升维， 最后使用类似残差结构， 将 输入和升维后的三 维空间位置 关键 信息特征图相加得到位置感知注意力模块的输出； 所述的将位置感知注意力模块融入到ResNet5 0网络中进行训练和 测试包括： S5： 将位置感知注意力模块插入到ResNet50网络第二层的输出位置， 采用交叉熵和三 元组损失函数加权形式作为总损失函数随着网络一起训练， 输入测试图片获得行人匹配识 别结果。 2.根据权利要求1所述的方法， 其特 征在于， 步骤S1具体包括： S1.1将输入特征图X∈Rb×c×h×w分别通过三个具有 不同权重系数且输出通道数为输入 通 道数 的1×1卷积滤波器， 获得三个不同的特征图， 分别记 为θ、 φ、 g， 其中b、 c、 h、 w、 r分别为 每批次图片的张数、 通道数、 高、 宽、 通道数降维因子； S1.2从三个不同特征图中选取特征图φ和g进行池化操作， 得到特征图 和 特征图 无池化操作的特 征图记为 S1.3将上述三个特征图按通道维度展平拉直为二维特征矩阵， 并对三维特征图θ和g对 应的二维特征矩阵进行转置得到二维特征矩阵 和二维特征矩阵 二维特征矩阵 保持不变。 3.根据权利要求1所述的方法， 其特 征在于， 步骤S2包括: S 2 .1 对 不同 的 位 置随 机 初 始 化 不同 的 位 置 嵌 入向 量 每个位置嵌入向量的初始化值从均值为0， 方差为1的正态分布中随机取权　利　要　求　书 1/2 页 2 CN 114663974 A 2值， 所有的位置嵌入向量按行排开构成二维位置编码矩阵 PE中所有参数随 着训练过程更新； S2.2将代表两张不同特征图的二维特征矩阵 与 相乘得到 特征间的关系矩阵Rθ, φ＝θ×φ， 其中 S2.3将所述的二维特征矩阵 与二维位置编码矩阵 相乘得 到特征与位置间的关系矩阵Rθ,PE＝θ×PE， 其中 4.根据权利要求1所述的方法， 其特 征在于， 步骤S3包括： S3.1将特征间的关系矩阵Rθ,φ和特征与位置间的关系矩阵Rθ,PE相加， 实现位置信息 的 嵌入， 得到含位置信息的自相关权重系数矩阵 此时 中包含了特征图中子特 征间的位置关系； S3.2将含位置信息的自相关权重系数矩阵f经过归一化指数函数， 得到含位置信息的 归一化自相关权 重系数矩阵fc＝Softmax(Rθ,PE+Rθ, φ)， 其中 5.根据权利要求1所述的方法， 其特 征在于， 步骤S4具体包括： S4.1将所述含位置信息的归一化自相关权重系数矩阵fc与代表特征图的二维特征矩阵 相乘， 得到二维空间位置关键信息矩阵gf＝fc×g， 其中 S4.2将二维空间位置关键信息矩阵转置后按通道还原为三维空间位置关键信息特征 图 使用1×1卷积滤波器升维， 使之与输入特 征图的通道数维度相同， 输出记 为gfc∈Rb×c×h×w； S4.3将输入特征图X∈Rb×c×h×w和升维后的三维空间位置关键信 息特征图gfc∈Rb×c×h×w 相加， 得到位置感知注意力模块的输出Y＝X+gfc,其中Y∈Rb×c×h×w。权　利　要　求　书 2/2 页 3 CN 114663974 A 3