(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221021320 6.7 (22)申请日 2022.03.04 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 李厚强　周文罡　谢乔康　 (74)专利代理 机构 北京凯特来知识产权代理有 限公司 1 1260 专利代理师 郑立明　韩珂 (51)Int.Cl. G06V 40/70(2022.01) G06V 40/10(2022.01) G06V 40/16(2022.01) G06V 20/52(2022.01) G06V 10/74(2022.01)G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 一种行人重识别方法、 系统、 设备及存储介 质 (57)摘要 本发明公开了一种行人重识别方法、 系统、 设备及存储介质， 本发明将人脸识别有效地融入 行人重识别任务中， 在寻找行人时， 将人脸和身 体外观的信息相互融合， 且这种融合不再局限于 单样本中的信息融合， 而是考虑到了不同样本的 近邻样本的上下文信息， 对人脸质量的不稳定容 忍度高， 融合性能更加鲁棒、 优异。 同时， 本发明 扩展性高， 可与大量已有的行人重识别和人脸识 别技术相结合， 进一 步提升性能。 权利要求书4页 说明书8页 附图2页 CN 114565979 A 2022.05.31 CN 114565979 A 1.一种行 人重识别方法， 其特 征在于， 包括： 将人脸特征与身体外观特征分别作为检索线索， 根据图像之间的人脸特征相似度与身 体外观特征相似度， 从图像数据库中初步检索出对应于查询图像的人脸检索排序结果与身 体外观检索排序结果； 从所述人脸检索排序 结果与身体外观检索排序结果中， 分别选出排序靠前的若干不重 复的图像组成候选样本集合； 将候选样本集合中， 每一候选样本与查询图像的人脸特征相 似度， 以及每一候选样本与查询图像的身体外观特征相似度进 行组合， 获得 组合相似度， 综 合所有候选样本的组合相似度， 得到组合相似度矩阵， 并通过编码得到嵌入相似度矩阵； 以每一候选样本为节点， 利用特征之间的亲和力分别构建人脸特征图模型与身体外观 特征图模型； 将人脸特征图模型与身体外观特征图模型输入至双 路图卷积网络， 由每一路图卷积网 络处理单个图模型， 通过双路图卷积网络对近邻上下文信息进行融合， 得到每一候选样本 对应的两个图变换后的节点特 征； 将每一候选样本对应的两个图变换后的节点特征， 以及对应的嵌入相似度进行线性加 权融合， 获得每一 候选样本的融合相似度； 按照候选样本的融合相似度大小将所有候选样本进行降序排列， 获得检索结果。 2.根据权利要求1所述的一种行人重识别方法， 其特征在于， 所述将人脸特征与身体外 观特征分别作为检索线索， 根据图像之间的人脸特征相似度与身体外观特征相似度， 从 图 像数据库中初步检索出对应于查询图像的人脸检索排序结果与身体外观检索排序结果包 括： 对于查询图像与所述图像数据库中的每一图像， 通过卷积神经网络分别提取人脸特征 与身体外观特 征； 将人脸特征与身体外观特征分别作为检索线索， 根据数据库中每一图像与查询图像之 间的人脸特征相似度与身体外观特征相似度， 分别计算出两种检索 线索下的两组检索排序 结果， 将身体外观检索排序结果记为 人脸检索排序结果记为 其中， N为图像数据库中图像数目， B、 F分别表示身体外观检索排 序结果、 人脸检索排序结果中图像的标记符号。 3.根据权利要求1所述的一种行人重识别方法， 其特征在于， 从所述人脸检索排序 结果 与身体外观检索排序结果中， 分别选出排序靠前 的若干不重复的图像组成候选样本集合； 将候选样本集合中， 每一候选样本与查询图像的人脸特征相似度， 以及每一候选样本与查 询图像的身体外观特征相似度进行组合， 获得组合相似度， 综合所有候选样本的组合相似 度， 得到组合相似度矩阵， 并通过编码得到嵌入相似度矩阵包括： 将候选样本集合中候选样本的数目记为M， 从身体外观检索排序结果和人脸检索排序 结果中排序靠前的样本中分别选出不重复的M /2个图像， 组成候选样本集 合 其中， C为 候选样本的标记符号； 对于每一候选样本， 将其与查询图像的人脸特征相似度和身体外观特征相似度进行组 合， 获得组合相似度， 综合M个候选样本的组合相似度， 得到组合相似度矩阵 其 中， 表示实数集；权　利　要　求　书 1/4 页 2 CN 114565979 A 2利用多层感知机对所述组合相似度矩阵S进行编码， 获得嵌入相似度矩阵 嵌 入相似度矩阵的每一行向量表示 一个候选样本的嵌入相似度， D为嵌入相似度的维度。 4.根据权利要求1所述的一种行人重识别方法， 其特征在于， 所述以每一候选样本为节 点， 利用特 征之间的亲和力分别构建人脸特 征图模型与身体外观特 征图模型包括： 构建的人脸特征图模型与身体外观特征图模型中的每一节点均对应一个候选样本， 利 用所述嵌入相似度矩阵初始 化人脸特征图模型与身体外观特征图模型中各节点特征， 即初 始化的节点特 征为相应候选样本在嵌入相似度矩阵H中的行向量； 人脸特征图模型中， 通过人脸特征的k近邻原则构建节点之间的边， 边特征通过两个节 点对应候选样本的人脸特征进 行计算； 身体外观特征图模型中， 通过身体外观特征的k近邻 原则构建节点之间的边， 边特 征通过两个节点对应候选样本的身体外观特 征进行计算。 5.根据权利要求1所述的一种行人重识别方法， 其特征在于， 所述将人脸特征图模型与 身体外观特征图模型输入至双路图卷积网络， 由每一路图卷积网络处理单个图模型， 通过 双路图卷积网络对近邻上下文信息进 行融合， 得到每一候选样本对应的两个图变换后的节 点特征包括： 双路图卷积网络中的两个图卷积网络具有相同的结构， 但是网络参数不同； 每一图卷 积网络均包 含若干层， 第k层输出的节点 i图变换后的节点特 征表示为： 其中， 分别表示节点 i在通过图卷积网络第k层、 第k ‑1层后的节点特 征， 分别表示节点i、 节点j初始化的节点特征， ei,j表示从节点i指向节点j的边特征， 表示与节点i相连接近邻节点集合， a(ei,j)＝αTei,j为带有可学习权重参 数α 的边函数， σ 为激活函数， W(k)为第k层线性变换的权 重矩阵； 每一节点对应一个候选样本； 将人脸图模型中节点i通过图卷积网络变换后最后一层输出的节点特征记为 将身 体外观图模型中节点 i通过图卷积网络变换后最后一层输出的节点特 征记为 6.根据权利要求1所述的一种行人重识别方法， 其特征在于， 所述每一候选样本对应的 两个图变换后的节点特征， 以及对应的嵌入相似度进行线性加权融合， 获得每一候选样本 的融合相似度包括： 将人脸图模型中节点i通过图卷积网络变换后最后一层输出的节点特征记为 将身 体外观图模型中节点 i通过图卷积网络变换后最后一层输出的节点特 征记为 从所述嵌入相似度矩阵中取出节点i对应候选样本Ci的嵌入相似度 即嵌入相似度 矩阵第i行向量， 通过 下式进行线性加权融合： 其中， s(q,Ci)表示查询图像q与节点i对应的候选样本Ci的融合相似度； T为矩阵转置符 号， ω0、 ωb与ωf均为可学习的线性变换权 重。权　利　要　求　书 2/4 页 3 CN 114565979 A 3