(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210183813.3 (22)申请日 2022.02.28 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 王泽荣　马晨光　 (74)专利代理 机构 北京市一法律师事务所 11654 专利代理师 李琳娜　刘荣娟 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06K 9/62(2022.01) (54)发明名称 人脸识别的方法和系统 (57)摘要 本说明书提供的人脸识别的方法和系统， 基 于特征融合模型将人脸图像的二维特征和三维 特征进行融合， 降低融合后的特征所占用的存储 空间， 在不增加总的存储空间的情况下增加数据 库中存储的特征数量， 提升用户覆盖率的同时降 低设备成本。 所述特征融合模型是基于深度图像 提取的采集三维特征以及基于二维特征估计的 估计三维特征共同训练得到的， 从而提升模态缺 失场景的特征融合性能， 提升人脸识别效率和准 确率。 权利要求书2页 说明书17页 附图5页 CN 114581978 A 2022.06.03 CN 114581978 A 1.一种人脸识别的方法， 包括： 获取目标人脸的目标图像， 所述目标图像包括二维图像或所述二维图像以及深度图 像； 基于所述目标图像， 确定所述目标人脸的二维特征和三维特征， 所述三维特征包括采 集三维特征和估计三 维特征中的一种， 所述采集三维特征包括基于所述深度图像获取的深 度特征， 所述估计三维特 征包括基于所述 二维特征估计得到的深度特 征； 基于预先训练好的特征融合模型对所述二维特征与所述三维特征进行特征融合， 确定 目标融合特征， 所述特征融合模型是基于样本用户人脸的所述二维特征、 所述采集三维特 征以及所述估计三维特 征训练得到的； 以及 基于所述目标融合特 征识别所述目标 人脸。 2.如权利要求1所述的人脸识别的方法， 其中， 所述获取目标 人脸的目标图像， 包括： 从客户端的图像采集设备获取所述目标图像， 其中， 所述图像采集设备包括二维图像 采集设备或二维图像采集设备和深度图像采集设备， 所述二 维图像采集设备被配置为采集 所述二维图像， 所述深度图像采集设备被 配置为采集所述深度图像。 3.如权利要求1所述的人脸识别的方法， 其中， 所述基于所述目标图像， 确定所述目标 人脸的二维特 征和三维特 征， 包括： 对所述二维图像进行 特征提取， 确定所述 二维特征； 以及 基于所述目标图像， 确定所述 三维特征， 包括以下 方式中的一种： 确定所述目标图像中包括所述深度图像， 对所述深度图像进行特征提取， 确定所述采 集三维特征； 以及 确定所述目标图像中不包括所述深度图像， 将所述二维特征输入到预先训练好的三维 特征估计模型中， 以对所述 二维特征进行计算， 确定所述估计三维特 征。 4.如权利要求3所述的人脸识别的方法， 其中， 所述对所述二维图像进行特征提取， 确 定所述二维特征， 包括： 将所述二维图像输入到预先训练的二维特征提取模型中， 以对所述二维图像进行特征 提取， 得到所述二维 图像对应的所述二维特征， 所述二维特征提取模型是基于多个不同的 历史二维图像进行模型训练得到 。 5.如权利要求3所述的人脸识别的方法， 其中， 所述对所述深度图像进行特征提取， 确 定所述采集 三维特征， 包括： 将所述深度图像输入到预先训练的三维特征提取模型中， 以对所述深度图像进行特征 提取， 得到所述深度图像对应的所述采集三维特征， 所述三维特征提取模型是基于多个不 同的历史深度图像进行模型训练得到 。 6.如权利要求3所述的人脸识别的方法， 其中， 所述三维特征估计模型的训练方法包 括： 将所述样本用户的人脸的所述二维特征输入待训练 的所述三维特征估计模型， 得到对 应的预测估计三维特 征； 获取针对所述样本用户的基于所述预测估计三维特征的三元组数据， 所述三元组数据 包括所述样本用户的所述预测估计三 维特征、 与所述样本用户具有相同用户标识的用户的 所述采集三 维特征以及与所述样本用户具有不同用户标识的用户的所述采集三维特征； 以权　利　要　求　书 1/2 页 2 CN 114581978 A 2及 基于所述三元组数据， 以所述预测估计三维特征与具有相同用户标识的所述样本用户 的所述采集三维特征之 间的相似度最大化， 以及所述预测估计三 维特征与具有不同用户标 识的所述样本用户的所述采集三 维特征之 间的相似度最小化为优化目标， 对所述三 维特征 估计模型进行训练， 得到训练后的所述 三维特征估计模型。 7.如权利要求1所述的人脸识别的方法， 其中， 所述特 征融合模型的训练方法包括： 将所述样本用户的人脸的所述二维特征和所述采集三维特征作为所述样本用户的第 一样本数据， 将所述样本用户的人脸的所述二维特征和所述估计三 维特征作为所述样本用 户的第二样本数据， 分别将所述样本用户的所述第一样本数据以及所述第二样本数据输入 待训练的所述特 征融合模型； 将所述特征融合模型的输出结果输入待训练 的分类概率模型， 所述第 一样本数据以及 所述第二样本数据对应的分类标注为 其各自对应的所述样本用户的用户标识； 以及 至少以所述分类概率模型的输出值与其对应的所述分类标注之间的相似度最大为优 化目标， 对所述特征融合模型和所述分类概率模型进行训练， 得到训练后的所述特征融合 模型。 8.如权利要求7所述的人脸识别的方法， 其中， 在所述将所述特征融合模型的输出结果 输入待训练的分类概 率模型之前或之后， 所述特 征融合模型的训练方法还 包括： 将所述特征融合模型的输出结果输入待训练 的解码模型， 分别 输出所述样本用户的第 一解码数据和第二解码数据， 所述第一解码数据与所述第一样本数据对应， 所述第二解码 数据与所述第二样本数据对应； 所述至少以所述分类概率模型的输出值与其对应的所述分类标注之间的相似度最大 为优化目标， 对所述特 征融合模型和所述分类概 率模型进行训练， 包括： 以所述分类概率模型的输出值与其对应的所述分类标注之间的相似度最大为优化目 标， 并以相同用户标识的所述第一解码数据和所述第一样本数据的相似度最大以及相同用 户标识的所述第二解码数据和所述第二样本数据的相似度最大为优化目标， 对所述特征融 合模型、 所述分类概 率模型和所述 解码模型进行训练。 9.如权利要求1所述的人脸识别的方法， 其中， 所述基于所述目标融合特征识别所述目 标人脸， 包括： 将所述目标融合特征与数据库中的多个融合特征进行匹配， 识别所述目标人脸， 其中， 所述数据库包括客户端的数据库和服务器端的数据库中的至少一个， 所述多个融合特征中 的每个融合特征是通过所述特征融合模型对其对应的用户人脸的所述二维特征和所述三 维特征进行特征融合得到的。 10.一种人脸识别系统， 包括： 至少一个存 储介质， 存 储有至少一个指令集， 用于进行 人脸识别； 以及 至少一个处 理器， 同所述至少一个存 储介质通信连接， 其中， 当所述人脸识别系统运行时， 所述至少一个处理器读取所述至少一个指令集， 并 且根据所述至少一个指令集的指示执 行权利要求1 ‑9中任一项所述的人脸识别的方法。权　利　要　求　书 2/2 页 3 CN 114581978 A 3