(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210129785.7 (22)申请日 2022.02.11 (71)申请人 深圳集智数字科技有限公司 地址 518000 广东省深圳市南 山区南山街 道南山社区南 新路1003号103 (72)发明人 杨战波　黄泽元　祁晓婷　蒋召　 (74)专利代理 机构 北京嘉科知识产权代理事务 所(特殊普通 合伙) 11687 专利代理师 杨超 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06T 3/40(2006.01) G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 人脸位姿估计方法、 装置、 电子设备及存储 介质 (57)摘要 本说明书实施例提供一种人脸位姿估计方 法、 装置、 电子设备及存储介质。 方法包括： 获取 包含人脸信息的目标图像， 并将目标图像输入到 预先构建的位姿估计模型中； 利用浅层密集连接 层对目标图像进行特征提取， 得到包含浅层特征 信息的多个第一特征图； 利用深层特征复用层分 别对多个第一特征图执行信息融合操作得到第 二特征图， 以便在浅层特征信息中融入深层特征 信息； 利用注 意力层对第二特征图中的人脸位姿 信息进行提取， 得到包含人脸位姿信息的第三特 征图， 利用分类器对第三特征图进行预测， 得到 第三特征图对应人脸位姿的预测结果， 根据预测 结果确定目标图像中的人脸位姿。 本公开能够充 分获取人脸位姿的关键信息， 提升人脸位姿估计 结果的准确性。 权利要求书2页 说明书9页 附图3页 CN 114519881 A 2022.05.20 CN 114519881 A 1.一种人脸 位姿估计方法， 其特 征在于， 包括： 获取包含人脸信息的目标图像， 并将所述目标图像输入到预先构建的位姿估计模型 中； 在所述位姿估计模型中， 利用浅层密集连接层对所述目标图像进行特征提取， 得到包 含浅层特 征信息的多个第一特 征图； 将多个所述第 一特征图作为深层特征复用层的输入， 利用所述深层特征复用层 分别对 多个所述第一特征图执行信息融合操作得到第二特征图， 以便在所述浅层特征信息中融入 深层特征信息； 利用注意力层对所述第 二特征图中的人脸位姿信 息进行提取， 得到包含所述人脸位姿 信息的第三特征图， 利用分类器对所述第三特征图进行预测， 得到所述第三特征图对应人 脸位姿的预测结果， 根据所述预测结果确定所述目标图像中的人脸 位姿。 2.根据权利要求1所述的方法， 其特征在于， 采用以下方式构建所述位姿估计模型， 包 括： 获取包含人脸信息的原始图像， 利用人脸检测模型对所述原始图像进行检测， 得到所 述原始图像对应的人脸图像以及人脸框， 并获取所述原始图像中的人脸位姿信息， 利用所 述人脸图像、 所述人脸框的位置坐标、 以及所述人脸 位姿信息生成第一数据集； 基于所述原始图像以及所述人脸框的位置坐标， 利用预设的裁剪方式对所述原始图像 进行裁剪， 得到裁剪后的人脸图像， 利用所述裁剪后的人脸图像、 所述人脸框的位置坐标、 以及所述人脸 位姿信息生成第二数据集； 对所述第一数据集以及所述第 二数据集进行组合得到训练集， 利用所述训练集对位姿 估计模型进行训练， 得到训练后的位姿估计模型。 3.根据权利要求2所述的方法， 其特征在于， 所述训练集中包含人脸图像以及标注信 息， 将所述标注信息用于作为模型训练时的标签， 所述标注信息中包含所述人脸框对应的 多个标注点， 以及多个位姿角度； 其中， 所述人脸框的标注点包括人脸框对应的任一角点坐标、 以及所述人脸框的宽度 和高度， 所述 位姿角度包括俯仰角、 偏航角和翻滚角。 4.根据权利要求1所述的方法， 其特征在于， 所述利用浅层密集连接层对所述目标图像 进行特征提取， 得到包 含浅层特 征信息的多个第一特 征图， 包括： 所述浅层密集连接层中包含多个依次连接的卷积模块， 利用每个卷积模块依次对输入 到所述卷积模块的特征图执行卷积运算， 并且将 每个所述卷积模块的输出作为下一个卷积 模块的输入， 每个所述卷积模块的输入中还包含之前卷积模块的输出， 将所述浅层密集连 接层中最后多个卷积模块的输出作为所述第一特 征图。 5.根据权利要求1所述的方法， 其特征在于， 所述利用所述深层特征复用层 分别对多个 所述第一特征图执行信息融合操作得到第二特征图， 以便在所述浅层特征信息中融入深层 特征信息， 包括： 所述深层特征复用层中包含与所述第 一特征图的数量相对应的卷积模块， 利用所述深 层特征复用层的卷积模块， 对所述第一特征图进行卷积变换得到第二特征图， 以便在包含 所述浅层特征信息的第二特征图中融入所述深层特征信息， 对所述第二特征图进 行全局平 均池化， 得到所述全局平均池化后对应的第二特 征图。权　利　要　求　书 1/2 页 2 CN 114519881 A 26.根据权利要求1所述的方法， 其特征在于， 所述注意力层包括SE注意力模块和特征变 换模块， 所述利用注意力层对所述第二特征图中的人脸位姿信息进行提取， 得到包含所述 人脸位姿信息的第三特 征图， 包括： 利用所述SE注意力模块对所述第 二特征图中的特征通道进行权重计算， 并根据通道权 重对所述特 征通道进行加权得到加权后的第二特 征图； 利用所述特征变换模块对所述加权后的第 二特征图进行特征提取， 得到包含有 效特征 信息的第三特 征图， 所述有效特 征信息包 含人脸位姿信息 。 7.根据权利要求1所述的方法， 其特征在于， 所述利用分类器对所述第 三特征图进行预 测， 得到所述第三特征图对应人脸位姿的预测结果， 根据所述预测结果确定所述 目标图像 中的人脸 位姿， 包括： 每一种人脸位姿对应多个所述第三特征图， 每个所述第三特征图对应多个分类器， 每 个分类器用于根据所述第三特征图预测若干数量的角度值， 根据所述若干数量的角度值计 算每个所述分类器预测的位姿角度， 将全部所述分类器预测的位姿角度进行求和， 得到每 一种所述人脸位姿对应的位姿角度， 将三种所述人脸位姿对应的位姿角度作为对所述目标 图像中人脸 位姿的估计结果。 8.一种人脸 位姿估计装置， 其特 征在于， 包括： 获取模块， 被配置为获取包含人脸信息的目标图像， 并将所述目标图像输入到预先构 建的位姿估计模型中； 提取模块， 被配置为在所述位姿估计模型中， 利用浅层密集连接层对所述目标图像进 行特征提取， 得到包 含浅层特 征信息的多个第一特 征图； 融合模块， 被配置为将多个所述第一特征图作为深层特征复用 层的输入， 利用所述深 层特征复用层分别对多个所述第一特征图执行信息融合操作得到第二特征图， 以便在所述 浅层特征信息中 融入深层特 征信息； 预测模块， 被配置为利用注意力层对所述第二特征图中的人脸位姿信息进行提取， 得 到包含所述人脸位姿信息的第三特征图， 利用分类器对所述第三特征图进行预测， 得到所 述第三特征图对应人脸位姿的预测结果， 根据所述预测结果确定所述目标图像中的人脸位 姿。 9.一种电子设备， 包括存储器， 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 所述处 理器执行所述程序时实现如权利要求1至7中任一项所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114519881 A 3