(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210188674.3 (22)申请日 2022.02.28 (71)申请人 华南师范大学 地址 528225 广东省佛山市南海区狮山 南 海软件园华 南师范大学软件学院 (72)发明人 陈壹华　林凯　黄景增　茹熠明　 (74)专利代理 机构 广州骏思知识产权代理有限 公司 44425 专利代理师 张金龙 (51)Int.Cl. G06T 3/00(2006.01) G06V 40/16(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种适用 于低分辨率图像的妆容迁移方法 及装置 (57)摘要 本发明涉及一种适用于低分辨率图像的妆 容迁移方法及装置。 本发明所述的一种适用于低 分辨率图像的妆容迁移方法包括： 使用妆容提取 网络获取参考图像的妆容特征； 使用妆容变形模 块得到参考图像的校正妆容特征； 使用妆容应用 网络， 将校正妆容特征和源图像结合起来， 得到 初级妆容迁移结果； 将初级妆容迁移结果输入先 验估计网络， 提取得到所述初 级妆容迁移结果的 先验信息； 所述先验信息包括所述源图像的人脸 关键点和解析图； 将先验信息和包含妆容信息的 特征图连接起来， 输入超分辨率网络， 得到最终 妆容迁移结果。 本发明所述的一种适用于低分辨 率图像的妆容迁移方法， 将妆容迁移网络与超分 网络相结合， 解决真实场景中参考图像和源图像 分辨率不足的问题。 权利要求书3页 说明书12页 附图5页 CN 114626977 A 2022.06.14 CN 114626977 A 1.一种适用于低分辨 率图像的妆容迁移方法， 其特 征在于， 包括以下步骤： 获取待迁移妆容的参考图像， 将所述参考图像输入妆容提取网络， 得到所述参考图像 的妆容特 征； 获取待迁移妆容的源图像， 将所述源图像输入妆容应用网络的编码器部分， 得到所述 源图像的人脸特 征； 获取所述源图像的人脸关键点， 将所述参考图像的妆容特征和所述源图像的人脸关键 点输入妆容变形模块， 根据所述参考图像的妆容特征和所述源图像的人脸关键点， 结合注 意力机制， 得到所述参考图像的校正妆容特征； 所述校正妆容特征为适用于源图像的妆容 特征； 将所述校正妆容特征输入妆容应用网络的瓶颈部分， 根据 所述校正妆容特征和所述源 图像的人脸特 征， 得到包 含妆容信息的特 征图； 将所述包含妆容信 息的特征图输入妆容应用网络的解码器部分， 得到初级妆容迁移结 果； 将所述初级妆容迁移结果输入先验估计网络， 提取得到所述初级妆容迁移结果的先验 信息； 所述先验信息包括初级妆容迁移结果的人脸关键点和解析图； 将所述先验信息和所述包含妆容信息的特征图连接起来， 输入超分辨率网络， 得到最 终妆容迁移结果。 2.根据权利要求1所述的一种适用于低分辨率图像的妆容迁移方法， 其特征在于， 将所 述先验信息和所述包含妆容信息的特征图连接起来， 输入超分辨率网络， 得到最终妆容迁 移结果， 包括： 使用卷积层改变特 征图的通道数； 使用反卷积层改变特 征图的大小； 使用一个残差块和卷积层生成最终妆容迁移结果 输出所述最终妆容迁移结果 3.根据权利要求2所述的一种适用于低分辨率图像的妆容迁移方法， 其特征在于， 输出 所述最终妆容迁移结果 之前， 还包括以下步骤： 将所述最终妆容迁移结果 输入判别器， 作为所述判别器的输入图像； 将所述大小为a ×a的输入图像映射成大小为b ×b特征图， 特征图的每个像素对应原始 图像 的patch； 计算每个patch为真样本的概 率； 将所有patc hes计算结果的均值作为判别器的最终输出； 输出所述均值大于预设阈值的 作为最终妆容迁移结果 4.根据权利要求1所述的一种适用于低分辨 率图像的妆容迁移方法， 其特 征在于： 所述妆容 提取网络包括 顺次连接的编码器部分和3个瓶颈结构部分； 将所述参考图像输入 妆容提取网络， 得到所述 参考图像的妆容特 征， 包括： 将所述参考图像输入妆容提取网络， 使得所述编码器部分和所述瓶颈结构部分对所述 参考图像进行处 理； 使用两个1 ×1的卷积对第3个瓶颈结构的深层特征进行分离， 得到所述参考图像的妆权　利　要　求　书 1/3 页 2 CN 114626977 A 2容特征； 其中， 所述妆容特 征被表示 为系数矩阵γ和偏移 矩阵β 。 5.根据权利要求1所述的一种适用于低分辨率图像的妆容迁移方法， 其特征在于， 将所 述参考图像的妆容特征和所述源图像的人脸关键点输入妆容变形模块， 根据所述参考图像 的妆容特征和所述源图像的人脸关键点， 结合注意力机制， 得到所述参考图像的校正妆容 特征， 包括： 使用以下公式， 计算源图像xLR的第i个像素点xLRi与人脸68个关键点之间的坐标差异： pi＝[f(xLRi)‑f(l1),f(xLRi)‑f(l2),...,f(xLRi)‑f(l68),g(xLRi)‑g(l1),g(xLRi)‑g (l2),...,g(xLRi)‑g(l68)] 其中， f(·)和g(·)分别表示x轴和y轴的坐标， li表示第i个人脸关键点； 为了处理图像 中占据不同大小的人脸， 在计算注意力矩阵时， 将p除以它的2范数(例如 )； 根据以下公式， 计算注意力矩阵： 其中， Ai,j表示源图像xLR的第i个像素和参考图像yLR的j个像素之间的注意力值， [·,·]表示串联操作， v和p分别表示视觉特征和相 对位置特征， ω表示视觉特征的权重， ∏(·)是一个指示器 函数， 如果括号 里结果为真， 那么它的值为1， 否则值为0； mi和mj的值为 0到2， 分别代表源图像xLR和参考图像yLR中人脸解析图中眼睛、 嘴唇和皮肤这三个部位； 和 代表图像区域是属于xLRi还是xLRj； 使用以下公式， 将注意力矩阵A与γ和β 相乘， 得到变形后的校正妆容矩阵γ ′和β′： 其中i和j分别是xLR和yLR的像素索引。 6.根据权利要求5所述的一种适用于低分辨率图像的妆容迁移方法， 其特征在于， 将所 述校正妆容特征输入妆容应用网络的瓶颈部分， 根据所述校正妆容特征和所述源图像的人 脸特征， 得到包 含妆容信息的特 征图， 包括： 将所述校正妆容矩阵γ ′和β 沿着通道自我复制到256层通道， 分别得到中间参数Γ'和 B'； 使用以下公式， 计算包 含妆容信息的特 征图： Vx'＝Γ'Vx+B' 其中， Vx'为包含妆容信息的特征图； Γ'和B'为前述计算得到的中间参数； Vx为源图像 的人脸特 征， 取自妆容应用网络的第三个瓶颈结构部分。权　利　要　求　书 2/3 页 3 CN 114626977 A 3