(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210150893.2 (22)申请日 2022.02.18 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 胡玉琛　咸静　王洪彬　 (74)专利代理 机构 北京国昊天诚知识产权代理 有限公司 1 1315 专利代理师 付先智 (51)Int.Cl. G06V 20/62(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 30/19(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像处理方法及装置 (57)摘要 本说明书实施例提供了图像处理方法及装 置， 其中， 一种图像处理方法包括： 获取针对参与 保障项目的豢养物进行保障申请提交的凭证图 像。 将所述凭证图像输入卷积神经网络进行图像 特征提取获得图像特征向量。 以及， 对所述凭证 图像进行字符识别获得文本特征信息。 基于权重 向量对和所述图像特征向量确定图像特征向量 对。 以及， 对所述文本特征信息进行编码处理获 得文本特征向量， 并将所述图像特征向量与所述 文本特征向量进行融合获得融合特征向量。 将所 述图像特征向量对和所述融合特征向量输入注 意力模型进行图像标签识别， 获得标签识别结 果。 权利要求书3页 说明书10页 附图5页 CN 114550156 A 2022.05.27 CN 114550156 A 1.一种图像处 理方法， 包括： 获取针对参与保障项目的豢养物进行保障申请提交的凭证图像； 将所述凭证图像输入卷积神经网络进行图像特征提取获得图像特征向量， 以及， 对所 述凭证图像进行字符识别获得文本特 征信息； 基于权重向量对和所述图像特征向量确定 图像特征向量对， 以及， 对所述文本特征信 息进行编码处理获得文本特征向量， 并将所述图像特征向量与所述文本特征向量进行融合 获得融合特 征向量； 将所述图像特征向量对和所述融合特征向量输入注意力模型进行图像标签识别， 获得 标签识别结果。 2.根据权利要求1所述的图像处理方法， 所述将所述图像特征向量与所述文本特征向 量进行融合获得融合特 征向量， 包括： 对所述图像特征向量和所述文本特征向量进行向量对齐处理， 并将 获得的标准图像特 征向量与标准文本特 征向量进行向量 拼接， 获得拼接向量； 对所述拼接向量进行向量对齐处理获得的标准拼接向量进行关键特征提取， 获得关键 特征向量； 基于所述关键特 征向量和所述标准 拼接向量计算所述融合特 征向量。 3.根据权利要求2所述的图像处理方法， 所述对所述图像特征向量和所述文本特征向 量进行向量对齐处 理， 包括： 对所述图像特征向量进行向量变换， 并对变换获得的图像特征向量进行卷积处理获得 所述标准图像特 征向量； 对所述文本特征向量进行向量变换， 并对变换获得的文本特征向量进行所述卷积处理 获得所述标准文本特 征向量。 4.根据权利要求3所述的图像处 理方法， 所述 拼接向量进行的向量对齐处 理， 包括： 对所述拼接向量进行所述卷积处理， 并对卷积处理获得的拼接向量进行归一化处理， 获得归一 化向量； 通过激活函数对所述归一 化向量进行激活 处理， 获得所述标准 拼接向量。 5.根据权利要求3所述的图像处 理方法， 所述关键特 征提取， 包括： 提取所述标准拼接向量的各维度的特征值最大的特征作为关键特征， 并基于提取的关 键特征构建基准关键特 征向量； 对所述基准关键特征向量进行所述卷积处理， 并对卷积处理获得的基准关键特征向量 进行归一 化处理， 获得归一 化关键特 征向量； 通过激活函数对所述归一化关键特征向量进行激活处理， 并将激活处理获得的特征向 量作为所述关键特 征向量。 6.根据权利要求2所述的图像处理方法， 所述基于所述关键特征向量和所述标准拼接 向量计算所述融合特 征向量， 包括： 将所述关键特 征向量与所述标准 拼接向量进行点乘， 获得乘积向量； 将所述乘积向量与所述标准 拼接向量进行向量 求和， 获得 所述融合特 征向量。 7.根据权利要求1所述的图像处理方法， 所述对所述文本特征信息进行编码处理获得 文本特征向量， 包括：权　利　要　求　书 1/3 页 2 CN 114550156 A 2将所述文本特 征信息输入文本编码器进行编码处 理， 输出所述文本特 征向量。 8.根据权利要求1所述的图像处理方法， 所述权重向量对由第一权重向量和第二权重 向量组成； 所述基于 权重向量对和所述图像特 征向量确定图像特 征向量对， 包括： 基于所述第 一权重向量和所述图像特征向量计算第 一图像特征向量， 并基于所述第 二 权重向量和所述图像特 征向量计算第二图像特 征向量。 9.根据权利要求8所述的图像处理方法， 所述注意力模型将所述第一图像特征向量作 为Key、 所述第二图像特征向量作为Value以及所述融合特征向量作为Query进行图像标签 识别。 10.根据权利要求9所述的图像处 理方法， 所述图像标签识别， 包括： 采用相似度算法计算所述融合特 征向量与所述第一图像特 征向量的相似度； 将所述相似度作为权重计算与所述第一图像特征向量配对的第二图像特征向量的加 权和， 获得注意力数值。 11.根据权利要求10所述的图像处理方法， 所述将所述图像特征向量对和所述融合特 征向量输入注意力模型进行图像标签识别， 获得 标签识别结果 步骤执行之后， 还 包括： 判断所述标签识别结果包含的注意力数值序列中各注意力数值是否大于各注意力数 值对应的标签 类型的标签阈值； 若是， 将所述注意力序列中注意力数值大于对应的标签类型的标签阈值的目标注意力 数值对应的标签 类型确定为所述凭证图像的图像标签 类型。 12.一种图像处 理装置， 包括： 凭证图像获取模块， 被配置为获取针对参与保障项目的豢养物进行保障申请提交 的凭 证图像； 特征提取模块， 被配置为将所述凭证图像输入卷积神经网络进行图像特征提取获得图 像特征向量， 以及， 对所述凭证图像进行字符识别获得文本特 征信息； 特征向量融合模块， 被配置为基于权重向量对和所述图像特征向量确定图像特征向量 对， 以及， 对所述文本特征信息进 行编码处理获得文本特征向量， 并将所述图像特征向量与 所述文本特 征向量进行融合获得融合特 征向量； 图像标签识别模块， 被配置为将所述图像特征向量对和所述融合特征向量输入注意力 模型进行图像标签识别， 获得 标签识别结果。 13.一种图像处 理设备， 包括： 处理器； 以及， 被配置为存储计算机可执行指令的存储器， 所述计算机可执行指令在被 执行时使所述处 理器： 获取针对参与保障项目的豢养物进行保障申请提交的凭证图像； 将所述凭证图像输入卷积神经网络进行图像特征提取获得图像特征向量， 以及， 对所 述凭证图像进行字符识别获得文本特 征信息； 基于权重向量对和所述图像特征向量确定 图像特征向量对， 以及， 对所述文本特征信 息进行编码处理获得文本特征向量， 并将所述图像特征向量与所述文本特征向量进行融合 获得融合特 征向量； 将所述图像特征向量对和所述融合特征向量输入注意力模型进行图像标签识别， 获得权　利　要　求　书 2/3 页 3 CN 114550156 A 3