(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210897638.4 (22)申请日 2022.07.28 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 唐小初　舒畅　陈又新　 (74)专利代理 机构 深圳市沃德知识产权代理事 务所(普通 合伙) 44347 专利代理师 高杰　于志光 (51)Int.Cl. G06F 16/55(2019.01) G06F 16/58(2019.01) G06F 16/33(2019.01) G06F 16/35(2019.01)G06F 40/216(2020.01) G06F 40/30(2020.01) G06F 40/58(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 基于中文数据的图像检索方法、 装置、 设备 及存储介质 (57)摘要 本发明涉及人工智能技术， 揭露了一种基于 中文数据的图像检索方法， 包括： 将英文文本数 据翻译成中文文本数据； 对英文文本数据向量集 进行训练， 得到英文文本训练数据集； 对英文文 本训练数据集和中文文本数据进行蒸馏， 得到第 一概率值和第二概率值； 计算第一概率值和第二 概率值的损失值； 优化文本编码器模型， 得到中 文文本编码器； 对中文文本编码器进行模型推 理； 将待分析中文数据输入至中文文本图像预训 练模型中， 得到待分析中文数据对应的图像。 此 外， 本发明还涉及区块链技术， 英文文本数据可 存储于区块链的节点。 本发明还提出一种基于中 文数据的图像检索装置、 电子设备以及存储介 质。 本发明可以提高基于中文数据图像识别的效 率。 权利要求书3页 说明书12页 附图4页 CN 115238115 A 2022.10.25 CN 115238115 A 1.一种基于中文数据的图像 检索方法， 其特 征在于， 所述方法包括： 获取训练数据的英文文本数据， 以及利用预设的机器翻译算法将所述英文文本数据翻 译成中文 文本数据； 将所述英文文本数据输入至预设的文本编码器模型进行编码， 得到英文文本数据向量 集， 以及利用预设的文本图像预训练模型对所述英文文本数据向量集进行训练， 得到英文 文本训练数据集； 将所述英文文本训练数据集输入至预设的教师模型进行知识蒸馏， 得到第一概率值， 以及将所述中文 文本数据输入至预设的学生模型进行知识蒸馏， 得到第二 概率值； 利用预设的损失函数计算所述第 一概率值和第 二概率值的平均绝对误差损失值， 以及 根据所述平均绝对误差损失值优化所述文本编码器模型， 得到中文 文本编码器； 根据所述中文文本编码器和预设的图像编码器进行模型推理， 得到 中文文本图像预训 练模型； 获取待分析中文数据， 将所述待分析中文数据输入至所述中文文本图像预训练模型 中， 得到所述待分析中文数据对应的图像。 2.如权利要求1所述的基于 中文数据的图像检索方法， 其特征在于， 所述利用预设的机 器翻译算法将所述英文 文本数据翻译成中文 文本数据， 包括： 将所述英文 文本数据进行句式结构切分， 得到切分语句； 提取每个所述切分语句的语义特 征； 利用所述机器翻译算法根据 所述语义特征对切分语句进行中文翻译， 得到切分语句中 文数据； 按照每个所述切分语句在所述英文文本数据内的先后顺序将所述切分语句中文数据 合成为中文 文本数据。 3.如权利要求1所述的基于 中文数据的图像检索方法， 其特征在于， 所述将所述英文文 本数据输入至预设的文本编码器模型进行编码， 得到 英文文本数据向量 集， 包括： 将所述英文 文本数据的每 个切分语句转换成统一固定 长度， 得到标准语句； 利用预设的标记化方式将所述标准语句进行词语切分， 得到切分文本数据， 以及汇集 所述切分文本数据为切分语句序列； 将所述切分语句序列输入至预设的文本编码器进行编码， 得到词汇编码、 语句编码和 语句位置编码； 将所述词汇编码、 所述语句编码和所述语句位置编码相加得到 英文文本数据向量； 汇集所述英文 文本数据向量 为英文文本数据向量 集。 4.如权利要求1所述的基于 中文数据的图像检索方法， 其特征在于， 所述将所述英文文 本训练数据集输入至预设的教师模型进行知识蒸馏， 得到第一 概率值， 包括： 利用预设的序列对抗网络模型将所述英文 文本训练数据集 转换为无 标签英文数据； 将所述无 标签英文数据输入至所述教师模型进行训练， 得到无 标签英文训练数据； 设置所述知识蒸馏的蒸馏温度， 以及根据 所述蒸馏温度对所述无标签英文训练数据进 行知识蒸馏， 得到软 标签英文数据； 根据预设的分类函数和所述蒸馏温度计算所述软标签英文数据的概率， 得到第 一概率 值。权　利　要　求　书 1/3 页 2 CN 115238115 A 25.如权利要求4所述的基于 中文数据的图像检索方法， 其特征在于， 所述根据 预设的分 类函数和所述蒸馏温度计算所述软 标签英文数据的概 率， 得到第一 概率值， 包括： 利用如下算法根据预设的分类函数和所述蒸馏温度计算所述软标签英文数据的概率， 得到第一 概率值： 其中， pi所述软标签数据中第i类标签的概率， exp为指数函数， t为所述蒸馏温度参数， zi为所述软标签英文数据中第i个向量元素， zj为所述软标签英文数据中第j个向量元素， n 为所述软 标签英文数据中的向量个数。 6.如权利要求1至5中任一项所述的基于中文数据的图像检索方法， 其特征在于， 所述 利用预设的损失函数计算所述第一 概率值和第二 概率值的平均绝对误差损失值， 包括： 利用如下算法利用预设的损失函数计算所述第一概率值和第二概率值的平均绝对误 差损失值： loss＝||X‑Y||2 其中， loss为所述平均绝对误差损失值， X为所述第一 概率值， Y为所述第二 概率值。 7.如权利要求1所述的基于 中文数据的图像检索方法， 其特征在于， 所述根据 所述中文 文本编码器和预设的图像编码器进行模型推理， 得到中文 文本图像预训练模型， 包括： 获取图像数据， 以及将所述图像数据输入至所述图像编码器进行编码， 得到 图像特征 向量； 将所述中文 文本数据输入至所述中文 文本编码器进行编码， 得到中文 文本特征向量； 计算所述图像特 征向量和所述中文 文本特征向量的相似度； 确定相似度最高的特 征向量为所述中文 文本数据对应的图像； 根据所述图像和所述中文 文本数据确定中文 文本图像预训练模型。 8.一种基于中文数据的图像 检索装置， 其特 征在于， 所述装置包括： 中文文本数据翻译模块， 用于获取训练数据的英文文本数据， 以及利用预设的机器翻 译算法将所述英文 文本数据翻译成中文 文本数据； 英文文本数据编码模块， 用于将所述英文文本数据输入至预设的文本编码器模型进行 编码， 得到英文文本数据向量集， 以及利用预设的文本图像预训练模型对所述英文文本数 据向量集进行训练， 得到 英文文本训练数据集； 概率值获取模块， 用于将所述英文文本训练数据集输入至预设的教师模型进行知识蒸 馏， 得到第一概率值， 以及将所述中文文本数据输入至预设的学生模 型进行知识蒸馏， 得到 第二概率值； 文本编码器模型优化模块， 用于利用预设的损失函数计算所述第 一概率值和第 二概率 值的平均绝对误差损失值， 以及根据所述平均绝对误差损失值优化所述文本编码器模型， 得到中文 文本编码器； 预训练模型推理模块， 用于根据所述中文文本编码器和预设的图像编码器进行模型推 理， 得到中文 文本图像预训练模型； 图像检索模块， 用于获取待分析中文数据， 将所述待分析中文数据输入至所述中文文权　利　要　求　书 2/3 页 3 CN 115238115 A 3