(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211122850.X (22)申请日 2022.09.15 (71)申请人 蚂蚁区块链科技 （上海） 有限公司 地址 200010 上海市黄浦区外马路618号8 层803室 (72)发明人 姚武冠楠 　 (74)专利代理 机构 北京智信禾专利代理有限公 司 11637 专利代理师 刘晓楠 (51)Int.Cl. G06F 16/35(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 文本检测模型训练方法以及装置 (57)摘要 本说明书实施例提供一种文本检测模型训 练方法以及装置， 其中所述文本检测模型训练方 法包括： 获取预训练模型的预训练参数， 根据所 述预训练参数和样本数据执行第一预训练任务， 得到初始参数， 其中， 所述样本数据包括至少两 个类型的文本数据； 在所述初始参数中增加标签 参数， 得到目标参数， 并获取所述样本数据的标 签， 其中， 所述标签为所述文本数据的类型表征； 根据所述目标参数、 所述样本数据以及所述样本 数据的标签执行第二预训练任务， 得到目标模 型。 由于在参数中增加了标签参数， 从而可以将 文本数据以及文本数据的标签作为训练样本， 即， 针对不同类型的文本数据进行训练， 可以以 较低的成本迁移到多个新的域上， 降低了模型迁 移难度。 权利要求书2页 说明书15页 附图5页 CN 115481246 A 2022.12.16 CN 115481246 A 1.一种文字检测模型训练方法， 包括： 获取预训练模型的预训练参数， 根据所述预训练参数和样本数据执行第一预训练任 务， 得到初始参数， 其中， 所述样本数据包括至少两个 类型的文本数据； 在所述初始参数中增加标签参数， 得到目标参数， 并获取所述样本数据的标签， 其中， 所述标签为所述文本数据的类型表征； 根据所述目标参数、 所述样本数据以及所述样本数据的标签执行第二预训练任务， 得 到目标模型。 2.根据权利要求1所述的方法， 所述根据所述预训练参数和样本数据执行第一预训练 任务， 得到初始参数， 包括： 根据所述预训练参数确定第一训练模型， 其中， 所述第一训练模型的参数与所述预训 练参数的参数对应； 将所述预训练参数作为所述第一训练模型的训练参数， 添加至所述第一训练模型； 根据所述样本数据对所述第 一训练模型进行训练， 获得所述第 一训练模型训练后的初 始参数。 3.根据权利要求2所述的方法， 所述根据所述样本数据对所述第 一训练模型进行训练， 获得所述第一训练模型训练后的初始参数， 包括： 将所述样本数据输入所述第一训练模型的嵌入层， 得到第一样本编码向量； 将所述第一样本编码向量输入所述第 一训练模型的注意力 机制层， 得到第 一输出数据 以及训练后的初始参数。 4.根据权利要求1所述的方法， 所述根据所述预训练参数和样本数据执行第一预训练 任务， 得到初始参数， 包括： 将所述样本数据输入所述预训练模型的嵌入层， 得到第 二样本编码向量， 其中， 所述预 训练模型的参数为所述预训练参数； 将所述第二样本编码向量输入所述预训练模型的注意力 机制层， 得到第 二输出数据以 及训练后的初始参数。 5.根据权利要求1所述的方法， 所述初始参数包括 查询矩阵、 键矩阵和值矩阵； 相应地， 所述在所述初始参数中增 加标签参数， 得到目标参数， 包括： 在所述初始参数中增 加查询标签矩阵、 键标签矩阵以及值标签矩阵， 得到目标参数。 6.根据权利要求2所述的方法， 在获得所述第 一训练模型训练后的初始参数之后， 还包 括： 在训练后的所述第一训练模型的参数中添加标签参数， 得到第二训练模型； 根据所述样本数据以及所述样本数据的标签对所述第 二训练模型进行训练， 获得目标 模型。 7.根据权利要求1所述的方法， 所述根据所述目标参数、 所述样本数据以及所述样本数 据的标签执 行第二预训练任务， 得到目标模型， 包括： 根据所述目标参数确定第二训练模型， 其中， 所述第二训练模型的参数与所述目标参 数的参数对应； 将所述目标参数作为所述第二训练模型的训练参数， 添加至所述第二训练模型； 根据所述样本数据以及所述样本数据的标签对所述第 二训练模型进行训练， 获得目标权　利　要　求　书 1/2 页 2 CN 115481246 A 2模型。 8.根据权利要求7所述的方法， 所述根据所述样本数据以及所述样本数据的标签对所 述第二训练模型进行训练， 包括： 将所述样本数据和所述样本数据的标签输入所述第 二训练模型的嵌入层， 得到第 三样 本编码向量和标签编码向量； 将所述第三样本编码向量和所述标签编码向量输入所述第二训练模型的注意力机制 层， 得到第三输出 数据以及训练后的目标模型。 9.根据权利要求1所述的方法， 在得到目标模型之后， 还 包括： 根据任务需求确定目标检测层； 在所述目标模型的注意力机制层之后加入所述目标检测层， 得到应用模型。 10.根据权利要求9所述的方法， 在得到应用模型之后， 还 包括： 根据所述应用模型、 所述样本数据以及所述样本数据的标签执行第三训练任务， 得到 类别检测模型。 11.一种类别检测方法， 包括： 将目标对象的描述信 息输入类别检测模型的嵌入层， 得到描述编码向量， 其中， 所述描 述信息的类别为至少两种； 将所述描述编码向量输入所述类别检测模型的注意力机制层， 得到描述输出 数据； 将所述描述输出数据输入所述类别检测模型的检测层， 得到所述目标对象的类别信 息。 12.一种文字检测模型训练装置， 包括： 第一训练模块， 被配置为获取预训练模型的预训练参数， 根据所述预训练参数和样本 数据执行第一预训练任务， 得到初始 参数， 其中， 所述样 本数据包括至少两个类型的文本数 据； 参数确定模块， 被配置为在所述初始参数中增加标签参数， 得到目标参数， 并获取所述 样本数据的标签， 其中， 所述标签为所述文本数据的类型表征； 第二训练模块， 被配置为根据所述目标参数、 所述样本数据以及所述样本数据的标签 执行第二预训练任务， 得到目标模型。 13.一种计算设备， 包括： 存储器和处 理器； 所述存储器用于存储计算机可执行指令， 所述处理器用于执行所述计算机可执行指 令， 该计算机可执行指令被处理器执行时实现权利要求1至10任意一项所述模型训练方法 或权利要求1 1所述类别检测方法的步骤。 14.一种计算机可读存储介质， 其存储有计算机可执行指令， 该计算机可执行指令被处 理器执行时实现权利要求 1至10任意一项 所述模型训练方法或权利要求 11所述类别检测方 法的步骤。权　利　要　求　书 2/2 页 3 CN 115481246 A 3