(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210900295.2 (22)申请日 2022.07.28 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 高立钊　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 祝亚男 (51)Int.Cl. G06N 3/08(2006.01) G06F 40/205(2020.01) G06F 40/30(2020.01) (54)发明名称 自监督学习模型的训练方法、 装置、 设备及 存储介质 (57)摘要 本申请公开了一种自监督学习模型的训练 方法、 装置、 设备及存储介质， 属于计算机与互联 网技术领域。 所述方法包括： 获取样本集合； 对于 样本集合中的目标文本样本， 对目标文本样本以 及样本集合中目标文本样本之外的其它文本样 本进行拼接处理， 生成目标文本样 本对应的第一 负样本； 采用目标文本样本对应的第一负样本， 对文本特征提取模型进行自监督训练； 其中， 文 本特征提取模型用于基于输入文本得到输入文 本的特征信息， 以匹配与输入文本语义相近的检 索文本。 本申请中， 提高了文本特征提取模型针 对语义相差较小的文本信息的区分能力， 进而提 高了文本特 征提取模型的检索能力。 权利要求书2页 说明书14页 附图4页 CN 115238889 A 2022.10.25 CN 115238889 A 1.一种自监 督学习模型的训练方法， 其特 征在于， 所述方法包括： 获取样本集 合， 所述样本集 合包括至少两个文本样本； 对于所述样本集合中的目标文本样本， 对所述目标文本样本以及所述样本集合中除所 述目标文本样本之外的其它文本样本进行拼接处理， 生成所述目标文本样本对应的第一负 样本； 采用所述目标文本样本对应的第一负样本， 对文本特征提取模型进行自监督训练； 其 中， 所述文本特征提取模型用于基于输入文本得到所述输入文本的特征信息， 以匹配与所 述输入文本语义相近的检索文本 。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述目标文本样本以及所述样本集 合中除所述目标文本样本之外的其它文本样本进 行拼接处理， 生成所述目标文本样本对应 的第一负 样本， 包括： 从所述样本集合中除所述目标文本样本之外的其它 文本样本 中， 确定所述目标文本样 本对应的干扰文本样本； 在所述目标文本样本中拼接插入所述干扰文本样本生成所述目标文本样本对应的第 一负样本。 3.根据权利要求2所述的方法， 其特征在于， 所述从所述样本集合中除所述目标文本样 本之外的其它文本样本中， 确定所述目标文本样本对应的干扰文本样本， 包括： 分别获取 各个所述 其它文本样本与所述目标文本样本之间的语义距离； 将语义距离小于第 一阈值的其它 文本样本， 确定为所述目标文本样本对应的干扰文本 样本。 4.根据权利要求2所述的方法， 其特征在于， 所述在所述目标文本样本中拼接插入所述 干扰文本样本生成所述目标文本样本对应的第一负 样本， 包括： 对所述目标文本样本进行分割处 理， 得到至少一个文本片段； 分别获取 各个所述文本片段与所述干扰文本样本之间的语义距离； 根据语义距离小于第 二阈值的文本片段在所述目标文本样本 中的位置， 在所述目标文 本样本中拼接插 入所述干扰文本样本生成所述目标文本样本对应的第一负 样本。 5.根据权利要求2所述的方法， 其特征在于， 所述在所述目标文本样本中拼接插入所述 干扰文本样本生成所述目标文本样本对应的第一负 样本， 包括： 从所述干扰文本样本中获取 所述干扰文本样本的关键文本信息； 在所述目标文本样本中拼接插入所述关键文本信 息， 生成所述目标文本样本对应的第 一负样本。 6.根据权利要求1至5任一项所述的方法， 其特征在于， 所述采用所述目标文本样本对 应的第一负 样本， 对文本特 征提取模型进行自监 督训练， 包括： 基于所述文本特征提取模型， 生成第一掩码模型、 第二掩码模型和第三掩码模型； 其 中， 不同的掩码模型对应不同的模型参数； 将所述目标文本样本 输入至所述第一掩码模型， 得到样本特 征信息； 将所述目标文本样本对应的正样本 输入至所述第二掩码模型， 得到正样本特 征信息； 将所述目标文本样本对应的第 一负样本输入至所述第 三掩码模型， 得到第 一负样本特 征信息；权　利　要　求　书 1/2 页 2 CN 115238889 A 2根据所述样本特征信 息和所述正样本特征信 息， 确定所述目标文本样本对应的第 一语 义距离； 根据所述样本特征信 息和所述第 一负样本特征信 息， 确定所述目标文本样本对应的第 二语义距离； 基于各个所述文本样本分别对应的第 一语义距离和第 二语义距离， 对所述文本特征提 取模型进行自监 督训练。 7.根据权利要求6所述的方法， 其特征在于， 所述基于所述文本特征提取模型， 生成第 一掩码模型、 第二掩码模型和第三掩码模型， 包括： 随机掩盖所述文本特征提取模型中各层网络的模型参数， 得到所述第一掩码模型、 所 述第二掩码模型和所述第三掩码模型； 其中， 不同掩码模型 所掩盖的模型参数不同。 8.一种自监 督学习模型的训练装置， 其特 征在于， 所述装置包括： 集合获取模块， 用于获取样本集 合， 所述样本集 合包括至少两个文本样本； 样本生成模块， 用于对于所述样本集合中的目标文本样本， 对所述目标文本样本以及 所述样本集合中除所述目标文本样本之外的其它文本样本进 行拼接处理， 生成所述目标文 本样本对应的第一负 样本； 模型训练模块， 用于采用所述目标文本样本对应的第一负样本， 对文本特征提取模型 进行自监督训练； 其中， 所述文本特征提取模型用于基于输入文本得到所述输入文本的特 征信息， 以匹配与所述输入文本语义相近的检索文本 。 9.一种计算机设备， 其特征在于， 所述计算机设备包括处理器和存储器， 所述存储器中 存储有至少一段程序， 所述至少一段程序由所述处理器加载并执行以实现如权利要求 1至7 任一项所述的自监 督学习模型的训练方法。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质中存储有至少一段程序， 所 述至少一段程序由处理器加载并执行以实现如权利要求1至7任一项所述的自监督学习模 型的训练方法。权　利　要　求　书 2/2 页 3 CN 115238889 A 3