(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211226122.3 (22)申请日 2022.10.09 (71)申请人 京东科技信息技 术有限公司 地址 100176 北京市北京经济技 术开发区 科创十一 街18号院2号楼6层6 01 (72)发明人 黎陈　俞晓光　宋双永　 (74)专利代理 机构 中原信达知识产权代理有限 责任公司 1 1219 专利代理师 张效荣　王志远 (51)Int.Cl. G06F 16/35(2019.01) G06F 16/332(2019.01) G06F 40/35(2020.01) G06F 40/247(2020.01) G06K 9/62(2022.01) (54)发明名称 语言模型的训练方法、 确定用户意图的方法 和相关装置 (57)摘要 本发明公开了一种语 言模型的训练方法、 确 定用户意图的方法和相关装置， 涉及计算机技术 领域。 该方法的一具体实施方式包括： 对原始文 本进行数据增强和文本转换， 生成原始训练样 本、 第一训练样本和第二训练样本； 将原始训练 样本作为第一聚类算法的输入， 第一训练样本和 第二训练样本作为第一对比学习算法和第二对 比学习算法的输入， 得到总体损失函数； 以总体 损失函数对语 言模型进行训练。 该 实施方式能够 提高语言模 型的转换准确性， 保证簇内距离较小 并且簇间距离较大， 可以有效的区分不同的簇， 提高聚类算法的鲁棒性差， 从而使得聚类的结果 更加准确， 降低找到符合条件的新意图来扩充意 图库的难度， 提升用户体验。 权利要求书2页 说明书13页 附图4页 CN 115525762 A 2022.12.27 CN 115525762 A 1.一种语言模型的训练方法， 其特 征在于， 包括： 对原始文本进行数据增强和文本转换， 生成原始训练样本、 第一训练样本和第二训练 样本； 将所述原始训练样本作为第 一聚类算法的输入， 所述第 一训练样本和所述第 二训练样 本作为第一对比学习算法和第二对比学习算法的输入， 得到总体损失函数； 以所述总体损失函数对所述语言模型进行训练。 2.根据权利要求1所述的方法， 其特征在于， 所述对原始文本进行数据增强和文本转 换， 生成原 始训练样本、 第一训练样本和第二训练样本， 包括： 对所述原始文本进行同义词替换或反 向翻译， 得到与 所述原始文本对应的第 一文本和 第二文本； 分别将所述原始文本、 所述第一文本和所述第二文本输入至所述语言模型， 生成所述 原始训练样本、 与所述原 始训练样本对应的所述第一训练样本和所述第二训练样本 。 3.根据权利要求1所述的方法， 其特征在于， 所述将所述原始训练样本作为第 一聚类算 法的输入， 所述第一训练样本和所述第二训练样本作为第一对比学习算法和 第二对比学习 算法的输入， 得到总体损失函数， 包括： 将所述原始训练样本输入至所述第 一聚类算法， 通过所述第 一聚类算法的聚类结果计 算第一损失函数； 将所述第一训练样本和所述第 二训练样本作为第 一对比学习算法的输入， 计算第 二损 失函数； 将所述第一训练样本和所述第 二训练样本作为第 二对比学习算法的输入， 计算第 三损 失函数； 计算所述第 一损失函数、 所述第 二损失函数、 所述第 三损失函数的和， 得到所述总体损 失函数。 4.根据权利要求3所述的方法， 其特征在于， 所述将所述第 一训练样本和所述第 二训练 样本作为第一对比学习算法的输入， 计算第二损失函数， 包括： 将所述第一训练样本和所述第 二训练样本输入至所述第 一对比学习算法的线性层， 得 到对应的所述第一训练样本的第一向量和所述第二训练样本的第一向量； 将对应同一所述原始训练样本的所述第一训练样本的第一向量和所述第二训练样本 的第一向量作为相似对， 将不对应同一所述原始训练样本的所述第一训练样本的第一向量 和所述第二训练样本的第一向量作为不相似对， 计算各所述第一训练样本和各所述第二训 练样本的第二子损失函数； 计算所有所述第一训练样本和所有所述第二训练样本的第二子损失函数的平均值并 除以2， 得到所述第二损失函数。 5.根据权利要求3所述的方法， 其特征在于， 所述将所述第 一训练样本和所述第 二训练 样本作为第二对比学习算法的输入， 计算第三损失函数， 包括： 将所述第一训练样本和所述第 二训练样本输入至所述第 二对比学习算法的线性层， 得 到对应的所述第一训练样本的第二向量和所述第二训练样本的第二向量； 将对应同一所述原始训练样本的所述第一训练样本的第二向量和所述第二训练样本 的第二向量作为相似对， 将不对应同一所述原始训练样本的所述第一训练样本的第二向量权　利　要　求　书 1/2 页 2 CN 115525762 A 2和所述第二训练样本的第二向量作为不相似对， 计算各所述第一训练样本和各所述第二训 练样本的第三子损失函数； 计算所有所述第一训练样本和所有所述第二训练样本的第三子损失函数的平均值并 除以2， 得到所述第三损失函数。 6.一种利用权利要求1至5中任一项所述的语言模型的训练方法所训练的语言模型来 确定用户意图的方法， 其特 征在于， 包括： 将用户问题输入至训练后的所述语言模型中， 生成对应的用户问题向量； 通过第二聚类算法对所述用户问题向量进行分类， 生成一个或多个用户问题簇； 分析所述用户问题簇， 得到与所述问题簇对应的用户意图。 7.一种语言模型的训练装置， 其特 征在于， 包括： 训练样本生成模块， 用于对原始文本进行数据增强和文本转换， 生成原始训练样本、 第 一训练样本和第二训练样本； 损失函数计算模块， 用于将所述原始训练样本作为第一聚类算法的输入， 所述第一训 练样本和所述第二训练样本作为第一对比学习算法和 第二对比学习算法的输入， 得到总体 损失函数； 训练模块， 用于以所述总体损失函数对所述语言模型进行训练。 8.一种利用权利要求7所述的语言模型的训练装置所训练 的语言模型来确定用户意图 的装置， 其特 征在于， 包括： 用户问题向量生成模块， 用于将用户问题输入至训练后的所述语言模型中， 生成对应 的用户问题向量； 用户问题簇生成模块， 用于通过第二聚类算法对所述用户问题向量进行分类， 生成一 个或多个用户问题簇； 分析模块， 用于分析 所述用户问题簇， 得到与所述问题簇对应的用户意图。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑6中任一所述的方法。 10.一种计算机可读介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现如权利要求1 ‑6中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115525762 A 3