(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211201108.8 (22)申请日 2022.09.28 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 欧阳升　王健宗　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 谭晓欣 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/216(2020.01) G06N 20/00(2019.01) (54)发明名称 文本语句分类方法和分类装置、 电子 设备及 存储介质 (57)摘要 本申请实施例提供了一种文本语句分类方 法和分类装置、 电子设备及存储介质， 属于人工 智能技术领域。 该方法包括： 将训练样本集的每 个样本对数据输入至初始文本语句分类模型， 分 别对样本语句进行特征提取， 得到第一文本特征 和第二文本特征； 对第一文本特征进行特征约束 以更新第一文本特征； 对第一文本特征进行文本 分类处理以得到多个样本预测概率值； 对多个样 本预测概率值进行数值比较以确定目标样本标 签； 根据正样本标签和目标样 本标签对初始文本 语句分类模 型的模型参数进行调整， 以得到目标 文本语句分类模 型； 通过目标文本语句分类模型 对获取的初始文本语句进行分类以得到目标类 别。 本申请实施例能够提高对文本语句分类的准 确性。 权利要求书3页 说明书15页 附图4页 CN 115510232 A 2022.12.23 CN 115510232 A 1.一种文本语句分类方法， 其特 征在于， 所述方法包括： 获取训练样本集， 所述训练样本集包括多个样本对数据， 每个所述样本对数据包括正 样本语句、 所述正样本语句对应的正样本标签、 负样本语句和所述负样本语句对应的负样 本标签； 获取初始文本语句分类模型， 所述初始文本语句分类模型包括预训练子模型、 特征约 束子模型和文本分类子模型； 将每个所述样本对数据的所述正样本语句和所述负样本语句输入至所述初始文本语 句分类模型， 通过所述预训练子模型分别对所述正样本语句和所述负样本语句进 行特征提 取， 得到所述 正样本语句的第一文本特 征和所述负 样本语句的第二文本特 征； 通过所述特征约束子模型和所述第 二文本特征对所述第 一文本特征进行特征约束， 以 更新所述第一文本特 征； 通过所述文本分类子模型对所述第 一文本特征进行文本分类处理， 得到所述正样本语 句属于每 个类别标签的样本预测概 率值； 对所述正样本语句的多个所述样本预测概率值进行数值比较， 确定所述正样本语句的 目标样本标签； 根据所述正样本语句的所述正样本标签和所述目标样本标签对所述初始文本语句分 类模型的模型参数进 行调整， 并基于所述训练样本集 继续训练调整后的所述初始文本语句 分类模型， 直至所述初始文本语句分类模型 的模型损失值满足预设训练结束条件， 以得到 目标文本语句分类模型； 获取待分类的初始文本语句， 通过所述目标文本语句分类模型对所述初始文本语句进 行分类， 得到目标类别。 2.根据权利要求1所述的方法， 其特征在于， 在所述通过所述文本分类子模型对所述第 一文本特征进 行文本分类处理， 得到所述正样本语句属于每个类别标签的样本预测概率值 之后， 所述方法还 包括： 通过所述特征约束子模型对所述第一文本特征、 所述第二文本特征、 所述正样本标签 和所述负 样本标签进行 特征约束计算， 得到对比损失值； 根据所述 正样本标签和所述样本预测概 率值得到交叉熵损失值； 根据所述对比损失值和所述交叉熵损失值得到模型损失值。 3.根据权利要求2所述的方法， 其特征在于， 所述预训练子模型包括特征编码处理和自 注意力处理， 所述将 每个所述样本对数据的所述正样本语句和所述负样本语句输入至所述 初始文本语句分类模型， 通过所述预训练子模型分别对所述正样本语句和所述负样本语句 进行特征提取， 得到所述正样本语句的第一文本特征和所述负样本语句的第二文本特征， 包括： 将每个所述样本对数据的所述正样本语句和所述负样本语句输入至所述初始文本语 句分类模型； 分别对所述正样本语句中的每个文本字和所述负样本语句中的每个文本字进行所述 特征编码处理， 得到所述正样本语句对应的正样本字特征和所述负样本语句对应的负样本 字特征； 分别对全部所述正样本字特征和全部所述负样本字特征进行所述自注意力处理， 得到权　利　要　求　书 1/3 页 2 CN 115510232 A 2所述正样本语句的第一文本特 征和所述负 样本语句的第二文本特 征。 4.根据权利要求3所述的方法， 其特征在于， 在所述将每个所述样本对数据的所述正样 本语句和所述负 样本语句输入至所述初始文本语句分类模型之前， 所述方法还 包括： 根据预设的文本长度阈值分别对所述正样本语句和所述负样本语句进行长度比较， 当 所述正样本语句的文本长度小于所述文本长度阈值， 根据所述文本长度阈值对所述正样本 语句进行补零操作， 并更新所述正样本语句， 直至所述正样本语句的文本长度等于所述文 本长度阈值； 当所述负样本语句的文本长度小于所述文本长度阈值， 根据所述文本长度阈值对所述 负样本语句进行补零操作， 并更新所述负样本语句， 直至所述负样本语句的文本长度等于 所述文本 长度阈值。 5.根据权利要求2所述的方法， 其特征在于， 所述通过所述特征约束子模型对所述第 一 文本特征、 所述第二文本特征、 所述正样本标签和所述负样本标签进 行特征约束计算， 得到 对比损失值， 包括： 根据预设的指示函数对所述正样本标签和所述负样本标签进行标签比较， 确定对比系 数； 根据所述第一文本特征、 所述第二文本特征和所述对比系数进行特征约束计算， 得到 对比损失值。 6.根据权利要求2至5任一项所述的方法， 其特征在于， 所述根据所述正样本标签和所 述样本预测概 率值得到交叉熵损失值， 包括： 获取所述正样本语句的文本 字数； 根据预设的交叉熵损失函数对所述文本字数、 所述正样本标签和所述样本预测概率值 进行计算， 得到交叉熵损失值。 7.一种文本语句分类装置， 其特 征在于， 所述装置包括： 样本集获取模块， 用于获取训练样本集， 所述训练样本集包括多个样本对数据， 每个所 述样本对数据包括正样本语句、 所述正样本语句对应的正样本标签、 负样本语句和所述负 样本语句对应的负 样本标签； 初始模型获取模块， 用于获取初始文本语句分类模型， 所述初始文本语句分类模型包 括预训练子模型、 特 征约束子模型和文本分类子模型； 特征提取模块， 用于将每个所述样本对数据的所述正样本语句和所述负样本语句输入 至所述初始文本语句分类模型， 通过所述预训练子模型分别对所述正样本语句和所述负样 本语句进 行特征提取， 得到所述正样本语句的第一文本特征和所述负样本语句的第二文本 特征； 特征约束模块， 用于通过所述特征约束子模型和所述第 二文本特征对所述第 一文本特 征进行特征约束， 以更新所述第一文本特 征； 样本文本分类模块， 用于通过所述文本分类子模型对所述第 一文本特征进行文本分类 处理， 得到所述 正样本语句属于每 个类别标签的样本预测概 率值； 数值比较模块， 用于对所述正样本语句的多个所述样本预测概率值进行数值比较， 确 定所述正样本语句的目标样本标签； 目标模型构建模块， 用于根据 所述正样本语句的所述正样本标签和所述目标样本标签权　利　要　求　书 2/3 页 3 CN 115510232 A 3