(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210585994.2 (22)申请日 2022.05.26 (71)申请人 度小满科技(北京)有限公司 地址 100193 北京市海淀区西北旺东路10 号院西区4 号楼6层6 06室 (72)发明人 张家乐　许贤铭　杨青　 (74)专利代理 机构 北京启坤知识产权代理有限 公司 11655 专利代理师 李琛 (51)Int.Cl. G06Q 40/02(2012.01) G06Q 10/06(2012.01) (54)发明名称 一种用于对模型的评价指标进行评估的方 法和装置 (57)摘要 本发明的目的是提供一种用 于对模型的评 价指标进行评估的方法和装置。 所述方法包括： 基于包含预定数量 以上坏样本的样本集和训练 好的评估模 型， 计算评估模型的预定评价指标的 评估参数； 不断增加抽取的坏样本的数量， 并重 复计算评估模型的预定评价指标的评估参数的 步骤， 从而得到多组对应于不同坏样本数量的评 估参数； 根据多组对应于不同坏样 本数量的评估 参数， 测算有效的预定评价指标需要的坏样本数 量。 本申请实施例具有以下优点： 通过在坏样本 充足的情况下计算均值、 标准差和极差来对KS指 标和AUC指标的可靠性进行评估， 并测算KS指标 和AUC指标能够有效地评估模型所需要的坏样本 数量， 以提升KS 指标和AUC指标的可靠性。 权利要求书2页 说明书7页 附图1页 CN 115034874 A 2022.09.09 CN 115034874 A 1.一种用于对 模型的评价指标进行评估的方法， 其中， 所述方法包括以下步骤： 基于包含预定数量以上坏样本的样本集和训练好的评估模型， 计算评估模型的预定评 价指标的评估参数， 其中， 所述评估参 考包括均值、 标准差和极差中的一项或多 项； 不断增加抽取的坏样本的数量， 并重复计算评估模型的预定评价指标的评估参数的步 骤， 从而得到多组对应于不同坏 样本数量的评估参数； 根据多组对应于不同坏样本数量的评估参数， 测算有 效的预定评价指标需要的坏样本 数量。 2.根据权利要求1所述的方法， 其中， 所述预定 评价指标包括KS和/或AUC 。 3.根据权利要求1或2所述的方法其中， 所述基于包含预定数量以上坏样本的样本集和 训练好的评估 模型， 计算评估 模型的预定 评价指标的评估参数包括： 构建两个包含预定数量以上坏样本的样本集， 从而将其划分为第 一样本集和第 二样本 集； 使用第一样本集 来训练预定的评估 模型； 基于从第二样本 中抽取的预定数量的好样本和坏样本， 使用所述评估模型来计算预定 评价指标的评估参数。 4.根据权利要求1或2所述的方法， 其中， 所述根据多组对应于不同坏样本数量的评估 参数， 测算有效的预定 评价指标需要的坏 样本数量包括： 根据多组对应于不同坏样本数量的评估参数， 得到均值、 标准差和极差中的一项或多 项随坏样本增加的变化曲线； 基于所述变化曲线， 测算有效的预定 评价指标需要的坏 样本数量。 5.一种用于对 模型的评价指标进行评估的装置， 其中， 所述装置包括： 用于基于包含预定数量以上坏样本的样本集和训练好的评估模型， 计算评估模型的预 定评价指标的评估参数的装置， 其中， 所述评估参考包括均值、 标准差和极差中的一项或多 项； 用于不断增加抽取的坏样本的数量， 并重复计算评估模型的预定评价指标的评估参数 的步骤， 从而得到多组对应于不同坏 样本数量的评估参数的装置； 用于根据多组对应于不同坏样本数量的评估参数， 测算有 效的预定评价指标需要的坏 样本数量的装置 。 6.根据权利要求5所述的装置， 其中， 所述预定 评价指标包括KS或AUC 。 7.根据权利要求5或6所述的装置， 其中， 所述用于基于包含预定数量以上坏样本的样 本集和训练好的评估 模型， 计算评估 模型的预定 评价指标的评估参数的装置用于： 构建两个包含预定数量以上坏样本的样本集， 从而将其划分为第 一样本集和第 二样本 集的装置； 使用第一样本集 来训练预定的评估 模型； 基于从第二样本 中抽取的预定数量的好样本和坏样本， 使用所述评估模型来计算预定 评价指标的评估参数。 8.根据权利要求5或6所述的装置， 其中， 所述用于根据多组对应于不同坏样本数量的 评估参数， 测算有效的预定 评价指标需要的坏 样本数量的装置用于： 根据多组对应于不同坏样本数量的评估参数， 得到均值、 标准差和极差中的一项或多权　利　要　求　书 1/2 页 2 CN 115034874 A 2项随坏样本增加的变化曲线； 基于所述变化曲线， 测算有效的预定 评价指标需要的坏 样本数量。 9.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至4中任一所述的方 法。 10.一种计算机可读的存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理 器执行时实现如权利要求1至4中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115034874 A 3