(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210749006.3 (22)申请日 2022.06.29 (71)申请人 苏宁消费金融有限公司 地址 210000 江苏省南京市秦淮区淮 海路 88号 (72)发明人 梁元宇　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 牛婧 (51)Int.Cl. G06F 11/30(2006.01) G06F 9/448(2018.01) G06F 11/36(2006.01) G06K 9/62(2022.01) G06Q 40/02(2012.01) (54)发明名称 一种消费金融的黑盒监控系统及其质量分 析方法 (57)摘要 本发明公开了一种消 费金融的黑盒监控系 统及其质量 分析方法， 本发明中黑盒监控系统的 构建过程为： 构建黑盒监控系统的假设有限状态 机， 将假设有限状态机上线后， 生成临时有限状 态机， 对比假设有限状态机和临时有限状态机， 通过人为干预判断两个状态机不一致节点是否 在真实场景下真实存在， 并输出真实状态机； 将 生成的真实状态机作为模型， 将正式环境的用户 操作数据流动作为输入， 生成黑盒监控系统； 当 消费金融系统的业务需求变化， 升级黑盒监控系 统。 同时， 本发明还提供了黑盒监控系统的质量 分析方法， 对消费金融系统稳定性进行监控， 确 保消费金融系统不会影响整体系统的性能。 权利要求书2页 说明书5页 附图1页 CN 115129547 A 2022.09.30 CN 115129547 A 1.一种消费金融的黑盒监控系统， 其特 征在于， 所述 黑盒监控系统的构建过程如下： (1)构建消费金融的黑盒监控系统的假设有限状态机； (2)将消费金融的黑盒监控系统的假设有限状态机进行上线后一段时间内， 在假设有 限状态机基础上根据消费金融系统数据流动情况， 增加假设有限状态机中不存在的节点并 标记假设有限状态机中存在但真实环境无 数据流动的无效节点， 生成临时有限状态机； (3)对比假设有限状态机和临时有限状态机， 若存在两个状态机节点状态不一致情况， 通过人为干预判断两个状态机不一致节点是否在真实场景下真实存在， 并输出真实状态 机； (4)将步骤(3)生成的真实状态机作为模型， 将正式环境的用户 操作数据流动作为输 入， 生成黑盒监控系统； (5)当消费金融系统的业 务需求变化， 重复步骤(1) ‑(4)升级黑盒监控系统。 2.根据权利要求1所述消费金融的黑盒监控系统， 其特征在于， 步骤(1)包括如下子步 骤： (1.1)所述黑盒监控系统假设有限状态机采用七元组表示： M＝(S,s0, δ, λ,X,Y,F)， 其 中， s0表示初始状态值， S表示有限的一组状态， X是输入字典， Y是输出字典， F表示有限的一 组最终状态， δ表示由事件驱动的一组状态转移关系， sj＝δ(si,x)表示从状态si出发， 输入 x， 转移到状态sj， 且x∈X， si,sj∈S； λ表示经过一定事件后的输出函数， y＝λ(si,x)表示从 状态si出发， 输入 x而获得的响应y， 且y∈Y； (1.2)确认一个初始状态s0， 明确黑盒监控系统的有限的一组事 件N； (1.3)从第一组事件开始， 输入系统上线前的测试环境中样本 数据， 得到M1个输入/输 出 对， 重复将 M1个输出的结果放入第二组事件 得到M2个输入/输出对， 循环 直到得到MN个输入/ 输出对； (1.4)将M1,M2,...,MN个输入/输出对生成黑盒监控系统的假设有限状态机 。 3.根据权利要求1所述消费金融的黑盒监控系统， 其特征在于， 步骤(3)的具体过程如 下： 将假设有限状态机和临 时有限状态机 分别输出为树结构， 通过树结构进行树的遍历， 对 比假设有限状态机和临时有限状态机是否存在状态机节点状态不一致情况， 如果存在， 则 将假设有限状态机和临时有限状态机中不一致的节点状态进 行标记并输出， 交由专门人员 判断临时有限状态机的变化节点是否 接受修改， 并输出真实状态机 。 4.一种权利要求1所述消费金融的黑盒监控系统用于消费金融系统的质量分析方法， 其特征在于， 包括如下步骤： (A)通过对消费金融系统等价查询模拟过程监控， 输出一系列的有限状态机， 通过相似 数据的有限状态机是否一 致， 监控消费金融系统质量是否存在问题； (B)通过监控有限状态机的节点数据转 化率情况， 判断消费金融系统是否存在异常。 5.根据权利要求4所述消费金融的黑盒监控系统用于消费金融系统的质量分析方法， 其特征在于， 步骤(A)包括如下子步骤： (A1)根据消费金融系 统中的业务场景将样本数据通过KNN最邻近分类算法进行分类， 得到N个等 价子集， 然后在每 个等价子集类将数据划分出有效等 价类与无效等 价类； (A2)随机选取一组等价子集输入黑盒监控系 统， 输出对应的有限状态机， 若输出的有 限状态机跟真实状态机一致， 则消费金融系统不存在质量问题； 否则， 消费金融系统存在质权　利　要　求　书 1/2 页 2 CN 115129547 A 2量问题。 6.根据权利要求5所述消费金融的黑盒监控系统用于消费金融系统的质量分析方法， 其特征在于， 所述有效等价类指由进入某一操作再进入到下一操作的状态， 所述无效等价 类指进入某一操作后不能继续往下操作的状态。 7.根据权利要求4所述消费金融的黑盒监控系统用于消费金融系统的质量分析方法， 其特征在于， 步骤(B)的具体过程为： 将消费金融系统的用户操作情况输入到黑盒监控系统 中， 并在黑盒监控系统的有限状态机中每个节点记录操作数， 按 日计算出前后两个关联节 点的转化率， 确定一段时间内转化率均值， 当不可接受距离的公式满足： Drefuse＞Dmean+2*Dsd 时， 则消费金 融系统中 的流程存在问题； 其中， Dmean为由消费金 融系统的前一个页面进入下 一页的转化率的均值， Dsd为由消费金融系统的前一个页面进入下一页的转化率的标准差， Drefuse为拒绝标准。权　利　要　求　书 2/2 页 3 CN 115129547 A 3