(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210556381.6 (22)申请日 2022.05.20 (71)申请人 上海浦东发展银行股份有限公司 地址 200002 上海市黄浦区中山 东一路12 号 (72)发明人 杨旺旺　马自谦　范桢　金燕燕　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 彭瑶 (51)Int.Cl. G06F 16/2453(2019.01) G06F 16/215(2019.01) G06F 9/451(2018.01) G06F 16/26(2019.01) G06Q 40/02(2012.01) (54)发明名称 一种银行信用卡中心实时大数据可视化分 析方法 (57)摘要 本发明涉及一种银行信用卡中心实时大数 据可视化分析方法， 包括： 1)将银行信用卡中心 的源数据计入Kafka， 获取Kafka数据流； 2)获取 Kafka数据流后， 创建Hbase维度表进行关联， 扩 宽数据流； 3)对步骤2)处理后的数据流， 利用 Flink进行实时加工； 4)将Flink实时加工后的结 果数据录入ClickHouse数据库； 5)创建Tableau   Server界面， 对结果数据进行实时可视化分析。 与现有技术相比， 本发明具有 解决复杂数据处理 能力、 解决多场景下大数据量级的实时数据复杂 逻辑处理能力、 提高业 务效率等优点。 权利要求书1页 说明书4页 附图1页 CN 114996300 A 2022.09.02 CN 114996300 A 1.一种银 行信用卡中心实时大 数据可视化分析 方法， 其特 征在于， 包括下列步骤： 1)将银行信用卡中心的源数据计入Kafka， 获取 Kafka数据流； 2)获取Kafka数据流后， 创建Hbase维度表进行关联， 扩宽数据流； 3)对步骤2)处 理后的数据流， 利用Fl ink进行实时加工； 4)将Flink实时加工后的结果数据录入数据库； 5)创建Tableau  Server界面， 对结果数据进行实时可视化分析。 2.根据权利要求1所述的银行信用卡中心实时大数据 可视化分析方法， 其特征在于， 步 骤1)中， 将源数据通过ESB接口对接Kafka消息中心， 创建对应的Topic， 构建相应的 Partion； 同时构建双集群机制， 同步数据完成数据备份。 3.根据权利要求1所述的银行信用卡中心实时大数据 可视化分析方法， 其特征在于， 步 骤2)在创建Hbase维度表进行关联的过程中， 通过jion索引表获取对应的rowkey后， 再进行 数据表的jo in。 4.根据权利要求1所述的银行信用卡中心实时大数据 可视化分析方法， 其特征在于， 步 骤3)中， 利用Flink  Sql将实时数据流通过和Hbase维度表数据进行关联， 按逻辑进行分组、 分批进行聚合加工， 同时进行脏数据的清洗 。 5.根据权利要求1所述的银行信用卡中心实时大数据 可视化分析方法， 其特征在于， 步 骤4)中， 所述数据库采用关系型 数据库。 6.根据权利要求5所述的银行信用卡中心实时大数据 可视化分析方法， 其特征在于， 所 述关系型 数据库采用Cl ickHouse。 7.根据权利要求6所述的银行信用卡中心实时大数据 可视化分析方法， 其特征在于， 步 骤4)中， 基于shard+replica实现的线性扩展和高可用性， 采用双副本机制， 将Flink加工后 的结果数据与Cl ickHouse API接口进行对接， 实现百亿 级数据的写入操作。 8.根据权利要求7所述的银行信用卡中心实时大数据 可视化分析方法， 其特征在于， 将 Flink实时加工后的结果数据录入Cl ickHouse的具体步骤 包括： 41)读取Kafka的数据流的Topic数据， 进行逻辑加工生成Si nk结果集； 42)创建clickhouse库、 表， 定制化开发界面， 实现SSH方 式登录ClickHouse集群的操作 方式， 创建交易 流水表； 43)编译定制化的源码， 选择链接方式， 将结果 集数据写入 对应的交易 流水表。 9.根据权利要求8所述的银行信用卡中心实时大数据 可视化分析方法， 其特征在于， 步 骤5)前还包括Tableau数据源选 择步骤： 下载ClickHouse  ODBC源， 利用Tableau使用ODBC配 置与ClickHouse进行 连接。 10.根据权利要求9所述的银行信用卡中心实时大数据可视化分析方法， 其特征在于， 步骤5)的具体内容 为： 定制化开发用以实现系统界面化操作的TableauServer界面， 将银行信用卡中心的内 网服务器的WEB页面与TableauServer 协作， 实现可视化数据交 互； 设置Tableau用户层级， 控制Tableau用户权限， 定制化自助报表， 与银行信用卡 中心大 数据调度平台进 行对接， 自助式加工ETL过程， 简化SQL加工与数据分析的操作简化， 实现可 视化分析。权　利　要　求　书 1/1 页 2 CN 114996300 A 2一种银行信用卡中心实时大数据可视化分析方 法 技术领域 [0001]本发明涉及计算机数据分析可视化技术领域， 尤其是涉及一种银行信用卡中心实 时大数据可视化分析 方法。 背景技术 [0002]随着计算机技术的发展， 数据分析可视化已成为企业必备技能， 自助 式BI报表分 析和制作可视化数据大屏正逐步迭代升级， 在银行领域， 尤其是信用卡部分现有的各部门 业务人员以及分行数据分析人员已经较熟练使用tableau制作报表， 部分业务较为常用的 是直连传统关系型数据库， 例如分析分行获客渠道获客情况， 涉及7大渠道， 日进件数据流 将近30万条， 月全量数据近900万条。 将获客实时审批结果按照不同渠道划分逻辑实时计 算、 进行拆分， 提高实时数据分析结果， 快速传达到各业务负责人和分行获客渠道相关负责 人， 及时调整获客方式和获客策略， 能够有效帮助银行信用卡中心提高获客数量， 同时及时 优化获客策略， 优化获客质量。 然而实时数据分析可视化对数据计算、 数据存储、 数据查询 有很高要求， 对后端系统的承载也提出了 极大的要求。 现有的处理方式通常为： 1、 在数据流 向下游系统时进行限流， 减少数据量。 2、 在数据存储时只保留近3天的数据量， 减少数据计 算压力。 然而， 当前的处理方式存在以下几个基本的问题： 1)数据通过系统间交互比较困 难， 数据延迟较高。 2)实时数据任务失败会导致过程数据丢失， 且数据恢复较困难。 3)传统 关系型数据库单表无法承载大数据量的存储。 4)tableau直连传统关系型数据库(例如 Mysql)， 在数据量级较大时， 查询速度慢， 业 务效率低。 发明内容 [0003]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种银行信用卡中 心实时大 数据可视化分析 方法。 [0004]本发明的目的可以通过以下技 术方案来实现： [0005]一种银行信用卡中心实时大 数据可视化分析 方法， 该方法包括下列步骤： [0006]S1： 将银行信用卡中心的源数据计入Kafka， 获取 Kafka数据流； [0007]S2： 获取Kafka数据流后， 创建Hbase维度表进行关联， 扩宽数据流； [0008]S3： 对S2处 理后的数据流， 利用Fl ink进行实时加工； [0009]S4： 将Flink实时加工后的结果数据录入数据库； [0010]S5： 创建Tableau  Server界面， 对结果数据进行实时可视化分析。 [0011]进一步地， S1中， 将源数据通过ESB接口对接Kafka消息中心， 创建对应的Topic， 构 建相应的Par tion； 同时构建双集群机制， 同步数据完成数据备份。 [0012]进一步地， 在创建Hbase维度表进行关联的过程中， 通过jion索引表获取对应的 rowkey后， 再进行 数据表的jo in。 [0013]进一步地， 利用Flink  Sql将实时数据流通过和Hbase维度表数据进行关联， 按逻 辑进行分组、 分批进行聚合加工， 同时进行脏数据的清洗 。说　明　书 1/4 页 3 CN 114996300 A 3