(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210158830.1 (22)申请日 2022.02.21 (71)申请人 中国民生银行股份有限公司 地址 100031 北京市西城区复兴门内大街2 号 (72)发明人 罗京　潘广进　何鹏　周礼　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 苏培华 (51)Int.Cl. G06F 16/25(2019.01) G06F 9/445(2018.01) G06F 16/22(2019.01) G06F 16/182(2019.01) G06Q 40/02(2012.01) (54)发明名称 一种数据处理方法、 装置、 电子设备和存储 介质 (57)摘要 本发明实施例提供了一种数据处理方法、 装 置、 电子设备和存储介质， 所述方法包括： 获取针 对业务数据的数据格式信息； 将所述数据格式信 息输入预先配置的数据处理工具中进行处理， 得 到针对所述业务数据的作业配置模板； 根据所述 作业配置模板， 导出大数据ET L作业配置文件； 所 述大数据ET L作业配置文件用于配置针对所述业 务数据的ETL作业操作。 本发明实施例可以在无 需编写代码， 只需将整理好的数据格式信息输入 预先配置好的数据处理工具的情况下， 完成大数 据ETL作业的开发工作， 降低直接开发大数据ET L 作业的技 术难度。 权利要求书2页 说明书11页 附图3页 CN 114610803 A 2022.06.10 CN 114610803 A 1.一种数据处 理方法， 其特 征在于， 所述方法包括： 获取针对业 务数据的数据格式信息； 将所述数据格 式信息输入预先配置的数据处理工具中进行处理， 得到针对所述业务数 据的作业配置模板； 根据所述作业配置模板， 导出大数据ETL作业配置文件； 所述大数据ETL作业配置文件 用于配置针对所述 业务数据的ETL作业操作。 2.根据权利要求1所述的方法， 其特征在于， 所述数据格式信息包括数据接口信息； 所 述将所述数据格式信息输入预先配置的数据处理工具中进 行处理， 得到针对所述业务数据 的作业配置模板， 包括： 将所述数据接口信 息输入预先配置的数据处理工具， 由所述数据处理工具对所述数据 接口信息进行配置， 得到数据接口配置信息； 所述数据接口配置信息为用于从所述业务数 据中选择多张数据表进行组合， 或选择多个分区和/或分桶字段进行组合的配置信息 。 3.根据权利要求2所述的方法， 其特征在于， 所述数据格式信息还包括接口列表信息； 所述将所述数据格式信息输入预先配置的数据处理工具中进 行处理， 得到针对所述业务数 据的作业配置模板， 还 包括： 将所述接口列表信 息输入所述数据处理工具， 由所述数据处理工具对所述接口列表信 息进行配置， 得到接口列表配置信息； 所述接口列表配置信息为用于对所述业务数据进行 数据权限控制， 或过 滤所述业务数据中的无效数据的配置信息 。 4.根据权利要求3所述的方法， 其特征在于， 所述接口列表信 息包括用于配置接口的信 息； 所述数据 处理工具包括贴源层配置模块； 所述将所述接口列表信息输入所述数据 处理 工具， 由所述数据处理工具对所述接口列 表信息进 行配置， 得到可用接口列 表配置信息， 包 括： 将用于配置接口的信 息导入贴源层配置模块， 由所述贴源层配置模块接口导出贴源层 配置信息； 所述贴源层配置信息包括针对外表进行数据加载的配置信息、 针对内表进行数 据加工的配置信息、 数据质量管理配置信息、 数据获取配置信息、 接口导出配置信息中的至 少一种。 5.根据权利要求4所述的方法， 其特征在于， 所述接口列表信 息包括用于配置数据模型 的信息； 所述数据 处理工具包括共性加工层配置模块； 所述将所述接口列表信息输入所述 数据处理工具， 由所述数据 处理工具对所述接口列表信息进行配置， 得到可用接口列表配 置信息， 还 包括： 将用于配置数据模型的信 息导入共性加工层配置模块， 由所述共性加工层配置模块接 口导出共性加工层配置信息； 所述共性加工层配置信息包括数据共性加工配置信息和接口 结构配置信息中的至少一种。 6.根据权利要求5所述的方法， 其特征在于， 所述接口列表信 息包括用于接口订 阅的信 息； 所述数据 处理工具包括接口订阅管理配置模块； 所述将所述接口列表信息输入所述数 据处理工具， 由所述数据 处理工具对所述接口列表信息进行配置， 得到可用接口列表配置 信息， 还包括： 将用于接口订阅的信 息导入接口订 阅管理配置模块， 由所述接口订阅管理配置模块导 出接口订阅管理配置信息； 所述接口订阅管理配置信息包括数据卸载配置信息和数据分发权　利　要　求　书 1/2 页 2 CN 114610803 A 2配置信息中的至少一种。 7.根据权利要求1所述的方法， 其特征在于， 在所述将所述数据格式信 息输入预先配置 的数据处 理工具中进行处 理， 得到目标作业配置模板的步骤之前， 还 包括： 根据预先定义的校验逻辑， 对所述数据格式信息中用于进行配置的信息进行 校验； 若所述用于进行配置的信息不符合所述校验逻辑， 则发出 校验失败的提 示信息； 若所述用于进行配置的信 息符合校验逻辑， 则进行将所述数据格式信 息输入预先配置 的数据处 理工具中进行处 理， 得到目标作业配置模板的步骤。 8.一种数据处 理装置， 其特 征在于， 所述装置包括： 信息获取模块， 用于获取针对业 务数据的数据格式信息； 数据处理模块， 用于将所述数据格式信息输入预先配置的数据处理工具中进行处理， 得到针对所述 业务数据的作业配置模板； 导出模块， 用于根据所述作业配置模板， 导出大数据ETL作 业配置文件； 所述大数据ETL 作业配置文件用于配置针对所述 业务数据的ETL作业操作。 9.一种电子设备， 其特征在于， 包括： 处理器、 存储器及存储在所述存储器上并能够在 所述处理器上运行的计算机程序， 所述计算机程序被所述处理器执行时实现如权利要求 1‑ 7中任一项所述的数据处 理方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储计算机程 序， 所述计算机程序被处理器执行时实现如权利要求 1至7中任一项 所述的数据处理方法的 步骤。权　利　要　求　书 2/2 页 3 CN 114610803 A 3