iso file download
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210752777.8 (22)申请日 2022.06.29 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 彭建业 帅红波 谢炜琪 黄显超  陈戈 陈志鹏 黄国军 吴华东  何波 李俊华 邓亚丽  (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 杨傥月 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/22(2019.01) G06Q 40/02(2012.01) (54)发明名称 一种数据清理方法及装置 (57)摘要 本申请公开了一种数据 清理方法及装置, 可 应用于分布式领域或金融领域。 该方法包括: 获 取针对多个待清理数据表的清理参数; 每一所述 待清理数据表的清理参数表征针对该待清理数 据表的清理规则; 将多个所述待清理数据表的清 理参数拼接成可供执行的清理命令; 执行所述清 理命令, 按照每一所述待清理数据表的清理规则 对各个所述待清理数据表进行清理。 如此, 在面 对多个待清理数据表时可以将其清理参数进行 拼接, 最后执行拼接成的执行命令, 不需要对每 一个待清理数据表单独新增作业步, 提高了清理 效率, 使得清理流 程更加灵活。 权利要求书2页 说明书9页 附图1页 CN 114969016 A 2022.08.30 CN 114969016 A 1.一种数据清理方法, 其特 征在于, 所述方法包括: 获取针对多个待清理数据表的清理参数; 每一所述待清 理数据表的清 理参数表征针对 该待清理数据表的清理规则; 将多个所述待清理数据表的清理参数拼接成可 供执行的清理命令; 执行所述清理命令, 按照每一所述待清理数据表的清理规则对各个所述待清 理数据表 进行清理。 2.根据权利要求1所述的方法, 其特征在于, 所述获取针对多个待清理数据表的清理参 数, 包括: 将多个待清理数据表的清理参数存 储在数据库表中; 从所述数据库表中获取 所述清理参数。 3.根据权利要求2所述的方法, 其特征在于, 所述将多个待清理参数表的清理参数存储 在数据库表中, 包括: 将数据库表的每一列以待清 理数据表的特征参数命名; 所述特征参数包括: 银行号、 清 理表名称、 清理周期、 清理规则名称、 清理规则参数值、 数据源、 定时 时间; 将同一待清理数据表的清理参数存储到数据库表对应的特征参数下, 使数据库表的同 一行只存 储同一待清理数据表的清理参数。 4.根据权利要求1所述的方法, 其特征在于, 所述将多个所述待清理数据表的清理参数 拼接成可 供执行的清理命令, 包括: 根据存储的数据源通道, 解析获取的清理参数中的数据源; 根据存储的清理规则, 解析获取的清理参数中的清理规则名称; 将同一待清理数据表解析后的数据源、 解析后的清理规则名称和该待清理数据表中的 其他清理参数拼接成可 供执行的清理命令 。 5.根据权利要求4所述的方法, 其特征在于, 所述将同一待清理数据表解析后的数据 源、 解析后的清理规则名称和该待清理数据 表中的其他清理参数拼接成可供执行的清理命 令, 包括: 建立执行表; 所述执行表中包括: 拼接成的清 理命令、 最近的预设次数内的该表的清 理 耗时、 是否 定时和定时 时间; 将同一待清理数据表解析后的数据源、 解析后的清理规则名称和该待清理数据表中的 其他清理参数拼接成可 供执行的清理命令, 使每 个执行表存储一条拼接成得清理命令 。 6.根据权利要求5所述的方法, 其特 征在于, 所述执 行所述清理命令, 按照每一所述待清理数据表的清理规则对各个所述待清理数据表进行清理, 包括: 读取执行表中的拼接成的清理命令、 是否 定时和定时 时间; 根据执行表中是否 定时和定时 时间, 执行所述拼接成的清理命令 。 7.根据权利要求6所述的方法, 其特 征在于, 所述方法还 包括: 在执行所述清理命令时, 记录清理时间; 根据所述清理时间, 优化清理流 程。 8.根据权利要求7所述的方法, 其特征在于, 所述在执行所述清理命令时, 记录清理时 间, 包括: 当所述执 行表中的是否 定时为否 定时时, 在执行所述清理命令时, 统计清理时间;权 利 要 求 书 1/2 页 2 CN 114969016 A 2将所述清理时间记录在执行表中; 所述一张执行表中记录预设次数的该表的清理耗 时。 9.根据权利要求8所述的方法, 其特征在于, 所述根据所述清理时间, 优化清 理流程, 包 括: 计算每张执 行表中记录的预设次数内该 执行表的清理耗时的平均值; 根据所述每张执行表中记录的清理耗 时的平均值和并发数对执行表进行分组, 使每组 执行表之间的总清理耗时差值小于设定阈值; 当同一分组在预设时间内连续出现清理总耗时超过其他分组半小时时, 优化清理流 程, 使并发数增加1; 所述清理总耗时包括: 同一分组中所有执行表的清理耗时的平均值的 和; 所述同一分组中的执 行表的个数 大于1。 10.一种可扩展的数据清理装置, 其特 征在于, 所述装置包括: 获取模块, 用于获取针对多个待清理数据表的清理参数; 每一所述待清理数据表的清 理参数表征针对该待清理数据表的清理规则; 拼接模块, 用于将多个所述待清理数据表的清理参数拼接成可 供执行的清理命令; 执行模块, 用于执行所述清理命令, 按照每一所述待清理数据表的清理规则对各个所 述待清理数据表进行清理。权 利 要 求 书 2/2 页 3 CN 114969016 A 3

.PDF文档 专利 一种数据清理方法及装置

文档预览
中文文档 13 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种数据清理方法及装置 第 1 页 专利 一种数据清理方法及装置 第 2 页 专利 一种数据清理方法及装置 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 06:18:59上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。