iso file download
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221010815 0.9 (22)申请日 2022.01.28 (71)申请人 青岛海尔科技有限公司 地址 266101 山东省青岛市崂山区海尔路1 号海尔工业园 申请人 海尔智家 股份有限公司 (72)发明人 杨猛  (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 李伟 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/22(2019.01) G06F 16/25(2019.01) G06F 16/18(2019.01)G06F 16/182(2019.01) G06F 9/445(2018.01) (54)发明名称 一种数据质量校验 方法及装置、 存储介质及 电子设备 (57)摘要 本申请提供了一种数据质 量校验方法及装 置、 存储介质及电子设备, 通过数据文件, 获取待 校验数据库表; 其中, 数据文件包括日志文件和 抽取‑转换‑存储ETL任务输出的结果文件, 查找 预设的规则库中与所述待校验数据库表对应的 校验规则, 基于校验规则, 对所述待检验数据库 表进行数据质量校验, 得到校验结果, 存储该校 验结果。 可见, 本申请方案, 通过研究发现数据库 中数据库表的数据均会记录于日志文件和ET L任 务输出的结果文件, 从而, 通过日志文件和ETL任 务输出的结果文件, 获取待检验数据库表, 对待 检验数据库表进行数据质量校验, 而无需通过 sql查询的方式, 对数据库中的数据库表进行质 量校验, 从而降低对数据库性能的影响。 权利要求书2页 说明书9页 附图4页 CN 114547003 A 2022.05.27 CN 114547003 A 1.一种数据质量校验方法, 其特 征在于, 包括: 通过数据文件, 获取待校验数据库表; 其中, 所述数据文件包括日志文件和抽取 ‑转换‑ 存储ETL任务输出的结果文件; 查找预设的规则库中与所述待校验数据库表对应的校验规则; 基于所述校验规则, 对所述待检验数据库表进行 数据质量校验, 得到校验结果; 存储所述校验结果。 2.根据权利要求1所述的数据质量校验方法, 其特征在于, 所述通过数据文件, 获取待 校验数据库表, 包括: 遍历预设的规则表, 获取 所述规则表中包括的待校验数据库表的标识信息; 查找数据文件中, 与所述标识信息对应的数据库表; 将所查找到的数据库表确定为待校验数据库表。 3.根据权利要求1所述的数据质量校验方法, 其特征在于, 所述通过数据文件, 获取待 校验数据库表, 包括: 实时监测数据文件中是否 完成对待校验数据库表的写入; 在监测到所述数据文件中完成对待检验数据库表的写入的情况下, 获取所述数据文件 中的所述待校验数据库表。 4.根据权利要求1所述的数据质量校验方法, 其特征在于, 所述基于所述校验规则, 对 所述待检验数据库表进行 数据质量校验, 得到校验结果之后, 还 包括: 确定所述校验结果所属的告警区间; 确定预设的与目标告警区间对应的告警方式; 其中, 所述目标告警区间为所述校验结 果所属的告警区间; 基于所确定的告警方式进行告警。 5.根据权利要求1所述的数据质量校验方法, 其特征在于, 所述基于所述校验规则, 对 所述待检验数据库表进行 数据质量校验, 得到校验结果, 包括: 查找所述 规则库中与所述校验规则对应的插 件信息; 调用所述插件信息对应的校验插件, 对所述待检验数据库表进行数据质量校验, 得到 校验结果。 6.一种数据质量校验 装置, 其特 征在于, 包括: 获取单元, 用于通过数据文件, 获取待校验数据库表; 其中, 所述数据文件包括日志文 件和抽取 ‑转换‑存储ETL任务输出的结果文件; 查找单元, 用于查找预设的规则库中与所述待校验数据库表对应的校验规则; 校验单元, 用于基于所述校验规则, 对所述待检验数据库表进行数据质量校验, 得到校 验结果; 存储所述校验结果。 7.根据权利要求6所述的数据质量校验 装置, 其特 征在于, 所述获取 单元具体用于: 遍历预设的规则表, 获取 所述规则表中包括的待校验数据库表的标识信息; 查找数据文件中, 与所述标识信息对应的数据库表; 将所查找到的数据库表确定为待校验数据库表。 8.根据权利要求6所述的数据质量校验 装置, 其特 征在于, 所述获取 单元具体用于:权 利 要 求 书 1/2 页 2 CN 114547003 A 2实时监测数据文件中是否 完成对待校验数据库表的写入; 在监测到数据文件中完成对待检验数据库表的写入的情况下, 获取所述数据文件中的 所述待校验数据库表。 9.一种存储介质, 其特征在于, 所述存储介质存储有指令集, 其中, 所述指令集被处理 器执行时实现如权利要求1~5任意 一项所述的数据质量校验方法。 10.一种电子设备, 其特 征在于, 包括: 存储器, 用于存 储至少一组指令集; 处理器, 用于执行所述存储器 中存储的指令集, 通过执行所述指令集实现如权利要求1 ~5任意一项所述的数据质量校验方法。权 利 要 求 书 2/2 页 3 CN 114547003 A 3

.PDF文档 专利 一种数据质量校验方法及装置、存储介质及电子设备

文档预览
中文文档 16 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种数据质量校验方法及装置、存储介质及电子设备 第 1 页 专利 一种数据质量校验方法及装置、存储介质及电子设备 第 2 页 专利 一种数据质量校验方法及装置、存储介质及电子设备 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 16:01:28上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。