iso file download
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221010815 0.9 (22)申请日 2022.01.28 (71)申请人 青岛海尔科技有限公司 地址 266101 山东省青岛市崂山区海尔路1 号海尔工业园 申请人 海尔智家 股份有限公司 (72)发明人 杨猛 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 李伟 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/22(2019.01) G06F 16/25(2019.01) G06F 16/18(2019.01)G06F 16/182(2019.01) G06F 9/445(2018.01) (54)发明名称 一种数据质量校验 方法及装置、 存储介质及 电子设备 (57)摘要 本申请提供了一种数据质 量校验方法及装 置、 存储介质及电子设备, 通过数据文件, 获取待 校验数据库表; 其中, 数据文件包括日志文件和 抽取‑转换‑存储ETL任务输出的结果文件, 查找 预设的规则库中与所述待校验数据库表对应的 校验规则, 基于校验规则, 对所述待检验数据库 表进行数据质量校验, 得到校验结果, 存储该校 验结果。 可见, 本申请方案, 通过研究发现数据库 中数据库表的数据均会记录于日志文件和ET L任 务输出的结果文件, 从而, 通过日志文件和ETL任 务输出的结果文件, 获取待检验数据库表, 对待 检验数据库表进行数据质量校验, 而无需通过 sql查询的方式, 对数据库中的数据库表进行质 量校验, 从而降低对数据库性能的影响。 权利要求书2页 说明书9页 附图4页 CN 114547003 A 2022.05.27 CN 114547003 A 1.一种数据质量校验方法, 其特 征在于, 包括: 通过数据文件, 获取待校验数据库表; 其中, 所述数据文件包括日志文件和抽取 ‑转换‑ 存储ETL任务输出的结果文件; 查找预设的规则库中与所述待校验数据库表对应的校验规则; 基于所述校验规则, 对所述待检验数据库表进行 数据质量校验, 得到校验结果; 存储所述校验结果。 2.根据权利要求1所述的数据质量校验方法, 其特征在于, 所述通过数据文件, 获取待 校验数据库表, 包括: 遍历预设的规则表, 获取 所述规则表中包括的待校验数据库表的标识信息; 查找数据文件中, 与所述标识信息对应的数据库表; 将所查找到的数据库表确定为待校验数据库表。 3.根据权利要求1所述的数据质量校验方法, 其特征在于, 所述通过数据文件, 获取待 校验数据库表, 包括: 实时监测数据文件中是否 完成对待校验数据库表的写入; 在监测到所述数据文件中完成对待检验数据库表的写入的情况下, 获取所述数据文件 中的所述待校验数据库表。 4.根据权利要求1所述的数据质量校验方法, 其特征在于, 所述基于所述校验规则, 对 所述待检验数据库表进行 数据质量校验, 得到校验结果之后, 还 包括: 确定所述校验结果所属的告警区间; 确定预设的与目标告警区间对应的告警方式; 其中, 所述目标告警区间为所述校验结 果所属的告警区间; 基于所确定的告警方式进行告警。 5.根据权利要求1所述的数据质量校验方法, 其特征在于, 所述基于所述校验规则, 对 所述待检验数据库表进行 数据质量校验, 得到校验结果, 包括: 查找所述 规则库中与所述校验规则对应的插 件信息; 调用所述插件信息对应的校验插件, 对所述待检验数据库表进行数据质量校验, 得到 校验结果。 6.一种数据质量校验 装置, 其特 征在于, 包括: 获取单元, 用于通过数据文件, 获取待校验数据库表; 其中, 所述数据文件包括日志文 件和抽取 ‑转换‑存储ETL任务输出的结果文件; 查找单元, 用于查找预设的规则库中与所述待校验数据库表对应的校验规则; 校验单元, 用于基于所述校验规则, 对所述待检验数据库表进行数据质量校验, 得到校 验结果; 存储所述校验结果。 7.根据权利要求6所述的数据质量校验 装置, 其特 征在于, 所述获取 单元具体用于: 遍历预设的规则表, 获取 所述规则表中包括的待校验数据库表的标识信息; 查找数据文件中, 与所述标识信息对应的数据库表; 将所查找到的数据库表确定为待校验数据库表。 8.根据权利要求6所述的数据质量校验 装置, 其特 征在于, 所述获取 单元具体用于:权 利 要 求 书 1/2 页 2 CN 114547003 A 2实时监测数据文件中是否 完成对待校验数据库表的写入; 在监测到数据文件中完成对待检验数据库表的写入的情况下, 获取所述数据文件中的 所述待校验数据库表。 9.一种存储介质, 其特征在于, 所述存储介质存储有指令集, 其中, 所述指令集被处理 器执行时实现如权利要求1~5任意 一项所述的数据质量校验方法。 10.一种电子设备, 其特 征在于, 包括: 存储器, 用于存 储至少一组指令集; 处理器, 用于执行所述存储器 中存储的指令集, 通过执行所述指令集实现如权利要求1 ~5任意一项所述的数据质量校验方法。权 利 要 求 书 2/2 页 3 CN 114547003 A 3
专利 一种数据质量校验方法及装置、存储介质及电子设备
文档预览
中文文档
16 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助3元下载(无需注册)
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助3元下载
本文档由 人生无常 于
2024-03-18 16:01:28
上传分享
举报
下载
原文档
(618.1 KB)
分享
友情链接
JR-T 0185—2020 《商业银行应用程序接口安全管理规范》.pdf
GB-T 32841-2016 金矿石取样制样方法.pdf
GB-T 24564-2009 高炉热风炉节能监测.pdf
信息安全技术 重要数据识别规则.pdf
GB-T 3190-2020 变形铝及铝合金化学成分.pdf
GB-T 28448-2019 信息安全技术 网络安全等级保护测评要求.pdf
GB-T 31499-2015 信息安全技术 统一威胁管理产品技术要求和测试评价方法.pdf
GB-T 39254-2020 增材制造 金属制件机械性能评价通则.pdf
蔷薇灵动 微隔离与零信任实战之路.pdf
易观分析 AIGC产业研究报告2023——语言生成篇pdf.pdf
GB-T 21709.20-2009 针灸技术操作规范 第20部分:毫针基本刺法.pdf
YD-T 4177.8-2023 移动互联网应用程序(APP)收集使用个人信息最小必要评估规范 第8部分:录像信息.pdf
GB-T 26778-2023 汽车列车性能要求及试验方法.pdf
启明星辰 工业物联网网络安全解决方案白皮.pdf
SN-T 1657.1-2007 进出口电动工具检验规程 第1部分:通用要求.pdf
DB35-T 1777-2018 政务数据汇聚 数据集的规范化描述 福建省.pdf
T-GDSCEE 111—2023 舞台灯具跌落试验规范.pdf
T-CEC 675—2022 电化学储能电站安全规程.pdf
GB-T 19536-2015 集装箱底板用胶合板.pdf
GB-T 35536-2017 酵母浸出粉检测方法.pdf
1
/
3
16
评价文档
赞助3元 点击下载(618.1 KB)
回到顶部
×
微信扫码支付
3
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。