iso file download
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210133671.X (22)申请日 2022.02.14 (71)申请人 北京京东振世信息技 术有限公司 地址 100086 北京市海淀区知春路76号6层 (72)发明人 孙静  (74)专利代理 机构 北京唯智勤实知识产权代理 事务所(普通 合伙) 11557 专利代理师 史立状 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/2457(2019.01) (54)发明名称 数据抽取方法、 装置、 电子设备和计算机可 读介质 (57)摘要 本公开的实施例公开了数据抽取方法、 装 置、 电子设备和计算机可读介质。 该方法的一具 体实施方式包括: 利用守护进程, 检测目标数据 集抽取任务是否完成; 响应于检测到该目标数据 集抽取任务未完成, 确定目标时间戳在第一时长 内是否发生变化, 其中, 该目标时间戳为该目标 数据集抽取任务启动或在执行该目标数据集抽 取任务过程中从数据库查询目标数据集的时间 戳; 响应于确定该目标时间戳在该第一时长内未 发生变化, 再次执行该目标数据集抽取任务, 以 及对该目标时间戳进行更新。 该实施方式可以快 捷、 高效地实现目标数据集的抽取。 权利要求书2页 说明书13页 附图4页 CN 114647652 A 2022.06.21 CN 114647652 A 1.一种数据抽取 方法, 包括: 利用守护进程, 检测目标 数据集抽取任务是否 完成; 响应于检测到所述目标数据集抽取任务未完成, 确定目标时间戳在第 一时长内是否发 生变化, 其中, 所述 目标时间戳为所述 目标数据集抽取任务启动 或在执行所述目标数据集 抽取任务过程中从数据库查询目标 数据集的时间戳; 响应于确定所述目标时间戳在所述第 一时长内未发生变化, 再次执行所述目标数据集 抽取任务, 以及对所述目标时间戳进行 更新。 2.根据权利要求1所述的方法, 其中, 所述再次执 行所述目标 数据集抽取任务, 包括: 将第一目标 数据库确定为所述目标 数据集的查询数据源以查询所述目标 数据集; 响应于确定所述第 一目标数据库对应的第 一目标数据集查询失败次数达到第 一数目, 以及各次 目标数据集查询的任务版本信息相同, 将第二目标数据库确定为所述目标数据集 的查询数据源以查询所述目标 数据集; 响应于确定所述第 二目标数据库对应的第 二目标数据集查询失败次数小于第 二数目, 以及各次 目标数据集查询的任务版本信息相同, 从所述第二目标数据库中抽取所述目标数 据集, 以及将所述目标 数据集发送至目标消息队列。 3.根据权利要求2所述的方法, 其中, 所述方法还 包括: 对所述目标 数据集中的每 个数据添加主键信息, 得到添加后的数据集; 将所述添加后的数据集的数据量确定为第 一数据量, 以及将所述目标消息队列中目标 数据集的数据量确定为第二数据量; 响应于所述第一数据量 等于所述第二数据量, 对所述添加后的数据集进行 数据校验。 4.根据权利要求3所述的方法, 其中, 所述方法还 包括: 响应于确定所述第一目标数据集查询失败次数小于所述第一数目以及各次目标数据 集查询的所述任务版本信息相同, 继续从所述第一目标 数据库中查询所述目标 数据集。 5.根据权利要求2所述的方法, 其中, 所述方法还 包括: 响应于确定所述第一目标数据库对应的各次目标数据集查询的任务版本信息不相同 或所述第二目标数据库对应的各次目标数据集查询的任务版本信息不相同, 结束 再次执行 的所述目标 数据集抽取任务。 6.根据权利要求3所述的方法, 其中, 所述对所述添加后的数据集进行 数据校验, 包括: 基于所述第 一目标数据库中的数据集或所述第 二目标数据库的数据集, 利用预设数据 校验方法来对所述添加后的数据集进行 数据校验。 7.根据权利要求2所述的方法, 其中, 所述方法还 包括: 针对每次所述第一目标数据库查询所述目标数据集或每次所述第二目标数据库查询 所述目标 数据集, 对更新后的目标时间戳进行 再次更新。 8.根据权利要求2所述的方法, 其中, 通过以下步骤来确定所述第 一目标数据库是否查 询数据集失败: 响应于确定所述第 一目标数据库查询所述目标数据集的查询时长大于第 二时长, 生成 表征所述第一目标 数据库查询所述目标 数据集失败的信息 。 9.根据权利要求2所述的方法, 其中, 通过以下步骤来确定所述第 二目标数据库是否查 询数据集失败:权 利 要 求 书 1/2 页 2 CN 114647652 A 2响应于确定所述第 二目标数据库查询所述目标数据集的查询时长大于第 三时长, 生成 表征所述第二目标 数据库查询所述目标 数据集失败的信息 。 10.一种数据抽取装置, 包括: 检测单元, 被配置成利用守护进程, 检测目标 数据集抽取任务是否 完成; 确定单元, 被配置成响应于检测到所述目标数据集抽取任务未完成, 确定目标时间戳 在第一时长内是否发生变化, 其中, 所述 目标时间戳为所述 目标数据集抽取任务启动 或在 执行所述目标 数据集抽取任务过程中从数据库查询目标 数据集的时间戳; 执行更新单元, 被配置成响应于确定所述目标时间戳在所述第一时长内未发生变化, 再次执行所述目标 数据集抽取任务, 以及对所述目标时间戳进行 更新。 11.一种电子设备, 包括: 一个或多个处 理器; 存储装置, 其上存 储有一个或多个程序, 当所述一个或多个程序被所述一个或多个处理器执行, 使得所述一个或多个处理器实 现如权利要求1 ‑9中任一所述的方法。 12.一种计算机可读介质, 其上存储有计算机程序, 其中, 所述程序被处理器执行时实 现如权利要求1 ‑9中任一所述的方法。权 利 要 求 书 2/2 页 3 CN 114647652 A 3

.PDF文档 专利 数据抽取方法、装置、电子设备和计算机可读介质

文档预览
中文文档 20 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共20页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据抽取方法、装置、电子设备和计算机可读介质 第 1 页 专利 数据抽取方法、装置、电子设备和计算机可读介质 第 2 页 专利 数据抽取方法、装置、电子设备和计算机可读介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 11:20:11上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。