iso file download
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210133671.X (22)申请日 2022.02.14 (71)申请人 北京京东振世信息技 术有限公司 地址 100086 北京市海淀区知春路76号6层 (72)发明人 孙静 (74)专利代理 机构 北京唯智勤实知识产权代理 事务所(普通 合伙) 11557 专利代理师 史立状 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/2457(2019.01) (54)发明名称 数据抽取方法、 装置、 电子设备和计算机可 读介质 (57)摘要 本公开的实施例公开了数据抽取方法、 装 置、 电子设备和计算机可读介质。 该方法的一具 体实施方式包括: 利用守护进程, 检测目标数据 集抽取任务是否完成; 响应于检测到该目标数据 集抽取任务未完成, 确定目标时间戳在第一时长 内是否发生变化, 其中, 该目标时间戳为该目标 数据集抽取任务启动或在执行该目标数据集抽 取任务过程中从数据库查询目标数据集的时间 戳; 响应于确定该目标时间戳在该第一时长内未 发生变化, 再次执行该目标数据集抽取任务, 以 及对该目标时间戳进行更新。 该实施方式可以快 捷、 高效地实现目标数据集的抽取。 权利要求书2页 说明书13页 附图4页 CN 114647652 A 2022.06.21 CN 114647652 A 1.一种数据抽取 方法, 包括: 利用守护进程, 检测目标 数据集抽取任务是否 完成; 响应于检测到所述目标数据集抽取任务未完成, 确定目标时间戳在第 一时长内是否发 生变化, 其中, 所述 目标时间戳为所述 目标数据集抽取任务启动 或在执行所述目标数据集 抽取任务过程中从数据库查询目标 数据集的时间戳; 响应于确定所述目标时间戳在所述第 一时长内未发生变化, 再次执行所述目标数据集 抽取任务, 以及对所述目标时间戳进行 更新。 2.根据权利要求1所述的方法, 其中, 所述再次执 行所述目标 数据集抽取任务, 包括: 将第一目标 数据库确定为所述目标 数据集的查询数据源以查询所述目标 数据集; 响应于确定所述第 一目标数据库对应的第 一目标数据集查询失败次数达到第 一数目, 以及各次 目标数据集查询的任务版本信息相同, 将第二目标数据库确定为所述目标数据集 的查询数据源以查询所述目标 数据集; 响应于确定所述第 二目标数据库对应的第 二目标数据集查询失败次数小于第 二数目, 以及各次 目标数据集查询的任务版本信息相同, 从所述第二目标数据库中抽取所述目标数 据集, 以及将所述目标 数据集发送至目标消息队列。 3.根据权利要求2所述的方法, 其中, 所述方法还 包括: 对所述目标 数据集中的每 个数据添加主键信息, 得到添加后的数据集; 将所述添加后的数据集的数据量确定为第 一数据量, 以及将所述目标消息队列中目标 数据集的数据量确定为第二数据量; 响应于所述第一数据量 等于所述第二数据量, 对所述添加后的数据集进行 数据校验。 4.根据权利要求3所述的方法, 其中, 所述方法还 包括: 响应于确定所述第一目标数据集查询失败次数小于所述第一数目以及各次目标数据 集查询的所述任务版本信息相同, 继续从所述第一目标 数据库中查询所述目标 数据集。 5.根据权利要求2所述的方法, 其中, 所述方法还 包括: 响应于确定所述第一目标数据库对应的各次目标数据集查询的任务版本信息不相同 或所述第二目标数据库对应的各次目标数据集查询的任务版本信息不相同, 结束 再次执行 的所述目标 数据集抽取任务。 6.根据权利要求3所述的方法, 其中, 所述对所述添加后的数据集进行 数据校验, 包括: 基于所述第 一目标数据库中的数据集或所述第 二目标数据库的数据集, 利用预设数据 校验方法来对所述添加后的数据集进行 数据校验。 7.根据权利要求2所述的方法, 其中, 所述方法还 包括: 针对每次所述第一目标数据库查询所述目标数据集或每次所述第二目标数据库查询 所述目标 数据集, 对更新后的目标时间戳进行 再次更新。 8.根据权利要求2所述的方法, 其中, 通过以下步骤来确定所述第 一目标数据库是否查 询数据集失败: 响应于确定所述第 一目标数据库查询所述目标数据集的查询时长大于第 二时长, 生成 表征所述第一目标 数据库查询所述目标 数据集失败的信息 。 9.根据权利要求2所述的方法, 其中, 通过以下步骤来确定所述第 二目标数据库是否查 询数据集失败:权 利 要 求 书 1/2 页 2 CN 114647652 A 2响应于确定所述第 二目标数据库查询所述目标数据集的查询时长大于第 三时长, 生成 表征所述第二目标 数据库查询所述目标 数据集失败的信息 。 10.一种数据抽取装置, 包括: 检测单元, 被配置成利用守护进程, 检测目标 数据集抽取任务是否 完成; 确定单元, 被配置成响应于检测到所述目标数据集抽取任务未完成, 确定目标时间戳 在第一时长内是否发生变化, 其中, 所述 目标时间戳为所述 目标数据集抽取任务启动 或在 执行所述目标 数据集抽取任务过程中从数据库查询目标 数据集的时间戳; 执行更新单元, 被配置成响应于确定所述目标时间戳在所述第一时长内未发生变化, 再次执行所述目标 数据集抽取任务, 以及对所述目标时间戳进行 更新。 11.一种电子设备, 包括: 一个或多个处 理器; 存储装置, 其上存 储有一个或多个程序, 当所述一个或多个程序被所述一个或多个处理器执行, 使得所述一个或多个处理器实 现如权利要求1 ‑9中任一所述的方法。 12.一种计算机可读介质, 其上存储有计算机程序, 其中, 所述程序被处理器执行时实 现如权利要求1 ‑9中任一所述的方法。权 利 要 求 书 2/2 页 3 CN 114647652 A 3
专利 数据抽取方法、装置、电子设备和计算机可读介质
文档预览
中文文档
20 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助3元下载(无需注册)
温馨提示:本文档共20页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助3元下载
本文档由 人生无常 于
2024-03-18 11:20:11
上传分享
举报
下载
原文档
(685.5 KB)
分享
友情链接
GB/T 19237-2021 汽车用压缩天然气加气机.pdf
GB-T 33746.2-2017 近场通信(NFC)安全技术要求 第2部分:安全机制要求.pdf
YD T 1730-2024 电信网和互联网安全风险评估规范.pdf
T-CI 046—2021 医用锗[68Ge]镓[68Ga]发生器及医用镓[68Ga]放射性药物的质量标准.pdf
GB-T 32077-2015 风力发电机组 变桨距系统.pdf
GB-T 26249-2010 电子工业用气体 硒化氢.pdf
资产管理 数据资产确权登记导则.pdf
WST 416-2013 干扰实验指南.pdf
GB-T 13234-2018 用能单位节能量计算方法.pdf
DB43-T 2746-2023 特种设备使用单位安全风险评估和管控导则 湖南省.pdf
GB-T 38666-2020 信息技术 大数据 工业应用参考架构.pdf
GB-T 32918.2-2016 信息安全技术 SM2椭圆曲线公钥密码算法 第2部分:数字签名算法.pdf
GB-T 30998-2014信息技术软件安全保障规范.pdf
GB-T 4209-2022 工业硅酸钠.pdf
GB-T 34690.6-2017 印刷技术 胶印数字化过程控制 第6部分:数字硬打样.pdf
GM-T 0010-2012 SM2密码算法加密签名消息语法规范.pdf
GB-T 9567-2016 工业用三聚氰胺.pdf
GB-T 24936-2010 全地形车 术语.pdf
GB-T 13217.7-2023 油墨附着力检验方法.pdf
T-SSITS 503—2022 工业应用移动机器人 复合机器人技术规范.pdf
1
/
3
20
评价文档
赞助3元 点击下载(685.5 KB)
回到顶部
×
微信扫码支付
3
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。