(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210134131.3 (22)申请日 2022.02.14 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 林丹　沈贇　刘雪晶　阳兵　 (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 专利代理师 黄海英 (51)Int.Cl. G06F 16/178(2019.01) G06F 16/182(2019.01) G06F 16/172(2019.01) G06F 16/16(2019.01) G06F 16/27(2019.01)G06F 16/242(2019.01) G06F 16/23(2019.01) (54)发明名称 数据同步方法及其装置、 电子 设备及存储介 质 (57)摘要 本发明公开了一种数据同步方法及其装置、 电子设备及存储介质， 涉及大数据技术领域， 其 中， 该同步方法包括： 采集预设分布式集群系统 的审计日志， 提取发生数据变化的数据处理语句 所操作的目标表和存储数据分区， 比较目标表和 存储数据分区下的各个数据文件的文件更新时 间， 在文件更新时间触发数据同步指令的情况 下， 将存在更新数据的存储数据分区下的数据写 入目标数据库。 本发明解决了相关技术中当数据 发生变化时， 无法自动触发数据同步的技术问 题。 权利要求书2页 说明书11页 附图5页 CN 114490554 A 2022.05.13 CN 114490554 A 1.一种数据同步方法， 其特 征在于， 包括： 采集预设分布式集群系统的审计日志， 其中， 所述审计日志中每个数据处理语句对应 有语句类型， 所述语句类型包括： 发生数据变化和未发生数据变化； 提取发生数据变化的所述数据处 理语句所操作的目标表和存 储数据分区； 比较所述目标表和所述存 储数据分区下的各个数据文件的文件更新时间； 在所述文件更新 时间触发数据同步指令的情况下， 将存在更新数据的存储数据分区下 的数据写入目标 数据库。 2.根据权利要求1所述的方法， 其特征在于， 在采集预设分布式集群系统 的审计日志之 后， 还包括： 按照预设格式对所述审计日志进行分割， 得到每条 所述数据处 理语句的语句标识； 基于所述语句标识， 采集预设数据仓库中所有数据处 理语句的执 行日志； 截取所述执行日志中每条所述数据处理语句的执行内容， 其中， 所述执行内容中至少 包括： 日志完成时间； 按照所述日志完成时间的顺序依次将所述数据处理语句写入预设排序队列中， 其中， 所述预设排序队列用于顺序分析每 个所述数据处 理语句的语句类型。 3.根据权利要求1所述的方法， 其特征在于， 在提取发生数据变化的所述数据处理语句 所操作的目标表和存 储数据分区之后， 还 包括： 基于所述目标表的表标识和所述存储数据分区的区标识， 查询待处理的数据修改清 单； 提取所述数据修改清单中存在修改标识的数据处 理语句的语句执 行结束时间。 4.根据权利要求3所述的方法， 其特征在于， 比较所述目标表和所述存储数据分区下的 各个数据文件的文件更新时间的步骤， 包括： 获取所述目标表和所述存 储数据分区下的各个数据文件的文件同步时间； 在所述语句执行结束时间小于等于所述文件同步 时间的情况下， 确 认所述存在修改标 识的数据处 理语句已同步完成； 在所述语句执行结束时间大于所述文件同步 时间的情况下， 将所述语句执行结束时间 设置为所述文件更新时间。 5.根据权利要求4所述的方法， 其特征在于， 在比较所述目标表和所述存储数据分区下 的各个数据文件的文件更新时间之后， 还 包括： 比较所述文件更新时间与数据同步任务日志表中的最大截至期限， 得到期限比较结 果； 在所述文件更新 时间与数据同步任务日志表中的最大截至期限不相同时， 确 认所述文 件更新时间触发数据同步指令 。 6.根据权利要求1所述的方法， 其特征在于， 在所述文件更新 时间触发数据同步指令的 情况下， 将存在更新数据的存 储数据分区下的数据写入目标 数据库的步骤， 包括： 在所述文件更新时间触发数据同步指令的情况下， 读取数据同步指令中的源集群、 源 表、 源表用户、 目标表、 目标表用户； 采用所述源表中关于所述源表用户的第一用户标识访问所述源集群的目标表下存在 更新数据的存 储数据分区， 以读取分区数据；权　利　要　求　书 1/2 页 2 CN 114490554 A 2将所述目标表下分区字段为所述存在更新数据的存 储数据分区的数据清空； 将所述分区数据写入目标 数据库。 7.根据权利要求6所述的方法， 其特征在于， 在将所述分区数据写入目标数据库之后， 还包括： 获取分区数据写入目标 数据库的结束时间， 得到同步结束时间； 将数据同步任务日志 表中的最大截至期限更新 为所述同步结束时间。 8.一种数据同步装置， 其特 征在于， 包括： 采集单元， 用于采集预设分布式集群系统 的审计日志， 其中， 所述审计日志中每个数据 处理语句对应有语句类型， 所述语句类型包括： 发生数据变化和未发生数据变化； 提取单元， 用于提取发生数据变化的所述数据处理语句所操作的目标表和存储数据分 区； 比较单元， 用于比较所述目标表和所述存储数据分区下的各个数据文件的文件更新 时 间； 写入单元， 用于在所述文件更新时间触发数据同步指令的情况下， 将存在更新数据的 存储数据分区下的数据写入目标 数据库。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质包括存储的计算 机程序， 其中， 在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利 要求1至7中任意 一项所述的数据同步方法。 10.一种电子设备， 其特征在于， 包括一个或多个处理器和存储器， 所述存储器用于存 储一个或多个程序， 其中， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所 述一个或多个处 理器实现权利要求1至7中任意 一项所述的数据同步方法。权　利　要　求　书 2/2 页 3 CN 114490554 A 3