(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210162512.2 (22)申请日 2022.02.22 (71)申请人 华能招标有限公司 地址 102200 北京市昌平区北七家七北路 10号华能人才创新创业中心 (72)发明人 袁建　周子岩　赵可　 (74)专利代理 机构 上海合进知识产权代理事务 所(特殊普通 合伙) 31324 专利代理师 季锐 (51)Int.Cl. G06F 8/60(2018.01) G06F 9/445(2018.01) G06F 16/25(2019.01) G06F 16/28(2019.01) (54)发明名称 一种用于云平台大 数据储存优化分析系统 (57)摘要 本发明涉及云平台大数据技术领域， 且公开 了一种用于云平台大数据储存优化分析系统， 包 括以下： 搭建数据集成平台； 建立数据仓库； 部署 BI数据分析平台； 搭建系统底层框架， 与事务型 数据库系统通过锁机制来控制 并发访问的机制 不同， GPDB使用多版本控制保证数据一致性， 这 意味着在查询数据库时， 每个事务看到的只是数 据的快照， 其确保当前的事务不会看到其他事务 在相同记录上的修改， 据此为数据库的每个事务 提供事务隔离， 在迸发控制方面， 使用MVCC而不 是使用锁机制的最大优势是， MVCC对查询、 读的 锁与写的锁 不存在冲突， 并且读与写之间不互相 阻塞。 权利要求书3页 说明书8页 附图2页 CN 114546415 A 2022.05.27 CN 114546415 A 1.一种用于云平台大 数据储存优化分析系统， 其特 征在于： 包括以下步骤： S1、 搭建数据集成平台， 用于采用图观ETL集成平台实施部署， 其中包含Kettle和图观 IPAS产品； S2、 建立数据仓库， 用于采用开源GreenPlum集群作为底层数据库， 结合图观数据仓库 解决方案实施； S3、 部署BI数据分析平台， 用于采用图观 AG产品实施部署； S4、 搭建系统底层框架， 用于采用图观SEA 2企业计算平台作为系统底层框架。 2.根据权利要求1所述的一种用于云平台大数据储存优化分析系统， 其特征在于： 根据 步骤S1中所提出的， 包括七项， 具体如下： 第一项： 数据集成平台建设目标， 是将分散的业务数据集成整合， 打通数据孤岛， 整合 存储数据； 第二项： 数据集成平台功能实现， 平台使用采用图观ETL集成平台实施搭建， 平台高度 集成KETTLE和图观IPAS产品， 平台支持JDBC数据库视图、 API接口、 FILE文件三种方式连接 生产系统， 并进 行数据连通性校验， 通过KETTLE连接 关系型数据进行非实时批量接入， IPAS 连接API接口进 行实时数据接入， 根据数据量级和性质， 开 发脚本时可以自由选择增量或者 全量抽取 数据； 第三项： 统一的数据集成操作， 数据集成工作都在数据集成平台中完成， 无需另外编写 程序进行数据抽取工作， 平台有一套数据集成标准和 规范， 客户经过一定的培训即可自行 完成一部分数据集成工作， 大部分操作为图形化操作， 低代码进行 数据集成工作； 第四项： 数据源管理， 平台提供完整的数据源管理功能， 数据源中存储了所有建立数据 库连接的信息， 通过提供正确的数据源名称， 用户找到相应的数据库连接； 第五项： 数据抽取， 平台拥有丰富的数据抽取组件， 全面覆盖清洗、 转换、 加载的过程， 用户可以灵活搭配组件的组合， 完成数据抽取的工作； 第六项： 数据服务， 平台通过使用IPAS提供API接口、 数据库提供JDBC数据视图、 KETTLE 提供数据文件等方式对业 务系统提供 数据服务； 第七项： 平台具备高效的调度功能， 在开发完相应的任务脚本后， 平台可以根据任务之 间的依赖关系自动进行数据收集、 数据获取、 数据 处理、 数据分析 的流程， 调用转换脚本结 合任务池模块， 实现在执行任务前先从任务池取得相 应时间戳， 根据获取 的时间戳抽取源 数据。 3.根据权利要求1所述的一种用于云平台大数据储存优化分析系统， 其特征在于： 根据 步骤S2中所提出， 包括以下七类： 第一类： 数据仓库建设目标， 通过搭建多节点GreenPlum分布式高可用数据库， 建立数 据仓库和业 务数据主题， 为 跨域分析， 为BI分析打基础； 第二类： 数据仓库层级， 用GREENPLUM高可用集群作为数据仓库底层数据存储， 采用混 合的数据仓库分层方法将数据仓库构建为ODS层、 DW层、 DM层三个层级， 使用GREENPLUM高可 用集群作为数据仓库底层数据存储， 采用混合的数据仓库分层方法将数据仓库构建为ODS 层、 DW层、 DM层三个层级； 其中： ODS层(OPERATIONALDATASTORE操作数据)：权　利　要　求　书 1/3 页 2 CN 114546415 A 2ODS层主要是存储生产系统数据， 总体保持原结构不变， 可以对一部分冗余数据进行剔 除； DW层(DATAWARE HOUSE数据仓库)： DW层主要是对ODS层数据进行进一步处理， 通过数据建模将数据拆分为维度数据和事 实数据， 同时将粒度与OD S层保持大致 一致； DM层(DATAMARKET数据集市)： DM层主要是对DW层数据进一步抽象升华， 加强数据之间的联系， 并且将粒度和数据量 压缩， 提高系统响应速度， 降低系统负载； 第三类： 底层 数据库搭建， GreenPlum高可用集群在容量、 扩展性、 安全和响应速度上都 比传统的单实例数据库 或者主从结构数据库有着明显的优势， 数据仓库采用GreenPlum高 可用集群作为底层数据库； 第四类： 业务分析， 业务分析工作是数据仓库搭建的重要环节， 关系到数据仓库中的数 据后期是否满足 企业的要求； 第五类： 合理的数据分层， 采用混合的数据仓库分层架构方法， 这种架构采用了CIF架 构和MD架构相结合的设计方法构建数据仓库， 按照 “松耦合、 层次化 ”的基本架构原则进行 实施， 基本思路为总 体结构为CIF， 即分为ODS层、 DW层、 DM层， 其中DW层采用MD结构， 用事实 表和维度表构建DW层； 第六类： ODS层汇聚业务系统数据， ODS层是最接近数据源中数据的一层， 数据源中的数 据， 经过抽取、 洗净、 传输之后， 装 入本层； 数据仓库在该层将SAP(ERP)， DMS(经销商管理系统)， WMS(仓储管理系统)， OA(办公系 统)， 费控系统， EHR(人力系统)， EAGLE(客户管理系统)， DDI(流向接口数据)， LIMS(实验室 信息管理系统)， FONE(财务预算)等业务系统的数据增量或全量接入到数据仓库中， 为后续 BI分析和数据服 务提供支持； 第七类： DW层分析维度， 从ODS层中获得的数据按照主题建立各种数据模型， 数据仓库 在该层覆盖企业业务的分析维度， 包含但不限于会计科目、 成本中心、 项目及WBS主 数据、 经 销商、 产品、 物料、 组织， 岗位、 员工、 医院、 DTP药房、 医生、 讲者、 供应商、 客户、 渠道、 辖区、 医 院、 仓库。 4.根据权利要求1所述的一种用于云平台大数据储存优化分析系统， 其特征在于： 根据 步骤S3中所提出的， 包括以下： 1)、 BI数据分析平台建设目标， 通过建设实施BI数据仓库和主数据， 梳理企业的业务数 据， 打通分散的数据孤岛， 形成结构化的数据资产， 从而支撑企业 业务转型， 实现企业战略； 2)、 BI数据分析平台功能架构， 使用图观AG来实施搭建BI数据分析平台， 平台分为五 种， 具体如下： ①、 数据源管理， 其中包括多数据库支撑以及连接池管理； ②、 数据集管理， 其中包括动态SQ L、 支撑拖拽、 结果预览以及支撑变量 替换； ③、 组件管理， 其中包括拖曳式开发、 丰富组件、 指标二次计算、 自定义指标以及样式修 改； ④、 仪表盘管理， 其中包括联动、 跳转、 钻取、 筛 选配置、 自由 的组件布局以及结果预览； ⑤、 系统管理， 其中包括角色管理、 部门管理、 用户管理以及菜单 管理。权　利　要　求　书 2/3 页 3 CN 114546415 A 3