(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210188819.X (22)申请日 2022.03.01 (71)申请人 广州观必达数据技 术有限责任公司 地址 510700 广东省广州市黄埔区黄埔大 道东850号1104房 (72)发明人 沈羽翀　缪明宝　何卓彦　潘颖　 (74)专利代理 机构 广州恒成智道知识产权代理 有限公司 4 4575 代理人 刘挺 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/2455(2019.01) G06F 16/25(2019.01) (54)发明名称 水利数据管理系统 (57)摘要 本发明涉及一种水利数据管 理系统， 包括了 高并发网络处理模块、 编解码模块、 数据存储模 块、 数据查询模块、 数据操纵模块和数据控制模 块。 基于此， 通过库表管理机制、 数据管理机制以 及数据缓存机制以弥补大数据的水利数据管理 的不足， 提供满足水利数据实时并发写入以及频 繁查询的需求， 构建兼备高效与轻量化特点的水 利数据管理系统。 同时， 提高水利数据管理系统 的写入速度和查询速度。 权利要求书1页 说明书5页 附图2页 CN 114238362 A 2022.03.25 CN 114238362 A 1.一种水利数据管理系统， 其特 征在于， 包括： 高并发网络处 理模块， 用于处 理接入水利数据的高并发网络； 编解码模块， 用于对客户端或服 务端的水利数据进行编解码； 数据存储模块， 定义有结构文件、 数据文件或数据类型， 用于进行 水利数据的存 储； 数据查询模块， 被配置为执行与水利数据相关的解析程序、 语法树优化程序、 连表、 条 件筛选、 累积计算、 分组计算或排序计算； 数据操纵模块， 被配置为执行与水利数据相关的数据写入、 数据删除或数据更新， 用于 操纵水利数据； 数据控制模块， 被 配置为执 行与水利数据相关的库表文件管理。 2.根据权利要求1所述的水利数据管理系统， 其特征在于， 所述数据文件采用行列混合 存储模式； 所述行列混合存 储模式包括行存 储格式和列存 储格式； 其中， 所述行列混合存 储模式包括 步骤： 所述数据文件的新写入数据采用行存 储格式写入； 在所述行存储格式写入的数据超过预设数据阈值后， 以列存储模式将新写入数据合并 至历史数据中。 3.根据权利要求2所述的水利数据管理系统， 其特 征在于， 所述行存 储格式包括 步骤： 在所述新写入数据小于列簇时， 将所述 新写入数据追加至行存 储文件尾部； 在所述新写入数据大于等于列簇时， 将所述 新写入数据写入列存 储文件中。 4.根据权利要求3所述的水利数据管理系统， 其特征在于， 所述行存储文件尾部包括表 示版本、 行 数、 被删除行 数、 删除标志字节数和删除标志位序列。 5.根据权利要求3所述的水利数据管理系统， 其特征在于， 所述列簇包括存储文件列簇 包括列簇 头和数据列序列； 其中， 所述列簇头类型包括列编号、 类型、 压缩算法代号、 实际位宽、 行数、 非空标志字 节数和字典个数； 所述数据列序列包括字符串类型和数值类型。 6.根据权利要求3所述的水利数据管理系统， 其特征在于， 所述列存储文件尾部包括表 示版本、 每列 列簇数量、 行 数、 被删除行 数、 删除标志字节数和删除标志位序列。 7.根据权利要求1所述的水利数据管理系统， 其特征在于， 所述数据查询模块基于数据 查询语言DQ L。 8.根据权利要求1所述的水利数据管理系统， 其特征在于， 所述数据操 纵模块基于数据 操纵语言DML。 9.根据权利要求1所述的水利数据管理系统， 其特征在于， 所述数据控制模块基于数据 控制语言DCL。 10.根据权利要求1至9任意一项所述的水利数据管理系统， 其特征在于， 所述库表文件 管理包括 步骤： 删除数据库以删除数据库文件夹； 创建数据库以新建数据库文件夹； 删除表以删除表文件夹； 创建表以新建表文件夹并创建STRUCT 文件。权　利　要　求　书 1/1 页 2 CN 114238362 A 2水利数据管理系统 技术领域 [0001]本发明涉及水利技 术领域， 特别是 涉及一种水利数据管理系统。 背景技术 [0002]随着信息化技术的迅猛发展与物联 网时代的来临， 越来越多的水利信息化基础设 施及应用系统， 被应用到水利工程建设与管理、 水行政业务处置等领域中， 水利物联设备上 传的数据越来越大。 与此同时， 随着整个社会(尤其是互联网上)的信息量呈爆炸性增长态 势， 大数据技术应运而生。 将大数据技术引入水利行业， 将其作为水利信息化与智慧化建设 的基础技 术， 成为一种必然的趋势。 [0003]水利信息化涵盖水利工程勘测、 规划、 设计、 施工、 运行管理和维护， 防洪、 水资源 管理、 水土保持等水行政管理等诸多方面。 水利数据形式多样、 种类繁多， 数据总量庞大且 持续高速增长。 例如， 近年来监测设备种类及数量增多， 监测数据跨地区上传频率加快， 使 得采集监测数据量急剧上升； 在防洪管理业务中， 应用水文模型预报、 推演、 调度而产生的 数据量也正迅猛增长； 视频、 图像和文档等非结构化数据大量累计。 [0004]目前， 开源社区为大数据工程师提供了各式各样的软件工具， 比如分布式文件系 统HDFS、 分布式缓存系统Kafka、 分布式内存计算引擎Spark 或数据仓库Hive等。 这些软件工 具提供了多种大数据处理分析解决方案， 但同时也增加了工程师的学习成本和选择合适的 工具的难度。 传统关系 型数据库具有很好的事务性但缺 乏分析数据的高响应性， 而且现有 的大数据软件虽然具备快速的大量数据统计计算能力， 但对数据的实时写入和更新却显得 力不从心， 无法满足水利行业快速写入与快速查询数据的需求。 [0005]由此可见， 传统对水利数据进行 管理的方式还 存在以上缺陷。 发明内容 [0006]基于此， 有必要针对传统对水利数据进行管理的方式还存在的缺陷， 提供一种水 利数据管理系统。 [0007]一种水利数据管理系统， 包括： 高并发网络处 理模块， 用于处 理接入水利数据的高并发网络； 编解码模块， 用于对客户端或服 务端的水利数据进行编解码； 数据存储模块， 定义有结构文件、 数据文件或数据类型， 用于进行水利数据的存 储； 数据查询模块， 被配置为执行与水利数据相关的解析程序、 语法树优化程序、 连 表、 条件筛 选、 累积计算、 分组计算或排序计算； 数据操纵模块， 被配置为执行与水利数据相关的数据写入、 数据删除或数据更新， 用于操纵水利数据； 数据控制模块， 被 配置为执 行与水利数据相关的库表文件管理。 [0008]上述的水利数据管理系统， 包括了高并发网络处理模块、 编解码模块、 数据存储模说　明　书 1/5 页 3 CN 114238362 A 3