广东省水利数据中心

案例概述

借助东软集团数据交换产品成功实现数据库之间的底层交换。

需求

广东省水利数据中心承载着数据的统一标准、集中管理及信息共享交换等任务。数据交换主要侧重于数据库之间的底层交换,完成数据中心数据向其他上下级水利行业单位(地市级水务局、省水文局及水利部等)或外围业务系统提供数据服务。同时,提供省三防综合数据库向数据中心的交换功能迁移功能,完成省三防综合数据库的平稳过渡。

解决方案

整体方案采用东软集团数据交换平台提供数据集成服务,实现各异构数据库数据快速集成,兼容各种常用形式的数据源。

优势

系统采用SaCa DataExchange产品平台作为省厅与各地市的数据底层交换平台,实现“省级牵头、分级建设、多层维护、全面受益”的目标,为数据维护和更新提供畅通路径。

客户介绍

广东省水利厅主要负责保障水资源的合理开发利用;负责生活、生产经营和生态环境用水的统筹兼顾和保障;负责水资源保护、节约用水、管理全省水文等工作;负责组织、协调、监督、指挥全省防汛防旱防风和防低温雨雪冰冻工作;负责防治水土流失、重大涉水违法事件的查处,协调、仲裁跨地级以上市水事纠纷等工作;同时,负责水利科技工作,开展水利对外交流与合作,组织开展水利行业质量监督工作,负责管理对香港供水业务和指导对澳门供水工作。

面临挑战

广东省水利厅数据中心项目主要是建立数据中心与省厅既有业务系统数据库、数据中心与分中心、数据中心与各地市、厅直属单位现有数据库(含三防指挥系统综合数据库)之间数据库层面的数据交换机制,实现“省级牵头、分级建设、多层维护、全面受益”的目标,为数据维护和更新提供畅通路径。

为实现上述建设目标,东软集团在实际建设中需要考虑以下实施挑战:

1、 数据量大:实时雨水情目前有过亿的数据,而且不断增长,每小时增长量为5000——7000左右;

2、 实时要求高:实时雨水情数据的特点,是整点数据(大部分由遥测系统产生,少部分人工数据)。即数据在整点到达后的20分钟内,需同步全省所有水利单位(近40个数据库节点)。交换频率为5分钟。

3、 数据双向交换:例如数据中心交换给东莞三防,同时东莞三防也有数据需交换到数据中心。该双向交换式相同数据表的双向交换。需解决同一条数据重复性交换问题(即A点交换给B点,就要保障B点不能将同一条数据交换给A点)

4、 数据整合业务较复杂:由于数据来源比较多,各来源数据存在重叠,中间存在业务数据整个规则。复杂

5、 数据库异构:数据结构不尽相同,涉及到某一数据表的数据来源多个数据表的组合。

6、 实现方式:交换模式采用库到库,由于是采用1台服务器进行交换。交换时的并发量非常大,同时也对数据库造成极大的压力。

7、 数据类型多:数据库表、大字段、文件数据(通过FTP)

解决方案

整体方案采用东软数据交换平台提供数据集成服务,实现各异构数据库数据快速集成,兼容各种常用形式的数据源,针对水利局各类数据源如数据库、文件等提供解析、同步上传至数据中心;针对异构数据库的数据通过交换平台提供的抽取、转换和导入等功能,完成数据的处理工作;交换平台保障各个数据库之间交互数据的可靠传输、保障数据完整、可靠、高效地传输到数据中心库中,为广东省水利数据中心建设提供了坚实的技术和产品保证。

建设后的省三防数据交换模式:

效果

系统采用SaCa DataExchange产品平台作为省厅与各地市的ETL(数据抽取、转换、加载)工具,建立数据中心与省厅既有业务系统数据库、数据中心与分中心、数据中心与各地市、厅直属单位现有数据库(含三防指挥系统综合数据库)之间数据库层面的数据交换机制,实现“省级牵头、分级建设、多层维护、全面受益”的目标,为数据维护和更新提供畅通路径。

相关产品

  • SaCa DataExchange
2019-05-06T17:33:14+00:00