项目背景
搭建政府大数据管理平台体系,对于实现数据交换、开放公共信息资源、推进数据共享和业务协同具有十分重要的现实意义。市级大数据局统筹大数据基础设施建设,负责全市电子政务云平台、电子政务外网等基础设施的规划、建设、协调、管理等工作。然而,在实际推进数据平台建设过程中面临着以下 4 大难题。
客户面临的挑战
1、海量数据存储困难
国外开源产品稳定性欠佳,传统数据库无法支撑单表过亿的政务数据汇聚压力;
2、数据库间相互独立无法共享
各委办局数据库独立,无法实现数据的共享,数据汇聚与计算得不到有效支持;
3、多租户资源无法有效隔离
无法满足各个区县委办局的数据资源隔离、账户隔离,数据安全得不到充分保障;
4、难以支撑 HTAP 场景需求
OLTP 事务处理读写性能无法满足数据日益增长的现状;数据处理与分析的需求逐渐增加,导致现有数据库难以支撑 OLAP 业务分析场景;
解决方案
1、替换为分布式架构数据库
架设 KaiwuDB 满足了用户高性能计算、分析、交易等场景需求,保障各个区县委办局海量数据存储、数据汇聚以及数据分析功能模块的顺利开展;
2、多租户资源隔离建设
多租户资源隔离建设,基于一套集群划分实例,分隔原始库、历史库、分析库三套业务,保证在不同租户间数据资源隔离,多租户资源独享,保证数据的安全;
3、加强多节点运算能力
同一套分布式数据库集群具备行存引擎和列存引擎,具有事务处理和实时数据分析能力,有效提升数据库 HTAP 场景性能。

客户价值
1、解决各个委办局在 TP 场景下无法支撑数据汇入高并发的问题,有效提升大批量数据高速写入效率,避免发生因数据库承载能力有限带来的不可用场景。通过多租户划分,实现多租户管理和数据资源隔离,达成多租户之间资源独享,保证数据的安全性;
2、针对结构化资源和非结构化资源,通过数据映射、数据裁剪、数据过滤的工具化手段进行数据处理,让数据运用更灵活,让数据共享更便捷,满足用户多元化需求,降低开发管理难度。




