暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GBASE再助内蒙古发改委征信二期

GBASE数据库 2022-06-27
352

内蒙古自治区征信平台二期数据中心,针对数据体系中的不同数据,分别设计不同的数据库,形成征集交换数据库、信用互联网数据库和信用专网数据库,为数据分析和数据服务提供数据基础。

在保障征信平台日常数据请求的基础上支持征集交换中心数据库跟信用专网数据库之前的数据服务切换功能,为海量历史数据提供可靠的备份和恢复机制。

内蒙古自治区发改委征信平台二期数据库建设的目标和原则如下:

开放型:开放与标准化的IT系统是企业赖以生存发展的基础。本方案基于业界开放式标准,系统各个要素尽可能采用基于x86PC Server的服务器硬件。并在x86 PC Server上使用基于Linux的OS操作系统;并在应用层引入基于JavaEE的B/S应用架构。

 高扩展性:本方案能够满足在线硬件扩展,能够满足业务的发展需求,灵活适应未来数据量的增长。在数据层采用基于面向基于OLTP的GBase8t事务型数据库管理系统,面向分析型应用的的GBase8a MPP数据库,使系统整体能够适应数据不断增长的各种变化和发展。

以数据为中心:根据数据中心的不同数据使用需求分为征集交换数据库,前置数据采集库、信用互联网数据库、信用专网数据库。本案从数据的性质分类出发,将数据分为核心业务数据,分析型数据。针对不同种类数据考虑了一个异构的数据层管理和存储规划。用稳定的信息模型,和数据管理和存储策略,支撑面向客户需求和市场需求的灵活性要求。

模块化设计:采用一个体系结构,多个应用系统的模式进行规划建设。从功能上,将面向运营服务支持的“交易型”系统与面向分析的“分析性”系统相分离,并各自再进一步划分子系统。从层次上,将系统结构分为:核心数据 库、前置数据库,交换数据库,数据抽取加载工具。使结构之间成为一个松耦合构造。

高可用性:采用硬件和软件的成熟的高可用技术,保证系统高可用性。在实现依靠系统冗余提高可用性的同时,综合平衡可靠性,投资额,使用率这3者之间的相互影响,采用最适的高可用策略。

高性价比原则:基于x86架构PC Server硬件构成和存储层上的高效压缩算法,节省硬件投资和存储设备投资,实现低使用成本,并可通过智能索引等系统自律技术实现系统自动优化,实现低维护成本。

技术先进性原则:即使经过3-5年,系统的设计思想不会过时。

 

系统逻辑架构


系统整体分为数据接入与处理、数据存储和计算、数据共享及应用接口三部分。

1)    数据接入与处理

采用ETL前置数据库入库方式,实现从业务数据源的增量数据采集加载至GBase 8a库。业务数据源(征信一期核心数据库)主要通过ETL前置数据库进行增量入库的加载。

2)   数据存储和计算

通过GBase 8a MPP Cluster并行数据库系统实现对各系统使用数据的存储,并对外提供复杂关联计算和深度分析与挖掘、数据汇总、即系查询等数据计算和处理能力。GBase 8a MPP Cluster并行数据库系统采用ShareNothing+MPP的分布式扁平架构,该架构具备极强的扩展能力,使GBase 8a 不仅可以获得PB级数据存储能力,还实现了高性能的分布式数据处理,实现大并发和大规模数据复杂查询的秒级响应。此外,集群的多副本机制通过数据冗余保证了集群的高可用特性。

3)    数据共享及应用接口

对外提供标准的JDBC、ODBC、.NET、CAPI标准接口,为上层应用系统提供标准数据访问接口,并为BI工具、ETL工具等第三方软件提供标准的关系型数据库数据源。对于其他系统的数据共享,提供统一提取数据的接口。


该项目的成功运行,招式着GBase 数据库支持业务,实现数据资源统一管理,全面提升数据服务能力,充分挖掘数据价值,满足发改委及其下属委办厅局、项目风险管控、征信资源管理及外部监管需要,推动征信数据治理,全面提升发改委征信体系数据资源管理水平和征信数据资产综合应用能力。长期稳定运行是国产数据仓库质量、服务过硬的有力证明,项目平稳运行时间长(超过1000天)。系统安全稳定,具备7×24小时不间断提供服务的能力,保障上层业务系统稳定运行;需要具备强大的备份和容灾能力,能够保障数据本身的安全,杜绝因故障引起的任何数据丢失的可能。是通过全国产化平台保证征信数据安全方面的有力证明。其高性能、系统架构高可扩展特性,保证平台接入更全面的业务数据,满足海量数据的分析需求; 其高压缩比特性,为用户提供完备压缩态存储管理海量数据的能力,进一步降低客户数据仓库建设的成本;产品成熟、功能强大、附加值高,主要体现在如下方面:

提速:查询分析类性能提升10-100倍

省盘:存储空间节省50%-90%

省钱:软硬件投资节省50-90%,节电30%-50%

成云:支持云计算架构,横向扩展能力

全文:集成全文检索,管理半结构化数据(云文件)

转非:非结构化数据的结构化提取和转化

全数据:统一处理结构化、半结构化和非结构化数据

可视化:GBase BI,可视化的分析平台

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论