暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

南大通用GBase UP统一数据平台系统

郑小雯 2023-03-27
237

南大通用统一数据平台系统,简称:GBase UP,它是融合了 GBase 8a MPP、 GBase 8t、开源 Hadoop 生态系统的大数据平台产品,兼顾大规模分布式并行数 据库集群系统、稳定高效的事务数据库,以及 Hadoop 生态系统的多种大规模结 构化与非结构化数据处理技术,能够适应 OLAP、OLTP 和 NOSQL 三种计算模型的 业务场景,是构建企业数据平台的重要基础设施。

GBase UP 以成熟的 GBase 8a MPP 商用数据库为基础,扩展出针对 Hive & Spark、HBase、GBase 8t 的计算和存储引擎,建立引擎之间高效数据交换通道, 构建了对外统一,对内可扩展的集群数据库产品。 对于企业而言,GBase UP 建立了一个多种数据存储和混搭计算的基础设施, 将存储资源和计算资源合理调配,破除数据竖井,通过统一接口完成数据的加 工生产,从而创造更多的数据价值;对于信息集成厂商,GBase UP 提供了能够 处理结构化数据和非结构化数据、关系型和非关系型数据的一站式解决方案。 对于最终用户和 App 开发者而言,GBase UP 为用户提供经典的数据库接入方式 和结构化查询语言,从而大大降低维护和开发成本。 与数据网关、数据库代理&路由、中间件等方案不同:GBase UP 是一款分 布式数据库集群产品,对外构建完整的 Schema 定义和数据库访问控制,能够对 用户数据库访问进行解析、优化、数据缓冲等操作,完成透明高效的中间数据 存储、关联、聚合等操作,对内构建 Gbase 8a MPP、GBase 8t、Hadoop 之间的 内部数据传输协议,实现高效的数据交换,构建统一的监视和控制系统,进行源调度。为用户提供高效的、易管理的、总体拥有成本低的产品和服务。 借助 GBase UP,企业可以在实施大数据项目时实现四减二增,四减:在项 目前期避免陷入 MPP 数据库和 Hadoop 生态的选型困难,减少决策成本;在系统 业务信息架构阶段,借助统一模式,减少业务建模成本;在应用开发阶段,开 发者采用标准的 ODBC、JDBC 等传统方式访问平台,减少开发成本;在项目交付 后,通过统一的监控系统,减少运营成本;二增:破除数据孤岛,打破“竖井” 型数据中心间的隔离,实现数据增值;融合 MPP 和 Hadoop 各自计算能力,实现 计算增值。


GBase UP 继承了 GBase 8a MPP 的 Shared Nothing 节点对等的扁平架构, 能够运行在普通的 X86 服务器上,同时还具备以下技术特征: 1) 统一的标准化接入:支持 C API、ODBC、JDBC、ADO.NET 等接口规范。 2) 统一的标准化查询语言:支持 SQL92标准,并在此基础上支持 HiveHQL、 GBase 8t 的 SQL 扩展,DDL 部分支持方言,DML 尽可能采用标准 SQL。 3) 统一的数据视图:通过统一的元数据管理,将 OLTP、OLAP、Hadoop 数据库可以看作一个视图,供数据建模工程师构建统一的信息的生产 流程。 4) 统一安全:基于 GBase 8a MPP 的安全体系,扩展对其他引擎的安全认 证,避免了多种认证模式,弥补如 HIVE 等对安全实现不足的短板。 5) 统一事务:支持跨异构集群的事务管理。 6) 统一调度:透明实现跨引擎关联查询。 7) 统一日志:增加保存日志到 hadoop 的机制,供诸多分析工具访问。8) 统一监控:监视 UP 平台的各个服务器的软硬件指标。 9) 高效数据交换:内置引擎之间建立高速多对多的内部通道。 10) 高可扩展性,GBase 8a MPP、GBase 8t、Hive 是 GBase UP 的内置引 擎,还可以通过开发对应的扩展插件实现各层的扩展。 11) 数据生命周期管理:根据数据在不同时期的存储和计算特征,实现跨 异构引擎的数据分区功能,实现数据透明的跨分区访问和在线迁移。 12) 增强的管理能力:数据通过副本提供冗余保护,自动故障探测和管理, 自动同步元数据和业务数据。提供图形化工具,对 GBase 8t、GBase 8a MPP 和 Hadoop 生态提供统一的管理工作

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论