中国重汽集团在2020年开始构建企业级大数据平台,现有业务涵盖销售、服务、人力资源、车联网、物流和生产等,原平台采用Oracle+Hadoop的双数仓方式构建,DW层主要采用Hadoop的hive+hdfs的离线数据计算的技术路线,部分业务由Oracle承载;DM层主要由Oracle+帆软和Impala+Kudu+帆软的方式对外提供数据服务。
随着时间的推移,大数据平台的应用、数据量和并发访问量都会越来越高,海量结构
化数据的查询必然成为瓶颈,质量部现有几百GB数据量的指标数据查询返回结果已经比较长,不能满足业务展现的需要,亟需可容纳海量结构化数据的数据库产品改进业务现状。
本项目由于客户短期和长期的需求,在一期工程中,采用南大通用 GBase 8a MPP Cluster 数据库替换Oracle重新构建大数据平台结构化数据主仓,GBase 8a 大规模分布式并行数据库集群系统处理结构化数据,能够适应OLAP计算模型的业务场景,完成数据的查询、分析。通过8a MPP集群分布式计算能力,解决了原有Oracle平台单点故障和性能瓶颈问题,采用全无共享架构,为客户提升了信息处理能力和水平,提升了客户数据分析时效性和使用体验。实现重汽大数据平台架构优化的同时提升海量结构化数据存储和计算能力。

业务架构图
本项目采购优化的业务架构,一期工程实现中国重汽大数据平台Oracle数仓的替换,满足大数据部海量结构化数据的存储和分析,为大数据平台技术架构的进一步优化奠定基础;基于 X86 PC Server国产化平台的可扩展架构,对比Oracle只能纵向扩展的能力,更加节省投资,符合长期规划;入库、汇总、查询速度比传统数据库提升 10倍以上,存储能力提升至PB级;GBase 8a数据库提供统一的接口、SQL语法,具备丰富的企业管理器和运维监控工具,对开发和运维人员门槛较低。




