暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GBASE混搭架构处理大数据典范案例 山东移动大数据平台

GBASE数据库 2022-06-29
424

随着中国移动各项业务的不断开展和深入,经营分析系统和大数据专题分析平台的建设将围绕经营决策工作提供更加全面,深入,高效的数据展开,在这一背景下运营商企业不断推进B域、O域、M域的数据融合,传统经分系统和大数据平台也随之需要承载更大的数据量和业务量。

此项目就是针对日益加大的山东移动的经分数据压力和各类专题分析场景的压力,实施了基于X86 PC Server的大数据平台云化改造项目,通过基于Hadoop的ETL平台和基于MPP数据仓库平台的混搭融合,顺利地支撑起山东移动大数据平台历史海量数据的存储和各类大数据专题分析处理的需求。

整个系统架构采用基于Hadoop ETL平台与MPP经分主库的混搭结构,处理和存储来自/B/O/M域的跨域数据。

本项目的MPP集群环境根据功能需要分为三部分,分别“原经分库”和“新经分库”和“大数据平台”。先在Hadoop ETL平台进行数据的结构化、清洗,数据的轻度汇总等;之后再通过GBase 8a MPP Cluster的数据分发工具将Hadoop ETL输出的数据加载至MPP分布式数据库;作为经分系统的数据基础平台,GBase 8a MPP Cluster处理从数据层到共享层之间数据加工和各层数据之间的转换;最终经分主库内的高度汇总结果导入至Oracle传统库,经由传统库将数据呈现到现有的报表和图形化应用界面上


l  实现深度精细化业务分析:高效的数据分析能力帮助客户应对复杂性强、效率及实时性要求高的场景,有效管理海量数据,实现对各类数据的多维深入分析,准确挖掘数据价值,帮助客户实现交往圈和重入网识别、WLAN准实时营销、CI自助分析等主题应用;

l  混搭架构支撑海量数据:通过分布式计算和存储以及Hadoop + MPP的混搭结构有效支撑海量数据;

l  低投高效:GBase 8a MPP Cluster运行于低成本X86 PC Server,新系统性能与原系统相当,但新系统整体成本降为原来的1/10。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论