暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GBASE助力电信行业国产化 西藏通管局大数据平台搭建

GBASE数据库 2022-06-28
238

通信管理局是省级行政区域内通信行业的主管部门,对省内电信业进行集中统一的监督管理。为了实现对基础电信网络安全分析和行业监管,西藏通管局大数据分析平台总体定位是提供智能威胁信息的整合管理和分析功能,通过海量异构数据的集中采集和数据集中进行威胁分析,发现威胁并将相关潜在威胁信息予以挖掘呈现。

大数据平台有效支撑本工程中各类业务信息的处理和运行、提供面向在线、离线数据存储和处理的综合能力、并满足易于管理和扩展的需要。平台系统需要支持各类结构化、半结构化与非结构化数据的存储,通过可扩展性的分布式平台技术有效支撑对各类数据的加工、检索、统计、分析和数据深度挖掘的需要,并对资源与任务实现最优的调配管理,最终为上层各业务系统提供基于标准接口方式的数据的存储、检索、统计和分析等服务能力。

最终本项目采用各类分布式数据存储和分布式分析处理方案,大平台数据采用Hadoop分布式体系架构结合GBase商用化分布式数据库GBase 8a MPP Cluster以及统一融合平台产品GBase UP,进行有效技术融合,全面性地综合解决本工程项目对各类结构化、半结构化与非结构化数据的存储管理和分析、挖掘的处理需求。

本项目采用GBase UP大数据融合平台,替换原有单一hadoop架构,为用户构建标准统一的数据采集、数据访问的DaaS平台。

平台包括数据采集层、数据存储层、数据计算层、分析服务层和大数据统一监控管理。数据采集层用于支持数据采集、过滤、缓存、中转分发调度;数据存储层用于支持海量异构数据的统一可靠的存储管理,对外提供标准化统一的结构化、半结构化和非结构化数据的访问接口;数据计算层是基于支持多种计算模型的分布式计算框架,为上层业务系统提供专业的计算处理库;分析服务层为上层业务系统提供各种不同协议和标准的访问接口,并实现大数据平台内跨引擎间的任务调度;大数据统一监控管理用于完成对数据分析平台的运维、监控等功能,并同时提供命令行和图形两种管理界面。


西藏通管局大数据平台总体架构


本项目是基于GBase UP融合架构构建DaaS平台,构建的大数据平台兼具OLTP的稳定高效的事务数据库、OLAP大规模分布式并行MPP数据库集群、NoSQL等多种大规模结构化、半结构化与非结构化数据处理技术,构建了对外统一,对内可扩展的大数据平台,支撑结构化数据、非结构化、半结构化数据的采集、存储与计算应用,能够适应OLAP、OLTP和NOSQL三种计算模型的业务场景;解决方案具有行业通用性、复制性:本项目平台解决方案已经开始在通管局行业产生复制效应,促进GBase与集成商在WA/XA项目领域的全面合作。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论