暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GBASE数仓支撑杭州交通管理指挥平台的海量数据

GBASE数据库 2022-08-16
184

随着杭州交通的发展,机动车数量迅猛增长,交通流量持续攀升。同时与此相关的警情、车流量、路网状态、违法记录、通行记录等交通信息也快速增长,与交警业务相关的数据越来越多,数据总量巨大。如何高效的分析这些数据,挖掘出数据背后隐藏的价值,从而提高交通设施利用率,提升交通管理水平,改善交通安全成为了亟待解决的问题。

l  数据来源多样性:需要从杭州交管现有的十几个系统中抽取加载数据,数据异构化严重;

l  统一性:由于现有的以Oracle为基础构建的交易型数据库性能的限制,许多分析无法做成。另外,数据条块分割,信息关联共享程度不高,缺乏深度挖掘分析。需要建设支撑海量数据、统一管理、统一调度的数据仓库平台;

l  兼容性:需要在已建成的业务操作环境下,提供大数据技术下的智能化辅助决策和分析功能,支撑复杂分析计算,满足数据分析型应用的需求;

l  前瞻性:适应未来五年大数据平台规划,具备不断扩容的能力。


本项目:

物理层采用X86 PC Server,软件层采用GBase 8a MPP Cluster 构建交通管理指挥大数据平台。

杭州交管局需要将2010年之后所有主要的业务数据,包括警情、情报、违法、卡口过车记录、浮动车、微波、SCATS(信号机)、路段状态、动态地图坐标等数据以及在此基础上产生的衍生数据进行汇总和分析。

对于后续的的数据,通过数据库链接或ETL工具从其他系统中将数据加载入GBase 8a MPP Cluster,ETL作业数量最多同时可达数十个,以时间调度为主。


最终:

l  海量数据存储:支撑PB级数据的存储和处理,实现条块融合和跨警种信息资源的归并整合,为上层应用和数据挖掘提供基础支撑;

l  高性能:克服传统的关系型数据库高成本、运算时间长、分析结果及业务报表滞后等劣势,将大数据量业务数据处理的性能提升10倍;

l  辅助科学决策:为科学决策提供了客观依据,确保动态信息及时掌握;

l  低成本、高扩展:最高1:20的压缩存储,硬件为X86 PC Server,有效节省硬件投入成本;架构为Shared Nothing扁平架构,线性在线扩展,解决传统数据库技术架构无法扩展问题。


关于南大通用

天津南大通用数据技术股份有限公司(以下简称“南大通用”)成立于2004年,是具有自主知识产权的国产数据库产品与服务提供商。作为国家级高新技术企业、国家规划布局内重点软件企业、信创工委会成员企业(0048),南大通用已连续多年被工信部下辖的赛迪顾问评为国产数据库领军企业。

自成立以来,南大通用始终坚持自主创新,产品的核心技术及底层代码自主可控,产品已通过分布式分析型数据库性能大规模专项评测(4096节点,世界规模最大)、等保四级、商用密码产品认证、涉密信息系统产品检测等资质认证。目前,南大通用已经成为国内少有的专注于数据库产品研发,并且在金融、电信行业得到规模化应用的独立数据库服务商。

经过十余年发展,南大通用构建了覆盖数据管理全生命周期、全技术栈的数据产品体系及服务解决方案,已成功为金融、电信、政务、能源、交通、国防军工等百余个行业上万家用户提供产品和服务,建立节点超过30000个,管理数据总量超过300PB。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论