智慧吴中大数据平台建设方案书_v05.doc
50墨值下载
1
．大数据平台项目建设方案
1.1
大数据平台建设目标与内容
建设目标
国家工信部软件服务业司司长陈伟为大数据概括出四方面特征，“首先在于
体量大，是一个数据全集的概念， 第二是类型多，包括结构化数据、半结构化
数据、非结构化数据等多种类型，其中视频数据在目前占到了 90%以上的总额；
第三要求速度快，需要以秒级为目标进行实时动态处理。最后在于价值密度，
由于大量有用和可能没用的数据并存，遍地是金子，又遍地是沙子”，所以大数
据的目的就在于从庞大的数据集合中找寻有价值的数据和知识，通过分析挖掘
为各行业提供真正的智慧，“可以说 21 世纪是‘数据钻出石油’的时代。”
我们要将各种系统的各种有用数据汇集起来，通过一个统一的平台管理与
分析，这就是大数据平台的最大优势。
本期建设内容
大数据平台的发展是基于云计算平台不断升级并向数据库大数据应用靠拢
的一个过程，可更好的适应关系型计算模式，拥有不同结构数据的综合管理、
提供同时支持在线分析处理（OLAP）和在线事务处理 (OLTP) 能力以及多存储
模式等，会在未来发挥不可估量的作用。
1.2
大数据平台设计
大数据平台的设计原则
大数据平台是一种面向大数据应用的云计算数据存储与管理平台，该平台
第 1 页
基于关系数据模型，访问方式也是简化版本的 SQL 语言规范，对 SQL 语言规
范支持度达到 80%以上，可管理的数据规模达到万亿条记录级，容量可达到
PB 级，同时该平台支持大数据的 OLTP（联机事务处理）和 OLAP（联机分析
处理），，数据入库速度到达每秒千兆字节级，数据关联查询响应时间达到秒
级，支持自动容错和动态扩展，在平安城市、智能交通、智能电网、互联网数
据处理、移动信令处理等领域构建典型应用并进行大规模产业推广。
数据中心建设遵循以下原则：
1）体系架构
• 分布式并行计算、多副本机制、没有单点的高可靠体系架构
• 面向行业应用的软硬件一体化整合
2）系统功能
• 结构化、半结构化、非结构化数据的管理和搜索
• 主流格式机器数据的实时采集、解析、管理和搜索
• 多存储模式
• 高效的分布式 SQL 解析器
• 支持事务机制
• 实时及用户行为数据的高效管理和分析
• 创新的多检索引擎机制，提供开放的二次开发接口
3）性能指标
• PB 级的海量数据管理
第 2 页
of 35
50墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论