大数据智慧平台技术方案

    从智慧地球而衍生的众多智慧产品，物联网、互联网、智联网的概念已经成了广场舞大妈们购买科技产品的口号。

    智慧工地将更多人工智慧、传感技术、虚拟现实等高科技技术植入到建筑、机械、人员穿戴设施、场地进出关口等各类物体中，并且被普遍互联，形成“物联网”，再与“互联网”整合在一起，实现工程管理干系人与工程施工现场的整合。

    技术架构

    技术栈

大数据接入（采集/接入）

Socket、websocket、API、FTP/SFTP、filebeat、Logstash、logback、APIKafka、ActiveMQ

大数据清洗

Logstash、标准化（转换、脱敏、脱密）

大数据存储

结构化数据存储、半结构化数据存储、非结构化数据存储 、MySQL、Redis、MongoDB、hbase、ElasticSearch

大数据分析（计算）

离线分析、准实时分析、实时分析、机器学习、strom、Spark

大数据展示

图化展示（散点图、折线图、柱状图、地图、饼图、雷达图、K线图、箱线图、热力图、关系图、矩形树图、平行坐标、桑基图、漏斗图、仪表盘），文字展示、Echarts、Tableau

    数据流程图

    设计目标

    以ES为核心建立数据集中处理平台，支持从各个应收系统采集数据，进行清洗与转换，之后可以进行聚合操作，对外提供API查询；