开源大数据平台部署文档.pdf
10墨值下载
技术交流：Ruian qq：920136192
开源大数据平台部署文档
1. 服务器配置
建议配置：
CPU 4
核
+
内存
16G+
硬盘
100G+
2. 环境准备
操作系统：
CentOS 7
JDK1.8
3. 部署组件清单
组件名称
组件功能说明
依赖环境
版本
python
python 环境
2.7
dataX(+dataX-web)
dataX:数据同步
dataX-web:提供可视化 web 界面配置
dataX 任务
python2.7
mysql 5.7+
zookeeper
分布式协调服务
3.6
dolphinscheduler
调度系统
zookeeper
dataX 等组件-根
据需求选择
jdk1.8+
2.0.2
hadoop+hive
分布式存储+批数据处理
jdk1.8+
hadoop:3.3
hive:3.1
clickhouse
OLAP 引擎，MPP 数据库
21.12.3
docker(暂不需
要,dataeas 有自带安
装包)
容器
19.03
metabase
可视化平台
mysql5.7+
jdk1.8+
dataease
可视化平台
mysql 5.7+
jdk1.8+
1.7
技术交流：Ruian qq：920136192
flink+flinkcdc
实时/批数据处理
1.13
kafka
消息队列
zookeeper
3.1
4. 安装包下载
百度网盘链接：https://pan.baidu.com/s/1Huz2-tDkQ5WPtri5rTv-qw
提取码：hf8q
5. python2.7 部署
1. 上传安装包至服务器
(也可至 https://www.python.org/ftp/python 下载 python2 新版本)
2. 解压安装包
xz -d Python-2.7.17.tar.xz
tar -xvf Python-2.7.17.tar
3. 安装 python2.7
cd Python-2.7.17
./configure --prefix=/usr/local
make&make install
4. 查看 python 版本
python2.7 -V
6. DataX 部署
1. 环境准备
of 35
10墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论