大数据Hadoop集群、sqoop、kafka等部署.docx

forever

111

61页

3次

2024-05-21

5墨值下载

介绍

软件版本获取方法

OpenJDK

jdk8u252-

b09

https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u252-b09/OpenJDK8U-jdk_x64_linux_hotspot_8u252b09.tar.gz

ZooKeeper 3.4.6

在

ZooKeeper

官网下载所需版本的软件包。

下载地址：

https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/

Hadoop 3.1.1

在

Hadoop

官网下载所需版本的软件包。

下载地址：

https://archive.apache.org/dist/hadoop/core/hadoop-3.1.1/

HBase 2.0.2

在

HBase

官网下载所需版本的软件包。

下载地址：

https://archive.apache.org/dist/hbase/2.0.2/hbase-2.0.2-bin.tar.gz

Hive 3.1.0

在

Hive

官网下载所需版本的软件包。

下载地址：

https://archive.apache.org/dist/hive/hive-3.1.0/

Kafka 2.11-2.2.0

在官网下载所需版本的软件包。

下载地址：

https://archive.apache.org/dist/kafka/2.2.0/

Spark 2.3.2

在

Spark

官网下载所需版本软件包。

下载地址：

https://archive.apache.org/dist/spark/spark-2.3.2/

Scala 2.11.12

在

Scala

官网下载所需版本软件包。

下载地址：

https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz

Storm 1.2.1

在

Storm

官网下载所需版本的软件包。

下载地址：

https://archive.apache.org/dist/storm/apache-storm-1.2.1/

azkban

2.5.0

　在

github

中下载所需版本的软件包。

下载地址

:http://azkaban.github.io/downloads.html

sqoop

1.4.6

在

Sqoop

官网下载所需版本的软件包。

下载地址：

http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/

建议版本

集群环境规划

机器名

称

地址

OS & JDK

server1 10.23.8.204

CentOS6.8 & OpenJDK jdk8u252-b09

agent1 10.23.8.205

agent2 10.23.8.206

agent3 10.23.8.207

agent4 10.23.8.208

软件规划

机器名称服务名称

server1

Namenode

、

ResourceManager

、

Hmaster

、

Hive

客户端、

Kafka

客户

端、

Master

、

Nimbus

、

azkban

、

sqoop

agent1

QuorumPeerMain

、

DataNode

、

NodeManager

、

JournalNode

、

HRegionS

of 61

5墨值下载

hadoop集群搭建数据库

关注

评论