暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

hadoop、hbase、hive、zookeeper版本对应关系

毫末之木 2017-07-14
775

hive 0.14 支持hadoop版本

Hadoop 1.x.y, 2.x.y

hive 1.0.0 支持hadoop版本

Hadoop 1.x.y, 2.x.y

hive 1.1.0 支持hadoop版本

Hadoop 1.x.y, 2.x.y

hive 1.2.0 支持hadoop版本

Hadoop 1.x.y, 2.x.y

hive 1.2.1 支持hadoop版本

Hadoop 1.x.y, 2.x.y

hadoop与hive版本对应关系

hive版本 1.2.0  支持hadoop版本

Hadoop 1.x.y, 2.x.y

hive版本 1.1.0  支持hadoop版本
Hadoop 1.x.y, 2.x.y


hive版本 1.0.0支持hadoop版本
Hadoop 1.x.y, 2.x.y


hive版本0.13.1支持hadoop版本

Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

hive版本0.13.0支持hadoop版本

Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

hive版本0.12.0支持hadoop版本

Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

hive版本0.11.0支持hadoop版本

Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

hive版本0.10.0支持hadoop版本

Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

hbase对JDK支持:


HBase Version      JDK 6          JDK 7JDK 8



1.1

不支持

          支持

      支持,但未充分测试

1.0

不支持

          支持

      支持,但未充分测试

0.98

支持

          支持

      支持,但未充分测试(构建需要注意去除PoolMap class的remove方法)

0.96

支持

          支持

             N/A

0.94

支持

          支持

             N/A

hbase1.2   不支持1.6,支持1.7,支持1.8

hive、hbase、zookeeper的关系



  hadoop1.2+hbase0.95.0+hive0.11.0 会产生hbase+hive的不兼容,创建hive+hbase的关联表就会报pair对异常。

  hadoop1.2+hbase0.94.9+hive0.10.0 没问题,解决了上个版本的不兼容问题。

  hadoop-1.0.3+hive-0.9.0+hbase-0.92.0兼容

 hadoop2.2+hbase0.96+hive0.12兼容(有些小问题,可能需要一些补丁)

 hadoop2.2+hbase0.96+hive0.13兼容(应该兼容)

官网给出内容:
ZooKeeper 3.4.x is required as of HBase 1.0.0.



hadoop与HBase版本对应关系:

Hbase   Hadoop

 0.92.0   1.0.0

0.92.1   1.0.0

0.92.2   1.0.3

0.94.0   1.0.2

0.94.1   1.0.3

0.94.2   1.0.3

0.94.3   1.0.4

0.94.4   1.0.4

0.94.5   1.0.4

0.94.9   1.2.0

0.95.0   1.2.0

hadoop与hive版本对应关系

hive版本 1.1.0  支持hadoop版本
Hadoop 1.x.y, 2.x.y


hive版本 1.0.0支持hadoop版本
Hadoop 1.x.y, 2.x.y


hive版本0.13.1支持hadoop版本

Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

hive版本0.13.0支持hadoop版本

Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

hive版本0.12.0支持hadoop版本

Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

hive版本0.11.0支持hadoop版本

Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

hive版本0.10.0支持hadoop版本

Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y


网址:http://hive.apache.org/downloads.html

补充一些内容:

hive、hbase、zookeeper的关系



  hadoop1.2+hbase0.95.0+hive0.11.0 会产生hbase+hive的不兼容,创建hive+hbase的关联表就会报pair对异常。

  hadoop1.2+hbase0.94.9+hive0.10.0 没问题,解决了上个版本的不兼容问题。

  hadoop-1.0.3+hive-0.9.0+hbase-0.92.0兼容

 hadoop2.2+hbase0.96+hive0.12兼容(有些小问题,可能需要一些补丁)

 hadoop2.2+hbase0.96+hive0.13兼容(应该兼容)

Hadoop 与hbase支持版本




S = 支持并且测试,
X = 不支持,
NT = 应该可以,但是没有测试.



HBase-0.92.xHBase-0.94.xHBase-0.96.xHBase-0.98.x[a]HBase-1.0.x[b]
Hadoop-0.20.205SXXXX
Hadoop-0.22.xSXXXX
Hadoop-1.0.0-1.0.2[c]XXXXX
Hadoop-1.0.3+SSSXX
Hadoop-1.1.xNTSSXX
Hadoop-0.23.xXSNTXX
Hadoop-2.0.x-alphaXNTXXX
Hadoop-2.1.0-betaXNTSXX
Hadoop-2.2.0XNT [d]SSNT
Hadoop-2.3.xXNTSSNT
Hadoop-2.4.xXNTSSS
Hadoop-2.5.xXNTSSS

[a] Support for Hadoop 1.x is deprecated.

[b] Hadoop 1.x is NOT supported

[c] HBase requires hadoop 1.0.3 at a minimum; there is an issue where we cannot find KerberosUtil compiling against earlier versions of Hadoop.

[d] To get 0.94.x to run on hadoop 2.2.0, you need to change the hadoop 2 and protobuf versions in the pom.xml: Here is a diff with pom.xml changes:

$ svn diff pom.xml Index: pom.xml =================================================================== --- pom.xml (revision 1545157) +++ pom.xml (working copy) @@ -1034,7 +1034,7 @@ <slf4j.version>1.4.3</slf4j.version> <log4j.version>1.2.16</log4j.version> <mockito-all.version>1.8.5</mockito-all.version> - <protobuf.version>2.4.0a</protobuf.version> + <protobuf.version>2.5.0</protobuf.version> <stax-api.version>1.0.1</stax-api.version> <thrift.version>0.8.0</thrift.version> <zookeeper.version>3.4.5</zookeeper.version> @@ -2241,7 +2241,7 @@ </property> </activation> <properties> - <hadoop.version>2.0.0-alpha</hadoop.version> + <hadoop.version>2.2.0</hadoop.version> <slf4j.version>1.6.1</slf4j.version> </properties> <dependencies>

The next step is to regenerate Protobuf files and assuming that the Protobuf has been installed:

  • Go to the hbase root folder, using the command line;

  • Type the following commands:


    $ protoc -Isrc/main/protobuf --java_out=src/main/java src/main/protobuf/hbase.proto



    $ protoc -Isrc/main/protobuf --java_out=src/main/java src/main/protobuf/ErrorHandling.proto


Building against the hadoop 2 profile by running something like the following command:

$ mvn clean install assembly:single -Dhadoop.profile=2.0 -DskipTests


Replace the Hadoop Bundled With HBase!

Because HBase depends on Hadoop, it bundles an instance of the Hadoop jar under its lib directory. The bundled jar is ONLY for use in standalone mode. In distributed mode, it is critical that the version of Hadoop that is out on your cluster match what is under HBase. Replace the hadoop jar found in the HBase lib directory with the hadoop jar you are running on your cluster to avoid version mismatch issues. Make sure you replace the jar in HBase everywhere on your cluster. Hadoop version mismatch issues have various manifestations but often all looks like its hung up.



更新内容:


Hadoop version support matrix

·         "S" = supported

·         "X" = not supported

·         "NT" = Not tested


HBase-0.92.x

HBase-0.94.x

HBase-0.96.x

HBase-0.98.x (Support for Hadoop 1.1+ is deprecated.)

HBase-1.0.x (Hadoop 1.x is NOT supported)

Hadoop-0.20.205

S

X

X

X

X

Hadoop-0.22.x

S

X

X

X

X

Hadoop-1.0.x

X

X

X

X

X

Hadoop-1.1.x

NT

S

S

NT

X

Hadoop-0.23.x

X

S

NT

X

X

Hadoop-2.0.x-alpha

X

NT

X

X

X

Hadoop-2.1.0-beta

X

NT

S

X

X

Hadoop-2.2.0

X

NT

S

S

NT

Hadoop-2.3.x

X

NT

S

S

NT

Hadoop-2.4.x

X

NT

S

S

S

Hadoop-2.5.x

X

NT

S

S

S

 


文章转载自毫末之木,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论