暂无图片
hadoop1.x和2.x架构上的区别?
我来答
分享
S
ssdandan
2022-10-26
hadoop1.x和2.x架构上的区别?

hadoop1.x和2.x架构上的区别?

我来答
添加附件
收藏
分享
问题补充
2条回答
默认
最新
shunwahⓂ️

与Hadoop 1.x相比,Hadoop 2.x的改进主要在以下两个方面:
架构区别

Hadoop 1 使用 MRvl 而 Hadoop 使用 MRv2 (也称为 YARN )。
在 Hadoop 2 中,有一个全局 ResourceManager 进程来管理集群中的资源,且它运行在主节点上。
工作节点上将有单独的 NodeManager 进程来执行数据处理任务。

在 Hadoop 1 中,有一个单独的进程 JobTracker 来管理作业。
每个工作节点运行个工作于特定节点的 TaskTracker 进程来实际执行作业。
Hadoop 1 中的 JobTracker 负责执行调度和任务管理功能。
在 Hadoop 2 中, JobTracker 被分为调度和资源管理两个功能:

ResourceManager 处理调度任务;
ApplicationMaster 负责特定应用的资源管理。
Hadoop 2 中的 ResourceManager 管理着以前由 Hadoop 中的 JobTracker 执行的几个关键功能。
更准确地说, ResourceManager 执行 JobTracker 的一些任务,新的特定应用的 ApplicationMaster 负责 JobTracker 其余的工作。
在 Hadoop 1 中, JobTracker 在繁忙的集群中超负荷运转,因为它同时负责资源管理和任务调度双重任务。
JobTracker 资源管理和作业调度/监控两个关键功能的分离减轻了专用守护程序的工作压力。

Hadoop 2 中的 NodeManager 执行 Hadoop 中运行在每个节点上的 TaskTracker 负责的所有任务。
NodeManager 进程在集群中的工作节点上运行,并作为代理监视当前节点上任务的执行 ResourceManager 在 Hadoop 中作为纯调度器使用,它与 MapReduce 之间没有特殊连接。
而在 Hadoop 1 中, JobTracker 与 MapReduce 是高度耦合的。

https://blog.csdn.net/Shockang/article/details/118002178

暂无图片 评论
暂无图片 有用 0
严少安
2022-10-27
👍‍
人工智能技术与咨询

(1)Hadoop 1.0
Hadoop 1.0即第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中,HDFS由一个NameNode和多个DataNode组成,MapReduce由一个JobTracker和多个TaskTracker组成,对应Hadoop版本为Apache Hadoop 0.20.x、1.x、0.21.X、0.22.x和CDH3。
(2)Hadoop 2.0
Hadoop 2.0即第二代Hadoop,为克服Hadoop 1.0中HDFS和MapReduce存在的各种问题而提出的。针对Hadoop 1.0中的单NameNode制约HDFS的扩展性问题,提出了HDFS Federation,它让多个NameNode分管不同的目录进而实现访问隔离和横向扩展,同时它彻底解决了NameNode 单点故障问题;针对Hadoop 1.0中的MapReduce在扩展性和多框架支持等方面的不足,它将JobTracker中的资源管理和作业控制功能分开,分别由组件ResourceManager和ApplicationMaster实现,其中,ResourceManager负责所有应用程序的资源分配,而ApplicationMaster仅负责管理一个应用程序,进而诞生了全新的通用资源管理框架YARN。基于YARN,用户可以运行各种类型的应用程序(不再像1.0那样仅局限于MapReduce一类应用),从离线计算的MapReduce到在线计算(流式处理)的Storm等。Hadoop 2.0对应Hadoop版本为Apache Hadoop 0.23.x、2.x和CDH4。


学习可关注:人工智能技术与咨询,更多详情可咨询175-3102-1189(v同号),联系人:申老师。
qq群:189696007;或到我司官网了解:https://www.chinaai.org.cn/。

暂无图片 评论
暂无图片 有用 0
回答交流
提交
问题信息
请登录之后查看
邀请回答
暂无人订阅该标签,敬请期待~~
暂无图片墨值悬赏