暂无图片
返回数说广场
柏鹏先
暂无图片
2023-06-01 灾备联盟会员-ACDU会员-数据治理会员
HDFS(Hadoop Distributed File System)在启动时,会进入一种称为安全模式(Safe Mode)的特殊模式。在安全模式下,HDFS会禁止进行数据写入操作,同时会执行一些额外的数据完整性检查和修复操作。这种模式的存在是为了确保数据的一致性和可用性,避免数据丢失或损坏。 当HDFS集群启动时,NN(NameNode)会检查以前的启动是否正常结束。如果上次启动结束时发现了某些区域有意外的副本数,那么NN就会在启动时进入安全模式,以防止可能存在的数据丢失或损坏。此外,当每个DN(DataNode)向NN报告其块列表时,NN会检查数据块的副本数是否符合要求。如果有数据块的副本数小于要求值,则NN也会进入安全模式。 在安全模式下,会执行以下相关操作: 1、禁止数据写入:当HDFS处于安全模式下时,无法进行数据的写入操作。这是为了避免数据不一致或丢失的情况出现,同时也为了在安全模式下执行必要的数据完整性检查和修复操作。 2、数据副本的完整性检查和修复:在安全模式下,NN 会检查并修复数据块的副本,确保副本数达到了要求。若检查到某些数据块的副本数不足,NN会采取相应的措施,如执行副本恢复操作,以修复丢失的副本,同时也能判断出DN退役或者网络异常等情况。 3、退出安全模式:当NN检查到数据块的副本数已经符合要求时,或者人工进行干预,NN 会退出安全模式。此时HDFS即恢复正常操作,可以进行数据写入等操作。 总的来说,安全模式是为了在集群启动后进行数据完整性检查和修复,确保数据的一致性和可用性。在安全模式下,HDFS不会进行数据写入操作,同时会执行必要的完整性检查和修复操作,直到数据的副本数符合要求后退出安全模式。
暂无图片
2
暂无图片 2
417
分享

评论

热门数说