长按二维码关注
大数据领域必关注的公众号
bin/hdfs namenode -format或者bin/hadoop namenode –format
一是管理文件系统文件的元数据信息(包括文件名称、大小、位置、属性、创建时间、修改时间等等)。
二是维护文件到块的对应关系和块到节点的对应关系。
三是维护用户对文件的操作信息(文件的增删改查)。
Datanode宕机了后，如果是短暂的宕机，可以实现写好脚本监控，将它启动起来。如果是长时间宕机了，那么datanode上的数据应该已经被备份到其他机器了，那这台datanode就是一台新的datanode了，删除他的所有数据文件和状态文件，重新启动。
（1）先分析宕机后的损失，宕机后直接导致client无法访问，内存中的元数据丢失，但是硬盘中的元数据应该还存在，如果只是节点挂了，重启即可。
（2）如果是机器挂了，重启机器后看节点是否能重启，不能重启就要找到原因修复了。但是最终的解决方案应该是在设计集群的初期就考虑到这个问题，做namenode的HA。
第一种方式是将持久化存储在本地硬盘的文件系统元数据备份。
第二种方式是运行一个辅助的NameNode（Secondary Namenode）。
第三种 zookeeper提供的高可用（ha）机制。
首先需要定位到哪的数据块丢失，可以通过查看日志进行检查和排除，找到文件块丢失的位置后，如果文件不是很重要可以直接删除，然后重新复制到集群上一份即可，如果删除不了，每一个集群都会有备份，需要恢复备份。
（1）当每个小文件数据量比较小的时候，可以通过命令的方式进行小文件的合并如：
hdfs dfs -cat hdfs://mycluster/logs/*.log | hdfs dfs -appendToFile - hdfs://mycluster/logs/largeFile.log。
（2）当数据量比较大的时候建议使用MR进行小文件的合并。
（1）Gzip 压缩
（2）Bzip2 压缩
（3）Lzo 压缩
（4）Snappy 压缩
HDFS上在写入数据的时候，首先会对数据切块，然后从客户端到datanode形成一个管道，在至少将一个文件写入hdfs上后，表示文件写入成功，然后进行复制备份操作，所以是全部写完再复制。
MapReduce存在的问题：
1）JobTracker 单点故障。
2）JobTracker 承受的访问压力大，影响系统的扩展性。
3）不支持MapReduce之外的计算框架，比如Storm、Spark、Flink。
1）yarn 解决了JobTracker 负载过重的问题， 将MR1中JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManager和ApplicationMaster进程来实现。
2）支持更多的计算框架，MapReduce storm Spark Flink都可以运行在yarn上面。
1）更快地MapReduce计算。
2）对多框架支持。
3）框架升级更容易。
完
