【Hadoop】Hdfs 文件命令随用随看

常用指令

1. 查看目录详情

Hadoop指令
hadoop fs -ls #filePath
示例
hadoop fs -ls /data/zuoyang

Hdfs指令
hdfs dfs -ls #filePath
示例
hdfs dfs -ls /data/zuoyang

常用扩展指令
-R 递归查询目录下的所有目录及文件
hadoop fs -ls -R /data/zuoyang
hdfs dfs -ls -R /data/zuoyang

经常用来验证azkaban运行的数据是否成功插入成功,分区是个创建成功等。

1. 创建目录

Hadoop指令
hadoop fs -mkdir #paths
示例
- One Flie
hadoop fs -mkdir /data/zuoyang
- Files
hadoop fs -mkdir /data/zuoyang /data/zuoyang1 /data/zuoyang...N

Hdfs指令
hdfs dfs -mkdir #paths
示例
- One Flie
hdfs dfs -mkdir /data/dlsw/zuoyang
- Files
hdfs dfs -mkdir /data/zuoyang /data/zuoyang1 /data/zuoyang...N

1. 备份文件

Hadoop指令
hadoop fs -get #InPutFilePath #OutPutFilePath/
示例
hadoop fs -get /data/zuoyang/ods_yyds_m_i_helloHadoop /opt/document/

Hdfs指令
hdfs dfs -get #InPutFilePath #OutPutFilePath/
示例
hdfs dfs -get /data/zuoyang/ods_yyds_m_i_helloHadoop /opt/document/

1. 上传文件

Hadoop指令
hadoop fs -put #InPutFilePath #OutPutFilePath/
示例
hadoop fs -put /opt/document/ /data/zuoyang/ods_yyds_m_i_helloHadoop 

Hdfs指令
hdfs dfs -put #InPutFilePath #OutPutFilePath/
示例
hdfs dfs -put /opt/document/ /data/zuoyang/ods_yyds_m_i_helloHadoop 

-p：保留文件的访问和修改时间以及所有权和权限。

-f：如果目标路径已经存在，则将目标路径覆盖。

-d：创建时跳过后缀为._COPYING_的临时文件。

1. 删除/移除

Hadoop指令
hadoop fs -rm #filePath
示例
hadoop fs -rm /data/zuoyang

Hdfs指令
hdfs dfs -rm #filePath
示例
hdfs dfs -rm /data/zuoyang

-r 递归删除

Hadoop指令
hadoop fs -rm -r #filePath/
示例
hadoop fs -rm -r /data/zuoyang/

Hdfs指令
hdfs dfs -rm -r #filePath/
示例
hdfs dfs -rm -r /data/zuoyang/

参考文献

1. Hadoop中文网 . 文档 . https://hadoop.org.cn/docs/
2. Hadoop中文网 . 文件系统外壳 . https://hadoop.org.cn/docs/hadoop-project-dist/hadoop-common/FileSystemShell.html
3. Hadoop官网 . HDFS Architecture . https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
4. Hadoop官网 . FileSystemShell . https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#ls