更新时间:2022-04-20 来源:黑马程序员 浏览量:
大数据培训课程中经常会讲到HDFS,HDFS提供了多种数据访问方式,其中,命令行的形式是最简单的,同时也是许多开发者最容易掌握的方式,本节将针对HDFS的基本操作进行讲解。
Shell在计算机科学壳中俗称“壳”,是提供给使用者使用界面的进行与系统交互的软件,通过接收用户输入的命令执行相应的操作,Shell分为图形界面Shell和命令行式Shell。
HDFS Shell包含类似Shell的命令,示例如下:
hadoop fs<args> hadoop dfs<args> hdfs dfs<args>
上述命令中,hadoop fs使用面最广,可以操作任何文件系统,如本地系统、HDFS等;hadoop dfs则主要针对HDFS,已经被hdfs dfs代替。
文件系统(FS)Shell包含了各种的类Shell的命令,可以直接与Hadoop分布式文件系统以及其他文件系统进行交互,如与Local FS、HTTP FS、S3 FS文件系统交互等。通过命令行的方式进行交互,具体操作常用命令,如表3-1所示。
表3-1 HDFS Shell参数
从表3-1可以看出,HDFS支持的命令很多,但这里只列举常用的一部分,如果需要了解全部命令或使用过程中遇到问题都可以使用“hadoop fs -help”命令获取帮助文档,也可以通过Hadoop官方文档htp://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html学习,接下来对这些常用的命令进行操作演示。