hadoop fs常用到的命令整理
追忆似水年华 · 1505浏览 · 发布于2019-09-12
一、hdfs基本操作
hadoop fs 与hdfs dfs等价
1.如何查看hdfs子命令的帮助信息,如ls
hdfs dfs -help rmdir
2.查看hdfs文件系统中已经存在的文件
hdfs dfs -ls / hadoop fs -ls /
3.在hdfs文件系统中创建文件
hdfs dfs -touch /czz.txt
4.从本地路径上传文件到hdfs
hdfs dfs -put /本地路径 /hdfs路径 hdfs dfs -put /home/czz/czz.txt /czz
5.从hdfs文件系统中下载文件到本地
hdfs dfs -get /hdfs路径 /本地路径 hdfs dfs -get /czz /home/czz/czz.txt
6.在hdfs文件系统中删除文件
hdfs dfs -rm /czz.txt
7.在hdfs文件系统中查看文件内容
hdfs dfs -cat /czz.txt
8.在hdfs文件系统中创建目录
hdfs dfs -mkdir /czz
9.在hdfs文件系统中修改文件名称(或者移动文件到目录)
hdfs dfs -mv /czz.txt /nl.txt hdfs dfs -mv /czz.txt /nl
10.在hdfs文件系统中拷贝文件到目录
hdfs dfs -cp /czz.txt /nl
11.递归删除目录
hdfs dfs -rmr /czz
12.列出本地文件的内容(默认是hdfs文件系统)
hdfs dfs -ls file:///home/admin
13.追加文件内容到hdfs文件系统中的文件
hdfs dfs -appendToFile czz2.txt /czz/czz.txt
二、hdfs与dfsadmin结合操作
1.查看hdfs与dfsadmin的帮助信息
hdfs dfsadmin
2.查看当前的模式
hdfs dfsadmin -safemode -get
3.进入安全模式
hdfs dfsadmin -safemode -enter
4.离开安全模式
hdfs dfsadmin -safemode -leave
三、hdfs与getconf结合操作
1.获取NameNode的节点名称(可能多个)
hdfs getconf -namenodes
2.获取hdfs最小块信息
hdfs getconf -confkey dfs.namenode.fs-limits.min-block-size
3.查找hdfs的NameNode的RPC地址
hdfs getconf -nnRpcAddresses
四、hdfs与fsck结合操作
1.fsck指令显示hdfs块信息
hdfs fsck / -files -blocks
五、其他命令操作
1.检查压缩库本地安装情况
hadoop checknative
2.格式化名称节点(慎用!!! 一般只在初次搭建集群,使用一次)
hadoop namenode -format
注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。所以,格式NameNode时,一定要先删除data数据和log日志,然后再格式化NameNode。
$ cat data/tmp/dfs/name/current/VERSION clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837 $ cat data/tmp/dfs/data/current/ clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837
3.执行自定义jar包
hadoop jar XXXjar包 执行命令 输入路径 输出路径 hadoop jar XXXX.jar WordCount /world.txt /out
相关推荐
亚马逊中国市场浮沉:电商业务将停 云计算坚守待考
luenmicro · 1141浏览 · 2019-04-28 09:34:12
KVM 虚拟机的热迁移
luenmicro · 13110浏览 · 2019-04-29 14:35:39
OpenStack入门科普
luenmicro · 2056浏览 · 2019-04-29 14:50:36
Gartner:阿里云亚太市场份额第一,超过亚马逊和微软总和
luenmicro · 684浏览 · 2019-04-29 15:00:22
如何采用多云和分布式计算解决企业的数据难题
huasy · 1055浏览 · 2019-04-29 15:07:49
单云和多云的安全风险对比
冷月葬花魂 · 992浏览 · 2019-05-10 15:02:02
分类专栏
最新发布
最热排行
0评论