HDFS操作文件的基本命令

1.创建文件夹  $>hdfs dfs -mkdir /user/centos/hadoop

2.展示目录    $>hdfs dfs -ls -r /user/centos/hadoop 3.递归展示    $>hdfs dfs -lsr /user/centos/hadoop 4.上传文件    $>hdfs dfs -put index.html /user/centos/hadoop 5.下载文件    $>hdfs dfs -get /user/centos/hadoop/index.html a.html 6.删除文件    $>hdfs dfs -rm -r -f /user/centos/hadoop

----------------

HDFS存储

    500G  文件     1024G = 2T/4T 文件     切割。     //切割         block: 切割：128M    原因： 让寻址时间占用读取时间的1%.     寻址时间:10ms左右     磁盘速率 : 100M /s【磁盘I/O】

HDFS 文件存储： >128M的切割分块。 如果配置了备份数，则按照备份数进行备份 放到各个数据节点

    size = 181260798

    block-0 : 134217728     block-1 :  47043070      --------------------

    b0.no : 1073741829

    b1.no : 1073741830

找到所有的配置文件 ----------------------

1.tar开hadoop-2.7.3.tar.gz

    hadoop-2.7.3\share\hadoop\common\hadoop-common-2.7.3.jar\core-default.xml     文件存放位置    fs.defaultFS=file:///         hadoop-2.7.3\share\hadoop\hdfs\hadoop-hdfs-2.7.3.jar\hdfs-default.xml                 文件副本数    dfs.replication      hadoop-2.7.3\share\hadoop\mapreduce\hadoop-mapreduce-client-core-2.7.3.jar\mapred-default.xml     hadoop-2.7.3\share\hadoop\yarn\hadoop-yarn-common-2.7.3.jar\yarn-site.xml

 

2.配置[core-site.xml]文件

    <configuration>             <property>                     <name>fs.defaultFS</name>                     <value>hdfs://s201/</value>             </property>             <!--- 配置新的本地目录 -->             <property>                     <name>hadoop.tmp.dir</name>                     <value>/home/centos/hadoop</value>             </property>     </configuration>

--------基本思路------------------------

1.hdfs dfs -mkdir /usr/centos/hadoop  : 创建文件夹

2.hdfs dfs -lsr /usr/centos/hadoop ：查看文件目录 3.hdfs dfs -put index.html /usr/centos/hadoop : 上传文件index.html 到 /usr/centos/hadoop

4.通过上传文件到hdfs后, namenode名称节点通过slave配置datanode数据节点后， nn（名称节点）的hdfs-site.xml中配置了副本数，nm(名称节点)的hdfs-site.xml中配置数据存放位置。如果上传的文件 大于128M，hdfs将会对文件进行切割，每块（blcok）128M[为了满足 寻址时间为读取文件是的的 1%]。