Hadoop安装-伪分布式-Pseudo
〇、所需资料
一、前置环境安装
1、包含内容
（1）安装
虚拟机安装、系统安装
（2）配置
ip、host、主机名配置
关闭防火墙及selinux
SSH免密登录
（2）基础环境安装
安装jdk
安装ntpd开启时钟同步
2、参考地址
https://www.cnblogs.com/liujinhui/p/16838546.html
二、Hadoop安装配置
1、解压与环境变量配置
（1）目录介绍
sbin目录：服务的启动脚本
bin目录：功能模块下的一些命令
lib：所需jar包
（2）环境变量配置
vi /etc/profile
增加：hadoop的bin和sbin目录
source /etc/profile使配置文件生效
2、hadoop-env.sh：配置jdk
export JAVA_HOME=/usr/java/default
3、core-site.xml：配置NN
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/data/hadoop</value>
</property>
</configuration>
4、hdfs-site.xml：配置SNN和DN
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/data/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/data/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop01:50090</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>/var/bigdata/hadoop/local/dfs/secondary</value>
</property>
</configuration>
5、slaves：配置DN节点位置
hadoop01
三、启动及验证
1、格式化NN
bin/hdfs namenode -format
2、验证NN对应位置
/usr/local/data/hadoop/dfs/name/xxx
3、HDFS启动与验证
sbin/start-dfs.sh
4、页面及生成文件验证
（1）页面验证
修改Windows的地址：C:\Windows\System32/drivers\etc\hosts
增加ip和主机的映射关系
192.168.40.101 hadoop01
四、使用
1、命令介绍
hdfs dfs【得到支持的命令】
2、创建目录
创建目录：hdfs dfs -mkdir abc（操作的是NN的元数据）
通常会创建：hdfs dfs -mkdir -p /usr/root 【点右上角的go!进行刷新】【对比linux家目录home，此处为user】【-p表示递归创建】
3、上传文件
上传数据：hdfs dfs -put a.txt /usr/root【点go刷新】
上传过程显示：COPYING
4、查看DN文件所在位置
/usr/local/data/hadoop/dfs/data/xxx
5、上传时附加配置
按字节切割：block.size【hdfs-site.xml】
上传时，指定块大小1m，验证如何切割
hdfs dfs -D dfs.blocksize=1024*1024(1048576=1m) -put data.txt
标签：hdfs,01,安装,Pseudo,Hadoop,dfs,hadoop,usr,data From： https://www.cnblogs.com/liujinhui/p/16838906.html