HDFS作为Hadoop的核心知识,是必须要掌握的,写这篇文章就是总结出HDFS的最核心知识点,那就开始吧!
一:什么是HDFS
Hadoop Distributed File System,简称 HDFS,是一个分布式文件系统。HDFS 有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。
注意:分布式文件系统能够横跨N个机器
二:HDFS的基本架构
HDFS是一个master/slave的架构模式,其中,Namenode充当了master的角色,Datanodes充当了slave的角色。
三:Hadoop之HDFS安装(以本人电脑上的目录结构为例)
下载安装包,并 解压:~/app
添加HADOOP_HOME/bin到系统环境变量
修改Hadoop配置文件: hadoop-env.sh(在/home/hadoop/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop目录里) export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
其他配置:
在core-site.xml中:
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop000:8020</value>
</property>
在hdfs-site.xml中:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/tmp</value>
</property>
在slaves中:
hadoop000
在 ~/.bash_profile里配置HADOOP_HOME,然后:source ~/.bash_profile
四:启动HDFS
$HADOOP_HOME/sbin/start-dfs.sh
标签:基本,HDFS,app,hadoop,介绍,Hadoop,HOME,HADOOP From: https://www.cnblogs.com/tianpan666/p/17913289.html