1.hadoop基本知识
1.1 特点:
扩容能力:能可靠地存储和处理千兆字节的数据;
成本低:可以通过普通机器组成的服务器来分发以及处理数据,这些服务器群总计可达千个节点。
高效率:通过分发数据,可以在数据所在胡节点一并行胡处理他们,赭石的处理非常快速;
可靠性:hadoop 能自动的维护数据的多份副本,并且在任务失败后能自动的重新部署计算任务;
1.2 HDFS :分布式文件系统
是一种允许文件通过网络在多台主机上分享的文件系统,可以让多机器上的多用户分享文件和存储空间;
主从结构 :
主节点 ,只有一个 :namenode
接收用户操作请求,维护文件系统的目录结构,管理文件与block之间的关系,blocak与datanode之间的关系;
从节点,有很多个: datanodes
存储文件,文件被分成block存储在磁盘上,为保证数据安全,文件会有多个副本;
1.3 MapReduce : 并行计算框架
主从结构:
主节点 ,只有一个 :JobTracker
接收客户提交的计算任务,把计算任务分给TaskTrackers执行,监控TaskTracker的执行情况;
从节点,有很多个: TaskTrackers
执行JobTracker分配计算任务;
1.4 系统信息
deepin 15
2.ssh安装配置
2.1 执行安装
yuan@LABELNET:/$ sudo apt-get install openssh-server
大约几分钟
2.2 测试登陆
<span style="font-family: 'Comic Sans MS';">yuan@LABELNET:/$ ssh localhost</span>
中途需要数几次密码,linux 密码
2.3 配置免密码登陆
(1)退出ssh
yuan@LABELNET:/$ exit
(2) 进入ssh目录
yuan@LABELNET:/$cd ~/.ssh/
如果没有该目录,则先进行测试登陆;
(3)配置
yuan@LABELNET:/$ssh-keygen -t rsa
中间输入密码的时候,之间回车就可以了;
注意 :ssh-keygen之间没有空格,有空格则报错 :
yuan@LABELNET:~/.ssh$ ssh -keygen -t rsa
Bad escape character 'ygen'.
(4) 加入授权
yuan@LABELNET:~/.ssh$cat id_rsa.pub >> authorized_keys
成功后的提示 :
SHA256:oAFCxlkVfBwFcCcDEpGlYEYlUdVf+Q481mFiRHFCjjo yuan@LABELNET
The key's randomart image is:
+---[RSA 2048]----+
|=XBBOB**+o+*o. |
|++ooo..++ o=oo |
| .. o ..+.= . |
| o ... = o |
| . ES . + |
| . . |
| |
| |
| |
+----[SHA256]-----+
配置免密码登陆ssh成功!
3.伪分布式安装
本来是主从结构的,如果是伪分布式的化,是的全部的进程任务在一台机器中运行,但是其调用方式和运行方式是不变的;
3.1 下载
3.2 解压
解压到 /usr/local 目录下
yuan@LABELNET:/mnt/8A962B78962B6443/BIGDATA/Install$ sudo tar -zxvf ./hadoop-2.6.0.tar.gz -C /usr/local/
3.3 修改文件夹名为 hadoop
yuan@LABELNET:/usr/local$ sudo mv ./hadoop-2.6.0/ ./hadoop
3.4 修改权限
yuan@LABELNET:/usr/local$ sudo chmod 777 ./hadoop
3.5 进入hadoop 文件下的 etc/hadoop文件夹下
yuan@LABELNET:/usr/local/hadoop/etc/hadoop$
3.6 配置core-site.xml 文件
$ sudo gedit core-site.xml
配置为 :
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3.7 配置 hdfs-site.xml
配置为 :
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
3.8 对namenode 进行格式化
yuan@LABELNET:/usr/local/hadoop$ bin/hdfs namenode -format
在hadoop 根目录下进行;
成功会出现:successfully formatted 字样;
3.9 开启测试hadoop
yuan@LABLENET:/usr/local/hadoop$ sbin/start-all.sh 或者 $ sbin/start-dfs.sh
启动过程中输入yes即可!
3.10 输入jps 测试
NameNode、DataNode 和 SecondaryNameNode , 安装成功
3.11 浏览器测试
打开浏览器 输入 :http://localhost:50070 ,输入 namenode 和 datanode 的信息
4.总结
伪分布安装到此结束,下面将一个 wordcount 分词的例子 , 和 进行全局配置 hadoop 和 yarn ;