Hadoop生态圈组件:
作用:离线数据存储、离线数据计算
编程语言:java语言
历史:基于Google的三篇论文(Google的GFS,Google的MapReduce)
步骤:
1.安装VMWare,下载镜像文件 rhel-server-7.4-x86_64-dvd
右键新建虚拟机
编辑虚拟机
启动虚拟机
配置local(伪分布模式) hadoop模式
解压
/root/tools
hadoop-2.7.3.tar.gz jdk-8u161-linux-x64.tar.gz
tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/
tar -zxvf jdk-8u161-linux-x64.tar.gz -C ~/training/
执行
rpm -ivh tree-1.6.0-10.el7.x86_64.rpm
配置java环境变量
vi ~/.bash_profile
追加配置
JAVA_HOME=/root/training/jdk1.8.0_161
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
HADOOP_HOME=/root/training/hadoop-2.7.3
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
配置hadoop环境
vi /root/training/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
修改第25行
JAVA_HOME 加入真实路径
生效配置
source ~/.bash_profile
/root/temp/data.txt 文件存储数据
计算重复数
hadoop jar /root/training/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /root/temp/root/output/wc
查看结果
more /root/output/wc3/part-r-00000
标签:training,tar,2.7,hadoop,本地,HOME,root,搭建 From: https://www.cnblogs.com/charkey/p/18113424