首页 > 其他分享 >hadoop 2.4.1单机安装教程 99.9%成功率

hadoop 2.4.1单机安装教程 99.9%成功率

时间:2023-01-09 20:07:14浏览次数:41  
标签:xml mapred HADOOP hadoop 99.9% site HOME 2.4


1.先自己安装centos7.X  64位

2.自己想办法安装JDK1.7,记住不要open sdk的

3.准备好hadoop-2.4.1  64位,官网下载默认是32位的,所以上淘宝买CSDN下载

4.修改系统配置

vim /etc/sysconfig/network
        NETWORKING=yes
        HOSTNAME=k1

 vim /etc/hosts
            
        192.168.0.109    k1

reboot

5.修改hadoop环境变量

export JAVA_HOME=/usr/local/java/jdk7
export HADOOP_HOME=/root/hadoop-2.4.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOOME/sbin:$HADOOP_HOME/lib:$JAVA_HOME/binexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib

然后source /etc/profile

6.修改hadoop配置文件

第一个:hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/java/jdk1.7.0_65

第二个:core-site.xml <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://weekend-1206-01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.4.1/tmp</value>
</property>

第三个:hdfs-site.xml hdfs-default.xml (3)
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

第五个:yarn-site.xml
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>weekend-1206-01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>7.格式化:
hdfs namenode -format
8.启动sbin/start-dfs.sh
9.启动sbin/start-yarn.sh
10.jps验证一下

标签:xml,mapred,HADOOP,hadoop,99.9%,site,HOME,2.4
From: https://blog.51cto.com/u_14650780/5998733

相关文章

  • 你有想过,如何用Hadoop实现【倒排索引】?
    写在前面: 博主是一名大数据的初学者,昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白,​​写博客一方面是为了记录自己的学习历程,一方面是希望能够......
  • Hadoop的溢写
    问题:1,一台服务器上,同时运行4个MapTask任务,即当前服务器会有4个溢写缓冲区,即一个MapTask会开启一个溢写缓冲区2,Spill过程不一定会发生,当此MapTask输出的数量很小时,小于(默认10......
  • 2.4JS中的函数的使用
    ​  什么是JS的函数:类似于java中的方法,JS中也可以定义一些函数,java中的方法签名包含访问修饰符,返回值类型,方法名,参数列表,异常列表,但是JS中定义函数的语法相对......
  • 2.4JS中的函数的使用
    ​  什么是JS的函数:类似于java中的方法,JS中也可以定义一些函数,java中的方法签名包含访问修饰符,返回值类型,方法名,参数列表,异常列表,但是JS中定义函数的语法相对......
  • [概率论与数理统计]笔记:2.4 常用的连续型分布
    2.4常用的连续型分布均匀分布定义如果随机变量\(X\)的密度函数为\[f(x)=\left\{\begin{align*}&\frac{1}{b-a},\quad\quada\lex\leb,\\&0,\quad\quad\quad\qua......
  • Ubutnu 20.04 安装和使用单机版hadoop 3.2 [转载]
    按照此文档操作,可以一次部署成功:Ubutnu20.04安装和使用单机版hadoop3.2部署之后,提交测试任务报资源问题。原因是yarn还需要配置,如下:$catyarn-site.xml<?xml......
  • 2.4寸串口屏应用于家用包装封口机
    由于长时间的放置,食物发生变质后被浪费丢弃的情况屡见不鲜,尤其是在我们的家庭厨房中,没有被及时烹制的食材,其归宿就是垃圾桶。对于食物的储存与保鲜,人们从古至今尝试了不少......
  • 描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系
    作者:小怪兽链接:https://www.zhihu.com/question/27974418/answer/1862026844来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。1Hadoop只是......
  • Hadoop中的MapReduce框架
    一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块,由Map任务以完全并行的方式去处理它们。          框架会对Map的输出......
  • hadoop fs:du统计hdfs文件(目录下文件)大小的用法
     [root@node218~]#hadoopfs-du-h/inventory5g8.0G8.0G/inventory5g/inventory.dat261.2M261.2M/inventory5g/inventory_1_30.dat261.6M261......