首页 > 其他分享 >【大数据】Hadoop配置（文档版本）

【大数据】Hadoop配置（文档版本）

时间：2023-10-07 12:34:26浏览次数：55  
标签：test1 Hadoop yarn server export 文档 版本 hadoop HADOOP

主机配置： 192.168.88.101 test1 192.168.88.102 test2 192.168.88.103 test3



Hadoop 上传压缩包并且解压


hadoop百度云：链接：https://pan.baidu.com/s/1DRV_x7Q_ZTUO4KMkr2-6Qg?pwd=not3 

# 先配置NameNode主机:

# 上传 hadoop文件压缩包 到NameNode主机，并且解压到/export/server/ 

[test@test1 ~]$ su -   				# 切换至ROOT用户
[root@test1 ~]# rz                   # 上传hadoop文件包
[root@test1 ~]# tar -zxvf hadoop-3.3.4.tar.gz -C /export/server  # 解压  
[root@test1 ~]# cd /export/server/   # 进入配置文件夹



HDFS 四个文件配置


# (1): 配置workers文件
[root@test1 hadoop]# cd hadoop/etc/hadoop/   
[root@test1 hadoop]# vim workers 		     
test1
test2
test3  


# (2): 配置hadoop-env.sh文件
[root@test1 hadoop]# vim hadoop-env.sh
export JAVA_HOME=/export/server/jdk        		   # 配置了 Java 的安装目录
export HADOOP_HOME=/export/server/hadoop   		   # 配置了 Hadoop 的安装目录
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop     # 配置了 Hadoop 的配置文件所在目录。
export HADOOP_LOG_DIR=$HADOOP_HOME/logs            # 配置了 Hadoop 日志文件的存放目录。



# (3): 配置core-site.xml文件   test1 -> 自定义
[root@test1 hadoop]# vim core-site.xml
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://test1:8020</value>  
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>            
  </property>
</configuration>



# (4): 配置hdfs-site.xml文件   test1,test2,test3 -> 自定义
[root@test1 hadoop]# vim hdfs-site.xml
<configuration>
  <property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>700</value> 
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/nn</value> 
  </property>
  <property>
    <name>dfs.namenode.hosts</name>
    <value>test1,test2,test3</value> 
  </property>
  <property>
    <name>dfs.blocksize</name>
    <value>268435456</value>  
  </property>
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>       
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/dn</value> 
  </property>
</configuration>



HDFS 配置文件分发节点


# 将配置好的hadoop分发 到 每个主机上

[root@test1 server]# scp -r /export/server/hadoop-3.3.4 test2:/export/server/
[root@test1 server]# scp -r /export/server/hadoop-3.3.4 test3:/export/server/

...



HDFS 数据存储文件夹


# NameNode主机添加 /data/dn /data/nn 
# DataNode主机创建 /data/dn

[root@test1 hadoop]# mkdir -p /data/nn       # test1
[root@test1 hadoop]# mkdir -p /data/dn       # test1

[root@test2 hadoop]# mkdir -p /data/dn       # test2
[root@test3 hadoop]# mkdir -p /data/dn       # test3
...



Hadoop 软链接


# 所有主机 创建 hadoop软连接    - ll查看是否创建

[root@test1 server]# ln -s /export/server/hadoop-3.3.4 hadoop
[root@test2 server]# ln -s /export/server/hadoop-3.3.4 hadoop
...



Hadoop 变量环境


# 所有主机 添加 hadoop 变量环境 并且激活

[root@test1 server]# vim /etc/profile
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[root@test1 server]# source /etc/profile
...



Hadoop 授权用户


# 所有主机 相关文件夹授权给hadoop用户

[root@test1 server]# chown -R hadoop:hadoop /data
[root@test1 server]# chown -R hadoop:hadoop /export
...



HDFS 启动


# NameNode主机-初始化系统-开启HDFS集群

[root@test1 server]# su - hadoop
[root@test1 server]# cd /export/server/hadoop/etc/hadoop/    
[hadoop@test1 ~]$ hadoop namenode -format   				# 格式化NameNode
[hadoop@test1 ~]$ start-dfs.sh             				    # 启动全部hdfs集群 
Starting namenodes on [test1]
Starting datanodes
Starting secondary namenodes [test1]
[hadoop@test1 server]$ jps
19824 DataNode
20118 SecondaryNameNode
20279 Jps
19694 NameNode

# WEB管理地址      点击 Live Nodes 查看集群台数
http://192.168.88.101:9870

#单独控制：
$HADOOP_HOME/bin/hadoop-daemon.sh (start | status | stop) ( namenode | secondarynamenode | datanode)



MapReduce 文件配置


# (1) 配置 mapred-env.sh 
[hadoop@test1 server]$ cd /export/server/hadoop/etc/hadoop/
[hadoop@test1 hadoop]$ vim mapred-env.sh 

export JAVA_HOME=/export/server/jdk           
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000    # JobHistoryServer进程内存为1G
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA        # 日志级别为INFO


# (2) 配置 mapred-site.xml   test1-自定义
[hadoop@test1 hadoop]$ vim mapred-site.xml 

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description></description>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>test1:10020</value>
    <description></description>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>test1:19888</value>
    <description></description>
  </property>
  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/data/mr-history/tmp</value>
    <description></description>
  </property>
  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/data/mr-history/done</value>
    <description></description>
  </property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
</configuration>



YARN 文件配置


# (1) 配置yarn-env.sh
[hadoop@test1 hadoop]$ vim yarn-env.sh

export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

# (2) 配置vim yarn-site.xml    test1-自定义
[hadoop@test1 hadoop]$ vim yarn-site.xml 

<configuration>
    <property>
        <name>yarn.log.server.url</name>
        <value>http://test1:19888/jobhistory/logs</value>
        <description></description>
    </property>
  	<property>
    	<name>yarn.web-proxy.address</name>
        <value>test1:8089</value>
        <description>proxy server hostname and port</description>
  	</property>
  	<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
        <description>Configuration to enable or disable log aggregation</description>
  	</property>
    <property>
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>/tmp/logs</value>
        <description>Configuration to enable or disable log aggregation</description>
    </property>
    <!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>test1</value>
        <description></description>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
        <description></description>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/data/nm-local</value>
        <description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>
    </property>
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/data/nm-log</value>
        <description>Comma-separated list of paths on the local filesystem where logs are written.</description>
    </property>
    <property>
        <name>yarn.nodemanager.log.retain-seconds</name>
        <value>10800</value>
        <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        <description>Shuffle service that needs to be set for Map Reduce applications.</description>
    </property>
</configuration>



YARN&MapReduce 配置文件分发节点


# 将MapReduce配置文件与yarn配置文件分发到其他节点

# test2：
scp /export/server/hadoop/etc/hadoop/mapred-env.sh test2:/export/server/hadoop/etc/hadoop/
scp /export/server/hadoop/etc/hadoop/mapred-site.xml test2:/export/server/hadoop/etc/hadoop/
scp /export/server/hadoop/etc/hadoop/yarn-env.sh test2:/export/server/hadoop/etc/hadoop/
scp /export/server/hadoop/etc/hadoop/yarn-site.xml test2:/export/server/hadoop/etc/hadoop/


# test3：
scp /export/server/hadoop/etc/hadoop/mapred-env.sh test3:/export/server/hadoop/etc/hadoop/
scp /export/server/hadoop/etc/hadoop/mapred-site.xml test3:/export/server/hadoop/etc/hadoop/
scp /export/server/hadoop/etc/hadoop/yarn-env.sh test3:/export/server/hadoop/etc/hadoop/
scp /export/server/hadoop/etc/hadoop/yarn-site.xml test3:/export/server/hadoop/etc/hadoop/


...分发N台



YARN 启动


# 启动YARN    MapReduce不需要启动
[hadoop@test1 hadoop]$ $HADOOP_HOME/sbin/start-yarn.sh  # 停止stop
Starting resourcemanager
Starting nodemanagers
[hadoop@test1 hadoop]$ jps
25338 ResourceManager
25456 NodeManager
25668 WebAppProxyServer
10481 NameNode
10897 SecondaryNameNode
10610 DataNode
25916 Jps


# 启动历史服务器 HADOOP_HOME应该是需要跟环境变量里面的一样
[hadoop@test1 bin]$ $HADOOP_HOME/sbin/mapred --daemon start historyserver # 停止换成stop
[hadoop@test1 bin]$ jps
25456 NodeManager
10481 NameNode
10897 SecondaryNameNode
10610 DataNode
25668 WebAppProxyServer
26230 Jps
25338 ResourceManager
26175 JobHistoryServer

# WEB UI控制台地址   点击nodes查看节点
http://192.168.88.101:8088 

# 单独控制：
$HADOOP_HOME/bin/yarn --daemon (start|stop) (resourcemanager|nodemanager|proxyserver)
$HADOOP_HOME/bin/mapred --daemon (start|stop) historyserver



标签：test1,Hadoop,yarn,server,export,文档,版本,hadoop,HADOOP
From： https://www.cnblogs.com/wanghong1994/p/17746000.html

相关文章

  • 使用screw 生成表结构文档
    第一步引入依赖<!--数据库表结构文档--><dependency><groupId>cn.smallbun.screw</groupId><artifactId>screw-core</artifactId><version>1.0.4</version></depen......
  • Strimzi Kafka Bridge(桥接)实战之三：自制sdk(golang版本)
    欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos本篇概览本文是《StrimziKafkaBridge(桥接)实战》的第三篇，前文咱们掌握了StrimziKafkaBridge的基本功能：基于http提供各种kafka消息的服务此刻，如果想通过http接口调......
  • Apple开发_swift版本发展进化史
    Swift1.02014-08-18Swift1.12014-10-16Swift1.22015-04-08Swift2.02015-09-16Swift2.12015-10-20Swift2.22016-03-21Swift3.02016-09-13Swift3.0.12016-10-27Swift......
  • PHP-redis中文文档
    phpredis是php的一个扩展，效率是相当高有链表排序功能，对创建内存级的模块业务关系 很有用;以下是redis官方提供的命令使用技巧:   下载地址如下： https://github.com/owlient/phpredis（支持redis2.0.4）Redis::__construct构造函数$redis=newRedis();connect,open ......
  • 领导临时要数据库文档怎么办？
    很多时候，我们为了着急忙慌赶项目进度，很容易忽略整理文档这件事某一天，领导心血来潮，要搞一次突击检查，想看看我们的数据库设计的是否规范，但他又不想亲自去数据库查验（毕竟这么大领导）那么，我们该怎么办？第一种方法：离职，世界那么大，我想去看看（我相信一般人不会这么做）也许你可以试试下......
  • 202310061227-《心得：低版本mysql配置一，些轮子插件》
    1.对于mysql5.7.42，驱动（connector）选择：5.1.46。2.测试链接时：useSSL=true&enabledTLSProtocols=TLSv1.1 驱动链接字符串上要拼接上。3.驱动链接字符串：高版本mysql，意味着高版本connector，选>=8；低版本，选择5.x;               高版本mysql，com.my......
  • sv的LSB 使用+SV的protect类型+RAL模型的lock原因+C语言结构体中的冒号用法+uvm版本在
    sv的LSB使用https://blog.csdn.net/gsjthxy/article/details/90722378等价关系[LSB+:STEP]=[LSB+STEP:LSB]伪代码：bit[1023:0]mem;bit[7:0]data;j=0..100mem[j*8+:8]=data;//[7:0],[15:8],[23:16]SV的protect类型https://blog.csdn.net/qq_37573794/ar......
  • 基于python的食力派网上订餐系统-计算机毕业设计源码+LW文档
    摘 要在各学校的教学过程中，食力派网上订餐系统是一项非常重要的事情。随着计算机多媒体技术的发展和网络的普及。采用当前流行的B/S模式以及3层架构的设计思想通过Python技术来开发此系统的目的是建立一个配合网络环境的食力派网上订餐系统，这样可以有效地解决食力派网上订餐管理......
  • 基于Python的智慧补助系统的设计与实现-计算机毕业设计源码+LW文档
    摘 要在各学校的教学过程中，智慧补助系统是一项非常重要的事情。随着计算机多媒体技术的发展和网络的普及。采用当前流行的B/S模式以及3层架构的设计思想通过Python技术来开发此系统的目的是建立一个配合网络环境的智慧补助系统，这样可以有效地解决智慧补助混乱的局面。本文首先......
  • 基于Django的智慧旅游系统的设计与实现-计算机毕业设计源码+LW文档
    摘 要在各学校的教学过程中，智慧旅游系统是一项非常重要的事情。随着计算机多媒体技术的发展和网络的普及。采用当前流行的B/S模式以及3层架构的设计思想通过Python技术来开发此系统的目的是建立一个配合网络环境的智慧旅游系统，这样可以有效地解决智慧旅游管理信息混乱的局面。......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99