首页 > 其他分享 >hadoop安装

hadoop安装

时间：2023-07-19 16:35:30浏览次数：25  
标签：opt service timeline hadoop yarn address 安装

hadoop安装

零、hadoop启动命令

start-all.sh
start-dfs start-yarn
hadoop-deamons.sh yarn-deamons.sh
hadoop-deamon.sh yarn-deamon.sh
mr-jobhistoryserver.sh start historyserver
yarn-deamon.sh start timelineserver

一、准备安装包

D:\yilng\bigdata\hadoop\安装包 hadoop-2.6.0.tar.gz

二、使用SCP工具上传到服务器

# 上传路径:/opt/install_bak
# 解压路径:/opt/
tar -zxvf /opt/install_bak/hadoop-2.6.0.tar.gz -C ../

三、修改配置文件

hadoop-env.sh

vim hadoop-env.sh
export JAVA_HOME=/opta/jdk1.8.0_161

core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:8020</value>
	</property>
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/hadoop-2.6.0/tmp</value>
	</property>
</configuration>

hdfs-site.xml

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<property>
		<name>dfs.block.size</name>
		<value>134217728</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///opt/hadoop-2.6.0/hadoopdata/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///opt/hadoop-2.6.0/hadoopdata/dfs/data</value>
	</property>
	<property>
		<name>fs.checkpoint.dir</name>
		<value>file:///opt/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname</value>
	</property>
	<property>
		<name>fs.checkpoint.edits.dir</name>
		<value>file:///opt/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname</value>
	</property>
	<property>
		<name>dfs.http.address</name>
		<value>master:50070</value>
	</property>
	<property>
		<name>dfs.secondary.http.address</name>
		<value>slave1:50090</value>
	</property>
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
</configuration>

mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
		<final>true</final>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>
</configuration>

yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.resourcemanager.address</name>
		<value>master:8032</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address</name>
		<value>master:8030</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
		<value>master:8031</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address</name>
		<value>master:8033</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>master:8088</value>
	</property>
	
	<property>
		<name>yarn.nodemanager.pmem-check-enabled</name>
		<value>false</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>



<!--开启日志-->
	<property>
		<description></description>
		<name>yarn.timeline-service.hostname</name>
		<value>master</value>
	</property>
	<property>
		<description>Address for the Timeline server to start the RPC server.</description>
		<name>yarn.timeline-service.address</name>
		<value>${yarn.timeline-service.hostname}:10200</value>
	</property>
	<property>
		<description>The http address of the Timeline service web application.</description>
		<name>yarn.timeline-service.webapp.address</name>
		<value>${yarn.timeline-service.hostname}:8188</value>
	</property>
	<property>
		<description>The https address of the Timeline service web application.</description>
		<name>yarn.timeline-service.webapp.https.address</name>
		<value>${yarn.timeline-service.hostname}:8190</value>
	</property>
	<property>
		<description>Handler thread count to serve the client RPC requests.</description>
		<name>yarn.timeline-service.handler-thread-count</name>
		<value>10</value>
	</property>
	<property>
		<name>yarn.timeline-service.http-cross-origin.enabled</name>  
		<value>false</value>
	</property>
	<property>
		<name>yarn.timeline-service.http-cross-origin.allowed-origins</name> 
		<value>*</value>
	</property>
	<property>
		<name>yarn.timeline-service.http-cross-origin.allowed-methods</name>
		<value>GET,POST,HEAD</value>
	</property>
	<property>
		<name>yarn.timeline-service.http-cross-origin.allowed-headers</name>
		<value>X-Requested-With,Content-Type,Accept,Origin</value>
	</property>
	<property>
		<name>yarn.timeline-service.http-cross-origin.max-age</name>
		<value>1800</value>
	</property>
	<property>
		<name>yarn.timeline-service.generic-application-history.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.timeline-service.generic-application-history.store-class</name>
		<value>org.apache.hadoop.yarn.server.applicationhistoryservice.FileSystemApplicationHistoryStore</value>
	</property>
	<property>
		<name>yarn.timeline-service.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.timeline-service.store-class</name>
		<value>org.apache.hadoop.yarn.server.timeline.LeveldbTimelineStore</value>
	</property>
	<property>
		<name>yarn.timeline-service.ttl-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.timeline-service.ttl-ms</name>
		<value>6048000000</value>
	</property>
</configuration>

slaves

master
slave1
slave2

master

master

四、将配置好的jdk文件夹和Hadoop文件夹发送给slave1和slave2服务器

scp -r jdk slave1:/opt/jdk
scp -r jdk slave2:/opt/jdk
scp -r /opt/hadoop-2.6.0 slave1:/opt/
scp -r /opt/hadoop-2.6.0 slave2:/opt/

五、格式化

hadoop namenode -format

六、启动hadoop集群

start-dfs.sh
start-yarn.sh
或者
start-all.sh

七、启动之后查看jps

image

image

image

标签：opt,service,timeline,hadoop,yarn,address,安装
From： https://www.cnblogs.com/botaoli/p/17565965.html

相关文章

  • 宝塔php7.3安装swoole拓展问题
    宝塔选择php7.3安装swoole拓展后，发现还是不能用swoole；php-v发现默认版本是php7.4解决办法：切换默认PHP版本即可1.rm-f/usr/bin/php//删除默认的配置2.将默认版本修改成想要的版本，如：7.3ln-sf/www/server/php/73/bin/php/usr/bin/php ......
  • 黑群晖DSM7.2安装虚拟机生成序列号
    开启主板虚拟化！！！！存储空间系统格式btrfs 启用网卡OpenVSwitch设置  安装套件VirtualMachineManager      创建虚拟机    下一步直到完成，开启虚拟机  剩下就是链接助手链接虚拟机，配置一下就可以了全部完成后进入系统，打开控制面......
  • CentOS7安装Mysql8并进行主从复制配置
    场景CentOS7中安装Mysql8并配置远程连接和修改密码等：https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/131807269在上面实现安装Mysql8的基础上，克隆出两台机器，修改ip后进行mysql的主从复制搭建。Mysql主从复制在主库上把数据更改记录到二进制日志中（BinaryLog）中，这......
  • 黑群晖NAS7.0+安装问题解决经验分享
    感谢网上各种帖子及分享，为大家提供一个解决思路，机器配置多种多样，解决办法也仅供参考；1、引导后，无法找到群晖  遇到无法找到群晖的情况，首先要排除引导不兼容的问题。在bios中分别设置传统引导模式和UEFI引导模式尝试启动试下。最新版7.0.1的引导文件是两种启动方式都支持的，理......
  • 解决安装Pycharm后在C盘下生成大文件的问题
    今日鸡汤郑国游人未及家，洛阳行子空叹息。前言上次在整理C盘时,无意间发现了一个这样的文件。在我的用户目录下,有个.PyCharm2019.3这样的文件夹,我猜想和Pycharm可能有什么py关系。那这个文件有多大呢,来操作一下康康。雾草,竟然0.5个G了,我才刚用没多久唉！这对于我这强迫症来说很难......
  • 手把手教你安装Navicat——靠谱的Navicat安装教程
    Navicat是一款轻量级的用于MySQL连接和管理的工具，非常好用，使用起来方便，简洁。下面讲讲其安装的过程。1、进入navicat官网，选择NavicatforMySQL，然后点击进行下载即可。最好是可以找到版（参考链接：NavicatforMySQL64位）的navicat，或者先下载过来，然后再进行。2、弹出下图界面，任意选择......
  • centos7.9离线安装mysql5.7.42（本文使用initialize安装方法）
    centos7.9离线安装mysql5.7.42（本文使用initialize安装方法）一、卸载CentOS7系统自带mariadb#查看系统自带的Mariadb[root@NIWAY-190~]#rpm-qa|grepmariadbmariadb-libs-5.5.68-1.el7.x86_64#卸载系统自带的Mariadb[root@NIWAY-190~]#rpm-e--nodepsmariadb-libs-5.5.68-......
  • 关于用JS判断PC客户端是否安装某个软件的方法
    开发过程中，我们经常会碰到这样的需求：在web网页上，检测电脑上是否安装了某个软件。由于浏览器的安全机制，js没有办法通过浏览器去访问注册表信息，除非用浏览器扩展。 如果想在web网页中判断PC客户端是否安装了某个软件，可以试用标准的浏览器特性：检查浏览器是否支持自定义协议处理程......
  • docker安装mariadb
    第一次使用云服务器，发现存在权限问题。添加一个docker用户组将用户加入docker组刷新docker组拉取镜像查看镜像启动容器查看容器......
  • 编译安装redis6.2.13集群-哨兵模式
    下载并编译Redis虽然使用SLES15进行编译，但是理论上在其它系统上也是可行的，我们把编译所需要的依赖包安装即可。Redis我们选择6.2.13这个版本,我们先随便找个节点进行编译产生二进制文件#首先安装依赖包zypperref&&zypperinstallgccmakesystemd-devel#SLES/SUSEyu......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99