首页 > 系统相关 >centos7.9上hadoop-2.7.2伪分布式部署

centos7.9上hadoop-2.7.2伪分布式部署

时间:2023-05-28 15:34:23浏览次数:54  
标签:jdk tar etc hadoop centos7.9 namenode 2.7

1.安装jdk

1.1 在Oracle官网上现在jdk1.8 ,然后上传到Linux服务器中

1.2  安装jdk 

rpm -ivh jdk-8u371-linux-x64.rpm

2 创建部署用户 hadoop

useradd -d /hadoop hadoop
echo 123 |passwd --stdin hadoop

3 修改/etc/hosts

4 使用Hadoop用户上传hadoop安装包hadoop-2.7.2.tar.gz 并解压

tar -zxf hadoop-2.7.2.tar.gz -C /hadoop/

5.设置软链接

cd /hadoop 
ln -s hadoop-2.7.2 hadoop

6.配置环境变量/etc/profile

7.配置namenode服务

7.1 修改配置文件

cd hadoop/etc/hadoop/
vim core-site.xml
<configuration>

  <property>
    <name>fs.defaultFS</name>
        <value>hdfs://node1:9000</value>
  </property>

  <property>
    <name>hadoop.tmp.dir</name>
        <value>/hadoop/hadoop/data</value>
  </property>

</configuration>

7.2  格式化hdfs

hadoop namenode -format

  当输出日志中出现NFO common.Storage: Storage directory /hadoop/hadoop/data/dfs/name has been successfully formatted.时,说明格式化成功.

7.3 启动namenode服务

7.4  在浏览器中输入服务器IP:50070   注:core-site 中配置的9000端口为rpc通信端口,50070为http端口

 

 

 

 

  

 

标签:jdk,tar,etc,hadoop,centos7.9,namenode,2.7
From: https://www.cnblogs.com/hxy0001/p/17438301.html

相关文章

  • springboot2.7使用log4j2的maven配置
    先排查自带的<!--排除自带的--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter</artifactId><exclusions>......
  • 2.7 控制与数据的结合
    理解指针每一个指针都对应一个类型。这个类型表明该指针指向哪一类对象。如果对象类型为T,那么指针类型为T*,特殊的void*类型代表通用指针。每一个指针都有一个值。这个值时某个指定类型的对象的地址。指针用‘&’运算符创建。这个运算符可以应用到任何lvalue类的C表达式上,lvalu......
  • HDFS文件因Hadoop版本原因导致append操作失败的问题
    问题重现:2023.05.24练习B站尚硅谷Hadoop3里的HDFS的Shell操作(append)[[email protected]]$hadoopfs-appendToFileliubei.txt/sa点击查看代码[[email protected]]$hadoopfs-appendToFileliubei.txt/sa2023-05-2420:30:37,303WARNhdfs.......
  • Linux(centos7.9)搭建TACACS+服务器
    一、TACACS+是什么TACACS+(TerminalAccessControllerAccessControlSystem),终端访问控制器控制系统协议,与Radius协议相近,为网络设备和访问服务器提供身份验证,授权和计费服务。 TACACS+和RADIUS的比较更多细节,自行查看 https://www.h3c.com/cn/d_201309/922099_300......
  • idea windows本地访问远程hadoop服务问题
    在上一篇博客hadoop基于zookeper自动高可用搭建搭建好远程的hadoop集群服务后,需要通过本地java代码访问该集群。java结构如下图所示测试类HdfsTest代码如下:packagecom.wh.hdfs.test;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileStatus;i......
  • MQCal工程算量V1.2.7.1(20230519)版本发布——土建、水电Excel算量插件工具
    MQCal工程算量加载宏工具是什么?首先说明的是:MQcal不是一个简单的对工程计算式算结果的求值工具。他是我本人结合手工算量经验,充分考虑预算员的需求,从算量表格自己设计、重复项目便捷输入、特殊标记、汇总统计、打印或打印为pdf、造价预估等实用功能一体解决方法。MQCal工程算量......
  • hadoop集群搭建后,启动集群后网络畅通,却无法访问web页面的解决办法
    hadoop集群搭建后,启动集群后网络畅通,却无法访问web页面的解决办法问题引入:在学习hadoop搭建完全分布式集群时,已经集群配置了4个核心文件,并且启动所有相关进程,在使用jps命令检查进程,该集群启动完整正常,但是无法访问hdfsweb页面和yarnweb页面,我尝试了ping通所有集群的网络,正常;检查......
  • springboot 接入通用tkmapper和pagehelper,boot starter版,mysql5.7,boot2.7.9
    1、pom文件引入<dependency><groupId>com.github.pagehelper</groupId><artifactId>pagehelper-spring-boot-starter</artifactId><version>1.4.6</version></dependency><dependency><groupId......
  • 【ambari 2.7】一键docker部署脚本
    仓库地址#首次创建和启动集群容器shapp.shcreate#启动容器shapp.shstart#停止容器shapp.shstop步骤注意点:软件源地址:http://172.188.0.2/HDP/centos8/3.3.1.0-002/http://172.188.0.2/HDP-UTILS/centos7/1.1.0.22/主机名称和server机器的私钥amb-server.......
  • 一、Hadoop平台安装
    卸载自带OpenJDK(最小化安装不用执行)[root@master~]#rpm-qa|grepjava[root@master~]#rpm-e--nodepsxxx配置免密登录生成密钥对:[root@master~]#ssh-keygen-trsa(回车四次)发送公钥:[root@master~]#ssh-copy-id192.168.100.10ssh-copy-id192.168.100.20ss......