首页 > 其他分享 >hadoop大数据安装

hadoop大数据安装

时间:2023-12-05 17:57:44浏览次数:22  
标签:tar 安装 hadoop HADOOP etc 3.1 PATH 数据

一、hadoop的安装
1、hadoop的安装
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz
2、解压
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
3、查看是否解压成功
   ls /opt/module/

 4、将  Hadoop 添加到环境变量
         (1)打开/etc/profile.d/my_env.sh 文件
      sudo vim /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

5、立刻生效
source /etc/profile

6、查看hadoop的版本号
hadoop version

二、环境配置

cp /home/atguigu/.ssh/authorized_keys   /etc/ssh/atguigu/



标签:tar,安装,hadoop,HADOOP,etc,3.1,PATH,数据
From: https://www.cnblogs.com/niun/p/17877810.html

相关文章

  • C语言中的基本数据类型及其格式化输出
    C语言中的基本数据类型及其格式化输出基本数据类型从下图可以看出,C语言中的基本数据类型包括了整型(int)、字符型(char)、浮点型(float)和双精度浮点型(double)。在声明变量时,不同数据类型都会分配不同的存储空间,而且还跟操作系统有关。char//有符号字符型,1个字节u......
  • hadoop优化之yarn调优
    yarn.nodemanager.resource.memory-mb(重点)表示该节点上YARN可使用的物理内存总量,默认是8192(MB),注意,如果你的节点内存资源不够8GB,则需要调减小这个值,而YARN不会智能的探测节点的物理内存总量。假如服务器内存64G,设置32G。yarn.nodemanager.vmem-pmem-ratio任务每使用1MB物理内存,最......
  • datax采集txt文件数据到hive
    1、提前创建hive表结构DROPTABLEIFEXISTSods.ods_log_1diu;CREATETABLEIFNOTEXISTSods.ods_log_1diu(SI_NOSTRING,--varchar(10)notnull,主键SEND_TABLESTRING,--varchar(30)notnull,主键SEQSTRING,--varchar(11)notnull,主......
  • 数据结构常见存储方式c语言
     图---邻接矩阵/*图的邻接矩阵存储表示法*///用两个数组分别存储顶点表和邻接矩阵#defineMaxInt32767//表示极大值,即无穷#defineMVNum100//最大顶点数typedefcharVerTexType;//假设顶点的数据类型为字符型typedefintArcType;//假设边的权值类型为整型......
  • dhango要迁移时mysql安装及配置
    一、apt安装MySQLsudoapt-getupdate#更新源sudoapt-getinstallmysql-server#安装sudoaptinstallnet-tools二、MySQL服务管理sudoservicemysqlstatus#查看服务状态sudoservicemysqlstart#启动服务sudoservicemysqlstop#停止服务sudoservice......
  • 用 Python 开发网络爬虫提高数据采集效率
    随着互联网的快速发展,数据采集成为了各行各业中不可或缺的一环。而Python作为一种功能强大且易于学习的编程语言,被广泛应用于网络爬虫开发。本文将介绍使用Python开发网络爬虫的优点,并探讨如何利用Python提高数据采集效率。1.强大的库和工具支持:Python拥有许多强大的库和工具,如Beau......
  • 不平衡少样本数据集的算法方案
    在图像实际的细分场景中,经常会遇到数据集不均衡以及数据集数量有限等问题,如何有效利用数据集,提升自己的算法效果,这里大刀基于自己的实际项目经验,分享在实际图像分类领域遇到问题,以及解决的方案,供参考。前言大家好,我是张大刀。之前有个智慧工地的项目,其中一个需求是监控工地......
  • Python 递归输出树数据 多层级序号
    1.数据结构input_dict={'A':{'B':{'C':{},'D':{}},'E':{'F':{}}},'G':{'H':{},'I':{}}}2.Python代码defco......
  • 并发情况如何实现加锁来保证数据一致性?
    单体架构下锁的实现方案1.ReentrantLock全局锁ReentrantLock(可重入锁),指的是一个线程再次对已持有的锁保护的临界资源时,重入请求将会成功。简单的与我们常用的Synchronized进行比较:ReentrantLockSynchronized锁实现机制依赖AQS监视器模式灵活性支持响应超时、......
  • Python 对树结构数据输出序号(文档目录)层级
    input_data=[{'title':'试验干预中止和参与者退出试验','children':[{'title':'试验干预中止','children':[{'title......