首页 > 其他分享 >搭建hadoop本地模式

搭建hadoop本地模式

时间:2024-04-03 20:12:17浏览次数:17  
标签:training tar 2.7 hadoop 本地 HOME root 搭建

Hadoop生态圈组件:

作用:离线数据存储、离线数据计算

编程语言:java语言

历史:基于Google的三篇论文(Google的GFS,Google的MapReduce)

 步骤:

1.安装VMWare,下载镜像文件  rhel-server-7.4-x86_64-dvd

右键新建虚拟机

 

 

 编辑虚拟机

 

 启动虚拟机

 

 

 

 

 

 

配置local(伪分布模式) hadoop模式

解压
/root/tools
hadoop-2.7.3.tar.gz jdk-8u161-linux-x64.tar.gz

tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/
tar -zxvf jdk-8u161-linux-x64.tar.gz -C ~/training/

执行
rpm -ivh tree-1.6.0-10.el7.x86_64.rpm


配置java环境变量
vi ~/.bash_profile

追加配置
JAVA_HOME=/root/training/jdk1.8.0_161
export JAVA_HOME

PATH=$JAVA_HOME/bin:$PATH
export PATH

HADOOP_HOME=/root/training/hadoop-2.7.3
export HADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

配置hadoop环境
vi /root/training/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
修改第25行
JAVA_HOME 加入真实路径

生效配置
source ~/.bash_profile

/root/temp/data.txt 文件存储数据


计算重复数
hadoop jar /root/training/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /root/temp/root/output/wc

查看结果
more /root/output/wc3/part-r-00000

 

标签:training,tar,2.7,hadoop,本地,HOME,root,搭建
From: https://www.cnblogs.com/charkey/p/18113424

相关文章

  • 简单的网贷独立子服务搭建
    简单的网贷独立子服务搭建1.需求我们公司正在进行新信贷系统的迭代升级,但是之间呢我们系统又承接了一个网贷业务接口,需要给行内小型网贷提供预放款接口等几个接口,但是信贷系统还正在开发,所以就先提供一个子模块,一个独立的online-server,对外提供简单的网贷接口使用。这里......
  • git 下拉代码时,如何提前备份本地代码(通俗易懂,仅需要4步)
        在Git中,可以使用stash命令来将未完成的工作保存到一个临时区域。这样就能避免因为切换分支而导致本地代码被修改或者丢失。    要进行代码备份并切换到其他分支,可按照以下步骤操作:1、首先确认当前所处的分支     可通过运行gitbranch查看当前所在的......
  • 港美股股票配资系统搭建Gangguhk
    股票配资系统是由拥有10年项目开发经验的资深技术人员,针对股票配资市场情况及股票投资者需要而精心研发,可同时运行于手机端、电脑端的多屏杠杆融资风控管理系统。功能包括自设配资额度、交易管理、客户管理、警戒平仓、系统监控、风险控制、数据同步等,可对接虚拟盘或实盘操作,是......
  • 印度股票交易系统搭建
    印度股票交易系统可支持多品类金融产品交易,包括港股、美股、日韩股以及其他市场。参照国际投行操作及经验构建以用户为中心的业务系统,快速迭代、符合现代投资发展趋势的核心业务系统,是行业领先的交易终端系统。Websocket实时推送证券市场和交易行情。配备专业的技术开发团队,FIX......
  • 环境搭建 ubuntu22.04+gtx1070+cuda12.0+cudnn8.8.0+TensorRT8.6
    构建基础             cuda12.0的.deb包会强制安装所依赖的nvidia-525.60.13版本驱动,但是对于ubuntu22.04来说,linux内核为6.5.0,其与该nvidia驱动不兼容,会报错,所以要先安装所支持的驱动,然后再使用runfile进行安装cuda12.0。cuda与驱动版本对应可查如下官网:1.C......
  • 如何在本地使用Ollama运行开源LLMs
    本文将指导您下载并使用Ollama,在您的本地设备上与开源大型语言模型(LLMs)进行交互的强大工具。与像ChatGPT这样的闭源模型不同,Ollama提供透明度和定制性,使其成为开发人员和爱好者的宝贵资源。我们将探索如何下载Ollama并与两个令人兴奋的开源LLM模型进行交互:Meta的基于文本的模型L......
  • 企业如何搭建微信官方公众号?投媒网分享
    在内容运营为主的当下,公众号依旧是主流趋势的重点发力平台,很大程度上占据了用户的时间与眼球,不管在品牌传播,还是用户池的培养上,都占据着天然优势。然而有许多企业老板面对公众号的运营时经常一头雾水,不知道怎么开展。今天投媒网就来和大家聊聊:企业如何搭建微信官方公众号。......
  • 大数据实验统计-1、Hadoop安装及使用;2、HDFS编程实践;3、HBase编程实践;4、MapReduce编
    大数据实验统计1、Hadoop安装及使用;一.实验内容Hadoop安装使用:1)在PC机上以伪分布式模式安装Hadoop;2)访问Web界面查看Hadoop信息。二.实验目的1、熟悉Hadoop的安装流程。2、熟悉Hadoop访问Web界等基本操作。大数据实验一,Hadoop安装及使用-CSDN博客文章浏览阅读149次,点赞3......
  • Maven项目,本地jar包导入手动导入到Maven库中 ,也可以直接将jar包放到lib文件夹,右键 Add
    Maven项目,本地jar包导入手动导入到Maven库中,也可以直接将jar包放到lib文件夹,右键AddAsLibrary当你的项目,由于网络或者环境这些问题,无法从maven中央仓库更新jar包到本地的时候,可以尝试下面方法,手动添加jar包到Maven仓库;方法一(推荐):1、需要先拿到你的jar包,copy到本地。例如我......
  • 从github下载的jar包导入本地maven
    从github下载的jar包导入本地maven1.在github上把代码clone下来2.把下载的代码打成jar包(1)在编译环境打开代码(2)点击file-ProjectStructure...(3)点击Artifacts-加号-JAR-Frommoduleswithdependencies..点击之后会进入这个页面(4)选择copyto...(5)选择src的目录下......