首页 > 编程语言 >源码编译 - hadoop3.31

源码编译 - hadoop3.31

时间:2023-03-04 15:35:18浏览次数:59  
标签:tar hadoop3.31 hadoop maven 编译 源码 usr local

hadoop源码编译

一、准备工作

1、下载hadoop源码

官网地址:https://www.apache.org/index.html#projects-list

清华大学镜像网站:https://mirrors.tuna.tsinghua.edu.cn/apache/

2、编译版本及要求


下载源码,上传至Linux,解压

tar -zxvf hadoop-3.3.1-src.tar.gz -C /usr/local


查看编译要求

less /usr/local/hadoop-3.3.1-src/BUILDING.txt

3、准备编译环境所需安装包

#jdk
  jdk-8u181-linux-x64.rpm

#maven
  apache-maven-3.9.0-bin.tar.gz

#ant 一个将软件编译、测试、部署等步骤联系在一起加以自动化的一个工具,大多用于Java环境中的软件开发。
  apache-ant-1.9.9-bin.tar.bz2

#protobuf 谷歌研发出来的一个网络通信和数据存储的协议 (必备) 2.5版本
  protobuf-2.5.0.tar.gz

#findbugs 编译源码的过程中如果出现bug findbugs会自动帮你找到并定位到这个bug
  findbugs-3.0.1.tar.gz

#node
  node-v13.1.0-linux-x64.tar.gz

#cmake
  cmake-3.26.0-rc5.tar

#snappy
  snappy-1.1.3.tar.gz

4、安装环境配置环境变量

1)yum安装系统自带

yum -y install svn ncurses-devel gcc* lzo-devel zlib-devel autoconf automake libtool openssl-devel bzip2

2)jdk

rpm -ivh jdk-8u181-linux-x64.rpm

3)maven

解压到指定目录

  tar -zxvf apache-maven-3.9.0-bin.tar.gz -C /opt

修改权限

  chmod -R 765 apache-maven-3.9.0

创建软连接(绝对路径)

  ln -s /opt/apache-maven-3.9.0 /usr/local/maven

修改配置文件

  vi /usr/local/maven/conf/setting.xml

a、本地仓库位置

  <localRepository>/data/maven/repository</localRepository>

b、镜像仓库

  <mirrors>

    <!-- 阿里云仓库 -->

  <mirror>

    <id>alimaven</id>

     <mirrorOf>central</mirrorOf>

     <name>aliyun maven</name>

     <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>

  </mirror>

    <!-- 中央仓库1 -->

  <mirror>

    <id>repo1</id>

    <mirrorOf>central</mirrorOf>

    <name>Human Readable Name for this Mirror.</name>

    <url>http://repo1.maven.org/maven2/</url>

  </mirror>

    <!-- 中央仓库2 -->

  <mirror>

    <id>repo2</id>

    <mirrorOf>central</mirrorOf>

    <name>Human Readable Name for this Mirror.</name>

    <url>http://repo2.maven.org/maven2/</url>

  </mirror>

</mirrors>

验证

mvn -v

4)ant

解压到指定位置

tar -zxvf apache-ant-1.9.9-bin.tar.bz2 -C /opt

创建软连接

ln -s /opt/apache-ant-1.9.9 /usr/local/apache-ant

验证

ll /usr/loca/ |grep ‘ant‘

5)protobuf

解压压缩文件

tar -zxf protobuf-2.5.0.tar.gz -C /usr/local/

检查编译所用的环境,并生成用make命令编译使用的文件

cd /usr/local/protobuf-2.5.0

./configure

#编译protobuf

make

#安装protobuf

sudo make install

#查看版本信息并验证是否安装成功

protoc --version

6)findbugs

解压

tar -xzf findbugs-3.0.1.tar.gz -C /usr/local

查看版本

/usr/local/findbugs-3.0.1/bin/findbugs -version

7)node

系统自带版本较低

解压

tar -zxvf node-v13.1.0-linux-x64.tar -C /opt

创建软连接

ln -s /opt/node-v13.1.0-linux-x64 /usr/local/node

8)cmake

 

yum 安装版本低,后期编译报错

卸载已安装的

yum erase cmake

解压

tar -zxvf cmake-3.13.5.tar.gz -C /opt

跳转至cmake目录:

cd /opt/cmake

编译

./configure

安装

make && make install

检验安装是否成功:

cmake -version

9)snappy

#解压压缩

tar -xzf snappy-1.1.3.tar.gz -C /usr/local/

#检查编译所用的环境,并生成用make命令编译使用的文件

cd /usr/local/snappy-1.1.3

./configure

#编译

make

#安装

sudo make install

#查看安装情况

ls -lh /usr/local/lib |grep snappy

10)配置环境变量

vi /etc/profile

#java

export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH

export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin

#node

export NODE_HOME=/usr/local/node

export PATH=$NODE_HOME/bin:$PATH

#set Hadoop_compile

export MAVEN_HOME=/usr/local/maven

export FINDBUGS_HOME=/usr/local/findbugs

export PROTOBUF_HOME=/usr/local/protobuf

export ANT_HOME=/usr/local/apache-ant

export PATH=$PATH:$MAVEN_HOME/bin:$FINDBUGS_HOME/bin:$ANT_HOME/bin

export MAVEN_OPTS="-Xmx2g -XX:MaxMetaspaceSize=512M -XX:ReservedCodeCacheSize=512m"

 

二、编译

进入hadoop目录

cd /usr/local/hadoop-3.3.1-src

开始编译

mvn clean package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib

编译完成后位置

/usr/local/hadoop-3.3.1-src/hadoop-dist/target

由于项目较大,请耐心等待

编译成功

三、编译报错

1、hadoop-maven-plugins:3.3.1:cmake-compile

Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:3.3.1:cmake-compile (cmake-compile) on project hadoop-common: CMake failed with error code 1 -> [Help 1]

原因:yum安装的cmake版本太低,需重新安装

2、frontend-maven-plugin:1.11.2:yarn (yarn install)

Failed to execute goal

com.github.eirslett:frontend-maven-plugin:1.11.2:yarn (yarn install)

on project hadoop-yarn-applications-catalog-webapp:

Failed to run task: 'yarn ' failed. org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1) -> [Help 1]

原因:node版本与pom中版本不一致

确认编辑报错位置:hadoop-yarn-applications-catalog-webapp(cd /usr/local/hadoop-3.3.1-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-applications/hadoop-yarn-applications-catalog/hadoop-yarn-applications-catalog-webapp)

修改pom.xml文件中<nodeVersion>v8.11.3</nodeVersion>与系统版本一致

标签:tar,hadoop3.31,hadoop,maven,编译,源码,usr,local
From: https://www.cnblogs.com/lingyou/p/17178332.html

相关文章