hadoop源码编译
一、准备工作
1、下载hadoop源码
官网地址:https://www.apache.org/index.html#projects-list
清华大学镜像网站:https://mirrors.tuna.tsinghua.edu.cn/apache/
2、编译版本及要求
下载源码,上传至Linux,解压
tar -zxvf hadoop-3.3.1-src.tar.gz -C /usr/local
查看编译要求
less /usr/local/hadoop-3.3.1-src/BUILDING.txt
3、准备编译环境所需安装包
#jdk jdk-8u181-linux-x64.rpm #maven apache-maven-3.9.0-bin.tar.gz #ant 一个将软件编译、测试、部署等步骤联系在一起加以自动化的一个工具,大多用于Java环境中的软件开发。 apache-ant-1.9.9-bin.tar.bz2 #protobuf 谷歌研发出来的一个网络通信和数据存储的协议 (必备) 2.5版本 protobuf-2.5.0.tar.gz #findbugs 编译源码的过程中如果出现bug findbugs会自动帮你找到并定位到这个bug findbugs-3.0.1.tar.gz #node node-v13.1.0-linux-x64.tar.gz #cmake cmake-3.26.0-rc5.tar #snappy snappy-1.1.3.tar.gz
4、安装环境配置环境变量
1)yum安装系统自带
yum -y install svn ncurses-devel gcc* lzo-devel zlib-devel autoconf automake libtool openssl-devel bzip2
2)jdk
rpm -ivh jdk-8u181-linux-x64.rpm
3)maven
解压到指定目录
tar -zxvf apache-maven-3.9.0-bin.tar.gz -C /opt
修改权限
chmod -R 765 apache-maven-3.9.0
创建软连接(绝对路径)
ln -s /opt/apache-maven-3.9.0 /usr/local/maven
修改配置文件
vi /usr/local/maven/conf/setting.xml
a、本地仓库位置
<localRepository>/data/maven/repository</localRepository>
b、镜像仓库
<mirrors>
<!-- 阿里云仓库 -->
<mirror>
<id>alimaven</id>
<mirrorOf>central</mirrorOf>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
</mirror>
<!-- 中央仓库1 -->
<mirror>
<id>repo1</id>
<mirrorOf>central</mirrorOf>
<name>Human Readable Name for this Mirror.</name>
<url>http://repo1.maven.org/maven2/</url>
</mirror>
<!-- 中央仓库2 -->
<mirror>
<id>repo2</id>
<mirrorOf>central</mirrorOf>
<name>Human Readable Name for this Mirror.</name>
<url>http://repo2.maven.org/maven2/</url>
</mirror>
</mirrors>
验证
mvn -v
4)ant
解压到指定位置
tar -zxvf apache-ant-1.9.9-bin.tar.bz2 -C /opt
创建软连接
ln -s /opt/apache-ant-1.9.9 /usr/local/apache-ant
验证
ll /usr/loca/ |grep ‘ant‘
5)protobuf
解压压缩文件
tar -zxf protobuf-2.5.0.tar.gz -C /usr/local/
检查编译所用的环境,并生成用make命令编译使用的文件
cd /usr/local/protobuf-2.5.0
./configure
#编译protobuf
make
#安装protobuf
sudo make install
#查看版本信息并验证是否安装成功
protoc --version
6)findbugs
解压
tar -xzf findbugs-3.0.1.tar.gz -C /usr/local
查看版本
/usr/local/findbugs-3.0.1/bin/findbugs -version
7)node
系统自带版本较低
解压
tar -zxvf node-v13.1.0-linux-x64.tar -C /opt
创建软连接
ln -s /opt/node-v13.1.0-linux-x64 /usr/local/node
8)cmake
yum 安装版本低,后期编译报错
卸载已安装的
yum erase cmake
解压
tar -zxvf cmake-3.13.5.tar.gz -C /opt
跳转至cmake目录:
cd /opt/cmake
编译
./configure
安装
make && make install
检验安装是否成功:
cmake -version
9)snappy
#解压压缩
tar -xzf snappy-1.1.3.tar.gz -C /usr/local/
#检查编译所用的环境,并生成用make命令编译使用的文件
cd /usr/local/snappy-1.1.3
./configure
#编译
make
#安装
sudo make install
#查看安装情况
ls -lh /usr/local/lib |grep snappy
10)配置环境变量
vi /etc/profile
#java
export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
#node
export NODE_HOME=/usr/local/node
export PATH=$NODE_HOME/bin:$PATH
#set Hadoop_compile
export MAVEN_HOME=/usr/local/maven
export FINDBUGS_HOME=/usr/local/findbugs
export PROTOBUF_HOME=/usr/local/protobuf
export ANT_HOME=/usr/local/apache-ant
export PATH=$PATH:$MAVEN_HOME/bin:$FINDBUGS_HOME/bin:$ANT_HOME/bin
export MAVEN_OPTS="-Xmx2g -XX:MaxMetaspaceSize=512M -XX:ReservedCodeCacheSize=512m"
二、编译
进入hadoop目录
cd /usr/local/hadoop-3.3.1-src
开始编译
mvn clean package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib
编译完成后位置
/usr/local/hadoop-3.3.1-src/hadoop-dist/target
由于项目较大,请耐心等待
编译成功
三、编译报错
1、hadoop-maven-plugins:3.3.1:cmake-compile
Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:3.3.1:cmake-compile (cmake-compile) on project hadoop-common: CMake failed with error code 1 -> [Help 1]
原因:yum安装的cmake版本太低,需重新安装
2、frontend-maven-plugin:1.11.2:yarn (yarn install)
Failed to execute goal
com.github.eirslett:frontend-maven-plugin:1.11.2:yarn (yarn install)
on project hadoop-yarn-applications-catalog-webapp:
Failed to run task: 'yarn ' failed. org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1) -> [Help 1]
原因:node版本与pom中版本不一致
确认编辑报错位置:hadoop-yarn-applications-catalog-webapp(cd /usr/local/hadoop-3.3.1-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-applications/hadoop-yarn-applications-catalog/hadoop-yarn-applications-catalog-webapp)
修改pom.xml文件中<nodeVersion>v8.11.3</nodeVersion>与系统版本一致
标签:tar,hadoop3.31,hadoop,maven,编译,源码,usr,local From: https://www.cnblogs.com/lingyou/p/17178332.html