首页 > 其他分享 >解析 bin/hadoop 文件

解析 bin/hadoop 文件

时间:2023-07-13 18:31:58浏览次数:47  
标签:bin Dhadoop jar hadoop HADOOP 解析 CLASS


 

$HADOOP_HOME/bin/hadoop文件是Hadoop主要shell脚本,它提供格式化HDFS、恢复namenode、HDFS Shell、任务提交等诸多功能,它的执行语句在最后一行,如下:

 


exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"


 

下面是这几个变量的说明:

 

  • $JAVA 

$JAVA_HOME/bin/java

 

 

  • $JAVA_HEAP_MAX

-Xmx1000m


 

  • $HADOOP_OPTS

-Dcom.sun.management.jmxremote -Dhadoop.log.dir=/usr/local/hadoop/bin/../logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/usr/local/hadoop/bin/.. -Dhadoop.id.str= -Dhadoop.root.logger=INFO,console -Djava.library.path=/usr/local/hadoop/bin/../lib/native/Linux-amd64-64 -Dhadoop.policy.file=hadoop-policy.xml


 

  • $CLASSPATH:

$HADOOP_HOME/conf
$HADOOP_HOME/hadoop-0.20.2-core.jar
$HADOOP_HOME/lib/*.jar
/usr/java/latest/lib/tools.jar
system env

  

  • $CLASS(根据命令参数,觉得调用哪个Class)

if [ "$COMMAND" = "namenode" ] ; then
CLASS='org.apache.hadoop.hdfs.server.namenode.NameNode'
HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS"

.......

elif [ "$COMMAND" = "job" ] ; then
CLASS=org.apache.hadoop.mapred.JobClient
elif [ "$COMMAND" = "jar" ] ; then
CLASS=org.apache.hadoop.util.RunJar
else
CLASS=$COMMAND
fi

  

  • $@

命令行输入参数,举例:hadoop jar MyLife.jar -abc -go,则$@值为“MyLife.jar -abc -go”

 

 

 

标签:bin,Dhadoop,jar,hadoop,HADOOP,解析,CLASS
From: https://blog.51cto.com/u_16187922/6715124

相关文章

  • 怎么在数据库里关闭mysqlbinlog 这个问题怎么解决?
    项目方案:关闭MySQLBinlog1.项目背景MySQLBinlog是MySQL数据库的事务日志,它记录了数据库的所有操作,包括插入、更新和删除等操作。在某些情况下,我们可能需要关闭MySQLBinlog来提高数据库的性能或保护敏感数据。2.方案介绍本方案将介绍如何在MySQL数据库中关闭MySQLBinlog。......
  • 怎么切换hadoop用户 来解决一个具体问题的方案
    如何切换hadoop用户在Hadoop集群中,切换hadoop用户是非常常见的操作。Hadoop用户是一个特殊的系统用户,用于执行Hadoop的各种任务和操作。本文将介绍如何在Linux系统中切换到hadoop用户,并给出一个实际的问题解决示例。问题背景假设我们的Hadoop集群上有一个用户叫做"admin","admin"......
  • 安装Hadoop单节点伪分布式集群
    目录安装Hadoop单节点伪分布式集群系统准备开启SSH安装JDK安装Hadoop下载准备启动伪分布式模式安装配置配饰SSH免密登录本机测试启动单节点安装YARN伪分布式集群启动与停止安装Hadoop单节点伪分布式集群操作系统:Ubuntuserver20.04参考文档:http://apache.github.io/hadoop/had......
  • python解析xml
    主要是查询标签:importxml.dom.minidoms='''xml字符串''''''这里做一些解释:<?xmlversion="1.0"encoding="UTF-8"?><soapenv:Envelopexmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/......
  • Java实现浏览器端大文件分片上传实例解析
    ​ 我们平时经常做的是上传文件,上传文件夹与上传文件类似,但也有一些不同之处,这次做了上传文件夹就记录下以备后用。首先我们需要了解的是上传文件三要素:1.表单提交方式:post(get方式提交有大小限制,post没有)2.表单的enctype属性:必须设置为multipart/form-data.3.表单必须......
  • Jquery遍历筛选数组的几种方法和遍历解析json对象,Map()方法详解以及数组中查询某值是
    1.jquerygrep()筛选遍历数组(可以得到反转的数组)//1.jquerygrep()筛选遍历数组(可以得到反转的数组)vararray=[1,5,9,3,12,4,48,98,4,75,2,10,11];varfilterArray=$.grep(array,(currentValue)=>{returncurrentValue>10;});console.log(`${filt......
  • 【Netty】「源码解析」(三)设置连接超时:深入分析 ChannelFuture.sync() 的执行过程
    前言本篇博文是《从0到1学习Netty》中源码系列的第三篇博文,主要内容是深入分析连接超时的实现原理,包括了connect方法的源码解析和ChannelFuture.sync()执行过程的解析。,往期系列文章请访问博主的Netty专栏,博文中的所有代码全部收集在博主的GitHub仓库中;介绍在实际应用中,当......
  • rust-bindgen报错 ‘Unable to find libclang的解决办法
    Windows下面可能会遇到这个问题的解决方案:1)把LLVM安装到没有空格的路径。2)LIBCLANG_PATH的值不要加双引号。thread'main'panickedat'Unabletofindlibclang:"couldn'tfindanyvalidsharedlibrariesmatching:['clang.dll','libclang.dll'],setth......
  • 2023上半年Android高频面试题汇总(大厂真题+答案解析)
    前言小伙伴们大家好哇,不知道你们在找工作的时候是不是在力扣、在牛客网狂刷真题!可是有时候刷题的数量连起来可以绕地球三圈,但是面试却过不了第三轮!有没有一种可能就是你没有把握住重点!想想我们之前考试是不是老师划了重点,给了往期真题你考得分数高?题海战术是保底策略,能保证你大概率......
  • Sum in Binary Tree
    SuminBinaryTreetimelimitpertest1secondmemorylimitpertest256megabytesinputstandardinputoutputstandardoutputVanyareallylikesmath.Onedaywhenhewassolvinganothermathproblem,hecameupwithaninterestingtree.Thistree......