hadoop相关端口说明

时间：2023-07-13 18:33:02浏览次数：41

标签：operations task http 端口 hadoop 说明 tracker datanode

http相关端口：

	Daemon	Default Port	Configuration Parameter
HDFS	Namenode	50070	dfs.http.address
	Datanodes	50075	dfs.datanode.http.address
	Secondarynamenode	50090	dfs.secondary.http.address
	Backup/Checkpoint node^❋	50105	dfs.backup.http.address
MapReduce	Jobracker	50030	mapred.job.tracker.http.address
MapReduce	Tasktrackers	50060	mapred.task.tracker.http.address
^❋ Replaces secondarynamenode in 0.21.

hadoop相关进程服务端口：

Daemon	Default Port	Configuration Parameter	Protocol	Used for
Namenode	8020	fs.default.name①	IPC: ClientProtocol	Filesystem metadata operations.
Datanode	50010	dfs.datanode.address	Custom Hadoop Xceiver: DataNodeand DFSClient	DFS data transfer
Datanode	50020	dfs.datanode.ipc.address	IPC:InterDatanodeProtocol,ClientDatanodeProtocol ClientProtocol	Block metadata operations and recovery
Backupnode	50100	dfs.backup.address	Same as namenode	HDFS Metadata Operations
Jobtracker	Ill-defined.②	mapred.job.tracker	IPC:JobSubmissionProtocol,InterTrackerProtocol	Job submission, task tracker heartbeats.
Tasktracker	127.0.0.1:0 ③	mapred.task.tracker.report.address	IPC:TaskUmbilicalProtocol	Communicating with child jobs
① This is the port part of hdfs://host:8020/. ^② Default is not well-defined. Common values are 8021, 9001, or 8012. See MAPREDUCE-566. ③ Binds to an unused local port.

标签：operations,task,http,端口,hadoop,说明,tracker,datanode
From： https://blog.51cto.com/u_16187922/6715117

解析 bin/hadoop 文件
$HADOOP_HOME/bin/hadoop文件是Hadoop主要shell脚本，它提供格式化HDFS、恢复namenode、HDFSShell、任务提交等诸多功能，它的执行语句在最后一行，如下： exec"$JAVA"$JAVA_HEAP_MAX$HADOOP_OPTS-classpath"$CLASSPATH"$CLASS"$@" 下面是这几个变量的说明： $JAVA $......
性能指标说明 UV TPS RT Throughput
jmeter的线程数（memberofthreads）相当于并发用户数，并发用户数就是虚拟用户数（virtualuser），简称VU。一、并发用户数（UV）：指的是现实系统中操作业务的用户；并发用户数、注册用户数、在线用户数三者区别。①并发用户数一定会对服务器产生压力；②在线用户数只是“挂”在系统上，对服务器不......
拼多多根据ID取商品详情 API 返回值说明
item_get-根据ID取商品详情注册开通pinduoduo.item_get公共参数名称类型必须描述keyString是调用key（必须以GET方式拼接在URL中）secretString是调用密钥api_nameString是API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]c......
linux查看网络端口是万兆还是千兆
1、ethtoolethtool网络接口名#ethtoolem4(网络接口名)Settingsforem4:Supportedports:[TP]Supportedlinkmodes:10baseT/Half10baseT/Full100baseT/Half100baseT/Full1000baseT/FullSupportsauto-negotiation:YesAdvertisedlinkmodes:10baseT/Half10baseT/Full1......
Acunetix使用说明
简述Acunetix是一种应用安全性扫描工具，旨在帮助发现和修复Web应用程序中的漏洞和安全风险。Acunetix可以发现以下一些常见的安全问题：跨站脚本攻击（XSS）：通过在网页中注入恶意脚本来执行未经授权的操作。 SQL注入攻击：利用应用程序对用户输入的不正确处理，从而执行恶意数据库查......
解决查看java占用的端口的具体操作步骤
查看Java占用的端口在开发和运维过程中，我们经常需要查看Java应用程序所占用的端口。这对于排查问题、调试和监控都非常重要。本文将介绍几种方法来查看Java占用的端口，并提供相应的代码示例。方法一：使用jps命令jps命令是Java开发工具包（JDK）自带的一个命令行工具，用于查看Java进程的......
PHP 生成数据库的 markdown 字段说明文档,支持 mysql,postgresql
安装composerrequirepeng49/db2markdown命令行使用phpvendor/bin/db2markdown输入数据库的地址(host),端口(port)用户名,密码,要导出的表,默认是*,生成所有表的文档,指定多个表明用逗号隔开,如:table1,table2$phpsrc/bin/db2markdownpleaseenterthedb(1mys......
怎么切换hadoop用户来解决一个具体问题的方案
如何切换hadoop用户在Hadoop集群中，切换hadoop用户是非常常见的操作。Hadoop用户是一个特殊的系统用户，用于执行Hadoop的各种任务和操作。本文将介绍如何在Linux系统中切换到hadoop用户，并给出一个实际的问题解决示例。问题背景假设我们的Hadoop集群上有一个用户叫做"admin"，"admin"......
安装Hadoop单节点伪分布式集群
目录安装Hadoop单节点伪分布式集群系统准备开启SSH安装JDK安装Hadoop下载准备启动伪分布式模式安装配置配饰SSH免密登录本机测试启动单节点安装YARN伪分布式集群启动与停止安装Hadoop单节点伪分布式集群操作系统：Ubuntuserver20.04参考文档：http://apache.github.io/hadoop/had......
查看linux所有开发端口
netstat-tuln 然后查看服务器的开发端口，这个服务值运营商，如用的阿里云或腾讯云，看是否开发对应端口。 ......

hadoop相关端口说明

相关文章

赞助商

阅读排行