常用的端口配置
1、 HDFS端口
参数 | 描述 | 默认 | 配置文件 | 例子值 |
fs.default.name namenode | namenode RPC交互端口 | 8020 | core-site.xml | hdfs://master:8020/ |
dfs.http.address | NameNode web管理端口 | 50070 | hdfs- site.xml | 0.0.0.0:50070 |
dfs.datanode.address | datanode 控制端口 | 50010 | hdfs -site.xml | 0.0.0.0:50010 |
dfs.datanode.ipc.address | datanode的RPC服务器地址和端口 | 50020 | hdfs-site.xml | 0.0.0.0:50020 |
dfs.datanode.http.address | datanode的HTTP服务器和端口 | 50075 | hdfs-site.xml | 0.0.0.0:50075 |
2、 MR端口
参数 | 描述 | 默认 | 配置文件 | 例子值 |
mapred.job.tracker | job-tracker交互端口 | 8021 | mapred-site.xml | hdfs://master:8021/ |
job | tracker的web管理端口 | 50030 | mapred-site.xml | 0.0.0.0:50030 |
mapred.task.tracker.http.address | task-tracker的HTTP端口 | 50060 | mapred-site.xml | 0.0.0.0:50060 |
3 其它端口
参数 | 描述 | 默认 | 配置文件 | 例子值 |
dfs.secondary.http.address | secondary NameNode web管理端口 | 50090 | hdfs-site.xml | 0.0.0.0:50090 |
3、三个缺省配置参考文件说明
3.1 core-default.html
参数名 | 参数值 | 参数说明 |
hadoop.tmp.dir | /tmp/hadoop-${user.name} | 临时目录设定 |
hadoop.native.lib | true | 使用本地hadoop库标识。 |
io.file.buffer.size | 4096 | 流文件的缓冲区为4K |
fs.default.name | file:/// | 缺省的文件URI标识设定。 |
3.2 hdfs-default.html/mapred-default.html
参数名 | 参数值 | 参数说明 |
dfs.namenode.logging.level | info | 输出日志类型 |
dfs.secondary.http.address | 0.0.0.0:50090 | 备份名称节点的http协议访问地址与端口 |
dfs.datanode.handler.count | 3 | 数据节点的服务连接处理线程数 |
dfs.name.dir | ${hadoop.tmp.dir}/dfs/name | 存贮在本地的名字节点数据镜象的目录,作为名字节点的冗余备份 |
dfs.data.dir | ${hadoop.tmp.dir}/dfs/data | 数据节点的块本地存放目录 |
mapred.local.dir | ${hadoop.tmp.dir}/mapred/local | MR的中介数据文件存放目录 |
mapred.system.dir | ${hadoop.tmp.dir}/mapred/system | MR的控制文件存放目录 |
mapred.temp.dir | ${hadoop.tmp.dir}/mapred/temp | MR临时共享文件存放区 |
mapred.map.tasks | 2 | 每个作业缺省的map任务数为2 |
mapred.reduce.tasks | 1 | 每个作业缺省的reduce任务数为1 |