首页 > 其他分享 >hadoop初学篇之三——公网全分布式部署主机IP导致的问题

hadoop初学篇之三——公网全分布式部署主机IP导致的问题

时间:2024-10-05 12:49:35浏览次数:9  
标签:ecs02 IP ecs01 hadoop 公网 内网 节点

不管是内网集群,还是公网集群(当然一般情况不会这么做),建议这个步骤都不要忽略。内网不一定会出现这个问题,但是公网不做肯定有问题!

前提:

  1. 在阿里云公网部署三台ecs,都有公网IP,内网有通有不通(测试公网所以忽略);
  2. 按照全分布模式部署,按照JDK(8)、Hadoop(2.10),各种配置完毕,namenode格式化成功后,start-all.sh启动hadoop,JPS三台服务器各个节点都是按照预设启动。
  3. hadoop配置文件core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves都是正常配置,且需要填host的地方都是写的公网IP。

问题:

  1. 起初的问题是主节点配置文件里面的Host我填的公网IP,但是这样JPS后namenode和resourcemanager就起不来,但是写内网IP又觉得怪怪的;
  2. 找了一些资料,发现hdfs dfsadmin -report 也没有数据(全是0)而且没有挂载datanode节点,问题严重了;
  3. 那再试试hdfs dfs -put上传文件,肯定是失败;

为啥几个从节点nodemanager和datanode都启动了,主节点却连不上或者找不到live节点?

解决:其实从主节点配置文件host写公网IP节点起不来,内网IP能起来但是觉得怪已经反应了问题。就是主从节点的访问路径问题,也就是IP的配置问题。

正确的方法:nano /etc/hosts 设置主从节点的域名解析,每个节点的这个文件都要把每个设备的域名解析写上,本机用内网IP、其它节点写公网IP(这是重点),然后在hadoop的配置文件xml里面就可以写主机名代替IP地址(当然首先要配置每个节点的hostname)。

举例:我的三个节点的hosts文件

这是ecs01节点的,所以01节点写的是内网IP(172.23.185.135),其它节点写的是公网IP,以下类推

hadoop初学篇之三——公网全分布式部署主机IP导致的问题_hosts文件

呃,抱歉,服务器释放了。

ecs02节点的hosts文件里面三个域名解析应该是:

121.43.131.2         ecs01    ecs01    (这是ecs01的公网地址了)

116.62.152.47       ecs03    ecs03

192.168.0.23        ecs02    ecs02    (这里ecs02写的是内网IP咯)


ecs03节点的hosts文件里面三个域名解析应该是:

121.43.131.2         ecs01    ecs01    (这是ecs01的公网地址了)

192.168.1.89        ecs03    ecs03    (这里ecs03写的是内网IP咯)

47.96.102.123      ecs02    ecs02    


说白了,这个问题的出现还是自己对于网络和linux系统的知识欠缺

好了,打完收工。

主要是为了自己做记录,同时分享给有需要的人


标签:ecs02,IP,ecs01,hadoop,公网,内网,节点
From: https://blog.51cto.com/u_12570039/12174651

相关文章

  • uv --- replacement of conda + pip (python version + package version install) pyt
    uvhttps://docs.astral.sh/uv/AnextremelyfastPythonpackageandprojectmanager,writteninRust. InstallingTrio'sdependencieswithawarmcache.Highlights......
  • [赛记] 多校A层冲刺NOIP2024模拟赛01【衡中】
    构造字符串50pts错解50pts;考虑正解,对于题目中的要求,我们可以转换成若干个相等与不等的操作,若相等则用并查集合并一下,不等则连边,若同块连边则无解,否则从前往后遍历赋值,每次找所连边其它块值的$\operatorname{mex}$即可;时间复杂度:$\Theta(nm\alpha(n))$;点击查看代码#i......
  • netsh winsock reset catalog 和 netsh int ip reset reset.log 是两个常用的 Windows
    netshwinsockresetcatalog和netshintipresetreset.log是两个常用的Windows命令,用于网络故障排除和恢复网络设置。下面是对这两个命令的详细解释:1. netshwinsockresetcatalog功能:重置Winsock目录,以修复与网络相关的问题。Winsock的作用:Winsock(WindowsSocke......
  • 科研小tip2|OpenNI2环境配置(文字简要说明)
    在本栏科研小tip1中我分享了winpcap的可行安装方法,但并没有具体讲解环境配置方法,因为其他博主已经对winpcap的环境配置做了许多分享不过我个人在使用时遇到了按照步骤完成配置后,运行仍然出现提示OpenNI2.dll(OpenNI2动态库)不存在的报错,我想可能也有许多与我一样遇到这一问题的......
  • 南沙C++信奥赛陈老师解一本通题: 1828:【02NOIP提高组】均分纸牌
    ​ 【题目描述】有n堆纸牌,编号分别为 1,2,…,n。每堆上有若干张,但纸牌总数必为nn的倍数。可以在任一堆上取若干张纸牌,然后移动。移牌规则为:在编号为1的堆上取的纸牌,只能移到编号为 2 的堆上;在编号为 n 的堆上取的纸牌,只能移到编号为n−1的堆上;其他堆上取的纸牌,可以移到相......
  • linux---zip
    linux---zipubuntu安装命令:sudoaptinstallzip压缩文件:#将file1、file2压缩到all.zip中zipall.zipfile1file2#将非空文件夹递归压缩到folder.zip中zip-rfolder.zipmy_folder#-e选项可以设置密码解压缩:unzipa.zip查看压缩文件:unzip-va.zip解压缩......
  • [Ynoi2012] NOIP2015 充满了希望
    [Ynoi2012]NOIP2015充满了希望题意给一个长为\(n\)的序列,有\(m\)个操作,操作编号从\(1\)到\(m\),每个操作为:1xy:将序列位置为\(x,y\)的两个元素交换。2lrx:将序列区间\([l,r]\)内所有元素修改为\(x\)。3x:查询序列\(x\)位置的值。现在有\(q\)次查询,每次......
  • NOIP2024集训Day43 博弈论
    NOIP2024集训Day43博弈论F.多边形之战如果这个三角形三个顶点相邻,则先手必胜(第一刀就可以切)否则当黑色三角形只有一边与白色三角形相邻时才可以被切,显然那个白色三角形是最后一个白色三角形于是转化为:有\(n\)个石子,一次只能取一个,问取最后一个的人是谁做完了。G.[BZO......
  • Vue Javascript 导出Excel:SheetJS/js-xlsx json_to_sheet xlsx 修改表头名称和展示的
     import*asXLSXfrom'xlsx';//展示的顺序,把data中对象的属性按照你想要的顺序排放就可以了,constheader=["pId","dID"]//展示的名称constheaderDisplay={pId:"项编号",dID:"D编号"};//将表头放剑原始数据里面去,要保证表头在数......
  • 10.4 模拟赛(2025 炼石计划 NOIP 模拟赛 #7)
    2025--炼石计划--9月25日--NOIP模拟赛#7【订正】-比赛-梦熊联盟(mna.wang)复盘赢麻了。浏览题。T1没理解“中间节点”是啥意思,样例太大先不模拟了。T2什么东西,密铺?T3好像看懂了题。脑子中瞬间有一个\(n^3\)DP,发现\(n\le200\)感觉切了。但其实DP假的很......