spark-sql 初始化时异常
spark-sql 初始化的 突然发现spark 返回 无法解决 hostname的问题, 网上检索也是说hosts 配置不对,但是检查后确实没有
因此猜测 hosts问题不对也可能引发该问题,但是其他问题也能存在引发问题的情况,因为发现由于执行etc/hadoop/conf/topology_script-py 脚本返回 数值不对
异常如下图:
原因
通过检查脚本,也没有发现具体原因,因为机器本身就是python2 版本,自己猜想应该不是兼容问题,毕竟ambari安装的集群已经运行了好几年了。
自己想了想,通过hostname 查找机架信息在我们目前情况好像也没有用,就把core-site.xml 如下脚本配置给删除了。然后问题解决
但是还是没有解决根本问题。
偶然中午吃饭期间和公司运维人员聊天偶然才知道他们把服务器python 版本从2.7 ,升到了 2.9,这时候才发现觉得ambari安装的时候集群python是2.7.12版本,并且也没有通知我们,因此猜测肯定也是出现兼容问题。于是 我们开发自己将客户端所有的python 脚本回退到2.7.17于是问题解决了
因为ambari安装的集群,会默认有机架信息配置
查看"/etc/hadoop/conf/topology_scr