首页 > 其他分享 >ScriptBasedMapping: Script /etc/hadoop/conf/topology_script-py

ScriptBasedMapping: Script /etc/hadoop/conf/topology_script-py

时间:2024-11-02 18:47:27浏览次数:6  
标签:ambari script python py etc conf spark Script topology

spark-sql 初始化时异常

spark-sql 初始化的 突然发现spark 返回 无法解决 hostname的问题, 网上检索也是说hosts 配置不对,但是检查后确实没有
因此猜测 hosts问题不对也可能引发该问题,但是其他问题也能存在引发问题的情况,因为发现由于执行etc/hadoop/conf/topology_script-py 脚本返回 数值不对
异常如下图:
在这里插入图片描述

原因

通过检查脚本,也没有发现具体原因,因为机器本身就是python2 版本,自己猜想应该不是兼容问题,毕竟ambari安装的集群已经运行了好几年了。
自己想了想,通过hostname 查找机架信息在我们目前情况好像也没有用,就把core-site.xml 如下脚本配置给删除了。然后问题解决
但是还是没有解决根本问题。在这里插入图片描述
偶然中午吃饭期间和公司运维人员聊天偶然才知道他们把服务器python 版本从2.7 ,升到了 2.9,这时候才发现觉得ambari安装的时候集群python是2.7.12版本,并且也没有通知我们,因此猜测肯定也是出现兼容问题。于是 我们开发自己将客户端所有的python 脚本回退到2.7.17于是问题解决了

因为ambari安装的集群,会默认有机架信息配置
查看"/etc/hadoop/conf/topology_scr

标签:ambari,script,python,py,etc,conf,spark,Script,topology
From: https://blog.csdn.net/qq_40841339/article/details/143454186

相关文章

  • python+flask计算机毕业设计高校图书馆借阅系统后台(程序+开题+论文)
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容一、选题背景关于高校图书馆借阅系统后台的研究,现有研究主要集中在图书馆借阅系统的整体架构与前端功能开发方面12。专门针对高校图书馆借阅系统后......
  • javaScript 和 Java 的语法区别(有前端基础)
    目录一、语法风格1.变量声明2.代码块3.分号二、面向对象编程1. 类和对象的定义2. 方法和属性的访问修饰符3.继承方式 三、数据类型和类型转换1.数据类型 2.类型转换四、异常处理1.语法结构2.异常类型五、开发工具和生态系统1.开发工具2.运行环境各......
  • JavaScript。—关于语法基础的理解—
    一、程序控制语句JavaScript提供了if、if else 和 switch 3种条件语句,条件语句也可以嵌套。(一)、条件语句1、单向判断: if...(1)概述<if>元素用于在判断该语句是否满足特定条件。如果条件不成立,<if>元素内的语句不会被执行。(2)语法格式if(条件){......
  • Python基础学习(十一)面向对象编程(进阶)
    代码获取:https://github.com/qingxuly/hsp_python_course完结版:Python基础学习(完结版)面向对象编程(进阶)面向对象编程三大特征面向对象编程有三大特征:封装、继承、多态。面向对象编程—封装封装介绍封装(encapsulation)就是把抽象出的数据[属性]和对数据的操作[方法]......
  • Python基础学习(十)面向对象编程(基础)
    代码获取:https://github.com/qingxuly/hsp_python_course完结版:Python基础学习(完结版)面向对象编程(基础)类与对象类与实例的关系类与实例的关系示意图快速入门—面向对象的方式解决养猫问题#定义一个猫类,age,name,color是属性,或者称为成员变量#Cat类就是你......
  • 推荐5个超级实用的 Python 模块,不知道就out啦!
    正文Python标准库有超过200个模块,程序员可以在他们的程序中导入和使用。虽然普通程序员对其中许多模块都有一些经验,但很可能有一些好用的模块他们仍然没有注意到。我发现其中许多模块都包含了在各个领域都非常有用的函数。比较数据集、协作其他函数以及音频处理等都可以仅......
  • [python]Gunicorn加持,轻松提升Flask超7倍性能
    前言之前学习和实际生产环境的flask都是用app.run()的默认方式启动的,因为只是公司内部服务,请求量不高,一直也没出过什么性能问题。最近接管其它小组的服务时,发现他们的服务使用Gunicorn+Flask的方式运行的,本地开发用的gevent的WSGIServer。对于Gunicorn之前只是耳闻,没实际用过,正......
  • PyCharm 2024.1 解锁版 (Python集成开发IDE)详细安装步骤
    分享文件:PyCharm2024.1解锁版(Python集成开发IDE)链接:https://pan.xunlei.com/s/VOAa_CiVVvZnyQgLfpmCIOABA1提取码:cx4h安装步骤1、下载解压后点击如下进行安装2、选择安装路径3、默认勾选将PyCharm创建桌面快捷方式4、默认,点击【安装】5、安装中,耐心等待2-5分......
  • Python自动化运维:技能掌握与快速入门指南
    #编程小白如何成为大神?大学生的最佳入门攻略#在当今快速发展的IT行业中,Python自动化运维已经成为了一个不可或缺的技能。本文将为您详细介绍Python自动化运维所需的技能,并提供快速入门的资源,帮助您迅速掌握这一领域。必备软件工具1.Python与PyCharmPython和PyCharm是自动......
  • dockerfile中copy与run区别
    本文记录一个很简单的问题,记录该文章的原因是在调试过程中,老眼昏花,因为copy和run的原因,多排错一小时,特此记录。首先看看以下。 COPY:功能:COPY是用来将构建上下文(本地机器的文件系统)中的文件或目录复制到Docker镜像中的指定位置。它只是一个复制操作,不执行......