首页 > 其他分享 >Hadoop API使用 大坑

Hadoop API使用 大坑

时间:2023-05-09 22:11:14浏览次数:49  
标签:pycurl 大坑 hadoop E6% Hadoop API csdn 版本 直接

   这几天一直在困扰我 pycurl 版本和本机的版本不符合 他连接又连接的自己自带的版本 与系统不相同 低级也会报错 

https://blog.csdn.net/u010910682/article/details/89496550/?ops_request_misc=&request_id=&biz_id=102&utm_term=pycurl7.45.2%20%E6%90%AD%E9%85%8Dlibcurl%E6%98%AF%E4%BB%80%E4%B9%88%E7%89%88%E6%9C%AC&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-1-89496550.142^v86^control,239^v2^insert_chatgpt&spm=1018.2226.3001.4187

搞了半年 可算把这个搞定了 还是用我知道的aconda 再构建一个虚拟的环境 aconda自己可以去搞定 各种因版本产生的问题。

成功导入pycurl,在使用pycurl时 没有很多的使用案例与hadoop集群相关的。唯一一个csdn上面给的也是说明不清楚。 在调用的时候 ,官网没给出具体的用法 csdn又是直接用的官网的api 例子

最主要是这个知乎的博主直接让我原地踏步。

 一个不需要参数 一直让我以为 直接就是这个代码上面都不需要换 系统会自动去找。网上也没有相关的东西。我自己测试百度又可以获取状态码,输入这个又是什么都没有,直接报错pycurl错误3.想来想去我把port换了换成8088发现还是错误码3 又把前面rm-http-address 中的http-address换成node1还是错误码3 直接按照正常网站的格式 直接把前面全去掉直接node1:8088/ws/v1/cluster/apps/直接成功获取了状态码200。

 

 网上的相关教程 可谓少之又少基本就这一个

其中这个

 是本机的地址替换上去

 这个用hadoop的端口号替换上去

即可进行运行最初始的代码

然后问题又来了

 获取的apps json为空 。

让我苦恼很久 按理最少应该也会返回用户名

最后百度 csdn 谷歌 搜了个遍什么都没有 2个小时 我都想放弃了。唯一的能用到的就是hadoop的api说明 又重新从头认真读了一遍 发现。

 这个东西他只能读取你当前在队列里面 没有完成的任务

 我重新启动三台虚拟机 找到以前运行的大数据项目的代码 

 

成功读取到了信息

不过在运行虚拟机hadoop集群加上pycharm  Navicat 成功直接卡死。

重启后

 

标签:pycurl,大坑,hadoop,E6%,Hadoop,API,csdn,版本,直接
From: https://www.cnblogs.com/stdxxd/p/17386435.html

相关文章

  • fastapi篇(六)
    关于请求体参数、路径参数、请求参数的声明函数参数按照如下的顺序进行识别匹配:(1)、如果这个参数已经在路径中被声明过,那么它就是一个路径参数。(2)、如果这个参数的类型是单类型的(如str、float、int、bool等),那么它就是一个请求参数。(3)、如......
  • fastapi篇(五)
    get请求的请求参数1、如果函数里的参数不是路径参数的一部分,那么这样的参数就自动被解释为请求参数。2、请求参数就是URL中问号('?')后面以'&'间隔开的键值对,它们是URL的一部分,并且参数类型都是字符串类型。@app.get("/str")defget_str(item:str="1"):print......
  • fastapi篇(四)
    路径参数声明借助类型注解。fastapi会自动对request前端请求参数实现自动转换@app.get("/str/{item}")defget_str(item:str):print(item,type(item))return"只有永不遏止的奋斗,才能使青春之花,即便是凋谢,也是壮丽的凋谢"6<class'str'>还有其他的一些比......
  • Django REST framework创建api
    我们将创建一个简单的允许管理员用户查看和编辑系统中的用户和组的API。项目设置创建一个名为 tutorial 的新django项目,然后启动一个名为 quickstart 的新app。#创建项目目录mkdirtutorialcdtutorial#创建一个virtualenv来隔离我们本地的包依赖关系virtualenvenv......
  • php获取1688阿里巴巴关键字搜索新品数据API接口、获取上新关键词推荐、获取宝贝详情数
    ​ php的主要优势以及特点: 便于学习和使用:PHP是一门非常容易学习和使用的语言,其语法和结构都非常简单。具有广泛的应用范围:PHP可以用于开发各种类型的Web应用,如博客系统、内容管理系统、电子商务网站、社交网络等。巨大的社区支持:有一个庞大的PHP社区,提供了大量的......
  • fastapi篇(三)
    pydantic在之前python进阶主题文章中,针对这个三方模块有过简单的介绍,主要用于数据校验,在fastapi中,正式发挥了他这一长处frompydanticimportBaseModel,ValidationErrorclassCreateRequest(BaseModel):name:strage:intmotto:[email protected]("/dict")......
  • fastapi篇(二)
    尝试创建一个新的web服务1、接口展示importuvicornfromfastapiimportFastAPIfromfastapi.staticfilesimportStaticFilesapp=FastAPI()app.mount('/static',StaticFiles(directory='static'))@app.get("/dict")defget_dict():retur......
  • hadoop启动脚本
    if(($#<1));thenechonoargsinput,exit.exit1ficase$1instart)echo[INFO]startingdfs...start-dfs.shecho[INFO]done.echo[INFO]startingyarnoncentos002...sshcentos002start-yarn.shecho[INFO]done.echo[IN......
  • 《Linux高性能服务器编程》学习记录(二)linux网络编程基础API
    Linux网络API主要有三种:socket地址API。socket最开始的含义是一个IP地址和端口对(ip,port)。它唯一地表示了使用TCP通信的一端,称其为socket地址。socket基础API。socket的主要API都定义在sys/socket.h头文件中,包括创建socket、命名socket、监听socket、接受连接、发起连接、读写......
  • 1688阿里巴巴中国站图片识别商品API接口、搜图链接、收藏加购接口
    ​API(ApplicationProgrammingInterface)是现代移动应用程序开发和互联网服务有机结合的产物。API的应用使得应用程序之间的通信变得更加轻松、快捷,尤其对于业务复杂而庞大的企业系统,API让开发者能够从中提取必要的功能进行二次开发,有效地加快了应用程序开发的速度。接下来小编......