首页 > 其他分享 >龙芯平台Hadoop集群搭建问题解决

龙芯平台Hadoop集群搭建问题解决

时间:2023-09-02 21:55:43浏览次数:37  
标签:pycurl 龙芯 hadoop E6% Hadoop csdn 集群 直接

这几天一直在困扰我 pycurl 版本和本机的版本不符合 他连接又连接的自己自带的版本 与系统不相同 低级也会报错 

https://blog.csdn.net/u010910682/article/details/89496550/?ops_request_misc=&request_id=&biz_id=102&utm_term=pycurl7.45.2%20%E6%90%AD%E9%85%8Dlibcurl%E6%98%AF%E4%BB%80%E4%B9%88%E7%89%88%E6%9C%AC&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-1-89496550.142^v86^control,239^v2^insert_chatgpt&spm=1018.2226.3001.4187

搞了半年 可算把这个搞定了 还是用我知道的aconda 再构建一个虚拟的环境 aconda自己可以去搞定 各种因版本产生的问题。

成功导入pycurl,在使用pycurl时 没有很多的使用案例与hadoop集群相关的。唯一一个csdn上面给的也是说明不清楚。 在调用的时候 ,官网没给出具体的用法 csdn又是直接用的官网的api 例子

最主要是这个知乎的博主直接让我原地踏步。

 一个不需要参数 一直让我以为 直接就是这个代码上面都不需要换 系统会自动去找。网上也没有相关的东西。我自己测试百度又可以获取状态码,输入这个又是什么都没有,直接报错pycurl错误3.想来想去我把port换了换成8088发现还是错误码3 又把前面rm-http-address 中的http-address换成node1还是错误码3 直接按照正常网站的格式 直接把前面全去掉直接node1:8088/ws/v1/cluster/apps/直接成功获取了状态码200。

 

 网上的相关教程 可谓少之又少基本就这一个

其中这个

 是本机的地址替换上去

 这个用hadoop的端口号替换上去

即可进行运行最初始的代码

然后问题又来了

 获取的apps json为空 。

让我苦恼很久 按理最少应该也会返回用户名

最后百度 csdn 谷歌 搜了个遍什么都没有 2个小时 我都想放弃了。唯一的能用到的就是hadoop的api说明 又重新从头认真读了一遍 发现。

 这个东西他只能读取你当前在队列里面 没有完成的任务

 我重新启动三台虚拟机 找到以前运行的大数据项目的代码 

 

成功读取到了信息

不过在运行虚拟机hadoop集群加上pycharm  Navicat 成功直接卡死。

重启后

 

标签:pycurl,龙芯,hadoop,E6%,Hadoop,csdn,集群,直接
From: https://www.cnblogs.com/lss1226/p/17674270.html

相关文章

  • Flink 1.17教程:Hadoop yarn会话运行模式
    YARN运行模式_环境准备YARN上部署的过程是:客户端把Flink应用提交给Yarn的ResourceManager,Yarn的ResourceManager会向Yarn的NodeManager申请容器。在这些容器上,Flink会部署JobManager和TaskManager的实例,从而启动集群。Flink会根据运行在JobManger上的作业所需要的Slot数量动态分配T......
  • Flink 1.17教程:Hadoop yarn运行模式——单作业模式和应用模式
    YARN运行模式_单作业模式单作业模式部署(1)执行命令提交作业YARN运行模式_应用模式应用模式同样非常简单,与单作业模式类似,直接执行flinkrun-application命令即可。如:bin/flinkrun-application-tyarn-application-ccom.atguigu.wc.WordCountStreamUnboundedDemo./FlinkTutorial......
  • Flink 1.17教程:集群搭建、运行模式(standalone/yarn/k8s)及历史服务器
    集群角色集群启动如果是部署在本地,本地访问,无需进行任何配置,直接启动即可。如果是部署在服务器,需要远程访问,则需要将flink.conf中的localhost修改为服务器IP地址或是0.0.0.0节点服务器hadoop102hadoop103hadoop104角色JobManagerTaskManagerTaskManagerTaskManager[atguigu@node001......
  • Flink 1.17教程:集群角色及集群启动
    集群角色集群启动如果是部署在本地,本地访问,无需进行任何配置,直接启动即可。如果是部署在服务器,需要远程访问,则需要将flink.conf中的localhost修改为服务器IP地址或是0.0.0.0节点服务器hadoop102hadoop103hadoop104角色JobManagerTaskManagerTaskManagerTaskManager[atguigu@node001......
  • Redis高可用集群之水平扩展(3.2)
    Redis3.0以后的版本虽然有了集群功能,提供了比之前版本的哨兵模式更高的性能与可用性,但是集群的水平扩展却比较麻烦,今天就来带大家看看redis高可用集群如何做水平扩展,原始集群(见下图)由6个节点组成,6个节点分布在三台机器上,采用三主三从的模式1、启动集群#启动整个集群/usr......
  • 分布式存储FusionStorage将搬迁走的计算节点踢出集群
    1、登录DeviceManager管理界面,在服务-vbs页面下,选中已经异常的VBS,将异常的VBS进行强制删除。2、通过第三方远程连接工具,连接进FSM后台,IP为浮动IP,用fsadmin用户进入,切换到root用户。fsadmin默认密码:IaaS@OS-CLOUD9!2.1执行su- rootroot默认密码:IaaS@OS-CLOUD8!3、执行ism......
  • 为什么创建 Redis 集群时会自动错开主从节点?
    哈喽大家好,我是咸鱼在《一台服务器上部署Redis伪集群》这篇文章中,咸鱼在创建Redis集群时并没有明确指定哪个Redis实例将担任master,哪个将担任slave/usr/local/redis-4.0.9/src/redis-trib.rbcreate--replicas1192.168.149.131:6379192.168.149.131:26379192.168.1......
  • DockerCompose-部署微服务集群
                                 ......
  • Kafka - 线上集群部署方案怎么做?
    既然是集群,那必然就要有多个Kafka节点机器,因为只有单台机器构成的Kafka伪集群只能用于日常测试之用,根本无法满足实际的线上生产需求。而真正的线上环境需要仔细地考量各种因素,结合自身的业务需求而制定。下面我就分别从操作系统、磁盘、磁盘容量和带宽等方面来讨论一下。 ......
  • oceanbase集群版安装(离线部署)
    环境:OS:Centos7oceanbase:4.2192.168.1.105中控机192.168.1.106192.168.1.1071.下载离线包(中控机执行)https://www.oceanbase.com/product/opensource下载的介质为:oceanbase-all-in-one-4.2.0.0-100120230821114201.el7.x86_64.tar.gz2.安装java1.8以上版本2.解压(中控机......