首页 > 编程语言 >Python使用hdfs上传文件至hadoop报错

Python使用hdfs上传文件至hadoop报错

时间:2023-07-14 18:22:10浏览次数:46  
标签:hdfs Python 端口 hadoop client 报错 x00

报错代码:

from hdfs.client import Client

hdfs_client = Client('http://IP:端口')
hdfs_client.makedirs(hdfs_dir)

在与hadoop创建链接后建文件夹时报错

报错信息:

requests.exceptions.ConnectionError: ('Connection aborted.', BadStatusLine('\x00\x00\x00|{\x08ÿÿÿÿ\x0f\x10\x02\x18\t")org.apache.hadoop.ipc.RPC$VersionMismatch*>Server IPC version 9 cannot communicate with client version 470\x0e:\x00@\x01'))

 

解决思路:

检查所请求的端口,在hadoop的配置文件下的 hdfs-site.xml的 dfs.namenode.http-address.mycluster.nn1(NameNode HTTP Server端口) 配置下的端口号 

修改端口号后正常传输数据~

标签:hdfs,Python,端口,hadoop,client,报错,x00
From: https://www.cnblogs.com/lytcreate/p/17554718.html

相关文章

  • 【dRep报错】运行dRep去冗余时出现checkm failed的处理
    做宏基因组分析时,会用到drep软件去冗余,有时会出现checkMfailed的错误$dRepdereplicatedreplicated_out-gbins/*fa#运行命令错误信息如下:RunningcheckM!!!checkMfailed!!!官方文档提到了几个解决方案https://drep.readthedocs.io/en/latest/advanced_use.html......
  • 鸟类识别系统python+TensorFlow+Django网页界面+卷积网络算法+深度学习模型
    一、介绍鸟类识别系统,使用Python作为主要开发语言,基于深度学习TensorFlow框架,搭建卷积神经网络算法。并通过对数据集进行训练,最后得到一个识别精度较高的模型。并基于Django框架,开发网页端操作平台,实现用户上传一张图片识别其名称。二、效果图片三、演示视频and代码视频+......
  • Python - list VS tuple, list() VS []
    差异一:list可变vstuple不可变列表是动态的,长度大小不固定,可以随意地增加、删减或者改变元素(mutable)。而元组是静态的,长度大小固定,无法增加删减或者改变(immutable)。#Jupyter格式tup=(1,2,3,4)new_tup=tup+(5,)#创建新的元组new_tup,并依次填充原元组的值new_......
  • vue3项目 运行 报错 Cannot assign to "b" because it is a constant
    环境依赖node18.16.0vite4.4.4vue 3.2.47背景当前错误与环境依赖关系不大,是由于我在打包的文件写的代码错误导致的,一般情况不会有这个错报错信息X[ERROR]Cannotassignto"b"becauseitisaconstantThesymbol"b"wasdeclaredaconstanthere:原因将r......
  • python编写按键精灵
    环境:python3.9  功能:网页版的腾讯企业邮箱删除邮件安装依赖:pipinstall pyautoguiimportpyautoguiimporttimeforiinrange(3):print(i)print('选择页面')time.sleep(3)pyautogui.dragTo(215,251,duration=1)#按绝对位置拖动鼠标到选择所有......
  • mongodb报错Sort exceeded memory limit of 104857600 bytes
    mongodb运行过程中,遇到错误信息:2023-07-14T09:29:33.853ERRFailedtoQueryBsPoolUnivStaterror="(QueryExceededMemoryLimitNoDiskUseAllowed)Executorerrorduringfindcommand::causedby::Sortexceededmemorylimitof104857600bytes,butdidnotoptinto......
  • [oeasy]python0072_整数类型_int_integer_整型变量
    帮助手册回忆上次内容 上次了解的是字符串字符串就是字符的串字符串长度可以用len函数字符可以用下标索引[] 可以用str将整型数字转化为字符串 字符的长度本身有长有短ascii字符集包括各种转义字符都对应1个字节......
  • python踩坑: 装饰器类的局部缓冲值
    test.py:#coding:utf8importtimeimportthreadingimportfunctoolsclassMyThread(threading.Thread):def__init__(self,filename,fps):self.filename=filenameself.fps=fpssuper().__init__()defrun(self):......
  • python 时间
    目录时间Python日期和时间python中时间日期格式化符号:获取某月日历Time模块日历(Calendar)模块其他相关模块和函数时间Python日期和时间#Python程序能用很多方式处理日期和时间,转换日期格式是一个常见的功能。#Python提供了一个time和calendar模块可以用于格式化日期......
  • python 推导式
    目录python推导式列表推导式字典推导式集合推导式python推导式列表推导式#!/usr/bin/envpython#-*-coding:utf-8-*-#BY:wenchao.Litime:2021/7/12#列表推导式格式:[表达式for变量in旧列表]或者[表达式for变量in旧列表if条件]#旧列表》》新列表......