首页 > 其他分享 >dask读取hdfs文件时报错connect hdfs error

dask读取hdfs文件时报错connect hdfs error

时间:2024-04-05 15:00:33浏览次数:31  
标签:hdfs pyarrow dask connect File error line

问题详情:

/arrow/cpp/src/arrow/filesystem/hdfs.cc:51: Failed to disconnect hdfs client: IOError: HDFS hdfsFS::Disconnect failed, errno: 9 (Bad file descriptor)
Traceback (most recent call last):
File "/home/tdops/fucheng.pan/ray-code/read.py", line 15, in
print(fs.FileSystem.from_uri("hdfs:"))
File "pyarrow/_fs.pyx", line 347, in pyarrow._fs.FileSystem.from_uri
File "pyarrow/error.pxi", line 122, in pyarrow.lib.pyarrow_internal_check_status
File "pyarrow/error.pxi", line 99, in pyarrow.lib.check_status
OSError: HDFS connection failed

dask及相关库的版本如下:

pyarrow                   15.0.2
dask                      2024.4.0
dask-expr                 1.0.6
fsspec                    2024.3.1

解决办法:

先将 fsspec 降至  2022.8.2 版本,如果再不行,将pyarrow降至 7.0.0 解决

相关解决原文:https://github.com/apache/arrow/issues/29187

标签:hdfs,pyarrow,dask,connect,File,error,line
From: https://blog.csdn.net/qq_35204012/article/details/137346310

相关文章

  • windos上安装hadoop并将文件上传至HDFS的操作
    参考1参考21.下载并安装hadoop下载解压hadoop:https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/百度网盘:安装包和配置文件链接:(https://pan.baidu.com/s/1SyORDDF5hxmm5-dZPuHNhA?pwd=1234)注意:我使用的是2.7.1版本,官网的Hadoop不支持Windows系统,需要修改......
  • Nginx 配置反向代理时出现 502 Bad Gateway (13_ Permission denied) while connectin
    我们在Nginx配置反向代理后,可能会出现如下报错:502BadGateway(13:Permissiondenied)whileconnectingtoupstreamSorry,thepageyouarelookingforiscurrentlyunavailable.<br/>Pleasetryagainlater.这些错误,一般是由SELinux引起的(https://stackoverf......
  • 大数据实验统计-1、Hadoop安装及使用;2、HDFS编程实践;3、HBase编程实践;4、MapReduce编
    大数据实验统计1、Hadoop安装及使用;一.实验内容Hadoop安装使用:1)在PC机上以伪分布式模式安装Hadoop;2)访问Web界面查看Hadoop信息。二.实验目的1、熟悉Hadoop的安装流程。2、熟悉Hadoop访问Web界等基本操作。大数据实验一,Hadoop安装及使用-CSDN博客文章浏览阅读149次,点赞3......
  • SeaTunnel DB2 Source Connector 使用文档(含详细操作步骤)
    DB2是IBM的一款关系型数据库管理系统,JDBCDB2SourceConnector是一个用于通过JDBC读取外部数据源数据的连接器。ApacheSeaTunnel如何支持JDBCDB2SourceConnector?请参考本文档。支持引擎SparkFlinkSeaTunnelZeta引擎主要特性批处理(batch)精确一次(exactly-once)列投......
  • k8s + springcloud 微服务开发调试工具kt Connect的使用
    概览KtConnect(全称KubernetesToolkitConnect)是一款基于Kubernetes环境用于提高本地测试联调效率的小工具。通过这个工具,可以不在本地启动所有服务,只需启动当前开发的服务即可,其它服务使用的是部署在k8s集群的实例,如下图:Reference官方文档:https://github.com/alibaba/......
  • 17、Connect-the-dots(VulnHub)
    Connect-the-dots一、nmapcatports|grepopen|awk-F'/''{print$1}'|paste-sd','>nmap_open_port_total.txt二、ftp渗透没啥三、web渗透随便看看图片隐写目录爆破没错,web端给我们的提示就是去找备份/backupsbootstrap.min.cs这个是啥c......
  • Hadoop——HDFS文件系统的Java API操作
    2.7.4org.apache.hadoophadoop-hdfs2.7.4org.apache.hadoophadoop-client2.7.4junitjunit4.12IDEA会自动保存文件并且导入依赖包,点击右侧的Maven,展开Dependencies,可以看到四个依赖包以及导入进来了三、初始化我们通过junit来进行测试,首先创建一个类,添加如下内......
  • MySQL如何解决Host is not allowed to connect to this MySQL server
    在运行Androidstudio时,日志中报错HostisnotallowedtoconnecttothisMySQLserver, 解决方案:1、登录MySQL控制台:在电脑下方搜索 2、选择上图中Unicode3、输入MySQL密码4、根据命令mysql>usemysql;Databasechangedmysql>updateusersethost='%'whereuser......
  • 七、使用jsPlumb实现流程图功能--Connection事件和拦截器
    在一个交互式的流程图配置中,连线可能是最高频的操作。jsPlumb也提供了相对应的事件和拦截器可以让开发人员做一些符合需求的功能。一、Connection事件Connection事件是在行为发生之后的一个通知,Connection常用的一些事件有:EVENT_CONNECTION:连线创建之后触发的事件。EVENT_CON......
  • 5.Hadoop HDFS 命令
    5.1启动HadoopMuti-NodeClusterstart-all.sh5.2创建与查看HDFS目录创建user目录:hadoopfs-mkdir/user创建user下hduser子目录:hadoopfs-mkdir/user/hduser创建hduser下test子目录:hadoopfs-mkdir/user/hduser/test查看之前创建的HDFS目录: 一次查看HDFS所有子目......