首页 > 其他分享 >1、读取hudi表问题 readDirect unsupported in RemoteBlockReader

1、读取hudi表问题 readDirect unsupported in RemoteBlockReader

时间:2024-01-25 12:00:43浏览次数:29  
标签:hdfs hudi RemoteBlockReader java hadoop unsupported org apache DFSInputStream

    Caused by: java.lang.UnsupportedOperationException: readDirect unsupported in RemoteBlockReader
            at org.apache.hadoop.hdfs.RemoteBlockReader.read(RemoteBlockReader.java:492)
            at org.apache.hadoop.hdfs.DFSInputStream$ByteBufferStrategy.doRead(DFSInputStream.java:789)
            at org.apache.hadoop.hdfs.DFSInputStream.readBuffer(DFSInputStream.java:823)
            at org.apache.hadoop.hdfs.DFSInputStream.readWithStrategy(DFSInputStream.java:883)
            at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:938)
            at org.apache.hadoop.fs.FSDataInputStream.read(FSDataInputStream.java:143)

解决方案:

1、在Catalog中Properties修改hudi.properites

hive.config.resources=/etc/hadoop/conf/core-site.xml, /etc/hadoop/conf/hdfs-site.xml,/opt/presto-server/etc/catalog/hdfs-site.xml

2、编辑/opt/presto-server/etc/catalog/hdfs-site.xml

<configuration  xmlns:xi="http://www.w3.org/2001/XInclude">
  <property>
    <name>dfs.client.use.legacy.blockreader</name>
    <value>false</value>
  </property>
</configuration>

3、重启presto

标签:hdfs,hudi,RemoteBlockReader,java,hadoop,unsupported,org,apache,DFSInputStream
From: https://www.cnblogs.com/liuys635/p/17986879

相关文章

  • Apache Hudi在信息服务行业构建流批一体的实践
    个人介绍李昂高级数据研发工程师ApacheDoris&HudiContributor业务背景部门成立早期,为了应对业务的快速增长,数仓架构采用了最直接的Lambda架构对数据新鲜度要求不高的数据,采用离线数仓做维度建模,采用每小时调度binlog+每日主键归并的方式实现T+1数据更新对数......
  • hudi数据湖
    字节跳动基于Hudi的实时数据湖平台https://developer.volcengine.com/articles/7220345269954003004 数仓实时化改造:HudionFlink在顺丰的实践应用https://www.logclub.com/articleInfo/NDE1NTk=  Hudi的核心优势主要分为两部分:首先,Hudi提供了一个在Hadoop中......
  • 接口请求响应码415报错信息UNSUPPORTED_MEDIA_TYPE问题记录
    场景描述开发了一个Post类型的接口,在本地用postman测试是没有问题。前端调用返回415UNSUPPORTED_MEDIA_TYPE。而415UnsupportedMediaType是一种HTTP协议的错误状态代码,表示服务器由于不支持其有效载荷的格式,从而拒绝接受客户端的请求后面定位问题发现,后端接口请求参数使用@......
  • 阿里云AnalyticDB基于Flink CDC+Hudi实现多表全增量入湖实践
    湖仓一体(LakeHouse)是大数据领域的重要发展方向,提供了流批一体和湖仓结合的新场景。阿里云AnalyticDB for MySQL基于 Apache Hudi 构建了新一代的湖仓平台,提供日志、CDC等多种数据源一键入湖,在离线计算引擎融合分析等能力。本文将主要介绍AnalyticDB for MySQL基于Apache ......
  • Hudi 在 vivo 湖仓一体的落地实践
    作者:vivo互联网大数据团队-XuYu在增效降本的大背景下,vivo大数据基础团队引入Hudi组件为公司业务部门湖仓加速的场景进行赋能。主要应用在流批同源、实时链路优化及宽表拼接等业务场景。一、Hudi基础能力及相关概念介绍1.1流批同源能力与Hive不同,Hudi数据在Spark/Flink......
  • Java集合操作:UnsupportedOpertionExcepion产生的原因以及解决办法
    Java集合操作:UnsupportedOpertionExcepion产生的原因以及解决办法  问题产生:java.lang.UnsupportedOperationException  问题定位:在通过mybatis获取分页列表的时候写了下面这段代码 1//分页获取列表2PageResult<InsuranceBeneficiaryDO>pageList=this.insuranc......
  • Error: error:0308010C:digital envelope routines::unsupported 【问题解决】【转载
    原文链接:  https://www.cnblogs.com/jaxu/p/17171211.html今天早上打开电脑,更新了日常工作的github仓库,然后就是习惯性地执行了"npminstall",发现报了下面这个错误:Error:error:0308010C:digitalenveloperoutines::unsupported顺便看了一下错误堆栈,发现是一个Node......
  • 记Redux下载后,运行examples/todos时,报错Error: error:0308010C:digital envelope rout
    1、Redux下载下载地址gitclonehttps://github.com/reactjs/redux.git进入examples/todos,下载依赖:npminstall2、问题复现及解决执行命令npmrunstart此时终端报错:Error:error:0308010C:digitalenveloperoutines::unsupported解决方法:打开package.json,修改......
  • java: 未报告的异常错误java.io.UnsupportedEncodingException; 必须对其进行捕获或声
    原问题代码:/**MD5编码相关的类@authorwangjingtao*/publicclassMD5{//首先初始化一个字符数组,用来存放每个16进制字符privatestaticfinalchar[]hexDigits={'0','1','2','3','4','5','6','7'......
  • 快速解决Error: error:0308010C:digital envelope routines::unsupported的三种解决方
    问题描述:    报错:Error:error:0308010C:digitalenveloperoutines::unsupported报错原因:     因为node.jsV17版本中最近发布的OpenSSL3.0,而OpenSSL3.0对允许算法和密钥大小增加了严格的限制报错详细信息:解决方案: 方案1:打开IDEA终端,直接输入Linux&......