首页 > 其他分享 >Doris failed to initialize storage reader. tablet=106408, res=[NOT_IMPLEMENTED_ERROR]to be implement

Doris failed to initialize storage reader. tablet=106408, res=[NOT_IMPLEMENTED_ERROR]to be implement

时间:2024-07-17 18:51:46浏览次数:13  
标签:策略 tablet res failed implemented 数据 Doris 106408

Apache Doris 2.3 以下的版本会存在一个 bug,导致数据在合并时存在异常,在后续查询该字段数据时会提示

[1105] [HY000]: errCode = 2, detailMessage = (192.168.15.228)[CANCELLED]failed to initialize storage reader. tablet=106408, res=[NOT_IMPLEMENTED_ERROR]to be implemented 0# doris::RowwiseIterator::next_block_view(std::vector<doris::vectorized::IteratorRowRef, std::allocator<doris::vectorized::IteratorRowRef> >*) at /home/zcp/repo_center/doris_release/doris/be/src/olap/iterators.h:147

由于在 Google 直接搜索解决方案时并没有看到非常好的方式,所以此处将我的一些处理方式分享一下:

前置知识

在 Doris 中,每一个表都会有一个对应的合并策略,我们可以通过 GET /api/compaction/show?tablet_id={int} 这个 API 来查看指定tablet_id的压缩策略等详细信息。

关于这个 API的详情可以查看 这里

在 Doris 中包含的压缩策略有:

size_based:基于数据大小的策略。当累积的数据大小达到一定阈值时,触发累积 Compaction。它允许系统根据数据增长自动调整 Compaction 的频率。
time_based:基于时间的策略。无论数据大小如何,只要达到一定的时间间隔,就会触发 Compaction。
incremental:增量策略,通常是指只合并最近添加的数据文件。
full:全量策略,指的是合并所有的数据文件,不管它们的新旧。

表数据修复

了解了上述的压缩策略后,就可以发现,我们数据的分片文件本身没有丢失的情况下,只要重新进行一次数据的合并即可,采用 full 策略,无论新旧文件
全部执行一次数据合并,就可以解决该问题。

在 Doris 的架构中,存在 FE 和 BE,BE 的节点本身会开启 8040 的http接口,这个接口是用于管理 BE 使用的。

我们再看一下上述的异常,异常提示是 tablet 106408 存在异常。 failed to initialize storage reader. tablet=106408

此时我们根据自己的 BE 节点所在的 IP 直接访问: http://IP:8040/api/meta/header/106408

会得到针对该 tablet 的详细元数据信息

此处我们会发现该 tablet 所对应的 table 是 "table_id": 106227。 此处要注意哦:table 和 tablet 是两个不同的概念。

获取到异常表的 Id 后,我们就可以登录到对应的 BE 服务器上执行:

curl -X POST "http://localhost:8040/api/compaction/run?table_id=106227&compact_type=full"

执行成功后,等待片刻,再执行对应的 sql 查询,会发现异常解决解决了、、

关于compaction api 可以看这里

终极解决方案

终极解决方案就是升级Doris 的版本,2.1.3 的版本已经修复了该问题,只要是使用 2.1.3 以及以上的版本即可。

标签:策略,tablet,res,failed,implemented,数据,Doris,106408
From: https://www.cnblogs.com/zh94/p/18308100

相关文章

  • Javascript: Blob, File/FileReader, ArrayBuffer, ReadableStream, Response 转换方
    目录先上图各个ObjectArrayBuffer:Blob:File:FileReader:ReadableStream:Response用法举例ArrayBufferBlob,File,FileReaderReadableStream关于ReadableStream的一点总结Response构造函数Parametersblob()先上图各个ObjectArrayBuffer:1.ArrayBuffer是JavaScript......
  • 2024-07-17 vite打包vue项目,无法正确加载,报错:TypeError: Failed to resolve module sp
    我这会打算打个包扔到线上看看效果,结果线上报错:TypeError:Failedtoresolvemodulespecifier"vue".Relativereferencesmuststartwitheither"/","./",or"../".奇怪,之前还好好的,因为本地调试什么的都正常,甚至昨天都可以打包。我不信邪,遂新建vue项目,做一下测试,这......
  • ES快速开发,ElasticsearchRestTemplate基本使用以及ELK快速部署
    最近博主有一些elasticsearch的工作,所以更新的慢了些,现在就教大家快速入门,并对一些基本的查询、更新需求做一下示例,废话不多说开始:1. ES快速上手es下载:[https://elasticsearch.cn/download/]()这里关于es所需要的链接基本都有,可以快速下载使用当你解压好了归档文件之后,Elas......
  • Ingress Nginx集成进Skywalking
    注:本文使用的环境为:k3sversionv1.29.5+k3s1IngressNginxcontrollerv1.10.1Skywalking9.7.0-066457bskywalking-nginx-luav0.6.0  本文假设你已经在ingress-nginx命名空间下安装部署了IngressNginxcontroller方案  在介绍方案之前,我们先了解一下相关的背......
  • Java中的RESTful API设计与实现
    Java中的RESTfulAPI设计与实现大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!一、引言在现代Web开发中,RESTfulAPI已经成为数据传输的标准方式。REST(RepresentationalStateTransfer)是一种基于资源的架构风格,广泛应用于互联网服务中。本文将详细介绍......
  • oracle Mysql PostgreSQL 数据库的对比
    oracleMysqlPostgreSQL数据库的对比HOXJUN于2018-07-1318:44:25发布阅读量7.3k收藏11点赞数1版权Mysql的多表连接查询只支持NestLoop,不支持hashjoin和sortmergejoin,子查询性能较低,不支持sequenceMysql在执行过程中出现问题只产生很少的性能数据,难准确定位......
  • DevExpress WPF中文教程 - 为项目添加GridControl并将其绑定到数据
    DevExpressWPF拥有120+个控件和库,将帮助您交付满足甚至超出企业需求的高性能业务应用程序。通过DevExpressWPF能创建有着强大互动功能的XAML基础应用程序,这些应用程序专注于当代客户的需求和构建未来新一代支持触摸的解决方案。无论是Office办公软件的衍伸产品,还是以数据为中心......
  • 【YashanDB知识库】virt虚拟内存远大于res内存问题分析
    YASDB内存占用简介参数配置:默认参数配置:DBMS_PARAM高级包生成配置参数数据库内存配置,使用默认参数步骤:1、DBMS_PARAM.OPTIMIZE();//生成默认参数,使用总内存的80%2、SELECTDBMS_PARAM.SHOW_RECOMMEND()FROMdual;//查看生成的参数3、EXECDBMS_PARAM.APPLY_RECOMMEND();......
  • Setup Babel ES6 for Express and Nodejs
    Createprojectandinstalldependenciesmkidrmy-app&&cdmy-appnpminit-ynpmi-D@babel/cli@babel/core@babel/node@babel/preset-envnpmiexpresssCreate.babelrc{"presets":["@babel/preset-env"]}Writeawebs......
  • CS229|Ch1|Linear regression
    Trainingset:\(\{(x^i,y^i);i=1,...,n\}\)\(x^i\in{X}\):input(features)\(y^i\in{Y}\):output(1)continuousvalues——Regression(2)discretevalues——ClassificationSupervisedlearning主要任务为找functionGivenatrainingset,learnafunction(hyp......