首页 > 其他分享 >dremio AsyncStreamConf 简单说明

dremio AsyncStreamConf 简单说明

时间:2024-03-23 09:13:06浏览次数:39  
标签:dremio java CacheFileSystemWrapper cache ce AsyncStreamConf 简单

AsyncStreamConf 主要是关于异步以及cache 配置属性的参数配置,dremio 存储扩展不少都实现了此接口

参考实现

使用的地方

  • 整体使用 
    存储插件基本都会使用到,包含了一些reader,同时还有文件系统的包装处理 

  • ce CacheFileSystemWrapper 的使用 
    这个是dremio ce 包中的一个CacheFileSystemWrapper实现,主要是在CacheFileSystem cache 文件系统实现使用的,里边包含了cache 的文件读取处理
  • FileSplitParquetRecordReader 处理 
    这个主要是关于hive的处理

参考资料

sabot/kernel/src/main/java/com/dremio/exec/store/dfs/AsyncStreamConf.java
com/dremio/service/cachemanager/CacheFileSystemWrapper.java

标签:dremio,java,CacheFileSystemWrapper,cache,ce,AsyncStreamConf,简单
From: https://www.cnblogs.com/rongfengliang/p/18049437

相关文章

  • Android开发笔记[16]-简单使用wasmedge运行时
    摘要使用wasmedge运行时在Android实现"容器化"运行,将fibonacci计算函数打包进入wasm然后打包进入APK中.关键信息AndroidStudio:Iguana|2023.2.1Gradle:distributionUrl=https://services.gradle.org/distributions/gradle-8.4-bin.zipjvmTarget='1.8'minSdk24targe......
  • postman进阶功能学习,别再简单的发请求了!
    1.Postman数据驱动  想要批量执行接口用例,我们一般会将对应的接口用例放在同一个Collection中,然后再通过Runner批量执行。这种方式适用于接口用例参数固定的情况下,但也存在另一个问题,如果每次运行时,接口参数都在变化,该如何操作了?  认真看过前面文章的童鞋可能已经猜......
  • 简单模拟选做
    海港重点在于想到我们不关心每个人是第几批次,不关心同一时间同一国籍有几个人,所以可以只储存去重后的每个人的国籍和时间信息。使用queue和map和pair,stl就是好用(#include<iostream>#include<cstdio>#include<queue>#include<map>usingnamespacestd;constintN=200000......
  • [项目] Java + Servlet + MySql + BootStrap4 一个简单的购书网(网上书城)项目 (附源码)
    ......
  • SNMP(简单网络管理协议)学习
    SNMP是英文"SimpleNetworkManagementProtocol"的缩写,中文意思是"简单网络管理协议"。SNMP是一种简单网络管理协议,它属于TCP/IP五层协议中的应用层协议,用于网络管理的协议。SNMP主要用于网络设备的管理。由于SNMP协议简单可靠,受到了众多厂商的欢迎,成为了目前最为广泛的网管协议......
  • EECS 1720简单线程探索
    LAB6::探索和使用鼠标事件、键事件和简单线程(计时器)先决条件-实验室1-5实验室资源:JavaAPI:https://docs.oracle.com/javase/8/docs/api/JavaSwing:https://docs.oracle.com/javase/tutorial/uiswing/components/index.html**事件/事件处理程序接口的Swing层次结构提醒。步骤1:......
  • 【前端面试题-07】typescript 内置类型有哪些,分别简单介绍下用法
    TypeScript提供了一系列内置类型,这些类型有助于编写类型安全的代码。以下是TypeScript中一些重要的内置类型及其用途的简介:基本类型:boolean:表示布尔值,只有两种可能的值true或false。number:表示任何数值,包括整数和浮点数。string:表示文本字符串。bigint(ES2020):表示......
  • C IO复用select, epoll 简单总结
    1.文件描述符类型REG:文件DIR:目录CHR:字符BLK:块设备UNIX:unix域套接字FIFO:先进先出队列IPv4:网际协议(IP)套接字其中,标准输入STDIN(0)和STDOUT输出(1),STDERR错误(2)为指定的值2.  IO复用模型(1).select(在指定的一段时间内,轮询监听用户需要的文件描述符(用户添加到fd......
  • 超简单的.net Core上传文件到七牛云保存
    经过我一天的努力,在网上查找内容,外加看官网配置,再加请教前辈,终于总结出一个简单的方法来实现这个功能1、需要你注册七牛的账号,提交实名认证2、登录七牛云平台->对象存储->新建空间我用的是这个NuGet包,每个人都有每个人的方法,可以借鉴我的开发环境:操作系统:Windows10家庭中......
  • Puppeteer实践:复杂的问题简单化
    最近遇到一个需求需要将上千条的数据写入到基于Wordpress搭建的系统中,但是对于底层数据录的写入逻辑不是很清楚,通过sql各种写入也没有完全达到效果。后面想了想或许可以换一个方向,不能从底层逻辑写入数据那就通过正常操作写入。由于数据量大所以需要自动化处理,这时候就想到......