首页 > 其他分享 >dremio random 函数造成dremio crash 问题

dremio random 函数造成dremio crash 问题

时间:2024-01-25 10:34:38浏览次数:33  
标签:dremio java exec random crash com options

以前没注意使用random,在看社区问题的时候测试了下发现的确有类似的问题,官方的解决方法是通过配置
禁用gandiva 优化

参考配置

  • 支持key格式
 
exec.disabled.gandiva-functions: <function>;<function>
  • 参考配置

参考禁用处理

sabot/kernel/src/main/java/com/dremio/exec/expr/ExpressionEvaluationOptions.java

  public ExpressionEvaluationOptions(OptionManager options) {
    this.options = options;
    String disabledFunctions = options.getOption(ExecConstants.DISABLED_GANDIVA_FUNCTIONS);
   // 通过; 分割,同时转换为小写,所以名称是不区分大小写的
    this.disabledGandivaFunctions = Arrays.stream(disabledFunctions.split(";")).map(String::toLowerCase).map(String::trim).collect(Collectors.toSet());
  }

参考资料

https://community.dremio.com/t/docker-crashes-when-using-the-random-function-in-a-sql-query/11420
sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java
sabot/kernel/src/main/java/com/dremio/exec/expr/ExpressionEvaluationOptions.java

标签:dremio,java,exec,random,crash,com,options
From: https://www.cnblogs.com/rongfengliang/p/17986493

相关文章

  • Mysql报:ERROR 145 (HY000) at line 1: Table './mysq1/proc' is marked as crashed an
    版权声明:原创作品,谢绝转载!否则将追究法律责任。—————作者:kirin先看报错mysq1:[Marning]Usingapasswordonthecommandlineinterfacecanbeinsecure.ERROR145(HY000)atline1:Table'./mysq1/proc'ismarkedascrashedandshouldberepaired1、截图如......
  • SV 随机化(Randomization)
    CoverageDriverVerification可约束的随机化验证,用于测试的值可以再一定范围内进行随机,具体的范围可以进行约束,比如可以跑100次,然后查看覆盖率,可以通过覆盖率进行度量验证的进度内容随机化的变量往往需要添加一定的约束,通过添加约束让值在一定的范围内进行随机随......
  • Table '.\mysql\proc' is marked as crashed and should be repaired 报错
    Table'.\MySQL\proc'ismarkedascrashedandshouldberepaired报错 解决方法:找到mysql的安装目录的bin/myisamchk工具,在命令行中输入:myisamchk-c-r../data/mysql/proc.MYI然后myisamchk工具会帮助你恢复数据表的索引。重新启动mysql,问题解决。......
  • dremio + grafana/tempo opentelemetry监控集成
    昨天我写过一个基于signoz的dremioopentelemetry集成,实际上grafana/tempo也是一个很不错的选择,主要是部署简单,以下是一个简单测试环境准备docker-compose文件version:"3"services:tempo:image:grafana/tempo:latestcommand:["-config......
  • dremio opentelemetry监控试用
    标准的系统监控应该包含metrics,trace,log这个三大类,metrics部分,包含了一个promethues的扩展,当然官方也支持jmx以及slf4j的opentelemetry是一个直接内置的trace功能,很不错,以下是一个简单的测试环境准备dremio默认就支持opentelemetrytrace,对于opentelemetrycollector......
  • dremio 基于Options注解的配置技巧
    以前简单写过一个dremio配置相关的介绍,以下是一个简单的使用原理dremio自己定义了一个Options的注解,包含此注解的类会被启动的时候进行类扫描加载,Options的会存储起来(分为不用类型的)有session级别的,系统级别的。。。。简单使用pom.xml <?xmlversion="1.......
  • P1829 [国家集训队] Crash的数字表格 / JZPTAB
    \[\sum\limits_{i=1}^N\sum\limits_{j=1}^M\frac{ij}{\gcd(i,j)}\]\[\sum\limits_{d=1}^N\frac1d\sum\limits_{i=1}^N\sum\limits_{j=1}^Mij[\gcd(i,j)=d]\]\[\sum\limits_{d=1}^Nd\sum\limits_{i=1}^{\lfloor\fracNd\rfloor}\sum\limits_......
  • 为什么机器学习习惯设置random_state = 42 ?
    在学机器学习写代码时一直有个小疑问,为什么大家习惯设置random_state=42?甚至许多官方文档也是用的42这个数字。简单上网搜索之后发现原来是在致敬这本道格拉斯·亚当斯所作的幽默荒诞风的科幻小说——《银河系漫游指南》(Thehitchhiker'sguidetothegalaxy)花了两天时间把这本......
  • [AGC044E] Random Pawn题解
    [AGC044E]RandomPawn题解题目链接AtCoder原题链接Step1.拆环原问题是在环上的问题,考虑将环拆开变成链来处理。因此,我们需要找到一个点,使得操作越过这个点一定不优。令使\(a\)的值最大的位置的下标为\(maxp\)。容易发现,如果现在正处在\(maxp\)上,那么继续操作一定不可......
  • spring boot 3.2.1 dremio jdbc jprofiler 集成
    jprofiler可以直接与idea集成,对于分析一些实际需要debug但是不好复现的问题还是比较方便的,以下是一个简单的与dremio集成的,springboot使用了3.2(jdk需要17)同时也会包含一些启动说明安装idea插件直接plugins的市场中搜索安装就可以了,之后就是配置了idea启动配置因......