首页 > 其他分享 >Hive 修改计算引擎方法

Hive 修改计算引擎方法

时间:2023-04-20 21:34:38浏览次数:26  
标签:set hive 修改 引擎 Hive 计算 spark 切换

前置说明

各位应该清楚,hive 默认计算引擎是 mr,当集群配置了 hive-ob-spark 后可以根据需要自行切换计算引擎

其它计算引擎切换为mapreduce

set hive.execution.engine=mr;

其它计算引擎切换为 spark

set hive.execution.engine=spark;

说明:

如果一个诸如shell脚本里封装了几段sql,可以根据需要具体设置每一段的执行引擎;方法是再执行某一段sql前设置需要的引擎,再执行某一段后切换回之前的引擎即可。

标签:set,hive,修改,引擎,Hive,计算,spark,切换
From: https://www.cnblogs.com/wdh01/p/17209425.html

相关文章

  • hive
    解压hive到/usr/local/src目录下并修改名称为hivemvapache-hive-3.1.3-binhive配置hive的环境变量#HIVE_HOMEexportHIVE_HOME=/usr/local/src/hiveexportPATH=$PATH=$HIVE_HOME/bin:$PATHsource一下重启配置hive-env.sh,添加hive,java,hadoop的环境变量进去exportHIVE......
  • 火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0 (Ⅳ)
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 近日,《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。白皮书简述了ByteHouse基于ClickHouse引擎的发展历程,首次详细展现ByteHouse的整体架构设计及自研核心技术,为云原生数......
  • 火山引擎 DataLeap 下 Notebook 系列文章二:技术路线解析
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群在Jupyter的生态下,除了Notebook本身,火山引擎DataLeap研发团队还注意到了很多其他组件。彼时,JupyterLab正在逐渐取代传统的JupyterNotebook界面,成为新的标准。JupyterHub使用广泛,是......
  • hive 常用命令
       hive开启命令窗口hive--servicecli; hive--servicemetastore& 开启hivemetastore hive--servicehiveserver-p11000>/dev/null2>&1&   开启远程连接端口 hivesql文件执行方式:1>hive-ffile2hive>sourcefile  ......
  • hive日志位置
        日志记录了程序运行的过程,是一种查找问题的利器。Hive中的日志分为两种1.系统日志,记录了hive的运行情况,错误状况。2.Job日志,记录了Hive中job的执行的历史过程。系统日志存储在什么地方呢?在hive/conf/hive-log4j.properties文件中记录了Hive日志的存储情况,默认的存储......
  • hive 使用JDBC访问 和启动远程端口
      0:hiveservice开启远程访问端口: hive使用jdbc进行访问,要求我们必须开启远程可以访问的端口,其中端口11000是随机的,可以是10002或者别的端口,这设定好好java代码链接时候就要使用开启好的端口。  linuxshell下执行hive--servicehiveserver-p11000>/dev/null2>&1......
  • hive row_number分组排序top
    自从hive0.11.0开始,加入了类似orcle的分析函数,很强大,可以查询到分组排序top值使用方法跟oracle没有差别 贴个小例子查询的是同一个操作下pv前十的用户select*,row_number()OVER(PARTITIONBYt3.actionORDERBYpvdesc)ASflagfrom(selectaction,uuid,count(1)as......
  • hive函数
    用pig的时候,超不爱用pig带的函数,一般都自己写但是用hive,就越来越懒,变成了能不写就不写自己的udf,哈哈 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 1.内置运算符 1.1关系运算符  运算符类型说明A=B所有原始类型如果A与B相等......
  • 修改typora代码块颜色,稍微美化Github主题
    typora的GitHub主题是默认主题,也是最符合我的审美的主题。但是仍然有几个小地方不能让我满意:一级标题和二级标题不够明显代码块是白色背景,不好看于是基于官网给的部分代码做了,做了一点小的修改,最终效果如下操作过程如下:1.打开Theme文件夹2.修改为深色代码框在github......
  • hive local mr转
    在hive中运行的sql有很多是比较小的sql,数据量小,计算量小.这些比较小的sql如果也采用分布式的方式来执行,那么是得不偿失的.因为sql真正执行的时间可能只有10秒,但是分布式任务的生成得其他过程的执行可能要1分钟.这样的小任务更适合采用lcoalmr的方式来执行.就是在本地来执行,通......