首页 > 其他分享 >关于Hive使用的一些技巧

关于Hive使用的一些技巧

时间:2024-11-18 18:47:15浏览次数:3  
标签:hiverc set 技巧 cli hive Hive 设置 print 关于

1、可以直接不进入hive的情况下执行sql语句

通过shell的参数 -e 可以执行一次就运行完的命令

hive -e "select * from yhdb.student"

hive -S -e "set" | grep cli.print
-S 是静默模式,会省略掉多余的输出

假如我想在查询语句的结果上面显示字段名称,可以将
set hive.cli.print.header=true;

想永久设置:修改/opt/installs/hive/conf/.hiverc文件

追加一条:

set hive.cli.print.header=true;

2、hive可以直接运行sql文件

hive -f  sql语句的路径

先创建一个sql语句test.sql:
use yhdb;
insert into student values(1,'laoyan');

hive -f test.sql  即可运行

3、可以在hive中执行linux命令

在Hive的shell中 加上前缀! 最后以分号;结尾,可以执行linux的命令

! ls /home/hivedata ;

4、可以在hive中操作hdfs

用户可以在Hive的shell中执行HDFS的DFS命令,不用敲入前缀hdfs或者hadoop

dfs -ls /user/hive/warehouse

5、设置显示当前数据库

hive-site.xml

<property>
    <name>hive.cli.print.current.db</name>
    <value>false</value>
    <description>Whether to include the current database in the Hive prompt.</description>
</property>

将value设置为true即可。
跟之前在.hiverc中设置 set  hive.cli.print.current.db=true; 效果是一样的。

思考:设置一个属性有几种方法?

第0种:命令行方式

1、启动hive时,可以在命令行添加 --hiveconf param = value来设定参数
2、测试:通过命令行参数方式,配置hive不打印当前数据库名 
hive --hiveconf hive.cli.print.current.db = false
注意:命令行参数方式仅仅对本次hive启动有效。

假如 .hiverc 中也有相同的配置,以.hiverc 为准

第一种:直接在hive的窗口上设置 
set hive.cli.print.current.db=true;
它的设置可以覆盖.hiverc中的配置。
第二种:在hive的conf下的.hiverc 设置    
第三种:修改hive-site.xml 进行设置      
第四种:默认设置                       

到底以哪种方式设置为准:
第一种 > 第二种>  所谓的第0种 > 第三种 > 第四种  【就近原则】
假如窗口中设置以窗口为准,顶掉前面所有地方的设置,假如.hiverc设置,.hiverc 中的设置会顶替到它之前所有的设置,以此类推。

第四种默认设置:hive在安装的时候会有元数据,元数据中的设置为默认设置,假如你想更改设置,需要自己编写一个hive-site.xml ,在这个文件中想顶掉哪个默认设置就写哪个。

第一种和第二种其实是一种,生命周期都是客户端进入,hive进入后,会自动加载.hiverc文件,将里面的set执行一遍。断开连接后,配置消失。

hive-site.xml 中其实只需要编写自己需要的配置即可,没必要复制全部!!!!

查看当前session中的设置:

set hive.cli.print.current.db;

6、设置本地模式运行速度更快(小任务)

-- 开启本地模式
set hive.exec.mode.local.auto=true
-- 当文件大小小于这个的值才会进入本地模式
set hive.exec.mode.local.auto.inputbytes.max=134217728
-- 假如文件的数量小于这个值才会进入本地模式
set hive.exec.mode.local.auto.input.files.max=4


.hiverc中不要写注释,否则报错

假如运行报:文件打开过多的错误,请修改如下配置

vi /etc/security/limits.conf

在下方添加:
root soft nofile 65535
root hard nofile 65535

标签:hiverc,set,技巧,cli,hive,Hive,设置,print,关于
From: https://blog.csdn.net/Yz9876/article/details/143858143

相关文章

  • GPU渲染一文详解,设置、优势和技巧
    在3D渲染领域,速度和效率至关重要,而GPU渲染已成为游戏规则的改变者,这是不争的事实。本文将介绍有关GPU渲染的所有信息,从设置硬件到探索其优势,以及优化工作流程的一些有用技巧。我们希望本指南能帮助您更好地了解GPU为您提供了哪些功能,以实现更快、更高效的渲染。什么是GPU渲染?......
  • 【Stable Diffusion】文生图超详细参数使用技巧和方法推荐
    Ai出图最基本的就是文生图,拿写实类方向来说,可以生成很多逼真的Ai作品,足够让人惊艳了。2张图像都是用SD生成的,底模用的是麦橘大神新发布的V7写实模型,lora还搭配使用了麦橘大神发布的花田错stablediffusion整合包以及更多模型插件,可以扫描下方,免费获取今天我想来一期......
  • H.264/H.265播放器EasyPlayer.js网页直播/点播播放器关于播放的时候就有声音
    EasyPlayer.jsH5播放器,是一款能够同时支持HTTP、HTTP-FLV、HLS(m3u8)、WS、WEBRTC、FMP4视频直播与视频点播等多种协议,支持H.264、H.265、AAC、G711A、Mp3等多种音视频编码格式,支持MSE、WASM、WebCodec等多种解码方式,支持Windows、Linux、Android、iOS全平台终端的H5播放器,使用简单......
  • H.265流媒体播放器EasyPlayer.js无插件H5播放器关于页面首次加载超时检测
    EasyPlayer.js网页直播/点播播放器是TSINGSEE青犀流媒体组件系列中关注度较高的产品,经过多年的发展和迭代,目前已经有多个应用版本,包括RTSP版、RTMP版、Pro版以及js版,其中js版本作为网页播放器,受到了用户的广泛使用。在功能上,EasyPlayer.js播放器支持直播、点播、录像、快照截图......
  • 网页直播/点播播放器EasyPlayer.js RTSP播放器关于硬解码或者video标签渲染自动播放
    EasyPlayer.jsRTSP播放器是一个基于WebRTC(网页实时通信技术)的开源JavaScript库,主要用于在网页上实现视频播放功能,特别是针对RTSP(RealTimeStreamingProtocol,实时流协议)流的播放。它允许开发者在不需要安装额外插件或软件的情况下,直接在网页中嵌入和播放来自监控摄像头或其他R......
  • AI大模型实战训练营-大模型原理及训练技巧、大模型微调的核心原理
    《AI大模型实战训练营:原理、训练技巧与微调核心原理探究》在当今科技飞速发展的时代,AI大模型已然成为了众多领域关注的焦点,它们正以强大的能力重塑着我们认知世界和解决问题的方式。而参与AI大模型实战训练营,则是深入了解其背后奥秘、掌握关键技术的绝佳途径。今天,就让我们一......
  • H.265流媒体播放器EasyPlayer.js视频流媒体播放器关于直播流播放完毕是否能监听到
    EasyPlayer属于一款高效、精炼、稳定且免费的流媒体播放器,可支持多种流媒体协议播放,无须安装任何插件,起播快、延迟低、兼容性强,使用非常便捷。EasyPlayer.js播放器不仅支持H.264与H.265视频编码格式,也能支持WebSocket-FLV、HTTP-FLV、HLS(m3u8)、WebRTC、ws-fmp4、http-fmp4等格式......
  • 关于数值交换
    如何在c语言环境中定义一个函数,让他实现交换两个整型的数值?第一次拿到这个问题时,第一反应是这不简单吗?然后尝试写了代码如下:1在这段代码中,我们先把a 的值存到temp 中,然后把b 的值赋给a,最后把temp(也就是原来a 的值)赋给b,完成交换。<借助临时变量交换,......
  • gcc/g++ 使用技巧
    使用技巧常用选项MakeFileGDB调试多进程调试多线程调试常用选项1.基本编译选项-o<output_file>指定输出文件名(可执行文件或目标文件)。g++-omy_programmain.cpp→生成名为my_program的可执行文件-c只编译源代码为目标文件(不链接)。g++-cmain.cpp......
  • 关于大模型的使用——提示词工程
    “学会写提示词,就类似于学会使用电脑的鼠标和键盘,这是学习和使用大模型必备的技能之一。而提示词工程就是让你学会怎么和大模型说话”最近断断续续一直有人通过后台留言或加微信的方式,来咨询大模型的应用问题;比如,怎么用大模型优化文本,或者怎么才能从大模型得到更好的回......