• 2024-09-20HiveServer2 文件描述符泄漏
     现象用户反馈hs2打开的文件描述符的数量一直在涨,但是当前hs2的连接只有个位数。 排查过程首先找到hs2进程持有了哪些文件描述符,通过lsof命令lsof-p$pid,看到hs2进程确实在/data/emr/hive/tmp/operation_logs/目录下打开了大量描述符在jira中找到一
  • 2024-03-28hiveserver2拒绝连接
    一、报错内容 二、解决办法基本都是core-site.xml文件中没做好代理导致的。在文件中添加如下配置<property><name>hadoop.proxyuser.xxx.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.x
  • 2024-01-24启动hiveserver2
    (1)启动hiveserver2前台启动[atguigu@hadoop102hive]$bin/hiveserver2后台启动[atguigu@hadoop102hive]$nohupbin/hiveserver2>/dev/null2>&1& (1)启动hiveserver2[atguigu@hadoop102hive]$bin/hive--servicehiveserver2或者[atguigu@hadoop102hive]$
  • 2023-10-13虚拟机如何打开hive数据库
    1、启动hodoop2.、启动hive的服务:metastorecd/export/server/apache-hive-3.1.2-bin/bin./hive--servicemetastore后台启动nohup./hive--servicemetastore&3、启动hive的服务:hiveserver2服务./hive--servicehiveserver2nohup./hive--servicehivese
  • 2023-10-02linux中hive常用命令
     kill-929676杀死进程ps-ef|grep23697查看进程tail-flogs/hiveserver2.log查看2信息nohupbin/hive--servicehiveserver2>>logs/hiveserver2.log2>&1&后台加载报错和运行信息到2start-all.sh启动所有服务 
  • 2023-09-24 Could not open client transport with JDBC Uri: jdbc:hive2://node1:10000: java.net.ConnectException:
    今天发现连接beeline是时候连接不上,不应该啊昨晚还可以的qaq  破案了,我启动了metastore之后忘记去启动hiveserver2hiveserver2都没启动能连上就怪了 一定一定要记得启动顺序!!!hadoop+metastore+hiveserver2+beeline 
  • 2023-09-23Hive学习2(hive部署启动,DataGrip连接hiveserver2)
    1.Hive部署:hive部署:09-Apachehive安装部署--与Hadoop整合、MySQL安装_哔哩哔哩_bilibili 10-Apachehive安装部署--配置文件修改编辑_哔哩哔哩_bilibili2.Hive启动hadoop启动后。node1上:nohup/export/server/apache-hive-3.1.2-bin/bin/hive--servicemetastore&noh
  • 2023-09-11hive启动整个流程
    首先是start-all.sh然后打开历史服务器:mapred--daemonstarthistoryserver最后首先启动metastore服务,然后启动hiveserver2服务nohupbin/hive--servicemetastore>>logs/metastore.log2>&1&nohupbin/hive--servicehiveserver2>>logs/hiveserver2.log2>&1&
  • 2023-09-10如何正确地开启hiveserver2服务
    1、开启hadoop服务主目录输入下面的语句即可:start-all.sh使用jps命令查看进程,即可确定hadoop是否已经启动;2、开启hive的metastore服务nohup/export/server/apache-hive-3.1.2-bin/bin/hive--servicemetastore&然后开启hiveserver2服务:nohup/export/server/apache-hi
  • 2023-09-06hiveserver2服务的启动
    1、成功开启hiveserver2服务原来开启hiveserver2服务这样就算是成功了:2、另起一个同样ip的窗口(在hive文件目录下)bin/beeline-ujdbc:hive2://localhost.localdomain:10000-nroot连接成功!
  • 2023-08-24Hive服务部署相关步骤
    一、hiveserver2服务部署1、配置hadoop下面的core-site.xml文件进入到相应的目录下:cd/root/software/hadoop-3.0.0/etc/hadoop编辑core-site.xml文件,将下面的语句补充到里面:<!--配置访问hadoop的权限,能够让hive访问到--> <property> <name>hadoop.proxyuser.root.host
  • 2023-08-122023.8.7-2023.8.14暑假第五周博客
    2023.8.7今天人在外,因此博客休息一天图片如下 2023.8.8今天对hive有了进一步的了解首先要明确一个流程当我打开三台虚拟机,用finalshell连接上后首先要使用如下命令1.su-hadoop切换到hadoop用户,大部分操作都必须在hadoop用户中完成,而千万不要再root中,因为root用户一
  • 2023-08-08hadoop组件---数据仓库(五)---通过JDBC连接hive的thrift或者hiveserver2
    我们在上一篇文章中已经学习了Hive的常用命令,但是如果使用其他的语言如何跟Hive进行交互呢。Thrift简介Hive拥有HiveServer(Thrift)或者Hiveserver2组件,提供了JDBC驱动服务,使得我们可以用Java代码或者Python来连接Hive并进行一些关系型数据库的sql语句查询等操作。HiveServer或者Hi
  • 2023-08-06假期总结
    HiveServer2是一个服务接口,能够允许远程的客户端去执行SQL请求且得到检索结果。HiveServer2的实现,依托于ThriftRPC,是HiveServer的提高版本,它被设计用来提供更好的支持对于openAPI例如JDBC和ODBC。HiveServer是一个可选的服务,只允许一个远程的客户端去提交请求到hive中。--在hd
  • 2023-07-15启动Hadoop时需要进行的操作
    首先切换到hadoop用户su-hadoop启动hdfs集群start-dfs.sh启动yarn集群start-yarn.sh启动hive首先切换到hive文件夹cd/export/server/hive然后再运行下述命令#先启动metastore服务然后启动hiveserver2服务nohupbin/hive--servicemetastore>>logs/metastore.log
  • 2023-07-10DataGrip连接HiveServer2
     点击Download下载driverfiles。然后下载完,就可以测试连接成功,则点ok 
  • 2023-06-26hive最小化部署 生产部署 hiveserver2 代理对象 和metastore服务
    自带的derbe的数据库,建表后就是在路径下新建了一个文件,映射成表的概念,同时在yarn会去执行,但是很多数据量很小的操作不会提交到yarn从stu表读数据的时候用的inputformat写数据的时候用的outputformat   metastore服务保存表名和文件路径之间的映射关系  嵌入
  • 2023-05-26DBeaver连接hive数据库
    引言上一篇文章,主要讲解的是如何使用DBeaver连接sqlserver数据库。本篇文章主要讲解的是:如何使用DBeaver连接hive数据库及扩展聊聊HiveServer2服务,我们操作起来吧。DBeaver连接hive数据库双击等待界面新建数据库连接选择要连接的类型:ApacheHive删除默认联机的驱动jar包添加本地离
  • 2023-04-21HiveServer2 内存泄漏问题定位与优化方案
    1、前言HiveServer2属于Hive组件的一个服务,主要提供Hive访问接口,例如可通过JDBC的方式提交Hive作业,HiveServer2基于Java开发,整个服务运行过程中,内存的管理回收均由JVM进行控制。在JVM语言中的内存泄漏与C/C++语言的内存泄漏会有些差异,JVM的内存泄漏更多的是业务