首页 > 其他分享 >Hive服务部署相关步骤

Hive服务部署相关步骤

时间:2023-08-24 20:34:29浏览次数:51  
标签:script 部署 步骤 hive echo HiveServer2 process Hive &&

一、hiveserver2服务部署

1、配置hadoop下面的core-site.xml文件

进入到相应的目录下:

cd /root/software/hadoop-3.0.0/etc/hadoop

编辑core-site.xml文件,将下面的语句补充到里面:

<!-- 配置访问hadoop的权限,能够让hive访问到 -->
	<property>
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.root.users</name>
		<value>*</value>
	</property>

保存退出即可;

2、配置hive目录下的hive-site.xml文件

进入到相应的文件目录下:

cd /root/software/apache-hive-3.1.2-bin/conf

进入到文件里面,将下面的语句命令补充到里面:

<!-- 指定hiveserver2连接的host -->
<property>
	<name>hive.server2.thrift.bind.host</name>
	<value>localhost.localadmin</value>
</property>

<!-- 指定hiveserver2连接的端口号 -->
<property>
	<name>hive.server2.thrift.port</name>
	<value>10000</value>
</property>

保存退出即可;

3、测试启动hiveserver2服务(进入到hive目录下输入命令)

bin/hive --service hiveserver2

4、使用beeline客户端进行远程访问

beeline -u jdbc:hive2://localhost.localadmin:10000 -n root

5、配置DataGrip连接

二、metastore服务

三、编写Hive启动脚本

1、在hive目录的bin目录下,新建一个名为hive-script.sh的脚本,并进入文件进行编辑

cd /root/software/apache-hive-3.1.2-bin/bin

vi hive-script.sh

将下面的语句命令复制到文件里面:

#!/bin/bash

HIVE_LOG_DIR=$HIVE_HOME/logs
if [ ! -d $HIVE_LOG_DIR ]
then
	mkdir -p $HIVE_LOG_DIR
fi

#检查进程是否运行正常,参数1为进程名,参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}

function hive_stop()
{
metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}

case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

2、为hive-script.sh文件添加执行权限

chmod +x hive-script.sh

3、测试是否能够成功运行

hive-script.sh start  //开始运行

hive-script.sh status  //查看运行状态

hive-script.sh stop  //停止运行

标签:script,部署,步骤,hive,echo,HiveServer2,process,Hive,&&
From: https://www.cnblogs.com/liuzijin/p/17654920.html

相关文章

  • AlibabaCloudToolkit的简单使用与部署
    问题以往的写好的应用程序放到服务器上部署的方式都是在本地打包成jar包,传到服务器上,在服务器用命令行关闭原版本的应用程序,在启动新版本的应用程序,每次写好一个功能要与前端联调都要经历这些繁琐的步骤,在使用alibabacloudtoolkit这款IDEA插件后,则无需这些繁琐步骤,节省时间提高......
  • spingboot集成hive
    因为开学要考就是把数据库换成hive那些做个web网站,所有提前做个小demo测试下。首先呢就是pom文件<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"......
  • 如何让公司其他项目组的传统部署迁移到容器部署
    准备好容器环境组织项目方、开发、测试、运维进行容器相关培训评估应用上云的必要性,可行性和风险,综合决定是否上云及哪些部分上云。选择新项目以容器方式部署,新项目稳定后,在对老项目进行推广选择非核心无状态的业务服务优先实践CI/CD流水线相关改造情况一:应用不做任何改......
  • 【问题解决】容器部署MySQL的数据在docker commit导出的镜像中丢失
    问题起因最近公司有个甲方项目参加竞赛,要求在(基于kubeflow/arena)平台上部置应用,可以将MySQL打包在应用一起,也可以分开部署,没有提供volume相关的支持。大意是可以把初始好的数据直接拿到平台上。经过本人在Linux虚机中启动MySQL容器导入数据再dockercommit出镜像部署到平台......
  • Windows + Linux 双系统详细安装步骤
    对于新手来说,学习Linux系统有多种方式选择,可以选择虚拟机、可以选择直接安装Linux系统,下面主要和大家分享一下通过直接安装Linux系统的方法。 U盘启动盘的制作准备一个8G以上的U盘(其实4G就足够),备份资料,后面会对U盘进行格式化。然后去ubuntu的官网下载你想要安装......
  • linux服务器docker compose的使用步骤
    之前说了docker的安装,dockercompose的安装,还比较了dockerfile和dockercompose的区别,那么dockercompose的实际应用是怎么样呢?记录下我的实操步骤1、服务器上新建目录,目录情况如下,我的data目录是挂载到数据盘的/data/docker_config/nginx//存放nginx的配置文件/dat......
  • python rasa聊天机器人教程六:服务器部署
    1.准备环境:宝塔+nginx+docker首先在服务器上安装好宝塔,然后在宝塔里面安装nginx+docker2.创建站点宝塔站点里面创建一个站点 3.上传rasa项目的代码到站点目录把之前在本地运行正常的rasa项目代码上传到服务器站点目录上4.修改index.html代码修改站点目录下/www/wwwroo......
  • docker compose 部署mysql数据库
    docker-compose.ymlversion:"3"services:mysql:image:mysql:5.7container_name:mysqlhostname:mysqlports:-3306:3306volumes:-/home/mysql/data:/var/lib/mysql-/home/mysql/conf/my.cnf:/etc/my.cnf......
  • k8s部署rocketmq
    分别部署rocketmqnamesrv、rocketmqbroker、rocketmq-dashboard三个。1、部署rocketmqnamesrv部署时,rocketmq的日志存储采用hostPath方式挂载到服务器磁盘上,所以需要指定node节点。---apiVersion:apps/v1kind:Deploymentmetadata:labels:app:rocketmqnamesrv......
  • 五脏俱全,搭建部署多人语音厅源码功能分析
    首先,要搭建部署一个稳定成熟的多人语音厅源码,具体的实现方式可能因项目需求以及使用的工具而有所不同,下边来简单分析下。搭建多人语音厅场景系统:场景功能如下。(1)多个麦位语聊:支持多人连麦及无限观众收听,并将麦位状态同步给房间内所有用户。(2)多人语音厅配置:参数可以按需配置,如码率、......