首页 > 其他分享 >hive最小化部署 生产部署 hiveserver2 代理对象 和metastore服务

hive最小化部署 生产部署 hiveserver2 代理对象 和metastore服务

时间:2023-06-26 12:33:08浏览次数:331  
标签:部署 yarn hiveserver2 metastore hive 最小化

自带的derbe的数据库, 建表后就是在路径下新建了一个文件,映射成表的概念, 同时在yarn会去执行,但是很多数据量很小的操作不会提交到yarn

从stu表读数据的时候 用的inputformat 写数据的时候用的outputformat

 

 

 metastore服务 保存表名和文件路径之间的映射关系    嵌入和独立

 

 

标签:部署,yarn,hiveserver2,metastore,hive,最小化
From: https://www.cnblogs.com/ZhangZiXue/p/17505335.html

相关文章

  • hive 先生成抽象语法树,在进行逻辑优化,再到屋里计划生成,物理优化,最后再执行
    driver主要的任务是将一条sql语句翻译成物理执行计划,例如一个mapReduce任务       deiver驱动器,词法分析 select(token)from(token)和          语法分析 合并成抽象语法树 语义分析,分解成一个个的查询单元,类似于子查询......
  • ceph 部署步骤和原理理解
    1.ceph的官方源在国外,网速比较慢,此处添加ceph源为阿里源(每个节点上均执行)vim/etc/yum.repos.d/ceph.repo[Ceph]name=Cephpackagesfor$basearchbaseurl=https://mirrors.aliyun.com/ceph/rpm-luminous/el7/x86_64/enabled=1gpgcheck=1type=rpm-mdgpgkey=https://downlo......
  • 本地部署开源大模型的完整教程:LangChain + Streamlit+ Llama
    在过去的几个月里,大型语言模型(llm)获得了极大的关注,这些模型创造了令人兴奋的前景,特别是对于从事聊天机器人、个人助理和内容创作的开发人员。大型语言模型(llm)是指能够生成与人类语言非常相似的文本并以自然方式理解提示的机器学习模型。这些模型使用广泛的数据集进行训练,这......
  • win9部署.net
    第一:安装IIS,添加添加角色和功能 第二部署项目,如果是.net6安装ASP.NETCoreRuntime6,进入 https://dotnet.microsoft.com/download/dotnet/6.0,选择ASP.NETCoreRuntime6.0.X下的HostingBundle,下载到服务器里,双击安装如果是.net5项目https://dotnet.microsoft.com/dow......
  • zabbix5.0安装和部署笔记
    zabbix版本5.0,操作系统版本Ubuntu18.04 版本5.0,操作系统版本Ubuntu18.041.安装mysql2.解压这个包tar-xvfmysql-5.7.30-1.el7.x86_64.rpm-bundle.tar3.rpm所有程序sudoaptinstallrpmrpm-Uvh*.rpm--nodeps--forceerrorwhileloadingsharedlibraries:libaio.so.1:......
  • 使用 Debian、Docker 和 Nginx 部署 Web 应用
    前言本文将介绍基于Debian的系统上使用Docker和Nginx进行Web应用部署的过程。着重介绍了Debian、Docker和Nginx的安装和配置。第1步:更新和升级Debian系统通过SSH连接到服务器。更新软件包列表:sudoaptupdate升级已安装的软件包:sudoaptupgrade第2步......
  • 【大数据】通过 docker-compose 快速部署 MinIO 保姆级教程
    目录一、概述二、MinIO与Ceph对比1)架构设计对比2)数据一致性对比3)部署和管理对比4)生态系统和兼容性对比三、前期准备1)部署docker2)部署docker-compose四、创建网络五、MinIO编排部署1)下载MinIO安装包2)配置3)启动脚本bootstrap.sh4)构建镜像Dockerfile5)编排docker-compose.......
  • 跨平台技术是指能够在不同操作系统和硬件平台上运行的技术。它允许开发人员使用一套代
    跨平台技术是指能够在不同操作系统和硬件平台上运行的技术。它允许开发人员使用一套代码来构建应用程序,然后将该应用程序部署到多个平台上,而无需进行大量的平台特定代码修改。以下是一些常见的跨平台技术:国产的跨平台技术:Weex:Weex是由阿里巴巴开发的跨平台移动应用开发框架。它......
  • 部署PHP+Swoole实现自动更新项目的GitHub Webhooks
    前言在项目开发过程中,每次需要手动登录服务器并执行gitpull命令来更新代码,这样非常繁琐和耗时。为了简化这个过程,我们可以利用GitHub的Webhooks功能,结合PHP和Swoole来编写一个自动更新项目的接口脚本。实现步骤以下是实现自动更新项目的GitHubWebhooks的步骤:首先,你得有一个......
  • docker部署elasticsearch
    CentOS7下使用docker安装ELK日志框架前言:elk是由Elasticsearch、Logstash、Kibana三个开源组件组合形成的框架。Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜......