首页 > 其他分享 >Presto简介

Presto简介

时间:2023-02-18 01:55:31浏览次数:30  
标签:presto 简介 Presto hive server coordinator XX

Presto简介

Presto是一个由Facebook开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。

presto

Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator和多个worker。 由客户端提交查询,从Presto命令行CLI提交到coordinator。 coordinator进行解析,分析并执行查询计划,然后分发处理队列到worker。

Presto安装环境

presto-server-0.184
hadoop-2.6.0-cdh5.8.3
apache-hive-2.3.0-bin
Java8 8u92+
Python 2.4+
CentOS 64位
datadev1(coordinator)、datadev2(worker)、datadev3(worker)

配置和启动Hive Remote Service

<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>

<property>
<name>hive.metastore.uris</name>
<value>thrift://172.16.213.16:9083</value>
</property>

cd $HIVE_HOME/bin
hive –service metastore &

 

Presto配置

下载presto-server-0.184.tar.gz并解压至/opt/presto
创建配置文件目录etc
cd /opt/presto/presto-server-0.184 && mkdir etc
cd etc

coordinator配置文件

vi config.properties

coordinator=true
node-scheduler.include-coordinator=true   ##是否允许该节点既是coordinator又是worker
http-server.http.port=9000
query.max-memory=3GB
query.max-memory-per-node=512MB
discovery-server.enabled=true
discovery.uri=http://172.16.213.16:9000

worker配置文件

vi config.properties

coordinator=false
http-server.http.port=9000
query.max-memory=512MB
discovery.uri=http://172.16.213.16:9000

node.properties

node.environment=lxw_presto_cluster
node.id=presto_datadev1
node.data-dir=/home/hadoop/presto/data

jvm.config

-server
-Xmx2G
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M

log.properties

com.facebook.presto=DEBUG

配置catalog

cd $PRESTO_HOME/etc
mkdir catalog
cd catalog

vi jmx.properties

connector.name=jmx

vi hive.properties

connector.name=hive-hadoop2
hive.metastore.uri=thrift://172.16.213.16:9083
hive.config.resources=/etc/hadoop/conf/core-site.xml, /etc/hadoop/conf/hdfs-site.xml
hive.allow-drop-table=true

Presto启动

export JAVA_HOME=/home/hadoop/jdk1.8.0_144/
export PATH=$JAVA_HOME/bin:$PATH

bin/launcher run

Presto Cli

下载presto-cli-0.184-executable.jar到$PRESTO_HOME/bin
mv presto-cli-0.184-executable.jar presto
chmod a+x presto

./presto –server localhost:9099 –catalog hive –schema default
进入Presto命令行。

presto

Presto WEB Interface

http://172.16.213.16:9099/

presto

 

标签:presto,简介,Presto,hive,server,coordinator,XX
From: https://www.cnblogs.com/yaoyangding/p/17131886.html

相关文章

  • Qt Embedded之一:简介与平台插件介绍
    常见的嵌入式Linux图形界面有Qt/Embedded、DirectFB、MicroWindows/NanoX、MiniGUI和OpenGUI等,每个GUI都有各自不同特点和应用场合,在应用编程上也各不相同。而对于......
  • ffprobe简介
    ffprobe是一个开源的多媒体分析工具,是FFmpeg多媒体框架的一部分,可以用于检测和分析音频和视频文件。它可以读取各种视频和音频容器格式(例如MP4,AVI,MKV,FLV等)以及编码格......
  • 2.2 Widget 简介
    2.2.1Widget概念在前面的介绍中,我们知道在Flutter中几乎所有的对象都是一个widget。与原生开发中“控件”不同的是,Flutter中的widget的概念更广泛,它不仅可以表示UI......
  • CAN总线错误帧及排查方法简介
    前言  CAN帧有多种格式,错误帧作为CAN帧中独特的一种,了解其作用,类型与产生原因,对于进行测试以及开发有很大的帮助,本文将对错误帧的相关基础知识以及后续的分析排查进行......
  • 备份trino/presto的表结构
    ###1.列出trino中所有的表trino--serverIP:8080--cataloghive--userbatch_dev--schema=SCHEMA--execute="showtables">table_list###2.剔除不必要的表,并......
  • JWT简介(一)
    官网地址:https://jwt.io/introduction官方简介:JSONWebToken(JWT)是⼀个开放标准(RFC7519),它定义了⼀种紧凑的、⾃包含的⽅式,⽤于作为JSON对象在各⽅之间安全地传输信......
  • ansible 简介和基本安装
    目录ansible简介和基本安装自动化运维运维的自动化发展历程运维工程师的职能划分自动化运维的应用场景企业实际应用场景分析Dev开发环境测试环境发布环境生产环境灰度环境......
  • Vue - 1 简介与入门
    目录Vue-1简介与入门前端发展历史Vue介绍与基本使用1.Vue介绍渐进式框架官方网站2.Vue特点易用灵活高效3.M-V-VM架构思想①MVVM介绍②MVVM的特性③MVVM的逻辑4.组件......
  • Go基础系列 01-Golang简介
    1.什么是GolangGo(又称Golang)是Google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的编程语言。Go支持面向对象,而且具有真正的闭包(closures)和反射(reflecti......
  • VUE简介/插值/属性/文本/函数指令/if/for操作
    VUE简介/插值/属性/文本/函数指令前端发展史1.前后端一体的,HTML(5)、CSS(3)、JavaScript(ES5、ES6):编写一个个的页面->给后端(PHP、Python、Go、Java)->后端嵌入模板......