• 2024-06-15trino容器安装
    TrinoinaDockercontainer#TheTrinoprojectprovidesthetrinodb/trinoDockerimagethatincludestheTrinoserverandadefaultconfiguration.TheDockerimageispublishedtoDockerHubandcanbeusedwiththeDockerruntime,amongseveralothers.R
  • 2024-06-07如何删除括号之间的任何文本,包括括号本身?
    我想删除表格列中的一个字符串及其内容中的括号。我使用的是Presto/TrinoSQL。示例字符串:'Applenotfoundfor(1)treeonfarm(123)onhighway(99)'.预期输出:'Applenotfoundfortreeonfarmonhighway。目前的假设查询是:选择苹果字符串从applet
  • 2024-05-12Presto学习笔记——Go客户端连接Presto
    1.查询PrestoDB(facebook版本)1.创建PrestoDB环境使用docker创建presto测试环境https://hub.docker.com/r/prestodb/presto/tags拉取镜像dockerpullprestodb/presto:0.284启动dockerrun-p8080:8080-ti-v/Users/lintong/Downloads/config.properties:/opt/pres
  • 2024-04-15trino与GBase8c的交互使用
    trino与GBase8c的交互使用trinoGBase8c迁移跨库查询支持GBase8c与其他数据库(oracle、mysql、postgresql、sqlserver等)之间进行跨库查询、连接查询、表及数据的迁移Trino参考文档:https://trino.io/docs/current/1、工具下载trinoserver/trinoclient:https://trino.io/d
  • 2024-02-27Trino(PrestoSQL)和HiveSQL的时间格式转换对比
    1.获取当前时间--hiveselectfrom_unixtime(unix_timestamp());-->2021-01-0622:53:16--精确到今天的时分秒selectfrom_unixtime(unix_timestamp('2021-12-0713:01:03'),'yyyy-MM-ddHH:mm:ss');-->2021-12-0713:01:03--精确到今天的时分秒指定格式selectcurrent
  • 2024-02-02Trino-登录WebUI页面报错,日志中提示:
    问题描述启动Trino客户端执行showcatalogs时报错:Errorstartingqueryathttp://localhost:8080/v1/statementreturnedaninvalidresponse。 此时在浏览器中访问TrinoWebUI,http://192.168.80.133:8080,页面报错:404 NotFound. 问题原因(1)查询Trino日志发现:BindEx
  • 2023-12-26Presto、Trino 部署
    1.介绍1.1背景2020年12月27日,prestosql与facebook正式分裂,并改名为trino。Fackbook:https://prestosql.io/初创团队:https://trino.ioPresto是一个facebook开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。Presto的架构由关系型数
  • 2023-11-12容器日志采集的三种方式实战操作讲解(Filebeat)
    目录一、概述二、K8s集群部署三、ElasticSearch和kibana环境部署1)部署docker2)部署docker-compose3)创建网络4)修改Linux句柄数和最大线程数5)下载部署包开始部署四、容器日志采集的三种方式实战操作1)【第一种方式】:Filebeat与应用运行在同一容器(不推荐)1、下载Trinoonk8s
  • 2023-09-18presto/trino QueryStatistics 数据来源分析
    QueryStatisticsQueryStats来自stageStats累加来自taskStats累加PipelineStatsdriverStatsOperatorStatsinputOperatorPageSourceOperatorTableScanOperatorWorkProcessorPipelineSourceOperatorWorkProcessorSourceOperatorAdapter
  • 2023-09-17Trino HTTPS 与密码认证介绍与实战操作
    目录一、概述二、安装Trino三、配置HTTPS1)生成证书2)配置Trino3)修改Trinodocker-composeyaml文件4)开始部署Trino5)测试验证四、密码认证1)开启密码认证2)创建密码认证配置文件3)修改Trinodocker-composeyaml文件4)开始部署Trino5)测试验证五、权限控制(优雅下线)1)配置etc/ac
  • 2023-09-03什么是 JMX?(Trino JMX 实战讲解)
    目录一、概述二、JMX原理三、实战操作(开启TrinoJMX)1)环境部署2)开启TrinoJMX1、配置config.properties2、配置jvm.config3、重新启动服务4、获取监控数据3)通过jconsole连接JMX4)常用的Trino指标接口和指标一、概述JMX是JavaManagementExtensions(Java管理扩展)的缩
  • 2023-08-29trino on yarn
    一、前言   最近在研究trinoonyarn功能,网上大部分都是关于prestoonyarn文章,关于trinoonyarn资料很少,但是本质上差不多,需要修改一些内容比,主要在调试方面这个slider不是很方便,分享下实践过程。 如果Trino集群没有弹性扩缩容需求或者已经有很成熟的K8S容器部署方案
  • 2023-07-05Trino集成各组件
    HiveMysqlHuditrino集成hudi是基于hivecatalog,同样是访问hive外表进行查询。如果要集成,需要把huditrinojar包copy到trinopluginhive插件下面。cphudi/hudi-0.12.0/packaging/hudi-trino-bundle/target/hudi-trino-bundle-0.12.0.jar$TRINO_HOME/plugin/hive/查询
  • 2023-06-27新书上市 | 流行SQL引擎Presto,官方实战指南来了
    2012年,Facebook的用户数量突破10亿,成为当时全球最大的社交网络。也是在这一年,Facebook的Hive数据仓库达到了250PB,每天需要处理成千上万条查询。在Facebook内部,Hive逐渐到达极限,并且它无法查询其他数据源。同年,DainSundstrom、DavidPhillips、MartinTraverso和EricHwang加入Face
  • 2023-05-19【大数据】Presto(Trino)REST API 与执行计划介绍
    目录一、概述二、环境准备三、常用RESTAPI1)worker节点优雅退出2)提交SQL查询请求3)获取查询状态4)获取查询结果5)取消查询请求6)获取Presto节点信息7)获取Presto服务器使用统计信息8)获取查询计划四、Presto(Trino)执行计划一、概述Presto(现在叫Trino)是一个分布式SQL查询引擎,它允许
  • 2023-05-14【大数据】通过 docker-compose 快速部署 Presto(Trino)保姆级教程
    目录一、概述二、前期准备1)部署docker2)部署docker-compose三、创建网络四、Trino编排部署1)下载trino2)配置1、coordinator配置2、worker配置3)启动脚本bootstrap.sh4)构建镜像Dockerfile5)编排docker-compose.yaml6)开始部署五、简单测试验证1)mysql数据源2)hive数据源一、
  • 2023-03-19Presto-gateway 讲解与实战操作
    目录一、概述二、部署mysql三、部署多套presto集群四、部署presto-gateway与简单使用1)下载2)Maven编译3)修改配置4)sql初始化5)启动服务6)增加和修改presto集群1、通过CU
  • 2023-03-13Trino Master OOM 排查记录
    背景最近线上的trino集群master节点老是因为OOMcrash,我们注意到trinocrash前集群正在运行的查询数量正常,不太像是因为并发查询数据太多导致的OOM。遂配置trino
  • 2023-02-16备份trino/presto的表结构
    ###1.列出trino中所有的表trino--serverIP:8080--cataloghive--userbatch_dev--schema=SCHEMA--execute="showtables">table_list###2.剔除不必要的表,并
  • 2023-01-27使用provisio-maven-plugin+ airlift launcher 开发类似trino 的运行包
    如果运行过trino或者presto会发现比较方便,配置放的特别清晰,而且包含了方便的cli工具,实际上trino或者presto内部也是基于了provisio-maven-plugin+airliftlauncher
  • 2022-10-30大数据Hadoop之——Apache Hudi 与 Presto/Trino集成
    目录一、概述二、Trino环境部署1)安装JDK2)安装python3)安装Trino1、下载解压并配置环境变量2、修改配置3、启动服务4、测试验证三、在Hive中创建表关联Hudi表1)添加jar包2)创
  • 2022-10-26Trino Worker 规避 OOM 思路
    背景Trino集群如果不做任何配置优化,按照默认配置上线,Master和Worker节点都很容易发生OOM。本文从Trino内存设计出发,分析Trino内存管理机制,到限制与优化内存分配
  • 2022-10-21【TPC-DS】trino+S3+hive+postgresql性能测试----生成简单数据验证环境(四)
    1、安装与配置下载安装包gitclonehttps://github.com/gregrahn/tpcds-kit.gitcdtpcds-kit/toolsmakeOS=LINUX存放的位置为:/root/trino(备注:自己定义即可,尽量与trino-ser
  • 2022-10-03【云原生】Presto/Trino on k8s 环境部署
    目录一、概述二、环境部署1)添加源并下载编排部署包2)构建镜像3)修改配置4)开始部署5)测试验证1、mysqlcatalog测试2、hivecatalog测试6)卸载一、概述Presto是Facebook开