首页 > 其他分享 >带你快速上手HetuEngine

带你快速上手HetuEngine

时间:2023-08-17 14:24:16浏览次数:35  
标签:HetuEngine 架构 数据源 业务 查询 引擎 上手 快速

本文分享自华为云社区《【手把手带你玩转HetuEngine】(一)HetuEngine快速上手》,作者:HetuEngine九级代言。

HetuEngine是什么

HetuEngine是华为推出的高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。

HetuEngine适合做什么

  1. 适用于Hadoop集群(FusionInsight MRS)的Hive、Hudi数据源的交互式快速查询场景;
  2. 适用于跨源(多种数据源,如Hive,Hudi,HBase,GaussDB(DWS),Elasticsearch,ClickHouse等)查询;
  3. 适用于跨域(多个地域或数据中心)的快速联合查询;
  4. 不擅长大批量、复杂逻辑的跑批处理、创建事务、数据入库操作等。

HetuEngine特点

HetuEngine基本架构

HetuEngine面向企业级能力方面,构建了极致稳定、高性能的企业级交互式分析引擎。

  1. 云服务层:提供了企业级的运维管理监控能力,认证与业务接入统一访问入口,友好的可视化界面操作,一键式参数调优和配置,协助用户轻松简单的管理集群平台;
  2. 引擎层:纯计算引擎部署,与数据解耦;自容错,节点故障级别重启,内存溢出保护等;计算实例基于任务负载自动弹性伸缩,可水平横向扩展;
  3. 数据层:支持多种常见的数据源间的联合查询,同时计算和数据解耦,天然的存算分离架构。

HetuEngine服务角色

HeuEngine引擎架构

HetuEngine引擎执行流程简单介绍:

Coordinator

负责管理Worker节点,以及接受客户端查询请求,并进行SQL的语法解析(Parser)、执行计划生成与优化(Plannner)和查询任务的调度(Scheduler)

Worker

负责具体的查询计算和数据读写

Discovery Server

负责发现集群的各个节点,用于节点间心跳监控

快速上手指南

工欲善其事必先利其器,在使用HetuEngine之前,首先需要了解基本的架构,并与业务场景相结合,然后进行集群相关的规划和配置,最后进行业务对接和验证上线。本系列将从以下几方面内容手把手带你玩转HetuEngine。

  1. 了解HetuEngine的基本架构:了解HetuEngine是什么
  2. 了解HetuEngine常见的应用场景,与业务场景相结合:判断HetuEngine是否适应于业务场景
  3. 集群部署和资源规划:前期的资源规划必不可少
  4. 数据源添加和管理:对接业务需要的数据源
  5. 权限管控和配置:保障不同业务用户之间的权限管控
  6. 业务对接:业务对接和验证
  7. 性能调优:不同的调优手段
  8. 运行过程中常见问题排查:常见问题的处理方式

点击关注,第一时间了解华为云新鲜技术~

 

标签:HetuEngine,架构,数据源,业务,查询,引擎,上手,快速
From: https://www.cnblogs.com/huaweiyun/p/17637437.html

相关文章

  • Dockerfile快速上手
     Dockerfile就是用来构建docker镜像的文件,就是一段命令脚本步骤:1:创建dockerfile文件 注:如果想直接build需要文件名为dockerfile2:在文件中编写命令   注:Dockerfile中的命令全部是大写,命令是一层一层发布例如:FROMcentosVOLUME["volume01","volume02"]CMDecho"---......
  • wiki.js 快速导入文件
    简介:wiki.js是我最近在部署的一个知识库系统,为了提升使用效果,我使用了ela做搜索引擎,配置了ik分词工具,配置了git存储库,还使用了ldap登录验证。那么快速批量上传文档,是我现在面临的问题,好在wiki.js已经有了解决方案。本文主要记录配置调试git批量上传文档的工作。一:git配置在wi......
  • 基于Kubernetes云原生技术的低代码PaaS平台,快速构建企业级应用程序
    低代码开发平台只需要编写简单的配置文件即可构建企业级应用程序。低代码PaaS平台可以在云端开发、部署、运行低代码应用程序。使用独立数据库模型,基于Kubernetes云原生技术,每个租户均可拥有一套独立的存储、数据库、代码和命名空间,实现了100%的租户数据隔离,并可以随时迁移到私有部......
  • 带你快速上手HetuEngine
    本文分享自华为云社区《【手把手带你玩转HetuEngine】(一)HetuEngine快速上手》,作者:HetuEngine九级代言。 1HetuEngine是什么HetuEngine是华为推出的高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间......
  • 介绍一个工具,可快速自定义各种管理功能,包括数据管理和流程审批
    朋友找到一个叫蓝点通用管理系统的软件,真是太牛B了,普通人都可以三分钟入门,非常方便地自己定制需要的管理功能,像什么人事管理、订单管理、进销存管理、客户管理都是简简单单就可以搞定,并且随时可以调整或扩展管理功能。也可以导入官方提供的或别人发的模板,直接用! 还需要买什么......
  • 考研数据结构——每日一题[快速排序]
    785.快速排序给定你一个长度为n的整数数列。请你使用快速排序对这个数列按照从小到大进行排序。并将排好序的数列按顺序输出。输入格式输入共两行,第一行包含整数n。第二行包含n个整数(所有整数均在1∼109范围内),表示整个数列。输出格式输出共一行,包含n个整数,表示排......
  • 快速迁移自建Kubernetes资源上云及EKS资源备份恢复–基础篇
    越来越多公司进行应用现代化,微服务化改造,容器化部署,而这一切皆绕不开“容器调度管理平台”Kubernetes。那么如何快速将云下自建Kubernetes迁移上云,及上云后如果按需备份恢复,及在必要时可以快速克隆生产环境进行开发测试成为众多客户的需求点,本文将通过简单场景示例来介绍如何通过......
  • [Microsoft Azure] 快速上手创建Azure App Service服务
    本文将带您快速了解如何使用MicrosoftAzure创建AzureAppService服务,让您在短时间内掌握这一流行的云计算平台。 MicrosoftAzure是一个功能强大的云计算平台,提供了广泛的云服务,包括虚拟机、数据库、存储等。在本篇博客中,我们将重点介绍AzureAppService服务的创建过程。A......
  • 项目进度,开始上手
    项目还是开始了上手学习一门新的技术比较费劲的原因,还是因为自己的基础不行,这几天又做了点其他项目,发现精力不是很够的样子,然后学习进度也不理想还是计划开始上手,第一个做的好的话会影响以后项目的好坏,毕竟一些基础的东西都计划用这次项目写的东西,其他的往时填充在网上找了个......
  • 如何用GitHub快速找到优秀的开源项目
    版本控制Git和GitHub分布式版本控制系统配有两个仓库,在你的电脑上有一个本地仓库,在远程的服务器上有一个远程仓库。我们在提交文件的时候会先提交到本地仓库,然后在有网络的情况下,再从本地仓库提交到网络上的远程仓库。Git就是一个典型的分布式版本控制系统Github就担任......