首页 > 其他分享 >大数据应用组件

大数据应用组件

时间:2024-08-08 09:39:56浏览次数:5  
标签:storm4.3 1.1 DolphinScheduler 应用 组件 数据

1、数据存储
1.1、hive->hdfs、mapredus
1.2、ClickHouse
1.3、Elasticsearch
1.4、PostgreSQL
1.5、HBase

2、数据抽取
2.1、Kettle
2.2、DataX
2.3、Canal
2.4、Flink CDC
2.5、Sqoop
2.6、Filebeat&Logstash(日志)

3、任务编排
3.1、Apache DolphinScheduler

4、数据处理
4.1、spark
4.2、storm
4.3、flink

5、数据分析引擎
5.1、presto
5.2、trino
5.3、StarRocks

6、报表展示
6.1、Davinci达芬奇
6.2、帆软BI
6.3、DataEase
6.4、Prometheus+Grafana
6.5、Kibana

 

 

参考资料:常见大数据技术组件及应用场景 (it168.com)

标签:storm4.3,1.1,DolphinScheduler,应用,组件,数据
From: https://www.cnblogs.com/raorao1994/p/18348319

相关文章

  • 计算机毕业设计项目推荐,院系资料分类管理平台 84184(开题答辩+程序定制+全套文案 )上万
    目 录摘要1绪论1.1研究背景1.2研究意义1.3论文结构与章节安排2 院系资料分类管理平台系统分析2.1可行性分析2.2系统流程分析2.2.1数据增加流程2.2.2数据修改流程2.2.3数据删除流程2.3系统功能分析2.3.1功能性分析2.3.2非功能性分析......
  • 计算机毕业设计项目推荐,红色旅游网站设计与开发 99214(开题答辩+程序定制+全套文案 )上
    摘 要21世纪时信息化的时代,几乎任何一个行业都离不开计算机,将计算机运用于旅游服务管理也是十分常见的。过去使用手工的管理方式对旅游服务进行管理,造成了管理繁琐、难以维护等问题,如今使用计算机对旅游服务的各项基本信息进行管理,比起手工管理来说既方便又简单,而且具有易......
  • nginx返回指定数据
    nginx返回指定数据返回json###配置指定路径返回相应json信息location~^/get_info{default_typeapplication/json;return200'{"status":"success","result":"helloworld!"}';}注意:当开发某个接口固定是一个返回值时,可以用此方法返回。节省后端处理过程......
  • Electron + Vue+Node.js 搭建前端桌面应用
    一、在使用Electron之前我们要了解Electron是什么?Electron官网地址点此: electron官方地址Electron相当于一个浏览器的外壳,我们将编写的HTML,CSS,Javascript网页程序嵌入进Electron里面以便于在桌面上进行运行。通俗来讲它就是一个软件,如QQ、网易......
  • C语言菜鸟入门·数据结构·链表超详细解析
     目录1. 单链表1.1 什么是单链表1.1.1  不带头节点的单链表1.1.2 带头结点的单链表1.2 单链表的插入1.2.1 按位序插入(1)带头结点(2)不带头结点1.2.2 指定结点的后插操作1.2.3 指定结点的前插操作1.3 单链表的删除1.3.1 按位序删除1.3.2 指......
  • 将 Pandas 对象数据帧转换为向量数据帧?
    我有一个Pandas数据框(超过1k行)。我的数据框中有数字、对象、字符串和布尔值。我想将数据帧的每个“单元格”转换为向量,并使用结果向量。然后,我计划比较每一行向量的相似性。例如,我的数据是:Col0,Col1,Col2,Col3,Col4,Col5,Col6,Col7,Col8,Col9,Col1012,65e......
  • 数值数据中异常值检测的问题
    我目前正在开展一个数据分析项目,在该项目中,我使用Z分数来检测数据集数值列中的异常值。但是,我遇到了一个问题,合法的数据点被标记为异常值,我不确定为什么会发生这种情况。这就是我正在做的:缺失值的插补:我使用IterativeImputersklearn.impute填充数字列中的缺失值。......
  • MySQL优化攻略:利用常量表提升数据库性能
    1.常量表概述常量表在MySQL中的意义与编程语言中的常量不同。在MySQL中,常量表指的是那些读取表时行数明确为零或一行的数据表。常量表可以分为以下两种类型:1.1System表定义:System表是只包含一行数据的表。特点:这种表通常用于优化查询,因为其数据是固定的,因此对查......
  • Java数据结构 | 二叉树基础及基本操作
    二叉树一、树型结构1.1树的概念1.2关于树的一些常用概念(很重要!!!)1.3树的表示形式1.4树的应用二、二叉树2.1二叉树的概念2.2两种特殊的二叉树2.3二叉树的性质2.4二叉树的存储2.5二叉树的基本操作2.5.1代码说明2.5.2二叉树的遍历2.5.3二叉树的基本操作1、获取树......
  • 关系数据库
    关系数据库关系的完整性约束实体完整性和参照完整性:关系模型必须满足的完整性约束条件称为关系的两个不变性,应该由关系系统自动支持。用户定义的完整性:应用领域需要遵循的约束条件,体现了具体领域中的语义约束。外码,主码,候选码的概念候选码:若关系中的某一属性组的职能唯一地标......