首页 > 其他分享 >数据中台概述

数据中台概述

时间:2023-11-20 23:11:05浏览次数:25  
标签:常用 技术 擅长 概述 Kudu 数据

一、大数据平台组件总结

1、数据存储
HDFS,HBase,Kudu等
2、数据收集和迁移
常用技术:flume,canal,sqoop,datax,waterdrop 等
3、任务调度
常用技术:azkaban,oozie,dophinscheduler,airflow 等
4、部署运维
常用技术:cloudera manager, ambari,SaltStack 等
5、监控告警
常用技术:Alertmanager+Prometheus,zabbix,openfalcon 等
6、安全和权限
常用技术:Kerberos,ranger 等
7、资源调度
YARN,Mesos,Kubernetes
8、数据计算
MapReduce, Spark, Flink
9、交互式查询
Impala, Presto
10、在线实时分析
ClickHouse,Kylin,Doris,Druid,Kudu等
11、元数据管理
Metacat擅长管理数据字典,Atlas擅长管理数据血缘。

 

标签:常用,技术,擅长,概述,Kudu,数据
From: https://www.cnblogs.com/yangms/p/17845177.html

相关文章

  • 【Redis使用】一年多来redis使用笔记md文档,第(2)篇:命令和数据库操作
    Redis是一个高性能的key-value数据库。本文会让你知道:什么是nosql、Redis的特点、如何修改常用Redis配置、写出Redis中string类型数据的增删改查操作命令、写出Redis中hash类型数据的增删改查相关命令、说出Redis中list保存的数据类型、使用StrictRedis对象对string类型数据......
  • 【数据结构】数组和字符串(四):特殊矩阵的压缩存储:稀疏矩阵——三元组表
    4.2.1矩阵的数组表示【数据结构】数组和字符串(一):矩阵的数组表示4.2.2特殊矩阵的压缩存储  矩阵是以按行优先次序将所有矩阵元素存放在一个一维数组中。但是对于特殊矩阵,如对称矩阵、三角矩阵、对角矩阵和稀疏矩阵等,如果用这种方式存储,会出现大量存储空间存放重复信息或零......
  • 高斯数据库HCNA之数据库设计基础
    一、数据库设计概述数据库设计是根据数据库系统的特点,针对具体的应用对象构建适合的数据库模式,建立数据库及相应的应用,使整个系统能有效的采集,存储,处理和管理,从而满足企业中各种用户的使用需求本章主要介绍了数据库设计的相关概念,整体目标和需要解决的问题,并按照新奥尔良设计方......
  • 什么是计算机科学和数据管理领域的 source of truth
    "SourceofTruth"(真实源)在计算机科学和数据管理领域中,是一个非常重要的概念。简单来说,"SourceofTruth"是指在一个系统或者应用中,为了确保数据的一致性和准确性,设置的一个权威性的数据来源或数据存储位置。在一个系统里,可能会有很多不同的数据源,这些数据源可能会有不同的版本,......
  • 数据库复习总结(并发控制一)
    目录前言3种并发异常丢失修改(写写异常)不可重复读(包括幻读情况读写异常)脏读为处理并发异常出现的机制--加锁加锁规范--封锁协议一级封锁协议(解决修改丢失)举例二级封锁协议(解决修改丢失,脏读)举例三级封锁协议(解决修改丢失,脏读,不可重复读)举例加锁产生问题活锁死锁解决办法针对活锁针......
  • 气象数据中心梳理
    气象数据中心实战项目目录气象数据中心实战项目项目介绍开发环境项目框架服务程序常驻后台服务程序的调度守护进程的实现数据采集子系统&数据交换子系统ftp客户端下载模块ftp客户端下载模块数据处理和统计系统数据入库子系统数据同步子系统刷新同步模块增量同步模块数据管理子系......
  • Unity学习笔记--数据持久化XML文件(1)
    XML相关Xml是可拓展标记语言,一种文件格式。我们使用xml来完成对数据持久化的存储。等待我们有一程序运行结束之后,将内存中的数据进行保存,(保存在硬盘/服务器)实现对数据的持久化存储。xml文件的读取和保存以及修改要点:XMl文件的加载XML文件节点的查找访问XML文件节点内......
  • (私人lora数据准备)MJ数据转lora训练的处理流程
    1.【删除乱码并打标签】删前缀(用户名),删后缀(乱码),加统一标签,并打开excel微调。(输入项为1.单个文件夹地址2.需要文件夹内加上的标签名)*注意:此时若要加多个标签,请用英文逗号“,”隔开。 importosimportopenpyxlimportreUNWANTED_UNITS=["undefined","皮皮","zly324"]......
  • CSS 尺寸单位概述
    在本文中,我们将探讨CSS尺寸单位的四大类别。我们将了解这些尺寸单位的用途、它们的最佳工作原理,以及如何在每种情况下选择最佳尺寸单位,从而在各种媒体和设备尺寸下优化我们的布局。关于CSS尺寸单位CSS提供了多种指定元素大小或长度的方式,其中一些更为直观。CSS单位可分......
  • rsync+inotify数据传输
    rsync+inotify数据传输说明与名称IP应用操作系统源端:server192.168.58.146rsyncinotify-tools脚本centos7目标:node192.168.58.152rsynccentos7一、在node服务器操作1.关闭防火墙与selinuxsystemctlstopfirewalldsystemctldisablefirewalldsed......