一、大数据平台组件总结
1、数据存储 HDFS,HBase,Kudu等 2、数据收集和迁移 常用技术:flume,canal,sqoop,datax,waterdrop 等 3、任务调度 常用技术:azkaban,oozie,dophinscheduler,airflow 等 4、部署运维 常用技术:cloudera manager, ambari,SaltStack 等 5、监控告警 常用技术:Alertmanager+Prometheus,zabbix,openfalcon 等 6、安全和权限 常用技术:Kerberos,ranger 等 7、资源调度 YARN,Mesos,Kubernetes 8、数据计算 MapReduce, Spark, Flink 9、交互式查询 Impala, Presto 10、在线实时分析 ClickHouse,Kylin,Doris,Druid,Kudu等 11、元数据管理 Metacat擅长管理数据字典,Atlas擅长管理数据血缘。
标签:常用,技术,擅长,概述,Kudu,数据 From: https://www.cnblogs.com/yangms/p/17845177.html