大数据
#大数据关键技术 hdfs MapReduce spark hbase flink #大数据计算模式 批处理 ： 针对大规模数据的批量处理 （MapReduce、spark） 流计算 ： 针对流数据的实时计算 （flume、storm、s4、streams、puma、pstream、super mario、银河流数据处理平台等） 图计算 ： 针对大规模图结构数据的处理 （pregel、graphx，giraph等） 查询分析计算 ： 大规模数据的存储管理和查询分析 （Hive、dremel、Cassandra、Impala等）
spark sql
Map Reduce groupby join filter
spark和hadoop的区别
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）
差别MapReduce：
hadoop： 读取-》写入-》读取-》写入
spark： 读取-》储存在内存中-》读取-》储存在内存中
内存中查询比磁盘中查询速度快
spark 可以替代hadoop中的MapReduce
hadoop 中的HDFS，HBase 还是无法替代
spark概括
运行模式多样化 可访问：
HDFS ：分布式文件系统
Cassandra ：NoSQL数据库系统
HBase ：分布式的、面向列的开源数据库 分布式存储系统 （Hadoop Database）
HBase系统上运行批处理运算，最方便和实用的模型依然是MapReduce
使用Pig Latin流式编程语言来操作HBase中的数据
Hive ：Hadoop的一个数据仓库工具
spark生态系统
spark 基本概念和架构设计
RDD运行原理及概念
惰性机制：只记录轨迹，需要“动作触发计算”
避免不必要的序列换和反序列化
窄依赖 ：父对子 一对一 可流水线工作优化（map，filter，union）
宽依赖（Shuffle操作，写入磁盘）：父对子 一对多 不可流水线优化（groupByKey）
1.RDD读取外部数据源进行创建
2.RDD讲过一系列转换（Transformation）操作，每一次都会产生不同的RDD供给下一次转换操作使用
3.最后一个RDD经过“动作”操作进行转换并输出到外部数据源
RDD运行原理
saprk 运行流程
标签：读取,MapReduce,RDD,spark,数据,HBase From： https://www.cnblogs.com/Pythonzrq/p/16872869.html