01-分布式系统概述&大数据技术生态体系

目录

​​一，什么是分布式系统​​

​​1，概念​​

​​2，特点​​

​​3，典型问题​​

​​二，CAP定理​​

​​1，C、A、P​​

​​2，CAP定理​​

​​三，BASE理论​​

​​1，BA、S、EC​​

​​四，大数据技术生态体系​​ ​​​​​​​​​​​​​​

文章内容主要来自：南京大学 / 星环科技课程，大数据理论与实践课程Ⅰ

一，什么是分布式系统

1，概念

将硬件或软件组件（服务）分布在不同的网络计算机上，通过消息传递进行通信和协调。

2，特点

分布性

对等性

• 平等：无主从之分
• 独立：拥有自己的CPU和内存，独立处理数据

并发性

• 外部：承载多个客户端的并发访问
• 内部：作业（Job）被分解成多个任务（Task），并发运行在不同的节点上

故障独立性

• 部分节点出现故障不影响整个系统的正常使用

3，典型问题

通信异常

网络分区（脑裂）

• 系统分裂为两个甚至多个局部小集群（分区）
• 各分区独立运行，同时提供服务，从而导致混乱

节点故障

• 宕机或僵死

三态

• 成功、失败和超时

二，CAP定理

1，C、A、P

C（Consistency，一致性）

• 含义：同一时刻，数据在不同节点的多个副本是否具有完全相同的值
• 强一致性：数据更新完成后，同一时刻，不同的读操作都能获得最新的值
• 弱一致性：数据更新完成后，同一时刻，不同的读操作不一定都能获得最新的值，也无法保证多长时间之后可以获得最新的值

A（Availability，可用性）

• 含义：对于每一次请求，系统是否都能在有限（指定）的时间内做出响应

P（Partition Tolerance，分区容错性）

• 含义：当发生网络分区时，系统仍能对外提供满足一致性C和可用性A的服务

2，CAP定理

表述：分布式系统在同一时间片段内，不可能同时满足一致性C、可用性A和分区容错性P，最多只能满足其中的两项。

对分布式系统而言，网络分区无法避免，满足P是前提条件，所以不可能选择CA架构，只能选择CP或AP架构。

例如：发生网络分区时，某个节点正在进行写操作

（1）如果为了保证C，必须禁止其他节点的读写操作，那就与A冲突了

（2）如果为了保证A，其他节点正常读写，那就与C冲突了

选择CP或AP架构，关键在业务场景。例如：对于必须确保强一致性的银行业务，只能选择CP

三，BASE理论

1，BA、S、EC

BA（Basically Availability，基本可用性）

• 当系统发生故障时，在确保核心功能和指标有效的提前下，允许损失部分可用性，包括响应时间上的损失、非核心功能上的损失等

S（Soft State，软状态）

• 允许数据存在中间状态（暂时未更新），且该状态不会影响整体可用性
• 允许不同节点上的数据副本的同步过程存在一定延时

EC（Eventually Consistency，最终一致性）

• 分布在不同节点上的数据副本，在经过一定时间的同步后，最终达到一致状态。例如：Zookeeper、HDFS QJM写事务的过半策略
• 弱一致性的升级版

表述：分布式系统在满足分区容错性P的同时，允许数据软状态S的存在，并实现基本可用性BA和最终一致性EC。

即在满足P的前提下，对CAP中的强一致性A和绝对可用性C进行适度妥协：A-》BA、C-》EC

通过容忍部分数据的暂时不一致（软状态），即牺牲数据的强一致性（确保最终一致性），以确保系统的核心功能和指标有效（基本可用）

BASE理论是对大规模互联网系统分布式实践的总结，是对 CAP 中的一致性和可用性进行一个权衡的结果。

四，大数据技术生态体系

 图中涉及的技术名词解释如下：

1）Sqoop：Sqoop 是一款开源的工具，主要用于在 Hadoop、Hive 与传统的数据库（MySQL）间进行数据的传递，可以将一个关系型数据库（例如 MySQL，Oracle 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。

2）Flume：Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume 支持在日志系统中定制各类数据发送方，用于收集数据；

3）Kafka：Kafka 是一种高吞吐量的分布式发布订阅消息系统；

4）Spark：Spark 是当前最流行的开源大数据内存计算框架。可以基于 Hadoop 上存储的大数据进行计算。

5）Flink：Flink 是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。

6）Oozie：Oozie 是一个管理 Hadoop 作业（job）的工作流程调度管理系统。

7）Hbase：HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。

8）Hive：Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计分析。

9）ZooKeeper：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。

实际应用框架如下：