MySQL Cluster 介绍

​

MySQL Cluster 介绍

• MySQL Cluster是一个基于NDB Cluster存储引擎的完整的分布式数据库系统。不仅仅具有高可用性，而且可以自动切分数据，冗余数据等高级功能。和Oracle Real Cluster Application不太一样的是，MySQL Cluster 是一个Share Nothing的架构，各个MySQL Server之间并不共享任何数据，高度可扩展以及高度可用方面的突出表现是其最大的特色。
• MySQL Cluster 实际上是在无共享存储设备的情况下实现的一种完全分布式数据库系统，其主要通过 NDB Cluster（简称 NDB）存储引擎来实现。MySQL Cluster 刚刚诞生的时候可以说是一个可以对数据进行持久化的内存数据库，所有数据和索引都必须装载在内存中才能够正常运行，但是最新的 MySQL Cluster 版本已经可以做到仅仅将所有索引装载在内存中即可，实际的数据可以不用全部装载到内存中。
• 下面是一幅 MySQL Cluster 的基本架构图

MySQL Cluster 组成

1. SQL 层的 SQL 服务器节点（后面简称为 SQL 节点）：

• 也就是我们常说的MySQL Server。主要负责实现一个数据库在存储层之上的所有事情，比如连接管理，Query 优化和响应 ，Cache 管理等等，只有存储层的工作交给了NDB 数据节点去处理了。也就是说，在纯粹的MySQL Cluster 环境中的SQL 节点，可以被认为是一个不需要提供任何存储引擎的MySQL服务器，因为他的存储引擎有Cluster 环境中的NDB 节点来担任。所以，SQL 层各MySQL服务器的启动与普通的MySQL Server 启动也有一定的区别，必须要添加ndbcluster参数选项才行。我们可以添加在my.cnf配置文件中，也可以通过启动命令行来指定。
• SQL节点是使用命令“mysqld–ndbcluster”启动的，或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动。对cpu要求较高，选择多核，高频CPU较好

2. Storage 层的 NDB 数据节点：

• 也就是上面说的NDB Cluster。最初的NDB是一个内存式存储引擎，当然也会将数据持久化到存储设备上。但是最新的NDB Cluster存储引擎已经改进了这一点，可以选择数据是全部加载到内存中还是仅仅加载索引数据。NDB 节点主要是实现底层数据存储功能，来保存Cluster 的数据。每一个Cluster节点保存完整数据的一个fragment，也就是一个数据分片（或者一份完整的数据，视节点数目和配置而定），所以只要配置得当，MySQL Cluster在存储层不会出现单点的问题。一般来说，NDB 节点被组织成一个一个的NDB Group，一个 NDB Group实际上就是一组存有完全相同的物理数据的NDB节点群。  
• 上面提到了NDB 各个节点对数据的组织，可能每个节点都存有全部的数据也可能只保存一部分数据，主要是受节点数目和参数来控制的。首先在 MySQL Cluster主配置文件（在管理节点上面，一般为 config.ini）中，有一个非常重要的参数叫NoOfReplicas，这个参数指定了每一份数据被冗余存储在不同节点上面的份数，该参数一般至少应该被设置成2，也只需要设置成2就可以了。因为正常来说，两个互为冗余的节点同时出现故障的概率还是非常小的，当然如果机器和内存足够多的话，也可以继续增大来更进一步减小出现故障的概率。此外，一个节点上面是保存所有的数据还是一部分数据还受到存储节点数目的限制。NDB 存储引擎首先保证NoOfReplicas参数配置的要求来使用存储节点，对数据进行冗余，然后再根据节点数目将数据分段来继续使用多余的NDB节点。分段的数目为节点总数除以NoOfReplicas 所得。
• 数据节点是用命令“ndbd”启动的。可以选择大内存，cpu也相对来讲不错的，尤其是以后ndbmtd对多核Cpu的支持。默认端口2202

3. 负责管理各个节点的 Manage 节点主机：

• 管理节点负责整个Cluster集群中各个节点的管理工作,包括集群的配置,启动关闭各节点,对各个节点进行常规维护，以及实施数据的备份恢复等。管理节点会获取整个Cluster环境中各节点的状态和错误信息，并且将各 Cluster 集群中各个节点的信息反馈给整个集群中其他的所有节点。由于管理节点上保存了整个Cluster 环境的配置，同时担任了集群中各节点的基本沟通工作，所以他必须是最先被启动的节点。
• MGM节点，用来实现整个集群的管理，理论上一般只启动一个，而且宕机也不影响 cluster 的服务，这个进程只在cluster 启动以及节点加入集群时起作用， 所以这个节点不是很需要冗余，理论上通过一台服务器提供服务就可以了。  
• MGM节点是用命令“ndb_mgmd”启动的。对硬件没什么要求，差一点的机器完全能够胜任。默认端口1186。

Cluster特性

• 分布式：分布式存储引擎，可以由多个NDBCluster存储引擎组成集群分别存放整体数据的一部分
• 支持事务：和Innodb一样，支持事务
• 可与mysqld不在一台主机：可以和mysqld分开存在于独立的主机上，然后通过网络和mysqld通信交互。
• 内存需求量巨大：新版本索引以及被索引的数据必须存放在内存中，老版本所有数据和索引必须存在与内存中
• Cluster使用自动键值识别数据分片方案，用户无需关心数据切片方案（在5.1及以后提供了分区键规则），透明实现分布式数据库，数据分片规则根据1、主键、2唯一索引、3自动行标识rowid完成，再集群个数进行分布，其访问数据犹如RAID访问机制一样，能并行从各个节点抽取数据，散列数据，当使用非主键或分区键访问时，将导致所有簇节点扫描，影响性能（这是Cluster面对的核心挑战）

适用场景：

• 具有非常高的并发需求
• 对单个请求的响应并不是非常的critical
• 查询简单，过滤条件较为固定，每次请求数据量较少，又不希望自己进行水平Sharding

最佳实践

• 尽可能让查询简单，避免数据的跨节点传输；尽可能满足SQL节点的计算性能，大一点的集群SQL节点会明显多余Data节点；在各节点之间尽可能使用万兆网络环境互联，以减少数据在网络层传输过程中的延时

mysql-cluster的优缺点

• 优点：
• 99.999 ％的高可用性
• 快速的自动失效切换
• 灵活的分布式体系结构，没有单点故障
• 高吞吐量和低延迟
• 可扩展性强，支持在线扩容
• 缺点：
• 存在很多限制
• 部署、管理、配置很复杂
• 占用磁盘空间大，内存大
• 备份和恢复不方便
• 复杂的sql查询性能一般