何时分库分表

数据库性能出现问题后，一般按照如下步骤优化：
① 参数优化 ② 缓存、索引 ③ 读写分离 ④ 分库分表 （最终方案）

1. 分库

• 服务器磁盘空间不足、内存不足、 CPU 压力过大，导致读写性能瓶颈。
• 网络带宽不足，响应慢，导致客户端连接等待/超时。
• 数据量过大，影响读写性能；MySQL单库数据量在5000万以内性能比较好，超过阈值后性能会随着数据量的增大而变弱。MySQL单表的数据量是500w-1000w之间性能比较好，超过1000w性能也会下降。
• 数据库连接数过多，响应慢，导致客户端连接等待/超时。MySQL数据库默认100个连接，单机最大1500连接。

2. 分表

• 单表出现性能瓶颈，通常是因为单表数据量过大，导致读写性能较慢。一般B+树索引高度是2~3层最佳，如果数据量千万级别，可能高度就变4层了，数据读写就会明显变慢。

分库分表方式

可以分为两种垂直切分和水平切分模式

• 垂直切分
  垂直分库，按照业务模块进行切分，将不同模块的表切分到不同的数据库中。垂直分库把一个库的压力分摊到多个库，提升了一些数据库性能，但并没有解决由于单表数据量过大导致的性能问题，所以就需要配合后边的分表来解决。
  垂直分表，将表中不同的字段切分到同意数据库不同的表中。一般是把业务宽表中比较独立的字段，或者不常用的字段拆分到单独的数据表中，是一种大表拆小表的模式。
• 水平切分
  水平分库是把同一个表按一定规则拆分到不同的数据库中，每个库可以位于不同的服务器上，以此实现水平扩展。
  水平分表是在同一个数据库中将一张大表按照一定的切分规则，按照行切分成不同的表。

水平分表（策略）

主流的切分策略有：Range 范围、hash切分、range+hash取模混合、映射表

• Range 范围
  是指按某个字段的数据区间来进行切分。比如，表按照 id 的数据范围切分成多张表，每 1000万条数据存放一张表，切分后的表可以放到同一个数据库，也可以放到不同的数据库。
  优点： 有利于扩容，后续扩容不需要数据迁移。
  缺点： 存在写偏移，会有热点问题。比如，按照时间来划分时，最近的数据会聚集在一张表中，所以读写流量全部集中在最新的表。
• hash切分
  通过对分表键 key 进行一定的运算（通常有取余、取模运算），通过运算结果来决定路由的库和表。
  优点： 数据分片比较均匀，大大降低热点问题。
  缺点： 后期扩容可能需要迁移数据。
• range+hash取模混合
  拆分库的时候，可以先用range范围方案，再用hash取模的策略把同一range库中的表进行切分。
• 映射表
  将分表键和数据库的映射关系记录在一个单独的表（表的形式可以是数据库表、文件或者配置中心）。
  优点： 可以灵活设置路由规则。
  缺点： 映射表可能也会随着业务量的增大，同样需要分库分表。

分库分表后的问题

• 分布式ID问题
  分库分表后，需要维护全局唯一的ID，常用的算法有：UUID、数据库自增生成全局ID、利用Redis的incr命令生成主键、雪花算法。
• 分布式事务问题
  分库分表之后可能就需要引入分布式事务的问题，解决方案有两种：
  1. 业务划分的时候规避分布式事务；
  2. 使用专业的的分布式框架，比如阿里开源的 Seata；
• 跨库关联问题
  1. 将有E-R关系的表存储到一个库中。
  2. 对于数据量少的表建成全局表，分布到各个库中
  3. 对于必须跨库join的，最多支持跨两张表的跨库join。跨节点Join的问题：解决这一问题可以分两次查询实现
• 分页问题
  分页问题，解决方案有三种：
  1. 选择合适的分表字段，规避绝大部分高频查询场景出现跨库；
  2. 使用专业的分布式框架，比如开源框架：ElasticSearch；
  3. 业务代码中分别查询，然后组装数据；
• 排序问题
  跨节点的count,order by,group by以及聚合函数等问题：可以分别在各个节点上得到结果后在应用程序端进行合并。
• 增加调试和维护难度

分库分表中间件

分库分表工具主要有 2种模式：客户端模式 和 代理模式。客户端模式是指在客户端实现直连数据库，客户端通常是通过一些封装好的 jar来实现，常见的开源中间件有：Apache的Sharding-JDBC、淘宝的TDDL、美图的Zebra。代理模式是指需要单独部署服务，客户端连接代理服务，由代理服务再和数据库交互，常见的开源中间件有：Apache的 Sharding-Proxy、阿里的 cobar、国产的 MyCat、360的 Atlas。另外还有 google的 vitess，它是基于 zookeeper，通过 RPC方式进行数据管理。

参考：

什么时候需要分表分库，怎么做分表分库？

数据库分库分表思路