目录
在探讨分库分表的深度理解之前，先回顾一下为什么数据库系统会面临性能瓶颈。随着互联网业务的飞速发展，数据量呈指数级增长，同时高并发的访问需求对数据库的读写性能提出了更高要求。传统的单体数据库架构在面对大规模数据和高并发访问时，容易出现以下几类问题：
-
大量请求阻塞：高并发场景下，数据库连接资源有限，过多的请求会导致连接队列堵塞，新请求无法及时得到处理。
-
SQL操作效率低下：当表中数据量巨大时，未优化的SQL查询可能触发全表扫描，导致性能急剧下降。
-
存储压力：单个数据库的数据量过大，会增加磁盘I/O负担，影响数据的读写速度和存储效率。
分库分表的核心原理
为解决上述问题，分库分表策略应运而生，通过将数据分散到多个数据库或多个表中，实现数据的水平扩展，从而提高系统性能。下面分别从分库和分表两个角度深入分析其原理和应用场景：
分库（Sharding）
分库是将数据按照某种规则分散存储到多个数据库中。通常涉及到数据的水平切分，即按照数据的一个或多个字段（如用户ID、地理位置等）将数据分发到不同的数据库节点。例如，一个全球化的电商平台可以将用户数据按照地理位置分库，亚洲地区的用户数据存储在亚洲数据中心的数据库中，美洲地区的用户数据则存储在美洲数据中心的数据库中。
优势：
- 提高并发处理能力：每个数据库节点只处理部分数据，减少了单个数据库的负载，提高了并发处理能力。
- 减少网络延迟：用户请求数据时，可以从地理位置上更近的数据库节点获取，减少网络延迟。
- 数据冗余和容灾：通过合理设计，可以在不同数据中心之间实现数据冗余，提高系统的可靠性和容灾能力。
分表（Partitioning）
分表则是将一个大表根据数据特性分割成多个小表。可以是水平分割，如按时间范围、按用户ID的哈希值等；也可以是垂直分割，即将一个表按照列的用途或访问频率拆分成多个表。
优势：
- 提高查询效率：分割后的表更小，查询时需要扫描的数据量减少，提升了查询效率。
- 优化存储和备份：小表更容易管理和备份，减少了存储资源的消耗。
- 增强可扩展性：当某部分数据访问频繁时，可以针对性地优化这部分数据的存储结构和索引，而不影响其他数据。
综合运用与挑战
在实际应用中，分库和分表往往需要结合使用，以充分发挥各自的优势。分库分表也带来了新的挑战，如数据一致性维护、分布式事务处理、跨库查询复杂性增加等。这要求在设计分库分表策略时，必须考虑到系统的整体架构，确保数据的正确性和系统的稳定性。
例如，为保持数据一致性，可能需要采用分布式事务协议，如两阶段提交（2PC）、三阶段提交（3PC）等。对于跨库查询，可能需要构建中间层服务，如分布式数据库代理或查询路由服务，以协调不同数据库之间的数据交互。
标签：存储,分库,数据库,查询,分表,核心作用,数据 From： https://blog.csdn.net/weixin_43298211/article/details/140432070