首页 > 数据库 >mysql 的垂直分表和水平分表

mysql 的垂直分表和水平分表

时间:2022-10-17 13:45:18浏览次数:61  
标签:取模 查询 垂直 切分 拆分 mysql 分表

1,水平分表: 一条记录一条记录切断分出来!
2, 垂直分表: 把常用的 ,不常用的,字段很长的拆出来!

目前很多互联网系统都存在单表数据量过大的问题,这就降低了查询速度,影响了客户体验。为了提高查询速度,我们可以优化sql语句,优化表结构和索引,不过度那些百万级,千万级的数据库表,即便优化过后,查询速度还是满足不了要求。这时候我们就可以通过分表降低单次查询数据量,从而提高查询速度,一般分表的方式有2种:水平拆分和垂直拆分,俩者各有利弊,适用于不同的情况。

 

水平拆分

水平拆分是指数据表行的拆分,表的行数超过了200万时,就会变慢,这时候可以把一张表的数据拆成多张表来存放。

 

通常情况下,我们使用取模的方式来进行表的拆分。比如一张有400万的用户表users,为提高其查询效率我们把其分成4张表user1,user2,user3,user4
通过ID 取模的方式把数据分散到四张表内Id %4+1=[1,2,3,4];
然后查询,更新,删除也是通过取模的方式来查询。
例:QQ的登录表。假设QQ的用户有100亿,如果只有一张表,每个用户登录的时候数据库都要从这100亿中查找,会很慢很慢。如果将这一张表分成100份,每张表有1亿条,就小了很多,比如qq0,qq1,qq1…qq99表。
用户登录的时候,可以将用户的id0,那么会得到0-99的数,查询表的时候,将表名qq和取模的数连接起来,就构建了表名。比如:123456789用户,取模的89,那么就得到qq89表查询,查询的时间将会大大缩短。
另外部分业务逻辑也可以通过地区,年份等字段来进行归档拆分,进行拆分后的表,只满足部分查询的高效查询需求。这时候就要在产品策划上,从界面上约束用户查询行为,比如,我们是按年来进行归档拆分的,这个时候在页面设计上就约束用户必须要选择年,然后才能进行查询

水平拆分的优点
表关联基本能够在数据库端全部完成;
不会存在某些超大型数据量和高负载的表遇到瓶颈的问题;
应用程序端整体架构改动相对较少;
事物处理相对简单
只要切分规则能定义好,基本上较难遇到扩展性限制;

水平切分的缺点:

切分规则相对更为复杂,很难抽象出一个能满足整个数据库的切分规则;
后期数据的维护难度有所增加,人为手工定位数据更为困难;
应用系统各模块耦合度较高,可能会对后面数据的迁移拆分造成一定的困难。

 

 

垂直拆分

垂直拆分是指表数据列的拆分,把一张列比较多的表拆分成多张表。表的记录并不多,但是字段却很长,表占用空间很大,检索表的时候需要执行大量的IO,严重降低了性能。这时候需要把大的字段拆分到另外一个表,并且该表与原表是一对一的关系。

 

通常我们按照以下规则进行垂直拆分:
1,把不常用的字段单独放在一个表;
2,把text,blob等大字段拆分出来放在附表中;
3,经常组合查询的列放在一张表中;

 

如果我们只想查询id为8的学生的分数:select 分数 from tt where id = 8;虽然知识查询分数,但是题目和回答这两个大字段也是要被扫描的,很消耗性能。但是我们只关心分数,并不想查询题目和回答。这就可以使用垂直分割。我们可以把题目单独放到一张表中,通过id与tt表建立一对一的关系,同样将回答单独放到一张表中。这样我们插叙tt中的分数的时候就不会扫描题目和回答了

 

垂直切分的优点
数据库的拆分简单明了,拆分规则明确
应用程序模块清晰明确,整合容易
数据维护方便易行,容易定位

垂直切分的缺点

部分表关联无法再数据库级别完成,需要在程序中完成
对于访问极其频繁且数据量超大的表仍然存在性能瓶颈,不一定满足需求;
事务处理相对更为复杂;
切分达到一定程度后。扩展性会遇到限制
过度切分可能会带来系统过度复杂而难以维护;

 

 

标签:取模,查询,垂直,切分,拆分,mysql,分表
From: https://www.cnblogs.com/laijinquan/p/16798924.html

相关文章

  • 数据库选型思考(PostgreSQL,MySQL,Oracle)
    背景https://www.enterprisedb.com/blog/postgresql-vs-mysql-360-degree-comparison-syntax-performance-scalability-and-features数据库选型是一件很大的事情,也是一件......
  • 数据库选型思考(PostgreSQL,MySQL,Oracle)
    背景https://www.enterprisedb.com/blog/postgresql-vs-mysql-360-degree-comparison-syntax-performance-scalability-and-features数据库选型是一件很大的事情,也是一件......
  • ubuntu通过tar包安装mysql5.7.21
    作者:zuoguohui一、场景:最近想搞mysql主从复制,需要在两台服务器上安装mysql,之前有一台已经装好了mysql5.7.21,于是在另外一台上也装mysql5.7.21,安装过程中碰到了蛮多坑,因此......
  • 数据库选型思考(PostgreSQL,MySQL,Oracle)
    背景https://www.enterprisedb.com/blog/postgresql-vs-mysql-360-degree-comparison-syntax-performance-scalability-and-features数据库选型是一件很大的事情,也是一件......
  • docker安装mysql
    第一步:拉镜像dockerpullmysql第二步:创建文件夹mkdir/root/mysql_docker第三步:使用pwd命令确保自己在/root/mysql_docker路径下pwd第四步:使用docker命令启动mysql容......
  • 通过链接服务器从 SQL Server 访问 MySQL 数据
    问题有时您需要从SQLServer中访问MySQL中的数据。您可以导出和导入数据,但另一种选择是创建一个从SQLServer到MySQL的链接服务器。在本技巧中,我们将介绍如何从SQ......
  • 从 SQL Server 创建到 MySQL 的链接服务器
    问题SQLServer链接服务器用于查询远程数据库,在本技巧中,我们将学习如何从SQLServer为MySQL服务器配置链接服解决方案以下是创建连接到MySQL服务器的链接服务器......
  • MySQL数据库通过cmd窗口导入sql文件
     在使用mysql数据库是,经常需要备份或者恢复数据库数据,最便捷的方式就是通过导出sql文件备份和直接执行sql文件恢复;以下记录如何进行操作的:一、导出sql文件 1、启动My......
  • 【MySQL练习】基本SELECT语句
    表数据:https://www.cnblogs.com/zhishu/p/16452950.html1.查询员工12个月的工资总和,并起别名为ANNUALSALARY别名中有空格的,要用双引号。IFNULL(expr1,expr2),expr1如果......
  • MySQl中关于JOIN的用法全解
    一、一张图看懂MySQL的各种JOIN用法二、准备表和数据,测试1、创建两个表测试CREATETABLE`forlan_class`( `id`bigint(20)NOTNULLAUTO_INCREMENTCO......