首页 > 数据库 >MySQL使用分区快速归档数据

MySQL使用分区快速归档数据

时间:2023-01-07 15:11:20浏览次数:40  
标签:rw 分区 归档 ibd mysql MySQL PARTITION -----. myabc

对于我们中的许多人来说,空间限制一直是一个无尽而痛苦的过程,特别是在具有大量事务和几天内数据增长就能超过百GB的系统中。

在这篇文章中,我将分享一个解决方案,无论表的大小如何,使用表分区都可以在几秒钟内删除这个空间并从表中删除行,而不会对数据库造成任何额外的负载。

任何人想到的删除行的第一种方法是使用SQL中的DELETE查询。假设,一个人想要从一个表中删除超过一年的行,这种操作的查询将像这样:

DELETE FROM myabc WHERE from_date < DATE_SUB(NOW(),INTERVAL 1 YEAR);

上面的问题很简单,但有一些注意事项:

·服务器业务将呈指数级增长,并可能影响服务器上的常规流量。

·为了加快上面的查询,我们需要创建一个适当的索引,这样查询就可以在最短的时间内执行,并且对服务器性能的影响更小。

·如果我们使用binlog_format作为ROW,将创建大量的binlog日志,这可能会阻塞服务器的I/O,并需要额外的空间清理。

·即使在删除所有行之后,空间也不会被释放。MySQL不会收缩表空间,存储空间不会被释放给文件系统。为了将它释放到文件系统中,我们需要通过运行ANALYZE或ALTER重新创建表。

解决这个问题的一种方法是使用Percona pt-archiver。但是pt-archiver进程需要时间,因为它还要考虑系统负载、副本延迟和指定的参数来限制pt-archiver进程,而不影响正在进行的流量。

这里我建议使用MySQL分区,这是一种更快的方法。

非分区表:

# ls -lh myabc*#*
-rw-r-----. 1 mysql mysql 104G Oct 11 05:47 myabc.ibd

分区表:

# ls -lh myabc*#*
-rw-r-----. 1 mysql mysql 9.0G Oct 11 05:47 myabc#P#p01.ibd
-rw-r-----. 1 mysql mysql 9.0G Oct 11 05:47 myabc#P#p02.ibd
-rw-r-----. 1 mysql mysql  10G Oct 11 05:47 myabc#P#p03.ibd
-rw-r-----. 1 mysql mysql  11G Oct 11 05:47 myabc#P#p04.ibd
-rw-r-----. 1 mysql mysql  11G Oct 11 05:47 myabc#P#p05.ibd
-rw-r-----. 1 mysql mysql  12G Oct 11 05:47 myabc#P#p06.ibd
-rw-r-----. 1 mysql mysql  12G Oct 11 05:47 myabc#P#p07.ibd
-rw-r-----. 1 mysql mysql  13G Oct 11 05:47 myabc#P#p08.ibd
-rw-r-----. 1 mysql mysql  14G Oct 11 05:47 myabc#P#p09.ibd
-rw-r-----. 1 mysql mysql  14G Oct 11 05:47 myabc#P#p10.ibd
-rw-r-----. 1 mysql mysql  15G Oct 11 05:47 myabc#P#p11.ibd
-rw-r-----. 1 mysql mysql  15G Oct 11 05:47 myabc#P#p12.ibd
-rw-r-----. 1 mysql mysql  16G Oct 11 05:47 myabc#P#p13.ibd
-rw-r-----. 1 mysql mysql  16G Oct 11 05:47 myabc#P#p14.ibd
-rw-r-----. 1 mysql mysql  17G Oct 11 05:47 myabc#P#p15.ibd
-rw-r-----. 1 mysql mysql  17G Oct 11 05:47 myabc#P#p16.ibd
-rw-r-----. 1 mysql mysql  16G Oct 11 05:47 myabc#P#p17.ibd
-rw-r-----. 1 mysql mysql  13G Oct 11 05:47 myabc#P#p18.ibd
-rw-r-----. 1 mysql mysql  96M Oct 11 05:45 myabc#P#p19.ibd

 

分区表是如何快速删除数据和释放空间的?

为了归档到分区表中的旧数据,我们将创建一个空表,它在结构上与原始表相同,但不像原始表那样有多个分区。创建了这个表后,我们将在几秒钟内完成将新创建的空表与原始表的一个分区交换。

在本例中,我们使用的是一个基于日期范围进行分区的表。

mysql>show create table myabc\G
*************************** 1. row ***************************
       Table: myabc
Create Table: CREATE TABLE `myabc` (
  `emp_no` int(11) NOT NULL,
  `salary` int(11) NOT NULL,
  `from_date` date NOT NULL,
  `to_date` date NOT NULL,
  `response_code` blob NOT NULL,
  PRIMARY KEY (`emp_no`,`from_date`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1
/*!50500 PARTITION BY RANGE  COLUMNS(from_date)
(PARTITION p01 VALUES LESS THAN ('1985-12-31') ENGINE = InnoDB,
 PARTITION p02 VALUES LESS THAN ('1986-12-31') ENGINE = InnoDB,
 PARTITION p03 VALUES LESS THAN ('1987-12-31') ENGINE = InnoDB,
 PARTITION p04 VALUES LESS THAN ('1988-12-31') ENGINE = InnoDB,
 PARTITION p05 VALUES LESS THAN ('1989-12-31') ENGINE = InnoDB,
 PARTITION p06 VALUES LESS THAN ('1990-12-31') ENGINE = InnoDB,
 PARTITION p07 VALUES LESS THAN ('1991-12-31') ENGINE = InnoDB,
 PARTITION p08 VALUES LESS THAN ('1992-12-31') ENGINE = InnoDB,
 PARTITION p09 VALUES LESS THAN ('1993-12-31') ENGINE = InnoDB,
 PARTITION p10 VALUES LESS THAN ('1994-12-31') ENGINE = InnoDB,
 PARTITION p11 VALUES LESS THAN ('1995-12-31') ENGINE = InnoDB,
 PARTITION p12 VALUES LESS THAN ('1996-12-31') ENGINE = InnoDB,
 PARTITION p13 VALUES LESS THAN ('1997-12-31') ENGINE = InnoDB,
 PARTITION p14 VALUES LESS THAN ('1998-12-31') ENGINE = InnoDB,
 PARTITION p15 VALUES LESS THAN ('1999-12-31') ENGINE = InnoDB,
 PARTITION p16 VALUES LESS THAN ('2000-12-31') ENGINE = InnoDB,
 PARTITION p17 VALUES LESS THAN ('2001-12-31') ENGINE = InnoDB,
 PARTITION p18 VALUES LESS THAN ('2002-12-31') ENGINE = InnoDB,
 PARTITION p19 VALUES LESS THAN (MAXVALUE) ENGINE = InnoDB) */

1 row in set (0.00 sec)

表的总大小是105GB

mysql> SELECT
	table_schema,
	table_name,
	table_rows,
	round( data_length / 1024 / 1024 / 1024 ) DATA_MB,
	round( index_length / 1024 / 1024 / 1024 ) INDEX_GB,
	round( data_free / 1024 / 1024 / 1024 ) FREE_MB,
	round( data_length / 1024 / 1024 / 1024 )+ round( index_length / 1024 / 1024 )+ round( data_free / 1024 / 1024 / 1024 ) TOTAL_MB 
FROM
	information_schema.TABLES 
WHERE
	table_schema = 'abce' 
	AND table_name = 'myabc';
+--------------+------------+------------+---------+----------+---------+---------+
| table_schema | table_name | table_rows | DATA_GB | INDEX_GB | FREE_GB | TOTAL_GB|
+--------------+------------+------------+---------+----------+---------+---------+
| abce         | myabc      | 2845404    | 105     | 0        | 0       | 105     |
+--------------+------------+------------+---------+----------+---------+---------+

1 row in set (0.00 sec)

我们将创建一个与分区表相同的表,但是我们将从这个新创建的表中删除分区。

mysql> CREATE TABLE myabc_swap_p3 LIKE myabc;
Query OK, 0 rows affected (0.23 sec)

mysql> ALTER TABLE myabc_swap_p3 REMOVE PARTITIONING;
Query OK, 0 rows affected (0.32 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> SELECT count(*) FROM myabc PARTITION (p03);
+----------+
| count(*) |
+----------+
| 57395    |
+----------+
1 row in set (0.00 sec)


mysql> SELECT count(*) FROM myabc_swap_p3;
+----------+
| count(*) |
+----------+
| 0        |
+----------+
1 row in set (0.02 sec)

文件系统上占用的空间:

# ls -lrth *myabc*3*
-rw-r-----. 1 mysql mysql  96K Nov 21 03:54 myabc_swap_p3.ibd
-rw-r-----. 1 mysql mysql 8.5K Nov 21 03:56 myabc_swap_p3.frm
-rw-r-----. 1 mysql mysql  10G Nov 21 03:56 myabc#P#p03.ibd

为了交换分区,我们需要执行一个查询,该查询需要在表上锁定元数据,并且几乎是瞬时完成的。

mysql> ALTER TABLE myabc EXCHANGE PARTITION p03 WITH TABLE myabc_swap_p3;

该操作需要获取元数据锁,虽然时间很短,还是建议在低峰期做该操作。

mysql> show processlist;
+----+------+-----------+-----------+---------+------+---------------------------------+------------------------------------------------------------------------+-----------+---------------+
| Id | User | Host      | db        | Command | Time | State                           | Info                                                                   | Rows_sent | Rows_examined |
+----+------+-----------+-----------+---------+------+---------------------------------+------------------------------------------------------------------------+-----------+---------------+
|  4 | root | localhost | abce      | Query   |   0  | Waiting for table metadata lock | ALTER TABLE myabc EXCHANGE PARTITION p03 WITH TABLE myabc_swap_p3      |         0 |             0 |
+----+------+-----------+-----------+---------+------+---------------------------------+------------------------------------------------------------------------+-----------+---------------+
1 row in set (0.00 sec)

交换后,新表就有了分区中的所有数据,对应的分区就是空的了。

mysql>  SELECT count(*) FROM myabc PARTITION (p03);
+----------+
| count(*) |
+----------+
|        0 |
+----------+
1 row in set (0.00 sec)

mysql>  SELECT count(*) FROM myabc_swap_p3;
+----------+
| count(*) |
+----------+
|    57395 |
+----------+
1 row in set (0.02 sec)

磁盘空间也释放了:

# ls -lrth *myabc*3*
-rw-r-----. 1 mysql mysql  10G Nov 21 03:54 myabc_swap_p3.ibd
-rw-r-----. 1 mysql mysql 8.5K Nov 21 03:56 myabc_swap_p3.frm
-rw-r-----. 1 mysql mysql  96K Nov 21 03:56 myabc#P#p03.ibd

现在就可以删除交换表而不用锁定原表了;使用该方式也可以加速删除操作。

mysql> drop table if exists myabc_swap_p3; 
Query OK, 0 rows affected (5.23 sec)

我们在这里所做的是使用MySQL分区相关的函数来解决客户的挑战,即更快地清除x天以上的数据。但是,分区并不是一个放之四海而皆准的解决方案,分区有它自己的注意事项。

如果一个表上有很多二级索引,并且搜索查询不仅限于分区键,那么查询性能可能会呈指数级下降。如果不能对表进行分区,那么pt-archiver是一个很好的工具。

 

标签:rw,分区,归档,ibd,mysql,MySQL,PARTITION,-----.,myabc
From: https://www.cnblogs.com/abclife/p/17031719.html

相关文章

  • MySQL10 - 外连接
    外连接表A与表B进行连接查询内连接INNERJOIN:查询出匹配条件的记录AB表没有主次关系=>平等连接右外连接RIGHTJOIN:查询出匹配条件的记录+表B中不匹......
  • MySQL9 - 内连接 - 等值连接
    内连接-等值连接例子:查询每个员工所在部门名称,显示员工名和部门名SELECT e.ename,d.dnameFROM empeINNERJOIN deptdON e.deptno=d.deptno;//WHERE.........
  • MySQL9 - 内连接 - 自连接
    内连接-自连接将一张表看作两张表例子:查询员工的上级领导,要求显示员工名和对应的领导名SELECT a.enameAS员工,b.enameAs领导FROM empaINNERJOIN empbON......
  • 数据库MySQL的程序员使用指导
    前言: MySQL是开源数据库的代表,为程序员和整个IT行业带来了巨大贡献。尽管目前mysql的拥有者对mysql的未来摇摆不定,但是业界还是一直关注mysql的动态。本文首先介绍了mysql......
  • sprinboot jpa实体支持mysql json字段配置
    mysql字段springboot配置依赖compile('com.vladmihalcea:hibernate-types-52:2.4.1')实体@Getter@Setter@Entity(name="opt_log")@TypeDef(name="json",......
  • mysql 服务异常crash 原因收集
    1.打开文件描述符数超出限制,造成crash重启,ERROR信息,提示toomanyopenfiles02022-06-27T08:03:56.201006+08:000[Warning][MY-012152][InnoDB]Openfiles407ex......
  • mysql用mysqldump命令进行数据库备份与迁移
    指定备份数据库abc(带库名备份):mysqldump-uuser-ppasswd-hhost-Babc>/path/bak.sql 全部数据库备份:mysqldump-uuser-ppasswd-hhost-A>/path/bak.sql 只......
  • mysql 半同步的模式 after_commit 与 after_sync
    参考MySQL半同步after_sync与after_commit-墨天轮(modb.pro)1.after_commit提交流程:client-->executesql-->wrtieredolog-->writebinlog-->innodbstoragecommi......
  • Centos7下非lvm的分区扩容(重要)
    前言:一般在生产环境中,如果需要使用一个分区保存大量的文件,建议的做法是在虚拟化环境中增加一块单独的硬盘,挂载一个单独的分区,比如/data上图我们可以看到sdb整块硬盘 ......
  • MySQL8 - DISTINCT 去重
    DISTINCT-去重查询结果去除重复记录,原表数据不修改SELECT DISTINCTjobFROM emp;DISTINCT只能出现在所有字段的最前方,如果使用在两字段间,则字段的记录数量相互......