首页 > 数据库 >MySQL运维12-Mycat分库分表之按天分片

MySQL运维12-Mycat分库分表之按天分片

时间:2023-12-20 10:45:51浏览次数:64  
标签:10 12 01 运维 2023 Mycat 分库 分片 tb

一、按天分片

  指定一个时间周期,将数据写入一个数据节点中,例如:第1-10天的数据,写入到第一个数据节点中,第2-20天的数据写入到第二个节点中,第3-30天的数据节点写入到第三个数据节点中。    

  

  说明1:按天分片要配置一个起始日期,一个结束日期,一个分片间隔时间三个参数

  说明2:按天分片允许当前时间超出配置的开始时间和结束时间,超出时间范围仍然会按照分片间隔时间,继续在多个数据节点之间切换的

  说明3:该案例中分片的起始时间为2023-12-01,结束时间为2023-12-30,一共30天的时间。但是如果当前日期超过了这个时间段,该规则仍然可以用,继续按照分片间隔时间10天,继续分片。

  说明4:该案例中分片间隔时间为10,即10天。所以这里需要至少三个数据节点。因为分片时间范围是30天除以10天的间隔等于3,而如果只配置了两个分片服务器则会报错,因为第1-10天的数据写在了第一个分片服务器上,第10-20天的数据写入到了第二个分片数据库中,从第21天-30的数据,就会找不到分片服务器而报错。

  

二、准备工作

  逻辑库:hl_logs,先在各个数据节点上创建好数据库。

  

三、配置rule.xml

<!--    rule.xml示例中没有,需要自己手动实现    -->
<tableRule name="sharding-by-date">
    <rule>
        <columns>create_time</columns>
        <algorithm>sharding-by-date</algorithm>
    </rule>
</tableRule>

  说明1:这个按照(天)日期分片,在rule.xml示例中也是没有写好的,需要自己实现。

<!--    rule.xml示例中没有,需要自己手动实现    -->
<function name="sharding-by-date" class="io.mycat.route.function.PartitionByDate">
    <property name="dateFormat">yyyy-MM-dd</property>
    <property name="sBeginDate">2023-12-01</property>
    <property name="sEndDate">2023-12-30</property>
    <property name="sPartionDay">10</property>
</function>

  说明2:这个按照(天)日期分片的function标签,在rule.xml示例中也是没有写好的,需要自己实现。

  说明3:dateFormat属性设置的分片日期的格式

  说明4:sBeginDate是分片的开始日期

  说明5:sEndDate是分片的结束日期

  说明6:sPartionDay是分片间隔时间

  说明7:如果当前时间超过了分片结束日期依然可以继续按照分片间隔时间,继续分片使用

四、配置schema.xml

  

  说明1:逻辑库为:hl_logs

  说明2:逻辑表为:tb_day

  说明3:分片规则为:"sharding-by-date"

  

  

  说明4:dn4对应的是dbhost1即192.168.3.90分片

  说明5:dn5对应的是dbhost2即192.168.3.91分片

  说明6:dn6对应的是dbhost3即192.168.3.92分片

五、配置server.xml

  

  说明1:在之前的文章中已经将tb_logs表添加到root用户的权限中了,所以这里不需要更改即可。

六、按(天)日期分片测试

  首先重启Mycat

  

  登录Mycat

  

  查看逻辑库和逻辑表

  

  这里的tb_day只是逻辑库,而在MySQL中还并没有tb_day这个表,需要在Mycat中创建

create table tb_day(id int auto_increment primary key, name varchar(20), create_time varchar(19));

  

  插入数据进行测试:这里插入一组数据进行测试:

insert into tb_day(name, create_time) values ("张三", "2023-12-02");
insert into tb_day(name, create_time) values ("李四", "2023-12-12");
insert into tb_day(name, create_time) values ("王五", "2023-12-22");
insert into tb_day(name, create_time) values ("赵六", "2023-12-31");
insert into tb_day(name, create_time) values ("侯七", "2024-01-01");
insert into tb_day(name, create_time) values ("孙八", "2024-01-11");
insert into tb_day(name, create_time) values ("周九", "2024-01-21");

  

  

  说明1:张三的创建时间为2023-12-02在2023-12-01 至 2023-12-10之间,所以张三在192.168.3.90第一个数据分片上。

  说明2:赵六的创建时间不在2023-12-01 至 2023-12-30的时间范围了,所以重新开始以10天为一周期的计算周期,而2023-12-31在新周期的第一个区间,所以赵六也在192.168.3.90第一个数据分片上。

  说明3:侯七的创建时间不在2023-12-01 至 2023-12-30的时间范围了,所以重新开始以10天为一周期的计算周期,而2024-01-01在新周期的第一个区间,所以侯七也在192.168.3.90第一个数据分片上。

  

  说明4:李四的创建时间为2023-12-12在2023-12-11 至 2023-12-20之间,所以张三在192.168.3.91第二个数据分片上。

  说明5:孙八的创建时间不在2023-12-01 至 2023-12-30的时间范围了,所以重新开始以10天为一周期的计算周期,而2024-01-11在新周期的第二个区间,所以孙八也在192.168.3.91第二个数据分片上。

  

  说明6:王五的创建时间为2023-12-22在2023-12-21 至 2023-12-30之间,所以王五在192.168.3.92第三个数据分片上。

  说明7:周九的创建时间不在2023-12-01 至 2023-12-30的时间范围了,所以重新开始以10天为一周期的计算周期,而2024-01-21在新周期的第三个区间,所以周九也在192.168.3.92第三个数据分片上。

  

  说明8:在Mycat上进行查询的数据是,所有数据节点的全集。按(天)日期分片是水平分库分表的一种方式。

 

标签:10,12,01,运维,2023,Mycat,分库,分片,tb
From: https://www.cnblogs.com/Se7eN-HOU/p/17914391.html

相关文章

  • openGauss学习笔记-165 openGauss 数据库运维-备份与恢复-导入数据-使用COPY FROM STD
    openGauss学习笔记-165openGauss数据库运维-备份与恢复-导入数据-使用COPYFROMSTDIN导入数据-通过本地文件导入导出数据165.1示例1:通过本地文件导入导出数据在使用JAVA语言基于openGauss进行二次开发时,可以使用CopyManager接口,通过流方式,将数据库中的数据导出到本地文件或者......
  • MySQL运维11-Mycat分库分表之应用指定分片
    一、应用指定分片此规则是在运行阶段有应用自主决定路由到那个分片,根据提供的字段,然后按照指定的规则,截取该字段的部分子字符串当做分片的依据,该分别方法比较灵活,适用于某个字段有几个特殊的字符串拼接而成的这种场景,例如:一个学校的学号:小学部的学号以0开头,形式为:0xxxxx(......
  • MySQL运维9-Mycat分库分表之枚举分片
    一、枚举分片通过在配置文件中配置可能的枚举值,指定数据分布到不同数据节点上,这种方式就是枚举分片规则,本规则适用于按照省份,性别,状态拆分数据等业务二、枚举分片案例枚举分片需求:现有tb_enum表,其中有id,username,status三个字段,其中status值为1,2,3当statu......
  • openGauss学习笔记-164 openGauss 数据库运维-备份与恢复-导入数据-使用COPY FROM STD
    openGauss学习笔记-164openGauss数据库运维-备份与恢复-导入数据-使用COPYFROMSTDIN导入数据-处理错误表164.1操作场景当数据导入发生错误时,请根据本文指引信息进行处理。164.2查询错误信息数据导入过程中发生的错误,一般分为数据格式错误和非数据格式错误。数据格式错......
  • MySQL运维8-Mycat范围分表
    一、范围分片根据指定的字段及其配置的范围与数据节点的对应情况,来决定该数据属于哪一个分片。说明1:范围分片会提前提供一个分片的范围默认是0-500万是一个分片,500万-1000万是一个分片,1000万-1500万是一个分片,超过1500万要重新设置。说明2:这个范围我们可以根......
  • wgcloud运维部署 - 配置使用https证书
    https://www.wgstart.com/help/docs137.html......
  • openGauss学习笔记-163 openGauss 数据库运维-备份与恢复-导入数据-使用COPY FROM STD
    openGauss学习笔记-163openGauss数据库运维-备份与恢复-导入数据-使用COPYFROMSTDIN导入数据-简介163.1关于COPYFROMSTDIN导入数据用户可以使用以下方式通过COPYFROMSTDIN语句直接向openGauss写入数据。通过键盘输入向openGauss数据库写入数据。详细请参见COPY。通过......
  • MySQL运维6-Mycat垂直分库
    一、垂直分库场景场景:在业务系统中,涉及一下表结构,但是由于用户与订单每天都会产生大量的数据,单台服务器的数据存储以及处理能力是有限的,可以对数据库表进行拆分,原有数据库如下说明1:整个业务系统中的表,大致分为四个,商品信息类的表,订单相关的表,用户相关表及省市区相......
  • 菜鸡运维成长记-第二周
    文本处理工具总结:查看文本文件内容:cat:-A|--show-all#显示所有控制符-n|--number#对显示出的每一行进行编号-b|--number-nonblank#非空行编号-s|--squeeze-blank#压缩连续的空行成一行nl:显示行号,相当于cat-btac:逆向显示文本内容,行倒序显示rev:将同一行的内......
  • 某航空公司引入运维管理软件,提升信息化运营效率
      在信息化时代,企业信息化的程度已经成为影响其核心竞争力的重要因素。某航空公司作为行业领导者,积极推进信息化建设,不断提升运维管理水平,以适应日益激烈的市场竞争。该公司成功引入了一款先进的运维管理软件,实现了对IT设备的集中监控、自动化管理和安全管理,显著提升了信息化业......