标签：mysql10 分库 -- mycat 分片分表 MyCat id

1 分库分表介绍

# 数据切分(sharding)的两种模式
  -垂直(纵向)拆分：
      垂直分库：按照不同的表（或者Schema）来切分到不同的数据库（主机）之上
      垂直分表：将一个表按照字段分成多表，每个表存储其中一部分字段，就是一对一的关系
    
  -水平(横向)拆分：
      水平分库：根据表中数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）中
      水平分表：根据表中数据的逻辑关系，将同一个表的数据(按数据行)拆分到多个表中(同一个数据库中)

        
# 传统分库分表设计方案：  水平分库分表
  # 1.range范围：根据一定的范围，存放在不同的表
      eg: id=0-1000放到0表中，id=1001-2000的放到1表中

  # 2.hash取模：指定的路由key(如：id)对分表总数进行取模
      eg: id=12的订单，对2取模得到为0，就会放到0表中
          id=13的订单，对2取模得到为1，就会放到1表中
  

  # 热点问题：主要是指 分库分表后，某个分表进行读写操作次数，远高于其他分表，形成热点/焦点问题
    eg:订单表根据id的range范围分表
       因为id的值会一直递增变大，那这段时间的订单会一直在某一张表中
       如id=1000万 ～ id=2000万之间，就导致操作订单表时，全在操作该分表
       该表会过热，压力过大，而其他的表没有什么压力

  # 总结：优缺点
    hash取模方案：没有热点问题，但扩容迁移数据痛苦
    range范围方案：扩容不需要迁移数据，但有热点问题
    
    
    
# 刘sir的分库分表之最优方案
https://www.cnblogs.com/liuqingzheng/p/10755148.html
    
    
# 企业读写分离及分库分表方案介绍
Mysql-proxy（oracle）    # 已不再开发
Mysql-router（oracle）   # 重点关注
Atlas (Qihoo 360)       # 轻量级，简单
Atlas-sharding (Qihoo 360)
Cobar（是阿里巴巴（B2B）部门开发） #  已不再更新

Mycat（基于阿里开源的Cobar产品而研发）# MyCat分片-海量数据存储解决方案
    
TDDL Smart Client的方式（淘宝）
DRDS 阿里云的产品 
Oceanus(58同城数据库中间件)
OneProxy（原支付宝首席架构师楼方鑫开发）
vitess（谷歌开发的数据库中间件）
Heisenberg(百度)
TSharding(蘑菇街白辉)
Xx-dbproxy（金山的Kingshard、当当网的sharding-jdbc）
amoeba

2 MyCat实现分库分表

# MyCat介绍
  基于Java开发的，实现了MySQL公开的二进制传输协议 (底层mysql客户端与服务端的socket封装)
  巧妙地将自己伪装成一个MySQL Server
  目前市面上绝大多数 MySQL客户端工具和应用都能兼容

  # 简单的说
    MyCAT就是一个新颖的数据库中间件产品支持mysql cluster或者mariadb cluster，提供高可用性数据分片集群
    可以像使用mysql一样使用mycat，对于开发人员来说根本感觉不到mycat的存在
    
    
# MariaDB
  MariaDB数据库管理系统是MySQL的一个分支，主要由开源社区在维护，采用GPL授权许可。
    
  开发这个分支的原因之一是：
    甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险，因此社区采用分支的方式来避开这个风险。
    
    
# 安装： linux系统上
  1.要求jdk1.8以上  # java开发
  2.推荐mysql5.6以上 # 企业基本都是5.7 或8.0  注：5.8就被改名为8版本了
  3.MyCat安装

2.0 MyCat分片策略

2.1 源码安装JDk与MyCat

##### 源码安装jdk
# 1 下载
官方注册下载 jdk1.8以上
  -官方地址：https://www.oracle.com/java/technologies/oracle-java-archive-downloads.html
  -账号: [email protected] 密码: Oracle123
    
# 2 解压  到/usr/local/java文件夹下
mkdir /usr/local/java
tar -zxvf jdk-8u201-linux-x64.tar.gz

# 3 配置环境变量  /etc/profile   主要是将 java的bin文件夹，配置到环境变量中
vim /etc/profile  

# 前两行是JAVA开发的通用配置  
# JAVA_HOME是Java的安装位置
# CLASSPATH是Java导入内置模块寻找文件夹的位置
export JAVA_HOME=/usr/local/java/jdk1.8.0_231
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin
    
# 4 读取并执行文件
source /etc/profile

# 5 检查
java -version
    
    
    
##### 安装MyCat
# 1.下载安装压缩包
下载 Mycat-server-1.4-release-20151019230038-linux.tar.gz
  -MyCat的官方网站： http://www.mycat.org.cn/
  -下载地址： https://github.com/MyCATApache/Mycat-download

# 2.解压  建议/usr/local/mycat目录
mkdir /usr/local/mycat
tar -xzvf Mycat-server-1.4-release-20151019230038-linux.tar.gz


# 3.mycat命令   进入mycat目录的bin目录
  # 启动mycat
    ./mycat start

  # 停止：
    ./mycat stop

  # 支持的命令
    console | start | stop | restart | status | dump

    
# Mycat的默认端口号为：8066

# 查看端口占用情况
netstat -nlp | grep 具体端口号

2.2 MyCat分片配置文件

# Mycat重要配置文件

sever.xml   # 综合配置数据库的相关信息  端口、内存占用、创建账号/密码

schema.xml  # 对数据库表结构的定义
  -schema标签   # 用于定义MyCat实例中的逻辑库 ---- 相当于不分表 Mycat中的库名称
                 数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库 
        
  -Table标签    # 用于定义MyCat实例中的逻辑表 ---- 相当于不分表 Mycat中的表名称
                 其中的rule参数用于指定分片规则
                 值为auto-sharding-long的分片规则是按ID值的范围进行分片
                 分片范围配置文件：autopartition-long.txt
    
  -dataNode标签 # 用于定义MyCat实例中的数据节点，也就是通常说的数据分片节点

  -dataHost标签 # 用于定义MyCat实例中的节点主机
                 在mycat逻辑库中也是作为最底层的标签存在
                 直接定义了具体的数据库实例、读写分离配置(就是主从复制)、
                 心跳语句(用于mycat检测连接的主机是否中断，默认就行)

rule.xml    # 指定相关算法规则，来实现不同的分片数据库

3 案例之两种常见水平分表

3.1 rang-long算法--按id范围分表

schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

    <schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100">
        <table name="user" primaryKey="id" dataNode="dn1,dn2" rule="auto-sharding-long" autoIncrement="true"></table>
    </schema>


    <dataNode name="dn1" dataHost="localhost1" database="lqz"/>
    <dataNode name="dn2" dataHost="localhost2" database="lqz"/>


    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        
        <!-- can have multi write hosts -->
        <writeHost host="hostM1" url="jdbc:mysql://101.133.225.166:3306" user="root" password="123456">
        </writeHost>
        
    </dataHost>

    <dataHost name="localhost2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="jdbc:mysql://101.133.225.166:3307" user="root" password="123456">
        </writeHost>
    </dataHost>

</mycat:schema>

autopartition-long.txt

# 指定ID分片的范围 = 分片节点的索引号 
# range start-end ,data node index
# K=1000, M=10000.
0-500K=0   # 0-50万的数据 在数据分片节点0
500K-1000K=1 # 50-100万的数据 在数据分片节点1

测试

用navicat连接mycat，插入50w以后的数据会落到3306库，50w以上会落到3307库

3.2 murmur算法--按hash分表

schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

    <schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100">

        <table name="user" primaryKey="id" dataNode="dn1,dn2" rule="auto-sharding-long" autoIncrement="true"></table>
        
        <table name="article" primaryKey="id" dataNode="dn1,dn2" rule="sharding-by-murmur" autoIncrement="true"></table>

    </schema>


    <dataNode name="dn1" dataHost="localhost1" database="lqz"/>
    <dataNode name="dn2" dataHost="localhost2" database="lqz"/>


    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="jdbc:mysql://101.133.225.166:3306" user="root" password="123456">
        </writeHost>
    </dataHost>

    <dataHost name="localhost2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="jdbc:mysql://101.133.225.166:3307" user="root" password="123456">
        </writeHost>
    </dataHost>


</mycat:schema>

rule.xml

# 在rule.xml中 

# 找到表规则定义--默认分片的表主键是id列 若不是，则需要修改
<tableRule name="sharding-by-murmur">
    <rule>
        <!-- 默认是根据主键id列 -->
        <columns>id</columns>    
	    <algorithm>murmur</algorithm>
	</rule>
</tableRule>


# 找到hash分片的murmur算法函数--配置分片的节点数量等
<function name="murmur" class="org.opencloudb.route.function.PartitionByMurmurHash">
    <!-- 默认是0 -->
    <property name="seed">0</property> 
        
    <!-- 要分片的数据库节点数量，必须指定，否则没法分片 -->
    <property name="count">3</property> 
        
    <!-- 一个实际的数据库节点被映射为这么多的虚拟节点，默认是160倍，也就是虚拟节点数是物理节点数的160倍 -->
    <property name="virtualBucketTimes">160</property>
    
        
    <!-- <property name="weightMapFile">weightMapFile</property> 
     节点的权重，没有指定权重的节点默认是1。以properties文件的格式填写，
     以从0开始到count-1的整数值也就是节点索引为key，以节点权重值为值。所有权重值必须是正整数，否则以1代替 
    -->
    
    <!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property>
    用于测试时观察各物理节点与虚拟节点的分布情况，如果指定了这个属性，
    会把虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件，没有默认值，
    如果不指定，就不会输出任何东西 -->
</function>

测试

用navicat连接mycat，随机插入数据，发现均匀的散落到两个库中

标签：mysql10,分库,--,mycat,分片,分表,MyCat,id
From： https://www.cnblogs.com/Edmondhui/p/16856328.html

mysql10--MyCat实现分库分表

1 分库分表介绍

2 MyCat实现分库分表

2.0 MyCat分片策略

2.1 源码安装JDk与MyCat

2.2 MyCat分片配置文件

3 案例之两种常见水平分表

3.1 rang-long算法--按id范围分表

schema.xml

autopartition-long.txt

测试

3.2 murmur算法--按hash分表

schema.xml

rule.xml

测试

相关文章

赞助商

阅读排行