MySql整合Shardingsphere分库分表

标签：分库配置 Shardingsphere 分片 ds 数据源 order MySql

前言

前面一篇文章将MySql主从复制模式就搭建完毕了，但是在主从复制模式情况下不能解决单表数据量大了的性能问题，如一张表书记量太大了，查询效率会比较低，那么此时就需要对数据进行分片处理，每个MySql就只存储部分数据，接下来就是MySql分库分表！MySql分库分表会采用MyCat或者ShardingSphere!

MySql整合Shardingsphere分库分表_数据库

MySql整合Shardingsphere分库分表_数据源_02

MySql整合Shardingsphere分库分表_读写分离_03

MySql整合Shardingsphere分库分表_数据源_04

MySql整合Shardingsphere分库分表_读写分离_05

MySql整合Shardingsphere分库分表_数据源_06

MySql整合Shardingsphere分库分表_数据库_07

MySql整合Shardingsphere分库分表_读写分离_08

MySql整合Shardingsphere分库分表_数据源_09

MySql整合Shardingsphere分库分表_读写分离_10

MySql整合Shardingsphere分库分表_数据库_11

MySql整合Shardingsphere分库分表_读写分离_12

以上内容均来自shardingsphere官方文档

Sharding-Proxy分库分表，读写分离

MySql整合Shardingsphere分库分表_读写分离_13

下面根据上面这张架构图使用Sharding-Proxy实现分库分表，读写分离1.下载Sharding-Proxy中间件

下载地址

MySql整合Shardingsphere分库分表_数据源_14

MySql整合Shardingsphere分库分表_数据源_15

下载后的文件解压

MySql整合Shardingsphere分库分表_数据库_16

2.修改配置

MySql整合Shardingsphere分库分表_数据库_17

这里简单介绍一下配置

server.yaml

#权限验证
#用于执行登录Sharding Proxy的权限验证。配置用户名、密码、可访问的数据库后，必须使用正确的用户名、密码才可登录Proxy。
authentication:
  users:
    root: # 自定义用户名
      password: root  # 自定义用户名
    sharding: # 自定义用户名
      password: sharding #自定义用户名
      authorizedSchemas: sharding_db  该用户授权可访问的数据库，多个用逗号分隔。缺省将拥有root权限，可访问全部数据库。

props:
#  max.connections.size.per.query: 1
#  acceptor.size: 16  #用于设置接收客户端请求的工作线程个数，默认为CPU核数*2
  executor.size: 16  # Infinite by default.
#  proxy.frontend.flush.threshold: 128  # 对于单个大查询,每多少个网络包返回一次
#    # LOCAL: Proxy will run with LOCAL transaction.
#    # XA: Proxy will run with XA transaction.
#    # BASE: Proxy will run with B.A.S.E transaction.
#  proxy.transaction.type: LOCAL #默认为LOCAL事务，允许LOCAL，XA，BASE三个值，XA采用Atomikos作为事务管理器，BASE类型需要拷贝实现ShardingTransactionManager的接口的jar包至lib目录中
#  proxy.opentracing.enabled: false #是否开启链路追踪功能，默认为不开启。详情请参见[链路追踪](/cn/features/orchestration/apm/)
#  query.with.cipher.column: true
  sql.show: false #控制台打印SQL

config-sharding.yaml

schemaName: sharding_db  #逻辑数据源名称
#
dataSources: #数据源配置，可配置多个data_source_name
  ds_0: #与Sharding-JDBC配置不同，无需配置数据库连接池
    url: jdbc:mysql://192.168.0.177:3307/demo_ds_0?serverTimezone=UTC&useSSL=false #数据库url连接
    username: root #数据库用户名
    password: root #数据库密码
    connectionTimeoutMilliseconds: 30000 #连接超时毫秒数
    idleTimeoutMilliseconds: 60000 #空闲连接回收超时毫秒数
    maxLifetimeMilliseconds: 1800000 #连接最大存活时间毫秒数
    maxPoolSize: 50 #最大连接数
  ds_1:
    url: jdbc:mysql://192.168.0.177:3307/demo_ds_1?serverTimezone=UTC&useSSL=false
    username: root
    password: root
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
#
shardingRule:
  tables:
    t_order:
      actualDataNodes: ds_${0..1}.t_order_${0..1}
      tableStrategy:
        inline:
          shardingColumn: order_id
          algorithmExpression: t_order_${order_id % 2}
      keyGenerator:
        type: SNOWFLAKE
        column: order_id
    t_order_item:
      actualDataNodes: ds_${0..1}.t_order_item_${0..1}
      tableStrategy:
        inline:
          shardingColumn: order_id
          algorithmExpression: t_order_item_${order_id % 2}
      keyGenerator:
        type: SNOWFLAKE
        column: order_item_id
  bindingTables:
    - t_order,t_order_item
  defaultDatabaseStrategy:
    inline:
      shardingColumn: user_id
      algorithmExpression: ds_${user_id % 2}
  defaultTableStrategy:
    none:

config-sharding.yaml-配置介绍

dataSources: #数据源配置，可配置多个data_source_name
  <data_source_name>: #<!!数据库连接池实现类> `!!`表示实例化该类
    driverClassName: #数据库驱动类名
    url: #数据库url连接
    username: #数据库用户名
    password: #数据库密码
    # ... 数据库连接池的其它属性

shardingRule:
  tables: #数据分片规则配置，可配置多个logic_table_name
    <logic_table_name>: #逻辑表名称
      actualDataNodes: #由数据源名 + 表名组成，以小数点分隔。多个表以逗号分隔，支持inline表达式。缺省表示使用已知数据源与逻辑表名称生成数据节点，用于广播表（即每个库中都需要一个同样的表用于关联查询，多为字典表）或只分库不分表且所有库的表结构完全一致的情况
        
      databaseStrategy: #分库策略，缺省表示使用默认分库策略，以下的分片策略只能选其一
        standard: #用于单分片键的标准分片场景
          shardingColumn: #分片列名称
          preciseAlgorithmClassName: #精确分片算法类名称，用于=和IN。。该类需实现PreciseShardingAlgorithm接口并提供无参数的构造器
          rangeAlgorithmClassName: #范围分片算法类名称，用于BETWEEN，可选。。该类需实现RangeShardingAlgorithm接口并提供无参数的构造器
        complex: #用于多分片键的复合分片场景
          shardingColumns: #分片列名称，多个列以逗号分隔
          algorithmClassName: #复合分片算法类名称。该类需实现ComplexKeysShardingAlgorithm接口并提供无参数的构造器
        inline: #行表达式分片策略
          shardingColumn: #分片列名称
          algorithmInlineExpression: #分片算法行表达式，需符合groovy语法
        hint: #Hint分片策略
          algorithmClassName: #Hint分片算法类名称。该类需实现HintShardingAlgorithm接口并提供无参数的构造器
        none: #不分片
      tableStrategy: #分表策略，同分库策略
      keyGenerator: 
        column: #自增列名称，缺省表示不使用自增主键生成器
        type: #自增列值生成器类型，缺省表示使用默认自增列值生成器。可使用用户自定义的列值生成器或选择内置类型：SNOWFLAKE/UUID
        props: #属性配置, 注意：使用SNOWFLAKE算法，需要配置worker.id与max.tolerate.time.difference.milliseconds属性。若使用此算法生成值作分片值，建议配置max.vibration.offset属性
          <property-name>: 属性名称
      
  bindingTables: #绑定表规则列表
  - <logic_table_name1, logic_table_name2, ...> 
  - <logic_table_name3, logic_table_name4, ...>
  - <logic_table_name_x, logic_table_name_y, ...>
  broadcastTables: #广播表规则列表
  - table_name1
  - table_name2
  - table_name_x
  
  defaultDataSourceName: #未配置分片规则的表将通过默认数据源定位  
  defaultDatabaseStrategy: #默认数据库分片策略，同分库策略
  defaultTableStrategy: #默认表分片策略，同分库策略
  defaultKeyGenerator: #默认的主键生成算法 如果没有设置,默认为SNOWFLAKE算法
    type: #默认自增列值生成器类型，缺省将使用org.apache.shardingsphere.core.keygen.generator.impl.SnowflakeKeyGenerator。可使用用户自定义的列值生成器或选择内置类型：SNOWFLAKE/UUID
    props:
      <property-name>: #自增列值生成器属性配置, 比如SNOWFLAKE算法的worker.id与max.tolerate.time.difference.milliseconds

  masterSlaveRules: #读写分离规则，详见读写分离部分
    <data_source_name>: #数据源名称，需要与真实数据源匹配，可配置多个data_source_name
      masterDataSourceName: #详见读写分离部分
      slaveDataSourceNames: #详见读写分离部分
      loadBalanceAlgorithmType: #详见读写分离部分
      props: #读写分离负载算法的属性配置
        <property-name>: #属性值
      
props: #属性配置
  sql.show: #是否开启SQL显示，默认值: false
  executor.size: #工作线程数量，默认值: CPU核数
  max.connections.size.per.query: # 每个查询可以打开的最大连接数量,默认为1
  check.table.metadata.enabled: #是否在启动时检查分表元数据一致性，默认值: false

config-master_slave.yaml

schemaName: sharding_db_1

dataSources:
  master_ds_1:
    url: jdbc:mysql://192.168.0.177:3307/demo_ds_1?serverTimezone=UTC&useSSL=false
    username: root
    password: root
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
  slave_ds_1:
    url: jdbc:mysql://192.168.0.177:3317/demo_ds_1?serverTimezone=UTC&useSSL=false
    username: root
    password: root
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
    
    
masterSlaveRule:
  name: ms_ds_1
  masterDataSourceName: master_ds_1
  slaveDataSourceNames:
    - slave_ds_1

config-master_slave.yaml-配置介绍

ataSources: #省略数据源配置，与数据分片一致

masterSlaveRule:
  name: #读写分离数据源名称
  masterDataSourceName: #主库数据源名称
  slaveDataSourceNames: #从库数据源名称列表
    - <data_source_name1>
    - <data_source_name2>
    - <data_source_name_x>
  loadBalanceAlgorithmType: #从库负载均衡算法类型，可选值：ROUND_ROBIN，RANDOM。若`loadBalanceAlgorithmClassName`存在则忽略该配置
  props: #读写分离负载算法的属性配置
    <property-name>: #属性值

注意：config-master_slave.yaml配置时需要注意，主从数据源不要写在同一个配置文件中，如果异常情况下

MySql整合Shardingsphere分库分表_读写分离_18