首页 > 数据库 >MySQL学习笔记：mycat2原理与实现

MySQL学习笔记：mycat2原理与实现

时间：2023-05-14 22:31:44浏览次数：51  
标签：数据源 mycat2 mysql 笔记 mycat wrapper MySQL root 数据库

mycat2

官网：MyCat2 (mycatone.top)

参考学习视频这可能是B站唯一把数据库中间件Mycat2讲的如此深入透彻的教程！_哔哩哔哩_bilibili

什么是mycat2？

Mycat是开源社区在阿里Cobar基础上进行二次开发的数据库中间件，也是目前最流行的基于java语言编写的数据库中间件；是一个开源的分布式数据库系统，是一个实现了MySQL协议的的Server，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问（SQLyog、navicate），而其后端可以用MySQL原生（Native）协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为N个小表，存储在后端MySQL服务器里或者其他数据库里。配合数据库的主从模式还可实现读写分离

Mycat发展到目前的版本，已经不是一个单纯的MySQL代理了，它的后端可以支持MySQL、SQL Server、Oracle、DB2、PostgreSQL等主流数据库，也支持MongoDB这种新型NoSQL方式的存储，未来还会支持更多类型的存储。

在工作方式上，Mycat会部署成一个MySQL服务，程序员只需要像操作普通的单机MySQL服务一样去操作mycat，mycat再去完成分库分表功能，而后端的数据库产品，建议还是使用MySQL

为什么要用mycat2？

  1. 高访问量高并发对数据库的压力
  2. 读写请求数据不一致

功能

1.读写分离

在这里插入图片描述

2.分库分表

3.多数据源整合

原理

mycat的原理中最重要的一个动词就是拦截，它拦截了用户发送过来的SQL语句，首先按对SQL语句做了一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此SQL发往后端真实数据库，并将返回的结果做适当的处理，最终在返回给用户。

在这里插入图片描述

相关概念

1.分库分表

按照一定规则把数据库中的表拆分为多个带有数据库实例，物理库，物理表访问路径的分表

分库：一个电商项目，分为用户库、订单库等等

分表：一张订单表数据数百万挑，达到mysql单表瓶颈，分到多个数据库中的多张表

2.逻辑库

数据库代理中的数据库，可以包含多个逻辑表

mycat里定义的表，在逻辑上存在，物理上在MySQL里并不存在，有可能是多个MySQL数据库共同组成一个逻辑库

一种映射，映射到后端真实的MySQL数据库

3.逻辑表

数据库代理中的表，可以映射代理连接的数据库中的物理表，可以一对一，可以一对多

4.物理库

MySQL真实数据库

5.物理表

MySQL真实数据库中的真实数据表

6.拆分键

分片键，描述拆分逻辑表的数据规则的字段

比如订单表可以按照归属的用户id拆分，用户id就是拆分键

7.原型库（prototype）

原型库就是mycat2后面的数据库，比如mysql库

原型库就是存储数据的真实数据库，配置数据源时必须指定原型库

安装部署

1.官网下载源码包

核心源码包jar包Index of /2.0/1.22-release/ (mycat.org.cn)

外壳zip包Index of /2.0/install-template/ (mycat.org.cn)

2.源码包整合

解压zip包，将jar包放入解压好的zip包的/mycat/lib目录下

在这里插入图片描述

3.将整合好的mycat源码包上传到linux的/usr/local目录下

[root@mysqlrouter1 lib]# ls
libwrapper-aix-ppc-32.a       libwrapper-linux-x86-32.so             libwrapper-macosx-universal-64.jnilib  mycat2-1.22-release-jar-with-dependencies-2022-10-13.jar
libwrapper-aix-ppc-64.a       libwrapper-linux-x86-64.so             libwrapper-solaris-sparc-32.so         wrapper.jar
libwrapper-hpux-parisc-64.sl  libwrapper-macosx-ppc-32.jnilib        libwrapper-solaris-sparc-64.so         wrapper-windows-x86-32.dll
libwrapper-linux-ppc-64.so    libwrapper-macosx-universal-32.jnilib  libwrapper-solaris-x86-32.so           wrapper-windows-x86-64.dll

4.修改文件权限，防止启动报错

[root@mysqlrouter1 mycat]# cd bin/
[root@mysqlrouter1 bin]# ls
mycat               wrapper-aix-ppc-64      wrapper-linux-x86-32   wrapper-macosx-universal-32  wrapper-solaris-sparc-64    wrapper-windows-x86-64.exe
mycat.bat           wrapper-hpux-parisc-64  wrapper-linux-x86-64   wrapper-macosx-universal-64  wrapper-solaris-x86-32
wrapper-aix-ppc-32  wrapper-linux-ppc-64    wrapper-macosx-ppc-32  wrapper-solaris-sparc-32     wrapper-windows-x86-32.exe
[root@mysqlrouter1 bin]# chmod 777 mycat
[root@mysqlrouter1 bin]# chmod 777 wrapper-linux-x86-64 
[root@mysqlrouter1 bin]# chmod 777 wrapper-linux-x86-32 
[root@mysqlrouter1 bin]# chmod 777 wrapper-linux-ppc-64

在这里插入图片描述

5.mycat连接的MySQL数据库里添加授权用户

创建用户，用户名为mycat，密码为123456，赋权限·

root@(none) 01:14  mysql>create user 'mycat'@'%' identified by '123456';
Query OK, 0 rows affected (0.00 sec)

root@(none) 01:15  mysql>grant all on *.* to 'mycat'@'%';
Query OK, 0 rows affected (0.00 sec)

root@(none) 01:16  mysql>flush privileges;
Query OK, 0 rows affected (0.00 sec)

6.修改mycat的prototype的配置

mycat2的本机mysql环境配置，因为mycat2是部署成一个mysql服务的，操作mycat2就像操作一样mysql一样

启动mycat之前需要确认prototype数据源对应的mysql数据库配置，修改对应的user用户，password密码，url中的ip

[root@mysqlrouter1 datasources]# vim prototypeDs.datasource.json 

{
        "dbType":"mysql",
        "idleTimeout":60000,
        "initSqls":[],
        "initSqlsGetConnection":true,
        "instanceType":"READ_WRITE",
        "maxCon":1000,
        "maxConnectTimeout":3000,
        "maxRetryCount":5,
        "minCon":1,
        "name":"prototypeDs",
        "password":"123456",---连接本机mysql数据库的用户密码
        "type":"JDBC",
        "url":"jdbc:mysql://192.168.31.153:3306/mydb1?useUnicode=true&serverTimezone=Asia/Shanghai&characterEncoding=UTF-8",---指定mysql主机的ip地址端口号和数据库
        "user":"mycat", ---远程连接mysql数据库的用户
        "weight":0
}

7.测试连接远程用户

[root@mysqlrouter1 datasources]# mysql -umycat -p'123456' -h 192.168.31.111
[root@mysqlrouter1 datasources]# mysql -umycat -p'123456' -h 192.168.31.153

8.启动mycat

[root@mysqlrouter1 bin]# pwd
/usr/local/mycat/bin
[root@mysqlrouter1 bin]# ./mycat start
Starting mycat2...

配置文件

1、服务（ server）

服务相关配置 （1） 所在目录 mycat/conf 默认配置即可

2、用户（ user）

配置用户相关信息 （1） 所在目录 mycat/conf/users （2） 命名方式 {用户名}.user.json （3） 配置内容

vim mycat/conf/users/root.user.json
{
"ip":null,
"password":"123456",
"transactionType":"xa",
"username":"root",
"isolation":3
}

#字段含义 #ip：访问本机mycat2客户端的ip，建议为空,填写后会对客户端的ip进行限制，只有本机的任意ip可以登录

username：用户名，默认为root

password：密码，默认为123456

isolation：设置初始化的事务隔离级别

READ_UNCOMMITTED:1 READ_COMMITTED:2 REPEATED_READ:3,默认 SERIALIZABLE:4

transactionType：事务类型

可选值: proxy 本地事务,在涉及大于 1 个数据库的事务,commit 阶段失败会导致不一致,但是兼容 性最好 xa 事务,需要确认存储节点集群类型是否支持 XA 可以通过语句实现切换 set transaction_policy = 'xa' set transaction_policy = 'proxy' 可以通过语句查询 SELECT @@transaction_policy

3、数据源（ datasource）

配置Mycat连接的数据源信息

所在目录

mycat/conf/datasources

命名方式

{数据源名字}.datasource.json

配置内容

vim mycat/conf/datasources/ prototype. datasources.json
{
"dbType": "mysql",
"idleTimeout": 60000,
"initSqls": [],
"initSqlsGetConnection": true,
"instanceType": "READ_WRITE",
"maxCon": 1000,
"maxConnectTimeout": 3000,
"maxRetryCount": 5,
"minCon": 1,
"name": "prototype",
"password": "123456",
"type": "JDBC",
"url":
"jdbc:mysql://127.0.0.1:3306/mysql?useUnicode=true&serverTimezone=UTC",
"user": "root",
"weight": 0,
"queryTimeout":30,//mills
}

字段含义

dbType：数据库类型，mysql

name：数据源名称，在集群中加入数据源时会用到

password：连接后端真实数据库的用户密码

type：数据源类型，默认 JDBC

url：访问数据库地址，ip+端口+具体库表（也可以不接）

idleTimeout：空闲连接超时时间

initSqls：初始化sql

initSqlsGetConnection：对于 jdbc 每次获取连接是否都执行 initSqls

instanceType：配置实例只读还是读写

注意：在mycat2里，在集群中添加数据源信息时，数据源instanceType为读写时，设置为master节点，那么它可以读写；如果设置为slave，那么它只能读不能写。就是说instanceType不管配置成什么，如果该数据源作为从节点，那么只能读写。

可选值: READ_WRITE,READ,WRITE weight ：负载均衡权重

连接相关配置

"maxCon": 1000, "maxConnectTimeout": 3000, "maxRetryCount": 5, "minCon": 1,

4、集群（ cluster）

配置集群信息

所在目录

mycat/conf/clusters

命名方式

{集群名字}.cluster.json

配置内容

vim mycat/conf/clusters/prototype.cluster.json
{
"clusterType":"MASTER_SLAVE",
"heartbeat":{
"heartbeatTimeout":1000,
"maxRetryCount":3,//2021-6-4前是maxRetry，后更正为
maxRetryCount
"minSwitchTimeInterval":300,
"slaveThreshold":0
},
"masters":[ //配置多个主节点,在主挂的时候会选一个检测存活的数据源作
为主节点
"prototypeDs"
],
"replicas":[//配置多个从节点
"xxxx"
],
"maxCon":200,
"name":"prototype",
"readBalanceType":"BALANCE_ALL",
"switchType":"SWITCH"
////////////////////////////////////可选
//////////////////////////////////
,
"timer":{ //MySQL集群心跳周期,配置则开启集群心跳,Mycat主动检测主从延迟以
及高可用主从切换
"initialDelay": 30,
"period":5,
"timeUnit":"SECONDS"
},
//readBalanceName:"BALANCE_ALL",
//writeBalanceName:"BALANCE_ALL",
}

字段含义

clusterType：集群类型

可选值: SINGLE_NODE:单一节点 MASTER_SLAVE:普通主从 GARELA_CLUSTER:garela cluster/PXC 集群 MHA：MHA 集群 MGR：MGR 集群

readBalanceType：查询负载均衡策略

可选值: BALANCE_ALL(默认值) 获取集群中所有数据源 BALANCE_ALL_READ 获取集群中允许读的数据源 BALANCE_READ_WRITE 获取集群中允许读写的数据源,但允许读的数据源优先 BALANCE_NONE 获取集群中允许写数据源,即主节点中选择

switchType：切换类型

可选值: NOT_SWITCH:不进行主从切换 SWITCH:进行主从切换

4、逻辑库表（ schema）

配置逻辑库表，实现分库分表

所在目录

mycat/conf/schemas

命名方式

{库名}.schema.json

配置内容

vim mycat/conf/schemas/mydb1.schema.json
#库配置
{
"schemaName": "mydb",
"targetName": "prototype"
}

schemaName：逻辑库名

targetName：目的数据源或集群

targetName自动从prototype目标加载test库下的物理表或者视图作为单表,prototype 必须是mysql服务器

标签：数据源,mycat2,mysql,笔记,mycat,wrapper,MySQL,root,数据库
From： https://blog.51cto.com/u_16070827/6275240

相关文章

  • LabVIEW数据库Mysql数据库操作;增加-删除-更新-查询;数据管理程序，完整案例，可移植。
    LabVIEW数据库Mysql数据库操作;增加-删除-更新-查询;数据管理程序，完整案例，可移植。ID:9299673612213945......
  • MySQL学习日志十一，常用函数，聚合函数及分组过滤，数据库级别的MD5加密
    点我跳转到菜鸟的函数总结在这里举几个例子吧--数学运算SELECTABS(-52)--取绝对值SELECTCEILING(5.4160)--向上取整SELECTFLOOR(4631.449613)--向下取整SELECTRAND()--返回一个0-1之间的随机数SELECTSIGN(-4510)--判断数字的正负，正数返回1，负数返回-1一堆......
  • 01构建之法阅读笔记
    《构建之法》一书深入浅出地解释了软件构建的重要性，并详细介绍了如何构建高质量、易于维护和可扩展的软件。书中提到，软件构建有许多方面，包括编码、测试、文档和版本控制等，而这些方面都有着各自的最佳实践和技巧，需要程序员不断学习和实践。此外，本书还介绍了敏捷开发、持续集成、代......
  • C基础笔记(数组)
    数组 声明一个数组，需要指定元素的类型和元素的数量数组都是以0作为它们第一个元素的索引，即0作为第一位存储数据数组是用来存储一系列数据(相同类型的变量)语法: 数组类型 数组名称[整型常量]#include<stdio.h>intmain(){intcj[10];//数组的定义cj......
  • pwn刷题笔记
    jarvisoj_level2（ret2text）checksec检查保护机制，开启了NX。vulnerable_function函数处存在栈溢出漏洞：buf只能存放0x88个字节，但可以读入0x100个字节。system函数plt地址：0x8048320ida查看字串，“/bin/sh”地址：0x804A024构造payload#!/usr/bin/envpython3frompwnimport*io......
  • 【MySQL--08】复合查询
    【MySQL--08】复合查询在之前我们对表的查询都是对一张表进行查询，再实际开发中这还远远不够。我们仍然使用雇员信息表scott_data.sql--使用source加上sql文件路径就可以讲表加入到数据库内--mysql>source/home/Lxy/mysql/mysql/lesson8/scott.sqlQueryOK,0rowsaffected......
  • 【2023 · CANN训练营第一季】进阶班笔记1
    1.在AscendCL中，关于媒体数据处理V1版本中的内存申请/释放接口acldvppMalloc/acldvppFree：该接口主要用于分配内存给Device侧媒体数据处理时使用，申请的大页内存满足数据处理的要求（例如，内存首地址128字节对齐）。调用该接口申请内存后，如果内存不使用，需及时调用acldvppFree接口释放内存频......
  • MySQL学习日志十，子查询和嵌套查询
    子查询where(这个值是计算出来的)先执行where里面的语句，之后执行外面的语句本质：where里面嵌套一个子查询语句查询参加高等数学考试的学生（学号，姓名。科目编号，成绩）,降序排列--方式一：连接查询SELECTs.studentno,studentname,r.subjectno,studentresultFROMstudentsINNER......
  • Unreal Engine 大象无形学习笔记 （第一部分：虚幻C++编程）
    Q1.什么时候继承自UObject类，什么时候声明纯C++类？UObject自带功能：1.垃圾收集：继承自UObject并被标记为UProperty的变量，会被引擎自动进行生命周期管理。2.Referenceupdating引用自动更新3.反射4.序列化：纯C++类也可以手动实现5.Automaticupdatingofdefaultproperty......
  • 03-面试必会-Mysql篇
    1.Mysql查询语句的书写顺序Select[distinct]<字段名称>from表1[<join类型>join表2on<join条件>]where<where条件>groupby<字段>having<having条件>orderby<排序字段>limit<起始偏移量,行数>2.Mysql查询语句的执行顺序（8）Select（9）di......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99