Mycat代理笔记

Mycat简介

什么是 mycat

• mycat 是 Java 语言开发的目前比较主流的数据库中间件之一，是 mycat 团队在阿里开源的 Cobar 产品基础上而研发的，也一直在维护。mycat 实现了 MySQL 协议的服务器，前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端可以用 MySQL 原生协议与多个 MySQL 服务器通信，也可以用 JDBC 协议与大多数主流数据库服务器通信

  mycat 不单只可以做 MySQL 的代理，它的后端可以支持 MySQL、SQL Server、Oracle、DB2、PostgreSQL 等主流数据库，也支持 MongoDB 这种新型 NoSQL 方式的存储，未来还会支持更多类型的存储

可以实现的功能

• 读写分离　M-S-S M-M-S-S
• 负载均衡 Galera Cluster
• 支持数据的分片自动路由与聚合

mycat 的实现原理

• Mycat 原理

  Mycat 的原理并不复杂，复杂的是代码，如果代码也不复杂，那么早就成为一个传说了
  Mycat 的原理中最重要的一个动词是 “拦截”，它拦截了用户发送过来的 SQL 语句，首先对 SQL 语句做了一些特定的分析：如分
  片分析、路由分析、读写分离分析、缓存分析等，然后将此 SQL 发往后端的真实数据库，并将返回的结果做适当的处理，最终再
  返回给用户

mycat 的应用场景

• 数据库读写分离，此时配置最为简单，支持读写分离，主从切换
• 数据库分库分表，这也是 mycat 的核心功能之一，可以解决数据库分库分表之后的数据插入和查询问题
• 多租户应用，每个应用一个数据库，但程序只需连接 mycat，程序不改变，实现多租户化
• 海量数据的存储及实时查询，使用 mycat 是一种简单有效的方案
• 替代 Hbase，分析大数据

代理组件

• MySQL Proxy MySQL官方
• Atlas 奇虎360
• DBProxy 美团点评
• Amoeba 早期阿里巴巴
• cober 阿里巴巴
• MyCat 阿里巴巴

如图：


架构

环境配置

配置JAVA

使用 mycat 前必须安装 Java 的 JDK 环境

安装包—百度网盘链接: https://pan.baidu.com/s/1ce-UpVwcvx7nzwRtC4GhFg?pwd=ewhn 提取码: ewhn

上传安装包到Mycat服务器
jdk-8u91-linux-x64.tar.gz     Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

[root@mycat ~] tar xf jdk-8u91-linux-x64.tar.gz -C /usr/local/    //解压java软件开发工具包到/usr/local/下

[root@mycat ~] ln -s /usr/local/jdk1.8.0_91/ /usr/local/java     //设置软连接方便输入
[root@mycat ~] ll /usr/local/
lrwxrwxrwx. 1 root root  23 11月  3 11:32 java -> /usr/local/jdk1.8.0_91/

[root@mycat ~] vim /etc/profile      //添加如下内容  设置JAVA变量，便于JAVA调用
JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
[root@mycat ~] source /etc/profile    //使其生效

[root@mycat ~] java -version         //查看JAVA版本  说明安装成功
java version "1.8.0_91"
Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)

Mycat

http://www.mycat.org.cn/    //Mycat官网
wget http://dl.mycat.org.cn/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz   //Mycat安装包下载位置，如果没公网的话可使用百度网盘进行下载
[root@mycat ~] tar xf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz -C /usr/local/   //解压Mycat安装包到/usr/local/下

配置Mycat前端

注销多余用户

 [root@mycat ~] vim /usr/local/mycat/conf/server.xml    //95行-99行
 94 <!--
 95         <user name="user">
 96                 <property name="password">user</property>
 97                 <property name="schemas">TESTDB</property>
 98                 <property name="readOnly">true</property>
 99         </user>
100 -->

配置Mycat后端

 [root@mycat ~] vim /usr/local/mycat/conf/server.xml
 80         <user name="root">
 81                 <property name="password">123456</property>
 82                 <property name="schemas">tianyun</property>
 83 																								//name="root" 连接mycat数据库账户
 84                 <!-- 表级 DML 权限设置 -->				//password 123456 连接mycat数据库的密码
 85                 <!--														//schemas  tianyun   后方数据库的统称
 86                 <privileges check="false">
 87                         <schema name="TESTDB" dml="0110" >
 88                                 <table name="tb01" dml="0000"></table>
 89                                 <table name="tb02" dml="1111"></table>
 90                         </schema>
 91                 </privileges>
 92                  -->
 93         </user>

[root@mycat ~] cp /usr/local/mycat/conf/schema.xml .     //备份配置文件防止误操作
  1 <?xml version="1.0"?>
  2 <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
  3 <mycat:schema xmlns:mycat="http://io.mycat/">
  4						//tianyun架构名称(虚拟)																							//dn1节点名称(虚拟)和dataNode name起到关联
  5         <schema name="tianyun" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1" ></schema>
  6
  7         <dataNode name="dn1" dataHost="localhost1" database="tianyun" /> //tianyun真实数据库
  8								//localhost1主机群名称(虚拟)
  9         <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"     //balance=1  代表负载均衡
 10         					writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
 11                 <heartbeat>select user()</heartbeat>    //监测心跳，不定时的像后端服务器发送selecr user()
 12										//master1写主机名(虚拟)	master1写主机地址(真实)	//mycatproxy后端数据库       //P@ssw0rd1234后端数据库密码
 13                 <writeHost host="master1" url="master1:3306" user="mycatproxy" password="P@ssw0rd1234">
 14                         <readHost host="slave1" url="slave1:3306" user="mycatproxy" password="P@ssw0rd1234" />
 15                         <readHost host="slave2" url="slave2:3306" user="mycatproxy" password="P@ssw0rd1234" />
 16                 </writeHost>	//host=slave2读主机名(虚拟)   url=slave2读主机地址(真实)
 17
 18                 <writeHost host="master2" url="master2:3306" user="mycatproxy" password="P@ssw0rd1234">
 19                         <readHost host="lsave1" url="slave1:3306" user="mycatproxy" password="P@ssw0rd1234" />
 20                         <readHost host="lsave2" url="slave2:3306" user="mycatproxy" password="P@ssw0rd1234" />
 21                 </writeHost>
 22         </dataHost>
 23 </mycat:schema>

注释：

schema name：mycat维护的集群名称。
datanode：后方节点群的名称。
datahost：后方节点群的主机名称。
writehost：写主机
readhost：读主机
在本例中switchType值设置为1，表示自动切换，某些对主从数据一致要求较高的场景，建议使用2判断主从状态后再切换切换的触发条件为主节点mysql服务崩溃或停止
slaveThreshold 主从的延迟在多少秒以内，则把读请求分发到这个从节点，否则不往这个节点分发，假设生产环境能容忍的主从延时为60秒，则设置此值为60，此例中设置值为100

属性介绍

balance 类型

• balance=“0”, 关闭读写分离功能，所有读操作都发送到当前可用的writeHost上
• balance=“1”，开启读写分离，所有读操作都随机的发送到readHost

writeType 属性

• 备份型

  • writeType="0", 所有写操作发送到配置的第一个 writeHost，第一个挂了切到还生存的第二个writeHost，重新启动后已切换后的为准，切换记录在配置文件中:dnindex.properties

• 负载型

  • writeType="1"，所有写操作都随机的发送到配置的 writeHost

switchType 模式

• switchType='-1' 负1表示不自动切换
• switchType='1' 默认值，表示根据延时自动切换
• switchType='2' 根据MySQL主从同步的状态决定是否切换,心跳语句为 show slave status

配置Mysql群

M-M-S-S　准备Mycat连接的用户及权限

例如master1

mysql> grant all on *.* to 'mycatproxy'@'192.168.23.23' identified by 'P@ssw0rd1234';
Query OK, 0 rows affected, 1 warning (0.00 sec)        //192.168.23.23是mycat服务器的IP

启动Mycat

回到Mycat服务器上执行

[root@mycat ~] /usr/local/mycat/bin/mycat start
[root@mycat ~] netstat -nltp      //8066端口存在说明启动成功
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1276/master
tcp        0      0 127.0.0.1:32000         0.0.0.0:*               LISTEN      13235/java
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1040/sshd
tcp6       0      0 :::34297                :::*                    LISTEN      13235/java
tcp6       0      0 ::1:25                  :::*                    LISTEN      1276/master
tcp6       0      0 :::1984                 :::*                    LISTEN      13235/java
tcp6       0      0 :::8066                 :::*                    LISTEN      13235/java
tcp6       0      0 :::42855                :::*                    LISTEN      13235/java
tcp6       0      0 :::9066                 :::*                    LISTEN      13235/java
tcp6       0      0 :::22                   :::*                    LISTEN      1040/sshd
[root@mycat ~] ps -ef | grep mycat   //检测进程是否启动
[root@mycat ~] yum -y install mariadb   //安装客户端模拟用户访问

[root@mycat ~] mysql -hmycat -uroot -p123456 -P8066    //可以看到mycat上原本没有mysql但是也是可以正常登录
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.6.29-mycat-1.6-RELEASE-20161028204710 MyCat Server (OpenCloundDB)

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [(none)]>

MySQL [(none)]> show databases；   //看到的数据库是虚拟的，注意后方mysql群中应该创建该库
+----------+
| DATABASE |
+----------+
| tianyun  |
+----------+
1 row in set (0.00 sec) 

在mysql-master1上创库创表

mysql> create database tianyun;
Query OK, 1 row affected (0.00 sec)

mysql> create table t1 (id int);
Query OK, 0 rows affected (0.01 sec)

mysql> insert into t1 values (1);
Query OK, 1 row affected (0.00 sec)

Mycat使用后方数据库

在mycat上访问tianyun数据库下面的t1表

MySQL [(none)]> select * from tianyun.t1;
+------+
| id   |
+------+
|    1 |
+------+
1 row in set (0.04 sec)     //在mysql集群能 查询到数据。实验完成