首页 > 其他分享 >读写分离与分库分表

读写分离与分库分表

时间：2023-05-08 18:35:54浏览次数：49  
标签：分库 读写 MySQL 192.168 Atlas proxy mysql 分表 3306

MySQL中间件Atlas

一 atlas简介

Mysql 的 proxy 中间件有比较多的工具，例如，mysql-proxy(官方提供), atlas , cobar, mycat, tddl, tinnydbrouter等等。

而Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。

　　同时，有超过50家公司在生产环境中部署了Atlas，超过800人已加入了我们的开发者交流群，并且这些数字还在不断增加。而且安装方便。配置的注释写的蛮详细的，都是中文。

　　Atlas官方链接： https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md

　　Atlas下载链接： https://github.com/Qihoo360/Atlas/releases

二 主要功能

Atlas主要功能(代理)
	1.读写分离
	2.从库负载均衡
	3.IP过滤
	4.自动分表
	5.DBA可平滑上下线DB(不影响用户的体验,把你的数据库下线)
	6.自动摘除宕机的DB
	
Atlas相对于官方MySQL-Proxy的优势
	1.将主流程中所有Lua代码用C重写，Lua仅用于管理接口
	2.重写网络模型、线程模型
	3.实现了真正意义上的连接池
	4.优化了锁机制，性能提高数十倍

三 使用场景

　　Atlas是一个位于前端应用与后端MySQL数据库之间的中间件，在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池。

　Atlas使得应用程序员无需再关心读写分离、分表等与MySQL相关的细节，可以专注于编写业务逻辑，同时使得DBA的运维工作对前端应用透明，上下线DB前端应用无感知。

img

四 企业读写分离及分库分表其他方案了解

Mysql-proxy（oracle）
 
Mysql-router（oracle）
 
Atlas (Qihoo 360)
 
Atlas-sharding (Qihoo 360)
 
Cobar（是阿里巴巴（B2B）部门开发）
 
Mycat（基于阿里开源的Cobar产品而研发）
 
TDDL Smart Client的方式（淘宝）
 
Oceanus(58同城数据库中间件)
 
OneProxy（原支付宝首席架构师楼方鑫开发 ）
 
vitess（谷歌开发的数据库中间件）
 
Heisenberg(百度)
 
TSharding(蘑菇街白辉)
 
Xx-dbproxy（金山的Kingshard、当当网的sharding-jdbc ）
 
amoeba

五 安装Atlas

# 虽然包时el6的，但是centos7也能用
wget https://github.com/Qihoo360/Atlas/releases/download/2.2.1/Atlas-2.2.1.el6.x86_64.rpm
 
rpm -ivh Atlas-2.2.1.el6.x86_64.rpm

六 配置

[root@manager ~]# cd /usr/local/mysql-proxy/conf
[root@manager mysql-proxy]# vim test.cnf
[mysql-proxy]
# 用来登录atlas管理接口的账号和密码，部署登录msyql数据
admin-username = bigjason 
admin-password = 666    
proxy-backend-addresses = 192.168.15.100:3306 # 写节点（主库）
proxy-read-only-backend-addresses = 192.168.15.101:3306,192.168.15.102:3306 # 只读节点（从库）
 
# 用来登录msyql的账号和加密密码，都是存在与mysql库的账号免密，我们需要指定我们自己的，可以指定多个
# 注意一定要是加密密码，需要执行
# /usr/local/mysql-proxy/bin/encrypt 123，得到123的加密密码
pwds = root:3yb5jEku5h4=, jason:3yb5jEku5h4=     
daemon = true       # 后台运行
keepalive = true    # 监测节点心跳
event-threads = 4   # 并发数量，设置cpu核数一半
log-level = message   # 日志级别
log-path = /usr/local/mysql-proxy/log  # 日志目录
sql-log = On   # sql记录（可做审计）
proxy-address = 0.0.0.0:3306    # 业务连接端口
admin-address = 0.0.0.0:2345    # 管理连接端口
charset=utf8   # 字符集

七 启动服务

#1、启动，配置文件名为test.conf对应此处的test
/usr/local/mysql-proxy/bin/mysql-proxyd test start
 
#2、验证启动（没起来他也显示OK）
ps -ef|grep [m]ysql-proxy
netstat -lntup|grep [m]ysql-proxy
 
#3、查看日志定位问题
tail -f /usr/local/mysql-proxy/log/test.log

八 mysql库创建账号

grant all on *.* to 'root'@'%' identified by '123';
grant all on *.* to 'jason'@'%' identified by '123';

八 Atlas使用

进入管理接口

# 进入管理接口,使用配置文件中指定的管理账号与密码
mysql -ubigjason -p666 -h127.0.0.1 -P2345
 
#查看帮助,依据帮助查找可执行的管理操作
mysql> SELECT * FROM help;
#查看后端的数据库
SELECT * FROM backends;

在任意一台机器上，登录atlas主机

#1、为了很好地观察读写分离的效果，可以先把从库的sql延迟设置大
stop slave;
CHANGE MASTER TO MASTER_DELAY = 60;
start slave;
	
#2、登录atlas来进行测试
# -u、-p为atlas配置文件中pwds指定的账号和密码
# -h后的地址为atlas主机的地址
# -P自定atlas监听的ip
mysql -uroot -p123 -h 192.168.15.200 -P 3306
 
mysql> create database db1;
此时去主库查看，发现有db1库，但是去所有从库查看发现都没有
过了一分钟后从库上都有db1了，然后我们通过atlas也可以查看到了
mysql> show databases;

九 管理功能简介

[rml_read_more]：

9.1 连接管理服务，使用配置文件中管理接口账户

mysql -ubigjason -p666 -h192.168.15.200 -P2345

9.2 持久化配置文件

mysql> save config;
Empty set (0.00 sec)

9.3 节点管理

9.3.1 查看所有节点

mysql> SELECT * FROM backends;
+-------------+---------------------+-------+------+
| backend_ndx | address             | state | type |
+-------------+---------------------+-------+------+
|           1 | 192.168.15.100:3306 | up    | rw   |
|           2 | 192.168.15.101:3306 | up    | ro   |
|           3 | 192.168.15.102:3306 | up    | ro   |
+-------------+---------------------+-------+------+
3 rows in set (0.00 sec)

9.3.2 节点的上线和下线

下线

mysql> set offline 1;
+-------------+---------------------+---------+------+
| backend_ndx | address             | state   | type |
+-------------+---------------------+---------+------+
|           1 | 192.168.15.100:3306 | offline | rw   |
+-------------+---------------------+---------+------+
1 row in set (0.00 sec)
 
mysql> SELECT * FROM backends;
+-------------+---------------------+---------+------+
| backend_ndx | address             | state   | type |
+-------------+---------------------+---------+------+
|           1 | 192.168.15.100:3306 | offline | rw   |
|           2 | 192.168.15.101:3306 | up      | ro   |
|           3 | 192.168.15.102:3306 | up      | ro   |
+-------------+---------------------+---------+------+
3 rows in set (0.00 sec)

上线

mysql> set online 1;
+-------------+---------------------+---------+------+
| backend_ndx | address             | state   | type |
+-------------+---------------------+---------+------+
|           1 | 192.168.15.100:3306 | unknown | rw   |
+-------------+---------------------+---------+------+
1 row in set (0.00 sec)

9.3.3 添加删除节点

删除

mysql> remove backend 3;
mysql> SELECT * FROM backends;

添加

mysql> add slave 192.168.15.102:3306;
mysql> SELECT * FROM backends;

9.4 用户管理

9.4.1 在主库增加数据库用户

mysql> grant all on *.* to user1@'192.168.10.%' identified by '123';
Query OK, 0 rows affected, 1 warning (0.00 sec)

9.4.2 查看当前用

mysql> select * from pwds;
+----------+--------------+
| username | password     |
+----------+--------------+
| test     | 3yb5jEku5h4= |
| repl     | 3yb5jEku5h4= |
+----------+--------------+
2 rows in set (0.00 sec)

9.4.3 增加Atlas用户

mysql> add pwd user1:123;
Empty set (0.00 sec)
 
mysql> select * from pwds;
+----------+--------------+
| username | password     |
+----------+--------------+
| root     | 3yb5jEku5h4= |
| jason     | 3yb5jEku5h4= |
| user1    | 3yb5jEku5h4= |
+----------+--------------+
3 rows in set (0.00 sec)

标签：分库,读写,MySQL,192.168,Atlas,proxy,mysql,分表,3306
From： https://www.cnblogs.com/ycmyay/p/17382775.html

相关文章

  • Qt XML 读写
    QtXML读写XML简介XML（ExtensibleMarkupLanguage）是一种类似于HTML，但是没有使用预定义标记的语言。有许多基于XML的语言，包括XHTML、MathML、SVG、RSS和RDF(en-US)。XML声明<?xmlversion="1.0"encoding="UTF-8"?>注释<!--Comment-->实体像HTML一样，XML......
  • 分表分库解决思路
    阅读大约3分钟，建议收藏阅读随着公司业务快速发展，数据库中的数据量猛增，访问性能也变慢了，优化迫在眉睫。分析一下问题出现在哪儿呢？关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库......
  • 动态分库分表策略
    关键字：动态分库分表策略参考网址：http://dragonsoar.iteye.com/blog/1769101其他相关软件：matrixOceanus（不支持spring）matrix没开源所以很多人还是用mycatdiamond里面可以配置读写比读写比权重那个是atom和group的作用吧国美好牛，以前后台ora......
  • 读写分离的思想
    要想高性能，需要尽量：避开网络开销（IO），避开海量数据，避开资源争夺。CQRS（CommandQueryResponsibilitySegration）架构，命令查询职责分享架构。一个系统，从架构上把它拆分为两部分：命令处理（写请求）+查询处理（读请求）。C端负责数据存储，Q端负责数据查询，Q端的数据通过C端产生的Event来同步。......
  • 互斥锁 读写锁 条件变量 生产者消费者问题
    #互斥锁/*#include<pthread.h>intpthread_mutex_init(pthread_mutex_t*restrictmutex,constpthread_mutexattr_t*restrictattr);功能：初始化一个互斥变量mutex参数：mutex：需要初始化的互斥变量......
  • 水平分库分表排雷帖
    一、背景提起分库分表，对于大部分服务器开发来说，其实并不是一个新鲜的名词。随着业务的发展，我们表中的数据量会变的越来越大，字段也可能随着业务复杂度的升高而逐渐增多，我们为了解决单表的查询性能问题，一般会进行分表操作。同时我们业务的用户活跃度也会越来越高，并发量......
  • Sharding-JDBC：实现数据库的读写分离？
    简介轻量级Java框架，在Java的JDBC层提供额外服务，以jar包的形式提供服务（增强版数据库连接驱动）。适用于基于JDBC的ORM框架、支持第三方数据库连接池、支持实现了JDBC规范的数据库。 读写分离：基于已配置好主从复制的多个数据库。 使用步骤在springboot项目中使用。一、......
  • Python教程：pandas读写txt文件——DataFrame和Series
    大家用pandas一般都是读写csv文件或者tsv文件，读写txt文件时一般就withopen了，其实pandas数据类型操作起来更加方便，还是建议全用pandas这一套。读txt文件代码如下，主要是设置正则表达式的分隔符（sep参数），和列名取消（header参数），以及不需要列索引（index_col）。1df=pd.read_csv("workl......
  • 从源码深入理解读写锁(golang-RWMutex)
    环境：go1.19.8在读多写少的情况下，即使一段时间内没有写操作，大量并发的读访问也不得不在Mutex的保护下变成串行访问，这种情况下，使用Mutex，对性能影响比较大。所以就要区分读写操作。如果某个读操作的g持有了锁，其他读操作的g就不必等待了，可以并发的访问共享变量，这样就可以将串行的......
  • 使用 Sharding Jdbc 实现读写分离
    上一篇博客介绍了MySQL的主从复制的搭建，为实现读写分离创造了条件。对于一个网站来说，80%来源于读操作，绝大多数情况下的网站宕机，都是由于过多的读操作导致的，因此在实际的生产环境中，经常会搭建一主多从的架构，主库只负责写操作，多个从库用来负责读操作，对于少量需要实时获取信息的读......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99