一、回顾
高并发集群 eleme后端登录模块
1、数据库
1.主从复制(高可用)
2.传统的主从复制
3.gtids事务型的主从复制
4.注意
（1）server_id唯一
（2）8.x版本需要get_ssl_pub_key
（3）5.x不需要
（4）change master to
（5）stop | start slave
5.非交互
import pymysql
conn=pymysql.connect(host=xxx,user=xxx,password=xxx,port=xx,database=xxxx)
cursor=conn. cursor()
sql="insertldeletelupdatelselect ... "
cursor.execute(sql)
#查询不需要提交 直接使用fectch就可以得到结果
#增删改需要提交
conn. commit()
mysql -h192.168.71.11 << EOF
create database if not exists test charset utf8mb4;
use test;
create tables
quit
EOF
6. 数据库的负载均衡 阿里巴巴的mycat
server.xml schema.xml
<!--
/usr/local/mycat/conf/server.xml
# 对外的账号 密码 数据库
-->
<uker name="blt">
<property name="password">blt</property>
<property name="database">test</property>
</user>
<!--
/usr/local/mycat/conf/scheam.xml
-->
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="eleme" dataNode="dn1" checkSQLschema="false" sqlMaxLimit="100"></schema>
<dataNode name="dn1" dataHost="localhost1" database="eleme" />
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM1" url="192.168.71.10:3306" user="zhangmin" password="zhangmin">
<readHost host="hostS2" url="192.168.71.11:3310" user="zhangmin" password="zhangmin" />
<readHost host="hostS3" url="192.168.71.12:3310" user="zhangmin" password="zhangmin" />
</writeHost>
</dataHost>
</mycat:schema>
如果出现启动异常 8066端口没有打开,可以检查两个日志文件
vim /usr/local/mycat/logs/wrapper.log
vim /usr/local/mycat/logs/mycat.log
2、后端服务器 java|python|php|asp
版本:正常市场jdk8,但是由于spring6.x米必要求17以上的版本,jdk版本比较多,找开发者要版本-jdk
vim /etc/profile
export JAVA_HOme=/usr/local/jdk
export PATH=$PATH: $JAVA_HOME/bin
source /etc/profile
#使用jar包启动服务
##Mapplication.properties|ym1
#修改 ym1中的端口或者数据源
url=jdbc:msyq1://ip:port/databasename
username=dbuser
passowrd=dbpass
java -jar eleme_server.xxxxx.jar
3、负载均衡技术
1. lvs
dr模式
ds主机
1.挂载vip(对外) ens33:0
ifconfig ens33:0 vipxx broadcast=vipxxx
netmast=255.255.255.255 up
route add vip dev ens33:0
yum -y install ipvsadm
#添加规则
ipvsadm -A -t vipxx:port -s rr
ipvsadm -a -t vipxx:port -r ripxx -g
ipvsadm -a -t vipxx:port .......
#rs主机
ifconfig lo:0 vipxxx broadcast .... netmask xxxx up
route add vipxxx dev lo:0
#抑制接受请求
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 1> /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2> /proc/sys/net/ipv4/conf/all/arp_announce
2. nginx配置 代理 负载均衡
vim /etc/nginx/conf/nginx.conf
http {
upstream javagroup {
server ip:port weight=99;
server ip:port weight=1;
}
server {
location ~/ {
pass_proxy http://javagroup;
}
}
二、Docker
1、Docker是什么?
Docker是一个开源的应用容器引擎,可以实现虚拟化,完全采用“沙盒”机制,容器之间不会存在任何接口。
Docker通过Linux Container(容器)技术将任意类型的应用进行包装,变成一种轻量级、标准化、可移植、自管理的组件。在包装应用的同时,可连带该应用的依赖和环境一并进行打包,所以可以将这种“包”移植到任意环境去运行,省去兼容性的问题。
2、Docker和虚拟机的区别
Docker和虚拟机在以下八个方面存在差异:
1. 启动速度:Docker启动速度非常快,属于秒级别,而虚拟机通常需要几分钟去启动。
2. 资源消耗:Docker需要的资源更少,它直接运行在宿主机的内核上,以一系列进程的结合形式存在。而虚拟机则需要消耗更多的资源,因为它在操作系统级别进行虚拟化。
3. 轻量级:Docker更轻量,它的架构可以共用一个内核与共享应用程序库,所占内存极小。而虚拟机则相对较重,需要消耗更多的内存。
4. 隔离性:虚拟机可以实现系统级别的隔离,而Docker则属于进程之间的隔离,隔离性相对较弱
5. 安全性:Docker的安全性也更弱。
6. 可管理性:Docker的集中化管理工具还不算成熟。
7. 兼容性:开发人员不需要关系具体是哪个Linux操作系统,基本市面上主流系统都可使用Docker,
8. 数据持久性:Docker无法存储数据,当容器重启后,数据会消失;而虚拟机可以存储各种数据,包括日志、数据库等。
3、docker解决的问题
（1）环境不同时会出现的问题
将简易的操作系统、编写好的代码、部署完成的应用服务配置等打包放到容器内,再转到鲸鱼上,由鲸鱼送到服务器,此时,无论是什么运行环境,docker容器都可以运行。
（2）应用隔离问题
Linux是一个支持多用户的操作系统,正因如此,可能会造成用户使用时,互相之间占用资源过多,以致于服务器资源空间不足,而docker具有隔离性,可以在启动时就限定好硬件的使用率,当某个容器到达或超过限定的阈值时,就会被kill,此时需要运维人员对其进行调试。
（3）服务器扩展问题
日常的业务量大多很平均,但在业务量繁多时期,比如“双十一”,“春运购票”等场景,就需要对服务器进行横向扩展才能将负载均衡下来,而如果大规模地扩展服务器,待服务器满载时期过去,回到日常业务量后,就会导致剩余资源极大地浪费。并且在扩展时,还要对各种应用服务进行部署、调试等,工作量也十分庞大,所以,此时使用Docker将会真正意义上实现快速部署,且耗费资源较少,尤其不会出现兼容性的问题。
4、Docker的优缺点
（1）优点
1. 体积小:减小系统的开销值,一台主机可以运行上千个容器。
2. 启动迅捷:更快速的交付和部署,docker容器,比传统虚拟机要快很多,docker核心解决的问题就是利用容器实现VM类似的功能。
3. 操作方便:通过配置dockerfile便支持灵活的自动化创建和部署。
4. 更轻松的扩展:可以实现更简单的、更可靠的迁移,避免了兼容性等问题。
5. 更强的可扩展性和可移植性。
（2）缺点
1. 安全问题:如果没有正确配置,一个容器中的恶意代码可能会影响到主机上的其他容器以及主机本身的安全。
2. 存储问题:当使用大量容器时,存储和管理容器映像可以变得非常困难。这可能需要使用分布式存储或其他解决方案来管理大量容器的存储。
3.性能问题:在某些情况下,容器和虚拟机相比会导致性能损失。这些性能问题越来越少,但是仍然需要考虑。
4. 网络问题:Docker可能会在网络配置上存在一些问题,这可能需要更多的时间来诊断和解决。
5. 复杂性:Docker是一个非常灵活的系统,但这同时也让它更加复杂。长时间使用Docker会产生大量的脚本和配置文件,这些可能变得难以维护。
6. 资源消耗:使用Docker必须占用一些资源,包括CPU、内存、磁盘等等。如果运行容器的主机资源不足,可能会导致性能问题。
7. 学习曲线:Docker是一个相对新的技术,相比传统环境需要一定的学习曲线。需要了解Docker基本概念、命令和配置文件等。
8. 需要花费时间配置和管理:使用Docker需要花时间配置和管理容器集群和应用程序。需要配置每个容器,管理Jenkins、Kubernetes 等运行Docker容器的工具。
9. 映像构建复杂:构建Docker映像需要按照特定格式编写Dockerfile脚本,需要遵循一定的规范和流程,这可能需要更多的时间和精力。
5、Docker架构
1. 用docker pull 命令从hub.docker.com官网上下载images(镜像)。
2. 可以用docker save命令将镜像保存到本地tar文件,也可以用docker load 命令将本地tar文件导入镜像。
3. 可以用docker build 构建 Dockerfile镜像。
4. 可以用docker run和 docker create 将镜像运行成container(容器),容器内可以安装所需要的APP。
5. 可以用docker commit/export将容器做成镜像反复的使用。
6. 可以将自己制作的镜像发布到hub.docker.com网站,需要注册账号。
6、Docker核心概念
1. 镜像(images):一个面向docker容器引擎的只读模板,也是容器的基础,类似于iso镜像文件。
2. 容器(container):基于镜像所创建的虚拟实例,相当于一个简易的Linux环境,可启停,且多个容器之间互相隔离。
3. 仓库(Repository):集中存放docker镜像的位置,可使用docker pull或push命令下载或上传到私有或公有仓库。
4. 仓库注册服务器(registry):存放仓库的地方,如果没有私有仓库,则使用公共仓库docker hub。
7、Docker 特性
■ 文件系统隔离:每个进程容器运行在一个完全独立的根文件系统里。
■ 资源隔离:实现不同的容器的资源配额和调度,cgroup。
■ 网络隔离:每个进程容器运行在自己的网络空间,拥有虚拟接口和IP地址。
■ 日志记录:Docker将收集到和记录的每个进程容器的标准流(stdout/stderr/stdin),用于实时检索或者批量检索。
■ 变更管理:容器文件系统的变更可以提交到新的镜像中,并可重复使用以创建更多的容器。
■ 交互式shell:Docker可以分配一个虚拟终端并且关联到任何容器的标准输出上,例如运行一个一次性交互shell。
三、安装docker
1、Docker要求
2、安装Docker
[root@docker ~]# cat << EOF | tee /etc/modules-load.d/k8s.conf
> overlay
> br_netfilter
> EOF
overlay
br_netfilter
[root@docker ~]# modprobe overlay # 加载overlay内核模块
[root@docker ~]# modprobe br_netfilter #加载br_netfilter内核模块
[root@docker ~]# cat /etc/modules-load.d/k8s.conf
overlay
br_netfilter
[root@docker ~]# cat << EOF | tee /etc/sysctl.d/k8s.conf
> net.bridge.bridge-nf-call-iptables=1
> net.bridge.bridge-nf-call-ip6tables=1
> net.ipv4.ip_forward=1
> EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
[root@docker ~]# sysctl --system
[root@docker ~]# yum install -y yum-utils device-mapper-persistent-data lvm2
[root@docker ~]# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo //下载仓库
[root@docker ~]# ls /etc/yum.repos.d/
CentOS-Base.repo docker-ce.repo epel-testing.repo
dd.repo epel.repo
[root@docker ~]# yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin -y //--allowerasing ：允许卸载旧版本
[root@docker ~]# systemctl start docker.service //运行容器
[root@docker ~]# docker images //查看现有的镜像
REPOSITORY TAG IMAGE ID CREATED SIZE
[root@docker ~]# docker search tomcat //搜索tomcat镜像
[root@docker ~]# docker search nginx
[root@docker ~]# docker search mysql
[root@docker ~]# docker inspect centos //查看镜像的详细信息
■ overlay:是一种文件系统层叠技术,常用于容器化平台(比如Docker)中。它允许将多个文件系统叠加在一起,从而创建一个统一可见的文件系统。通过加载 overlay模块,可以在Linux系统中使用 overlay文件系统,并且它将提供一些额外的功能,比如联合挂载、文件层叠等。
■ br_netfilter:Linux 内核中的一个模块,它提供了桥接设备(bridge device)和网络过滤器(netfilter)之间的集成。它允许在桥接设备上使用网络过滤器功能,如防火墙规则、网络地址转换(NAT)等。通过加载br_netfilter模块,你可以在Linux系统中的桥接设备上应用网络过滤规则对网络流量进行管理和控制。
■ device-mapper-persistent-data:一个LinuxF核模块,为Device Mapper设备提供持久存储功能。DMPD提供了一个用于存储映射关系的数据库,使得Device Mapper可以持久化存储映射数据,以便在系统重新启动后仍然可以恢复之前的映射关系。
■ lvm2:Linux系统下的逻辑卷管理工具,LVM的升级版,它是对磁盘分区进行管理的一种机制,建立在硬盘和分区之上的一个逻辑层,用来提高磁盘管理的灵活性。
3、启动服务获取镜像
[root@docker ~]# vim /etc/docker/daemon.json
{
"registry-mirrors": [
"https://do.nark.eu.org",
"https://dc.j8.work",
"https://docker.m.daocloud.io",
"https://dockerproxy.com",
"https://docker.mirrors.ustc.edu.cn",
"https://docker.nju.edu.cn"
]
}
[root@docker ~]# systemctl restart docker
[root@docker ~]# docker search centos
[root@docker ~]# docker pull centos //下载镜像
4、容器管理
# 第一次创建容器
[root@docker ~]# docker run -i -t --name=c0 centos:latest /bin/bash //运行 -i交互 -t终端操作 --name名称 镜像:版本
[root@372f7f49e6df /]# cd
[root@372f7f49e6df ~]# ls
anaconda-ks.cfg anaconda-post.log original-ks.cfg
[root@372f7f49e6df ~]# rm -rf /etc/yum.repos.d/*
[root@372f7f49e6df ~]# curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-vault-8.5.2111.repo
[root@372f7f49e6df ~]# ls /etc/yum.repos.d/
CentOS-Base.repo
[root@372f7f49e6df ~]# yum clean all && yum makecache
[root@372f7f49e6df ~]# yum -y install httpd
[root@372f7f49e6df ~]# yum -y install iproute
[root@372f7f49e6df ~]# yum -y install net-tools
[root@372f7f49e6df ~]# ifconfig
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 172.17.0.2 netmask 255.255.0.0 broadcast 172.17.255.255
[root@372f7f49e6df ~]# ps //当前运行的进程
[root@372f7f49e6df ~]# pwd //当前位置
[root@372f7f49e6df ~]# uptime //启动时间
[root@372f7f49e6df ~]# cat /etc/redhat-release //查看当前版本
CentOS Linux release 8.4.2105
镜像是模板，容器时实例（ 下载的是镜像，运行的是容器）
[root@372f7f49e6df ~]# echo "docker_httpd_server" > /var/www/html/index.html
[root@372f7f49e6df ~]# systemctl start httpd //无法启动
[root@372f7f49e6df ~]# httpd -k start //启动
[root@372f7f49e6df ~]# curl localhost
docker_httpd_server
[root@372f7f49e6df ~]# curl http://localhost
docker_httpd_server
[root@docker ~]# curl http://172.17.0.2
docker_httpd_server
[root@docker ~]# ps -aux | grep docker //查看docker的进程
[root@372f7f49e6df ~]# exit //退出就没有进程了
exit
[root@docker ~]# curl 172.17.0.2
^C
[root@docker ~]# ssh [email protected]
ssh: connect to host 172.17.0.2 port 22: No route to host
[root@docker ~]# docker start c0
c0
[root@docker ~]# docker attach c0 //将c0挂载到当前宿主机终端（回到原本的）
[root@372f7f49e6df /]# httpd -k start
[root@372f7f49e6df /]# netstat -lnput | grep 80
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 18/httpd
[root@372f7f49e6df /]# curl localhost
docker_httpd_server
# ctrl+p+q 退出后仍然可以访问，退出但不中断 先p后q
[root@docker ~]# curl http://172.17.0.2:80
docker_httpd_server
5、远程管理
1. 关闭docker
[root@docker ~]# systemctl status docker //查看状态
[root@docker ~]# docker version
[root@docker ~]# systemctl stop docker
2. 修改dock daemon的进程文件 （docker允许远程连接）
[root@m57 ~]# service mysql57 start
Starting MySQL. SUCCESS!
[root@m57 ~]# ls -lh /tmp/
总用量 8.0K
srwxrwxrwx 1 mysql mysql 0 8月 22 15:30 mysql.sock //开启自动创建套接字文件
-rw------- 1 mysql mysql 5 8月 22 15:30 mysql.sock.lock
[root@docker ~]# ls -lh /var/run/ //允许远程登陆一定有套接字文件
# 进入配置文件
[root@docker ~]# vim /usr/lib/systemd/system/docker.service
13 ExecStart=/usr/bin/dockerd 删除 -H fd:// --containerd=/run/containerd/containerd.sock
[root@docker ~]# vim /etc/docker/daemon.json
{
"registry-mirrors": [
"https://do.nark.eu.org",
"https://dc.j8.work",
"https://docker.m.daocloud.io",
"https://dockerproxy.com",
"https://docker.mirrors.ustc.edu.cn",
"https://docker.nju.edu.cn"
],
"hosts": [
"tcp://0.0.0.0:2375",
"unix///var/run/docker.sock"
]
}
[root@docker ~]# systemctl start docker //启动
Warning: docker.service changed on disk. Run 'systemctl daemon-reload' to reload units.
[root@docker ~]# systemctl daemon-reload # 加载daemon.json
[root@docker ~]# systemctl restart docker.service
[root@docker ~]# netstat -lntup | grep 2375
[root@docker ~]# docker -H 192.168.8.168 images / /远程连接
REPOSITORY TAG IMAGE ID CREATED SIZE
centos latest 5d0da3dc9764 2 years ago 231MB
[root@docker ~]# docker start c0
c0
[root@docker ~]# docker attach c0
[root@372f7f49e6df /]# curl localhost
curl: (7) Failed to connect to localhost port 80: Connection refused
[root@372f7f49e6df /]# httpd -k start
AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 172.17.0.2. Set the 'ServerName' directive globally to suppress this message
[root@372f7f49e6df /]# curl localhost
docker_httpd_server
[root@372f7f49e6df /]# read escape sequence
[root@docker ~]# docker ps -all
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
372f7f49e6df centos:latest "/bin/bash" 2 hours ago Up 53 seconds c0
[root@docker ~]# docker info
[root@docker ~]# docker --help //帮助命令