目录
- 本周总结
- 多进程实现TCP服务端并发
- 线程理论
- 创建线程的两种方法
- 线程的诸多特性
- GIL全局解释器锁
- 验证GIL的存在
- GIL与普通互斥锁
- python多线程是否有用
- 死锁现象
- 信号量
- event事件
- 进程池与线程池
- 协程
- 存取数据的演变史
- 数据库软件应用史
- 数据库的本质
- 数据库的分类
- MySQL简介
- MySQL基本使用
- 系统服务的制作
- 密码相关操作
- SQL和NoSQL
- 数据库重要概念
- 基本SQL语句
- 字符编码与配置文件
- 数据库存储引擎
- 创建表的完整语法
- 字段类型之整型
- 严格模式
- 字段类型之浮点型
- 字段类型之字符类型
- 数字的含义
- 字段类型之枚举和集合
- 字段类型之日期类型
- 无符号、零填充
- 非空
- 默认值
- 唯一值
- 主键
- 自增
- 外键前戏
- 关系的判断
- SQL语句查询关键字
- 编写SQL语句小技巧
- 查询关键字之where筛选
- 查询关键字之group by分组
- 查询关键字之having过滤
- 查询关键字之distinct去重
- 查询关键字之order by排序
- 查询关键字之limit分页
- 查询关键字之regexp正则表达式
本周总结
多进程实现TCP服务端并发
import socket
from multiprocessing import Process
def get_server():
server = socket.socket()
server.bind(('127.0.0.1', 8080))
server.listen(5)
return server
def get_talk(sock):
while True:
data = sock.recv(1024)
print(data.decode('utf8'))
sock.send(data.upper())
if __name__ == '__main__':
server = get_server()
while True:
sock, addr = server.accept()
# 开设多进程去聊天
p = Process(target=get_talk, args=(sock,))
p.start()
线程理论
进程：
进程其实是资源单位 表示一块内存空间
线程：
线程才是执行单位 表示真正的代码指令
创建线程的两种方法
from threading import Thread
from multiprocessing import Process
import time
def task(name):
print(f'{name} is running')
time.sleep(0.1)
print(f'{name} is over')
if __name__ == '__main__':
start_time = time.time()
# p_list = []
# for i in range(100):
# p = Process(target=task, args=('用户%s' % i,))
# p.start()
# p_list.append(p)
# for p in p_list:
# p.join()
# print(time.time() - start_time)
t_list = []
for i in range(100):
t = Thread(target=task, args=('用户%s'%i,))
t.start()
t_list.append(t)
for t in t_list:
t.join()
print(time.time() - start_time)
t = Thread(target=task, args=('jason',))
t.start()
print('主线程')
'''创建主线程无需考虑反复执行的问题'''
class MyThread(Thread):
def run(self):
print('run is running')
time.sleep(1)
print('run is over')
obj = MyThread()
obj.start()
print('主线程')
线程的诸多特性
1.join方法
2.同进程内多个线程数据共享
3.current_thread()
4.active_count()
GIL全局解释器锁
# 官服文档对GIL的解释
In CPython, the global interpreter lock, or GIL, is a mutex that prevents multiple native threads from executing Python bytecodes at once. This lock is necessary mainly because CPython’s memory management is not thread-safe. (However, since the GIL exists, other features have grown to depend on the guarantees that it enforces.
"""
1.在CPython解释器中存在全局解释器锁简称GIL
python解释器有很多种类型
CPython JPython PyPython(常用的是CPython解释器)
2.GIL本质也是一把互斥锁 用来阻止同一个进程内多个线程同时执行(重要)
3.GIL的存在是因为CPython解释器中内存管理不是线程安全的(垃圾回收机制)(在程序运行完，但未赋值的情况下，去同时执行其他程序，有可能执行完的程序没绑定变量名而被垃圾回收机制回收)
垃圾回收机制
引用计数、标记清楚、分代回收
"""
验证GIL的存在
from threading import Thread
num = 100
def task():
global num
num -= 1
# t_list = []
for i in range(100):
t = Thread(target=task)
t.start()
# t_list.append(t)
# for t in t_list:
# t.join()
print(num)
GIL与普通互斥锁
'''
正常程序是正常用GIL解释器锁的，但是赋值给一个变量名并进入阻塞态，就会去执行下一个程序，这个程序就停在这，再给程序加一个普通锁，确保一个程序运行完毕再运行下一个程序，确保了数据的安全准确，但牺牲了效率
'''
python多线程是否有用
需要分情况
情况1
单个CPU
多个CPU
情况2
IO密集型(代码有IO操作)
计算密集型(代码没有IO)
1.单个CPU
IO密集型
多进程
申请额外的空间 消耗更多的资源
多线程
消耗资源相对较少 通过多道技术
ps：多线程有优势！！！
计算密集型
多进程
申请额外的空间 消耗更多的资源(总耗时+申请空间+拷贝代码+切换)
多线程
消耗资源相对较少 通过多道技术(总耗时+切换)
ps：多线程有优势！！！
2.多个CPU
IO密集型
多进程
总耗时(单个进程的耗时+IO+申请空间+拷贝代码)
多线程
总耗时(单个进程的耗时+IO)
ps：多线程具有优势！！！
计算密集型
多进程
总耗时(单个进程的耗时)
多线程
总耗时(多个进程的综合)
ps：多进程完胜！！！
死锁现象
就是一个锁被其他使用，但有人需要调用他，就死锁了
信号量
在python并发程序中信号量相当于多把互斥锁
Semaphore
sp = Semaphore(5) # 一次性产生五把锁
event事件
"""Event用法：
当遇到event.wait()时，需等待event.set()执行完毕才能执行event.wait()和之后的代码，类似于条件暂停命令
"""
进程池与线程池
进程和线程是否能无限制的创建 不可以
因为硬件的发展跟不上软件 有物理极限 如果我们在编写代码的过程中无限制的创建进程或者线程可能导致计算机崩溃
池：
降低程序的执行效率 但是保证了计算机硬件的安全
进程池：
前创建好固定数量的进程供后续程序的调用 超出则等待
线程池：
前创建好固定数量的线程供后续程序的调用 超出则等待
pool = ThreadPoolExecutor(5)
协程
'''
进程：资源单位
线程：执行单位
协程：单线程下实现并发(效率极高)
在代码层面欺骗CPU 让CPU觉得我们代码里面没有IO操作
实际上IO操作被我们自己写的代码检测 一旦有 立刻让代码去切换别的执行 直到这边IO结束（和异步很像，但是程序员自己写的）
(该技术完全是程序员自己弄出来的 名字也是程序员自己起的)
核心：自己写代码完成切换+保存状态
'''
猴子补丁 monkey
'''如何不断的提升程序的运行效率
多进程下开多线程 多线程下开协程'''
存取数据的演变史
1.文本文件
文件路径不固定
文件格式不统一
2.软件开发目录规范
规定了数据保存目录
数据格式还是没统一
3.数据库服务(重点)
统一路径 统一操作方式
降低学习成本 提高开发效率
数据库软件应用史
1.单机游戏
数据存储于各个计算机的本地 无法共享
2.网络游戏
数据存储于网络中 可以共享(数据库服务)
"""
数据库服务集群：提升数据的安全性
"""
数据库的本质
1.站在底层原理的角度
数据库指的是操作数据的进程(一堆代码)
2.站在实际应用的角度
数据库指的是可视化操作界面(一些软件)
ps：以后不做特殊说明的情况下讲数据库其实指的是数据库软件
数据库软件本质也是cs架构的程序
意味着所有的程序员其实都有资格编写一款数据库软件
数据库的分类
1.关系型数据库
特征一：拥有固定的表结构(字段名 字段类型)
特征二：数据之间可以建立数据库层面关系
1.MySQL：开源免费 使用最广 性价比贼高
2.Oracle：收费 使用成本较高但是安全性也最高
3.PostgreSQL：开源免费 支持二次开发 兼容性极高
4.MariaDB：跟MySQL是一个作者 开源免费
5.sqlite：小型数据库 主要用于本地测试
2.非关系型数据库
特征一：，没有固定的表结构 数据存储采用K:V键值对的形式
特征二：数据之间无法建立数据库层面的关系
可以自己编写代码建立逻辑层面的关系
redis、MongoDB、memcache
1.redis：目前最火 使用频率最高的非关系型数据库(缓存数据库)
虽然缓存数据库是基于内存做数据存取 但是拥有持久化的功能
2.MongoDB：文档型数据库 最像关系型数据库的非关系型数据库
主要用在爬虫以及大数据领域
3.memcache：已经被redis淘汰
"""
虽然数据库软件有很多 但是操作方式大差不差 学会了一个几乎就可以学会所有
其中以MySQL最为典型
"""
MySQL简介
1.版本问题
8.0：最新版
5.7：使用频率较高
5.6：学习推荐使用
ps：站在开发的角度使用哪个版本学习都没有关系
2.下载流程
1.访问官网
2.点击DOWNLOADS并点击GPL
3.点击community server
4.点击Archives
5.选择对应系统的对应版本下载即可(zip压缩包)
3.主要目录介绍
bin目录
存放启动文件
mysqld.exe(服务端) mysql.exe(客户端)
data目录
存放核心数据
my-default.ini
默认的配置文件
readme
软件说明
MySQL基本使用
cmd建议你使用管理员身份打开
1.切换到mysql的bin目录下先启动服务端
mysqld
2.保持窗口不关闭 重新打开一个新的cmd窗口
3.切换到mysql的bin目录下启动客户端
mysql
系统服务的制作
1.先把bin目录添加到环境变量
清空之前打开的cmd窗口 一定要把之前用cmd启动的服务端关闭(ctrl+c)
2.将mysql添加到系统服务中
1.如何查看系统服务
鼠标右键任务栏选择服务
cmd输入services.msc回车
2.以管理员身份打开cmd窗口
mysqld --install
3.首次添加不会自动启动 需要人为操作一下
1.鼠标右键点击启动
2.命令行启动
net start mysql
"""
如果想卸载重新按照
1.先关闭服务端
net stop mysql
2.移除系统服务
mysqld --remove
"""
密码相关操作
1.修改密码
方式1:mysqladmin
mysqladmin -u用户名 -p原密码 password 新密码
方式2:直接修改存储用户数据的表
方式3:冷门操作 有些版本可能还不支持
set password=password('新密码') # 修改当前登录用户的密码
SQL和NoSQL
数据库服务端是可以服务多种类型的客户端
客户端可以是自己开发的 也可以是python代码编写 也可以是java代码编写
SQL
操作关系型数据库的语言
NoSQL
操作非关系型数据库的语言
ps：要想跟数据库交互就必须使用数据库指定的语言
"""
SQL有时候也指代关系型数据库
NoSQL有时候也指代非关系型数据库
看具体语境判断
"""
数据库重要概念
库 就相当于是 文件夹
表 就相当于是 文件夹里面的文件
记录 就相当于是 文件夹里面的文件中的一行行数据
验证
1.查看所有库的名称
show databases;
2.查看所有表的名称
show tables;
3.查看所有的记录
select * from mysql.user;
基本SQL语句
1.sql语句必须以分号结尾
2.sql语句编写错误之后不用担心 可以直接执行报错即可
'''基于库的增删改查'''
1.创建库
create database 库名;
2.查看库
show databases; 查看所有的库名称
show create database 库名; 查看指定库信息
3.编辑库
alter database 库名 charset='utf8';
4.删除库
drop database 库名;
'''基于表的增删改查'''
操作表之前需要先确定库
create database db1;
切换操作库
use db1;
1.创建表
create table 表名(字段名 字段类型,字段名 字段类型);
2.查看表
show tables; 查看库下所有的表名称
show create table 表名; 查看指定表信息
describe 表名; 查看表结构
desc 表名;
ps:如果想跨库操作其他表 只需要在表名前加库名即可
desc mysql.user;
3.编辑表
alter table 表名 rename 新表名;
4.删除表
drop table 表名;
"""基于记录的增删改查"""
1.插入数据
insert into 表名 values(数据值1，数据值2);
2.查询数据
select * from 表名; 查询表中所有的数据
3.编辑数据
update 表名 set 字段名=新数据 where 筛选条件;
4.删除数据
delect from 表名;
delect from 表名 where id=2;
字符编码与配置文件
1.\s查看MySQL相关信息
当前用户、版本、编码、端口号
MySQL5.6及之前的版本编码需要人为统一 之后的版本已经全部默认统一
如果想永久修改编码配置 需要操作配置文件
2.默认的配置文件是my-default.ini
拷贝上述文件并重命名为my.ini
直接拷贝字符编码相关配置即可无需记忆
[mysqld]
character-set-server=utf8mb4
collation-server=utf8mb4_general_ci
[client]
default-character-set=utf8mb4
[mysql]
default-character-set=utf8mb4
数据库存储引擎
存储引擎
数据库好着呢的数据采取的多种存取方式
查看常见存储引擎的方式
show engines;
需要了解的四个存储引擎
MyISAM
MySQL5.5之前默认的存储引擎
存取数据的速度快 但是功能较少 安全性较低
InnoDB
MySQL5.5之后默认的存储引擎
支持事务(备份，恢复...)、行锁、外键等操作 存取速度没有MyISAM快 但是安全性更高
Memory
基于内存存取数据 仅用于临时表数据存取
BlackHole
任何写进去的数据都会立刻丢失(回收站类似)
创建表的完整语法
create table 表名(
字段名 字段类型(数字) 约束条件,
字段名 字段类型(数字) 约束条件,
字段名 字段类型(数字) 约束条件,
);
字段类型之整型
tinyint 1bytes 正负号(占1bit)
smallint 2bytes 正负号(占1bit)
int 4bytes 正负号(占1bit)
bigint 8bytes 正负号(占1bit)
严格模式
当我们使用数据库存储数据的时候 如果数据不符合规范 应该直接报错而不是擅自修改数据 这样会导致数据的失真(没有实际意义)
增城都应该报错 但是我们之前不小心改了配置文件
show variables like '%mode%';
1.临时修改
set session sql_mode='strict_trans_tables';
在当前客户端有效(当前客户端关闭失效)
set global sql_mode='strict_trans_tables';
在当前服务端有效(当前服务端关闭失效)
2.永久修改
直接修改配置文件
字段类型之浮点型
float(20,10)
总共存储20位数 小数点后面占10
double(20.10)
总共存储20位数 小数点后面占10
decimal(20,10)
总共存储20位数 小数点后面占10
create table t7(id float(60,20));
create table t8(id double(60,20));
create table t9(id decimal(60,20));
insert into t7 values(1.1111111111111111111);
insert into t8 values(1.1111111111111111111);
insert into t9 values(1.1111111111111111111);
三者的核心区别在于精确度不同
float < double < decimal
字段类型之字符类型
char
定长
char(4) 最多存储四个字符 超出就报错 不够四个空格填充至四个
varchar
变长
varchar(4) 最多存储四个字符 超出就报错 不够则有几位保存几位
数字的含义
数字在很多地方都是用来表示限制存储数据的长度
但是在整型中数字却不是用来限制存储长度
create table t12(id int(3)); 不是用来限制长度
create table t12 values(12345);
create table t13(id int(5) zerofill); 而是用来控制展示的长度
insert into t13 values(123),(123456789);
"""以后写整数无需添加数字"""
字段类型之枚举和集合
枚举
多选一
create table t15(
id int,
name varchar(32),
gender enum('male','female','others')
)
insert into t15 values(1,'tony','猛男');
insert into t15 values(2,'jason','male');
insert into t15 values(3,'kevin','others');
集合
多选多(包含多选一)
create table t16(
id int,
name varchar(16),
hobbies set(''basketabll','football','doublecolorball'')
)
insert into t16 values(1,'jason','study');
insert into t16 values(2,'tony','doublecolorball');
insert into t16 values(3,'kevin','doublecolorball,football');
字段类型之日期类型
datetime 年月日时分秒
date 年月日
time 时分秒
year 年
create table t17(
id int,
name varchar(32),
register_time datetime,
birthday date,
study_time time,
work_time year
);
insert into t17 values(1,'jason','2000-11-11 11:11:11','1998-11-11','22:22:22','234');
无符号、零填充
unsigned
id int unsigned
zerofill
id int(5) zerofill
非空
not null
'''默认为空'''
默认值
default '默认值'
唯一值
unique
主键
primary key(非空且唯一)
1.当表中没有主键也没有其他非空且唯一的字段的情况下
InnoDB会采用一个隐藏的字段作为表的主键 隐藏意味着无法使用基于该表的数据查询只能一行行查找 速度很慢
2.当表中没有主键但是有其他非空且唯一的字段 那么会从上往下将第一个该字段自动升级为主键
自增
auto_increment
"""
自增特性
自增不会因为数据的删除而回退 永远自增往前
如果自己设置了更大的数 则之后按照更大的往前自增
如果想要重置某张表的主键值 可以使用
truncate t9; 清空表数据并重置主键
"""
外键前戏
外键字段：用于标识数据与数据之间关系的字段
关系的判断
表关系，数据关系其实意思是一样的 知识说法上有区别
关系总共有四种
一对多 # 针对'一对多'关系 外键字段建在'多'的一方
多对多 # 针对'多对多'不能在表中直接创建 需要新建第三种关系表
一对一 # 针对'一对一'外键字段建在任何一方都可以 但是推荐建在查询频率较高的表中
没有关系
SQL语句查询关键字
select # 指定需要查询的字段信息
from # 指定需要查询的表信息
编写SQL语句小技巧
针对select后面的字段名可以先用*占位往后写 最后再回来修改
在实际应用中select后面很少直接写* 因为*表示所有 当表中字段和数据都特别多的情况下非常浪费数据库资源
查询关键字之where筛选
elect * from emp where id >= 3 and id <= 6; # 支持逻辑运算符
select * from emp where salary in (20000,18000,17000); # 支持成员运算
查询关键字之group by分组
聚合函数
专门用于分组之后的数据统计
max\min\sum\avg\count
最大值、最小值、求和、平均数、计数
查询关键字之having过滤
having与where本质是一样的 都是用来对数据做筛选
只不过where用在分组之前(首次筛选)
having用在分组之后(二次筛选)
查询关键字之distinct去重
select distinct id,age from emp; # 关键字针对的是多个字段组合的结果
查询关键字之order by排序
1.可以是单个字段排序
select * from emp order by age; # 默认升序
select * from emp order by age asc; # 默认升序(asc可以省略)
select * from emp order by age desc; # 降序
2.也可以是多个字段排序
select * from emp order by age,salary desc; # 先按照年龄升序排相同的情况下再按照薪资降序排
查询关键字之limit分页
当表中数据特别多的情况下 我们很少会一次性获取所有的数据
很多网站也是做了分页处理 一次性只能看一点点
select * from emp limit 5; # 直接限制展示的条数
select * from emp limit 5,5; # 从第5条开始往后读5条
查询关键字之regexp正则表达式
SQL语句的模糊匹配如果用不习惯 也可以自己写正则批量查询
select * from emp where name regexp '^j.*?(n|y)$';
只不过有的需要去掉一些符号才能运行
select * from emp where name regexp '^j.*(n|y)$';