LINUX配置优化
- 硬件优化
- raid 10
- ssd
- Fusion-io
- 大内存
- 电池后备SCSI磁盘缓存
- 系统优化
- 日志，数据分盘
- IO调度算法 deadline适用于磁盘 noop适用于ssd
- XFS文件系统
- 避免使用swap 分区
- fd限制 ulimit
MySQL参数配置
- 基础配置
- 字符集
- 数据目录，日志目录，临时目录
- sql_mode
- 缓存设置
- 线程缓存
- 表缓存
- 排序缓存
- join缓存
- 查询缓存
- binlog缓存
- ......
- 阈值设置
- max connection
- timeout
- slow query time
- ......
- innodb 设置
- instances
- size
- io_capacity
- innodb_flush_method=O_DIRECT 数据直接写盘，避过OS cache 日志还是OS flush
- 双一设置
- ......
MySQL开发规范
- DDL
- 类型使用要精确
- not null
- 避免text/blob
- 避免外键
- 自增主键
- 避免冗余索引
- 索引数量控制
- 索引字段过滤度
- DML
- 避免使用触发器，存储过程
- 存储使用Mysql，不要有运算逻辑
- 更新操作禁用limit
- select * 禁用
- in 优先 or
- 同表alter操作合并
BIG SQL
- 索引优化
- WHERE 条件索引使用率，符合最左原则
- 联合索引，注意索引过滤度
- 表join操作，注意加索引，且join字段类型必须一致
- SQL优化
- 子查询变成连接操作，优先使用独立子查询
- 利用覆盖索引，分页操作
- 拆分SQL，加缓存表或者汇总表
- 外在条件下推，减少中间结果集
- 重写SQL，利用过滤性更好的索引
主从延迟
- 避免
- 避免3B
- 较少从库压力，包括服务器和数据库本身的
- 从库上有触发操作，控制更新量
- 改善
- 升级从库机器硬件ssd
- 升级数据库版本，5.6的库并发 5.7的binlog线程并发
- 第三方工具，丁奇的transfer插件
- inset...select rbr模式，可以先select 缓存结果，后insert
排查方法
- 服务器
- top
- 查看负载
- 查看CPU耗时
- iostat
- free
- ps aux | grep pid
- 查看具体进程信息
- MySQL
- SHOW FULL PROCESSLIST / dbaslowing
- 数据库目前运行SQL，连接数
- 慢查询实时采集，格式话输出
- SHOW ENGINE INNODB STATUS
- 运行事务信息
- 死锁信息 / pt-deadlock-logger 周期采集死锁信息
- buffer pool 信息查看
- dbaprocess.sh
- 查看连接数排序，显示连接服务
紧急恢复
- 切换
- 主从切换
- 双主模式，设置自增间隔，不停服
- read_only 切换，保留静态老主
- 连接数打满
- pt-kill
- mysqladmin kill
日常指标
- zabbix
- 历史状态查询
- 报警监控
- 组合定制脚本监控
- 运维脚本
- 慢查询脚本每日邮件
- 数据库周健康度邮件
- 核心表每日备份
- 扩容从库脚本
- 搭建级联脚本
- 测试库同步脚本
- 试运行环境对比脚本
- 备份
- hotbak，dump
- nfs挂载磁盘
- hdfs数据冗余
自动化运维
- 自动审核inception
- 自动授权系统
MySQL HA
- 中间件
- dbproxy
- 读写分离
- 从库HA，负载均衡
- mycat
- 读写分离
- 从库负载均衡
- 分库分表&全局表
- HA
- 不支持分布式事务
- 业务SQL限制，需要有路由key
- 性能有所损耗
- MHA
- PXC
常用PT
- pt-config 数据库替换时，验证参数一致性
- pt-deadlock-logger 记录历史死锁信息
- pt-duplicate-key-checker 冗余索引检测
- pt-ioprofile IO调试
- pt-kill 定制kill连接线程
- pt-online-schema-change OSC
- pt-query-digest 状态输出慢查询
- pt-table-checksum 主从一致性验证
- pt-slave-find 主从拓扑结构
- pt-fifo-split 大文件导入