OAR (SQL Optimizer And Rewriter) 是一个对 SQL 进行优化和改写的自动化工具。 由小米人工智能与云平台的数据库团队开发与维护 一、简介 1、功能特点
- 跨平台支持（支持 Linux, Mac 环境，Windows 环境理论上也支持，不过未全面测试）
- 目前只支持 MySQL 语法族协议的 SQL 优化
- 支持基于启发式算法的语句优化
- 支持复杂查询的多列索引优化（UPDATE, INSERT, DELETE, SELECT）
- 支持 EXPLAIN 信息丰富解读
- 支持 SQL 指纹、压缩和美化
- 支持同一张表多条 ALTER 请求合并
- 支持自定义规则的 SQL 改写
2、SOAR体系机构
SOAR主要有语法解析器、集成环境，优化建议，重写逻辑，工具集五大模块组成
语法解析和语法检查
一条SQL从文件，标准输入或命令行参数等形式传递给SOAR后首先进入语法解析器，选用了vitess的语法解析库作为SOAR的语法解析库，但随时需求的不断增加我们发现有些复杂需求使用vitess的语法解析实现起来比较逻辑比较复杂。于是参考业办其他数据库产品，于是引入了TiDB的语法解析器做为补充。后来发现这两个解析库还存在一定的盲区，于是又引入了MySQL执行返回结果作为多多版本SQL方言的补充。大家也可以看到在语法解析器这里，SOAR的实现方案是松散的、可插拔的。SOAR并不直接维护庞大的语法解析库，它把各种优秀的语法解析库集成在一起，各取所长。
集成环境
集成环境区分线上环境和测试环境两种，分别用于解决不同场景下用户的SQL优化需求。一种常见的情况是已有表结构需要优化查询SQL的场景，可以从线上环境导出表结构和足够的采样数据到测试环境，在测试环境上就可以放心的执行各种高危操作而不用担心数据被损坏。另一种常见的情况是建一套全新的数据库，需要验证提供的数据字典中是否存在优化的可能。有如下组合环境：
| 线上环境 | 测试环境 | 场景 |
| 有 | 有 | 日常优化，完整的建议，推荐 |
| 无 | 有 | 新申请资源，环境初始化测试 |
| 无 | 无 | 盲测，试用，无EXPLAIN和索引建议 |
| 有 | 无 | 用线上环境当测试环境，不推荐 |
这里需要注意的是，因为我们会在测试环境中做一些风险相对较高的操作，为了防止用户由于配置疏忽导致线上数据受损，我们添加了allow-online-as-test参数来保证您确实是希望将线上环境做为测试环境来使用。所以当您指定的两个集成环境相同时，请指定allow-online-as-test为true，否则SOAR将不会进行评审。
默认文件会按照/etc/soar.yaml, ./etc/soar.yaml, ./soar.yaml顺序加载，找到第一个后不再继续加载后面的配置文件。如需指定其他配置文件可以通过-config参数指定。 即使不创建配置文件SOAR仍然会给出基本的启发式建议，关于数据库权限online-dsn需要相应库表的SELECT权限
本地只搭建了测试环境，如下：
vim soar.yml
# 线上环境配置
#online-dsn:
#addr: 127.0.0.1:3306
#schema: mytest
#user: dba_user
#password: msds007
#disable: false
# 测试环境配置
test-dsn:
addr: 192.168.221.140:3306
schema: test01
user: root
password: root
disable: false
# 是否允许测试环境与线上环境配置相同
allow-online-as-test: true
创建表结构如下：
CREATE TABLE `t6` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`name` varchar(10) DEFAULT NULL,
`age` int(11) DEFAULT NULL,
`info` char(233) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=100000 DEFAULT CHARSET=utf8
进行sql查询，无索引
使用mysql的explain:
mysql> explain select info from t6 where age < 100 order by name;
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+-----------------------------+
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+-----------------------------+
| 1 | SIMPLE | t6 | NULL | ALL | NULL | NULL | NULL | NULL | 1 | 100.00 | Using where; Using filesort |
+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+-----------------------------+
1 row in set, 1 warning (0.00 sec)
使用soar测试：
echo "select info from t6 where age < 100 order by name;" |./soar -config ./soar.yml --report-type json
{
"24C592BB08046BCD": {
"EXP.000": {
"Item": "EXP.000",
"Severity": "L0",
"Summary": "Explain信息",
"Content": "| id | select\\_type | table | partitions | type | possible_keys | key | key\\_len | ref | rows | filtered | scalability | Extra |\n|---|---|---|---|---|---|---|---|---|---|---|---|---|\n| 1 | SIMPLE | *t6* | NULL | ALL | | NULL | | | 1 | ☠️ **100.00%** | ☠️ **O(n)** | Using where; Using filesort |\n\n",
"Case": "### Explain信息解读\n\n#### SelectType信息解读\n\n* **SIMPLE**: 简单SELECT(不使用UNION或子查询等).\n\n#### Type信息解读\n\n* ☠️ **ALL**: 最坏的情况, 从头到尾全表扫描.\n\n#### Extra信息解读\n\n* **Using where**: WHERE条件用于筛选出与下一个表匹配的数据然后返回给客户端. 除非故意做的全表扫描, 否则连接类型是ALL或者是index, 且在Extra列的值中没有Using Where, 则该查询可能是有问题的.\n\n* ☠️ **Using filesort**: MySQL会对结果使用一个外部索引排序,而不是从表里按照索引次序读到相关内容. 可能在内存或者磁盘上进行排序. MySQL中无法利用索引完成的排序操作称为'文件排序'.\n",
"Position": 0
},
"IDX.001": {
"Item": "IDX.001",
"Severity": "L2",
"Summary": "为optimizer_210420021045_xtme6s7wd8kcduhh库的t6表添加索引",
"Content": "为列age添加索引;为列name添加索引",
"Case": "ALTER TABLE `optimizer_210420021045_xtme6s7wd8kcduhh`.`t6` add index `idx_age_name` (`age`,`name`) ;\n",
"Position": 0
}
}
}
根据soar的建议添加索引
mysql> alter table t6 add index idx_age_name(age,name);
Query OK, 0 rows affected (0.02 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql> explain select info from t6 where age < 100 order by name;
+----+-------------+-------+------------+-------+---------------+--------------+---------+------+------+----------+---------------------------------------+
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
+----+-------------+-------+------------+-------+---------------+--------------+---------+------+------+----------+---------------------------------------+
| 1 | SIMPLE | t6 | NULL | range | idx_age_name | idx_age_name | 5 | NULL | 1 | 100.00 | Using index condition; Using filesort |
+----+-------------+-------+------------+-------+---------------+--------------+---------+------+------+----------+---------------------------------------+
1 row in set, 1 warning (0.00 sec)
结论：经过soar分析后的sql语句，执行效率更好
内容参考官网： https://github.com/XiaoMi/soar 标签：SQL,索引,tbl,MySQL,soar,WHERE,SELECT,SOAR From： https://www.cnblogs.com/harda/p/16994841.html