5. 分片流程与 Sharding 核心问题
5.1 Bee (JDBC 部分) 的转换流程
Bee 基于 JDBC 操作数据库的流程如下:
1) 使用实体 Javabean (+ 条件表达式 Condtion,对应 SQL 的 where 表达式) 传达操作 DB 的信息;
2) 解析成 DB 能识别的 sql 语句;
3) 调用 JDBC 操作数据库;
4) 处理并返回操作结果。
其中 2)~4) 由 Bee 框架负责,用户一般只需要关注 1) 对应的接口。
5.2 Bee Sharding 分片流程
1. Sharding 拦截器进行拦截,计算和收集分片涉及的数据源名称和表名称等分片信息;
2. 对象解析引擎解析对象 / Condtion 并产生 sql 语句;
3.BeeSql 操作数据库引擎,判断是否有分片;
3.1 无分片或只是分片到一库一表,走无分片分支;
3.2 有分片,将走分片分支;
分片分为以下几种:一库多表;多库多表,只指定库 (全表);全库全表;(一库一表经过优化,不走分片)
BeeSql 操作数据库引擎处理检测缓存是否有数据,有则返回;
没有缓存,交由指定分片引擎处理;
根据分片引擎,选择 4,5,6,7,8 进行处理。
4. 无排序,无分页的,如 delete,update, 单条 insert;
ShardingModifyEngine 分片引擎
4.1 改写 sql 引擎对 sql 改写,并记录对应的 ds
4.2 ShardingBeeSQLModifyExecutorEngine 引擎,执行分片
a) 设置当前分片的 Ds;
b) 交由 BeeSql 操作数据库引擎处理;
路由到指定 Ds, 并获取相关 Connection;
执行 Suid 操作,并返回结果;
4.3 结果合并引擎合并结果
5. 查询分片
ShardingSelectEngine 分片引擎
5.1
a) 若有分页,改写分页语句;
改写 sql (OrderByPagingRewriteSql),
并记录对应的 ds
5.2 若是单库多表,且有分页,支持 union all, 不是多表查询,优化查询;
//b) sql 语句替换表下标
//c)union all
//d) 生成新的复合查询语句;
//e) 加排序子句;(如果有)
//f) 加分页,取指定页的一页记录
//g) 调整参数缓存
5.3 ShardingBeeSQLExecutorEngine 引擎,执行分片
a) 设置当前分片的 Ds;
b) 交由 BeeSql 操作数据库引擎处理;
路由到指定 Ds, 并获取相关 Connection;
执行 Suid 操作,并返回结果;
5.4 结果合并引擎合并结果
5.5 排序装饰
5.6 分页装饰
获取指定的一页数据
5.7 记录结果到缓存;
5.8 返回
6. 查询函数分片
ShardingSelectFunEngine 分片引擎
6.1 改写 sql 引擎对 sql 改写 (更新具体下标), 并记录对应的 ds
6.2 ShardingBeeSQLFunExecutorEngine 引擎,执行分片
a) 设置当前分片的 Ds;
b) 交由 BeeSql 操作数据库引擎处理;
路由到指定 Ds, 并获取相关 Connection;
执行 Suid 操作,并返回结果;
6.3 结果合并引擎合并结果
6.4 另外,avg 要使用专门的 ShardingAvgEngine,进行改写 Sql, 合并结果,并处理结果.
7. 查询 Json 分片
ShardingSelectJsonEngine 分片引擎
该种处理,与 5 的查询分片引擎很类似。只是最后要将结果由 List 转为 Json.
8.ShardingSelectListStringArrayEngine
分片的 select 操作
专门为处理返回值是 List<String []> 的类型
5.3 Sharding 核心问题
5.3.1 改写 SQL
5.3.2 结果合并
5.3.3 排序
5.3.4 分页
5.3.5 查询 Json
Bee 源码地址:
https://gitee.com/automvc/bee
https://github.com/automvc/bee
Bee 经过 10 几个版本的迭代,ORM 的基本功能已趋于成熟稳定。
Bee 从 2.0 版本开始,将全面支持 Sharding 分库分表功能。
标签:分库,分片,Bee,改写,分表,引擎,sql,Sharding From: https://blog.51cto.com/u_15822049/5745206