首页 > 其他分享 >开源一个教学型分库分表示例项目 shardingsphere-jdbc-demo

开源一个教学型分库分表示例项目 shardingsphere-jdbc-demo

时间:2024-03-21 22:12:46浏览次数:35  
标签:分库 shardingsphere 订单 jdbc ent 分表 order

在笔者心中,消息队列缓存分库分表是高并发解决方案三剑客。

分库分表之所以被广泛使用,因为工程相对简单,但分库分表并不仅仅是分片,还是需要考虑如何扩缩容(全量同步、增量同步、数据校验等)。

分库分表技术思维导图

因此笔者做了一个教学型分库分表示例项目 ,计划将分库分表的技术体系都实际演示一遍。

https://github.com/makemyownlife/shardingsphere-jdbc-demo

当前项目包含三个模块 :

  • shardingjdbc4-spring:使用 shardingsphere-JDBC 4.X 实现分库分表功能
  • shardingjdbc5-spring:使用 shardingsphere-JDBC 5.X 实现分库分表功能
  • idgenerator: 基于 grpc 实现一个简单的服务端 ID 生成器

下面我们展示如何运行 shardingjdbc4-spring 模块,shardingsphere JDBC 4.x 如何整合 spring 实现分库分表功能。

1 业务分析

笔者曾经为武汉一家 O2O 公司订单服务做过分库分表架构设计 ,当企业用户创建一条采购订单 , 会生成如下记录:

  • 订单基础表 t_ent_order :单条记录

  • 订单详情表 t_ent_order_detail :单条记录

  • 订单明细表 t_ent_order_item:N 条记录

订单每年预估生成记录 1 亿条,数据量不大也不小,笔者参考原来神州专车的分库分表方式,制定了如下的分库分表策略:

  • 订单基础表按照 ent_id (企业用户编号) 分库(四个分库),订单详情表保持一致。
  • 订单明细表按照 ent_id (企业用户编号) 分库 (四个分库),同时也要按照 ent_id (企业编号) 分表(八个分表)。

2 环境准备

创建 4 个库,分别是:ds_0、ds_1、ds_2、ds_3 。

然后这四个分库分别执行 doc 目录下的 shardingjdbc-spring.sql 文件。

执行结果如下图所示,每个分库都包含订单基础表 , 订单详情表 ,订单明细表 。但是因为明细表需要分表,所以包含多张表。

3 项目结构

打开项目,如下图所示:

这是一个典型的 springboot 项目,包含控制器层、实体层、服务层 。

1、pom 文件配置依赖

<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
    <version>4.1.1</version>
</dependency>

2、分片配置 application-test.yml

  • 配置数据源,上面配置数据源是: ds0、ds1、ds2、ds3 ;
  • 配置打印日志,也就是:sql.show ,在测试环境建议打开 ,便于调试;
  • 配置哪些表需要分库分表 ,在 shardingsphere.datasource.sharding.tables 节点下面配置:

上图中我们看到配置分片规则包含如下两点:

1.真实节点

​ 对于我们的应用来讲,我们查询的逻辑表是:t_ent_order_item 。

​ 它们在数据库中的真实形态是:t_ent_order_item_0t_ent_order_item_7

​ 真实数据节点是指数据分片的最小单元,由数据源名称和数据表组成。

​ 订单明细表的真实节点是:ds$->{0..3}.t_ent_order_item_$->{0..7}

2.分库分表算法

分别配置分库策略和分表策略 , 每种策略都需要配置分片字段( sharding-columns )和分片算法

4 测试接口

修改配置文件 application-test.yml ,配置好 MySQL 数据库 和 Redis 服务 。

启动 Main 函数:

启动过程中,会打印 shardingsphere jdbc 日志 。

启动成功之后,访问 swagger ui 地址:

http://localhost:9793/shardingsphere-jdbc-server/doc.html#/home

接下来,我们进行两个测试:新增订单和按照订单 ID 查询

1、测试存储订单

点击发送按钮,接口响应成功。

我们插入1 条订单记录、1 条订单详情表进入 ds3 分片,并且 2 条订单条目表进入 ds3 分片的 t_ent_order_item_7 表。

2、测试存储订单

参数名称是 orderId , 参数值:609335823493160961 ,点击发送按钮,接口响应成功 , 返回订单信息。

标签:分库,shardingsphere,订单,jdbc,ent,分表,order
From: https://www.cnblogs.com/makemylife/p/18088346

相关文章

  • opengauss-jdbc问题整理
    opengauss-jdbc问题整理(更新中)问题1jdbc批量执行insert语句时返回结果不符合Springjpa预期问题描述:jdbc执行查询时,可以使用preparestatment.executeBatch()方法批量执行一组sql语句,该方法返回为int[]int型数组变量,含义是批量执行的每个sql语句更新的数据行数。......
  • Cannot resolve com.microsoft.sqlserver:sqljdbc4:4.0解决方案
    问题:<dependency> <groupId>com.microsoft.sqlserver</groupId> <artifactId>sqljdbc4</artifactId> <version>4.0</version></dependency>爆红解决方案1手动下载jar包MavenRepository:com.microsoft.sqlserver»sqljdbc4»4.0......
  • Spring JdbcTemplate+Druid数据源+FreeMarker 开发代码生成器
    虽然在这个时代,几乎所有成熟的开发框架都自带代码生成器,但有时候我们难免会遇到没有代码生成器的开发框架,这个时候,自己手中有一套代码生成器,把模版文件调整一下立马就能用,这就比较惬意了。这里讲一下如何利用SpringJdbcTemplate+Druid数据源+FreeMarker开发一套代码生成器。......
  • Mybatis使用JDBC实现数据库批量添加
    1、spring注入数据源@Resource(name="dataSource")privateDataSourcedataSource;2、连接数据库批量添加publicvoidinsertJdbc(List<StatisticStatus>statusList)throwsSQLException{Connectionconnection=null;PreparedStatem......
  • JDBC
    JDBC步骤:注册驱动【依赖的jar包进行安装】获取连接【connection建立连接】创建发送sql语句对象【statement创建发送sql语句的statement】发送sql语句,并获取返回结果【statement发送sql语句到数据库并且取得返回结构】结果集解析【将result结果解析出来】资......
  • 使用JDBC查询数据库会一次性加载所有数据吗
    前几天有个小伙伴说他有个疑问:当我们发起一个查询的时候,数据库服务器是把所有结果集都准备好,然后一次性返回给应用程序服务吗(因为他们生产有个服务因为一个报表查询搞宕机了)。这样想的原因很简单,假设那个报表查询出来有几百万数据,然后一次性倾泻给应用程序了,应用没那么大内存空......
  • 什么是分库分表?用Java手写一个分库分表组件
    分库分表分库分表路由组件的主要功能是负责处理数据在多个数据库和表之间的分配和路由。在分库分表的场景中,数据会根据一定的策略(如业务逻辑、哈希算法等)被分散到不同的数据库或表中,以提高系统的并发处理能力和扩展性。具体来说,分库分表路由组件需要完成以下任务:数据源的......
  • JDBC的执行流程!!!
    JBDC的底层主要是三个接口对象,Connection、Statement、ResultSet。Connection用于建立与数据库的连接,Statement用于向数据库发送sql语句,ResultSet用于封装sql查询语句的结果。原始的JDBC操作数据库主要有以下几个步骤:1.注册驱动使用Class.forName()方法加载数据库驱动......
  • sharding-jdbc原理
    分片流程一、sql解析从3.0.x版本开始,ShardingSphere统一将SQL解析器换成了基于antlr4实现,目的是为了更方便、更完整的支持SQL,例如对于复杂的表达式、递归、子查询等语句,因为后期ShardingSphere的定位已不仅仅是数据分片功能。抽象语法树根据不同数据库方言所提供的字......
  • ojdbc8.jar下载
    由于oracle的版权问题,java连接oracle的jar(ojdbc.jar)在maven的中央仓库下载不到。1.手动下载jar包ojdbc8.jar官网下载地址:https://www.oracle.com/database/technologies/jdbc-ucp-122-downloads.html2.以管理员身份打开cmd并切换到ojdbc8.jar目录下(或者直接找到此目录,输入cm......