首页 > 其他分享 >高性能轻量级针对分表分库读写分离的解决方案

高性能轻量级针对分表分库读写分离的解决方案

时间：2024-05-25 22:56:24浏览次数：12  
标签：分库 return shardingKey var tail 分表 new public 轻量级

efcore如何优雅的实现按年分库按月分表

 

efcore如何优雅的实现按年分库按月分表

介绍

本文ShardinfCore版本
本期主角:

ShardingCore 一款ef-core下高性能、轻量级针对分表分库读写分离的解决方案，具有零依赖、零学习成本、零业务代码入侵适配

距离上次发文.net相关的已经有很久了,期间一直在从事java相关的工作,一不小心就卷了一个java的orm。easy-query 如果有.net相关小伙伴转java可以关注一下也算是打一波小广告。

这次发文主要是在期间有多名用户咨询分库分表相关的事宜,因为我之前并没有针对按年分库按月分表的demo实现,所以本次我打算借着这个机会对该框架进行一次讲解

说明

很多小伙伴我发现不会写GetRouteFilter这个方法不知道是什么意思
那么我们这边做一个很简单的案例


var tails = new List<string>();
tails.Add("2024.01");
tails.Add("2024.02");
tails.Add("2024.03");
tails.Add("2024.04");
DateTime shardingKey=new DateTime(2024,2,1);
var t = $"{shardingKey:yyyy.MM}";
Func<string, bool> filter = tail => tail.CompareTo(t) > 0;

var list = tails.Where(filter).ToList();


//如果上面的你会写那么下面的你会写吗，无非是上面全部是大于号而实际我们需要根据用户判断来确定应该返回什么

    public override Func<string, bool> GetRouteToFilter(DateTime shardingKey, ShardingOperatorEnum shardingOperator)
    {
        var t = $"{shardingKey:yyyy.MM}";
        
        switch (shardingOperator)
        {
            case ShardingOperatorEnum.GreaterThan:
            case ShardingOperatorEnum.GreaterThanOrEqual:
                return tail => String.Compare(tail, t, StringComparison.Ordinal) >= 0;
            case ShardingOperatorEnum.LessThan:
            {
                var currentMonth = ShardingCoreHelper.GetCurrentMonthFirstDay(shardingKey);
                //处于临界值 o=>o.time < [2021-01-01 00:00:00] 尾巴20210101不应该被返回
                if (currentMonth == shardingKey)
                    return tail => String.Compare(tail, t, StringComparison.Ordinal) < 0;
                return tail => String.Compare(tail, t, StringComparison.Ordinal) <= 0;
            }
            case ShardingOperatorEnum.LessThanOrEqual:
                return tail => String.Compare(tail, t, StringComparison.Ordinal) <= 0;
            case ShardingOperatorEnum.Equal: return tail => tail == t;
            default:
            {
                return tail => true;
            }
        }
    }

步骤1

安装nuget

efcore架构

新建用户订单根据订单的创建时间年份进行分库月份进行分表

public class OrderItem
{
    /// <summary>
    /// 用户Id
    /// </summary>
    public string Id { get; set; }
    /// <summary>
    /// 购买用户
    /// </summary>
    public string User { get; set; }
    /// <summary>
    /// 付款金额
    /// </summary>
    public decimal PayAmount { get; set; }
    /// <summary>
    /// 创建时间
    /// </summary>
    public DateTime CreateTime { get; set; }
}
//数据库访问上下文
public class TestDbContext:AbstractShardingDbContext,IShardingTableDbContext
{
    public DbSet<OrderItem> OrderItems { get; set; }
    public TestDbContext(DbContextOptions<TestDbContext> options) : base(options)
    {
    }

    public IRouteTail RouteTail { get; set; }
    protected override void OnModelCreating(ModelBuilder modelBuilder)
    {
        base.OnModelCreating(modelBuilder);

        modelBuilder.Entity<OrderItem>()
            .HasKey(o => o.Id);
        modelBuilder.Entity<OrderItem>()
            .ToTable(nameof(OrderItem));
    }
}


//分库路由
public class OrderItemDataSourceRoute:AbstractShardingOperatorVirtualDataSourceRoute<OrderItem,DateTime>
{
    private readonly ConcurrentBag<string> dataSources = new ConcurrentBag<string>();
    private readonly object _lock = new object();
    public override string ShardingKeyToDataSourceName(object shardingKey)
    {
        return $"{shardingKey:yyyy}";//年份作为分库数据源名称
    }

    public override List<string> GetAllDataSourceNames()
    {
        return dataSources.ToList();
    }

    public override bool AddDataSourceName(string dataSourceName)
    {
        var acquire = Monitor.TryEnter(_lock, TimeSpan.FromSeconds(3));
        if (!acquire)
        {
            return false;
        }
        try
        {
            var contains = dataSources.Contains(dataSourceName);
            if (!contains)
            {
                dataSources.Add(dataSourceName);
                return true;
            }
        }
        finally
        {
            Monitor.Exit(_lock);
        }

        return false;
    }

    public override void Configure(EntityMetadataDataSourceBuilder<OrderItem> builder)
    {
        builder.ShardingProperty(o => o.CreateTime);
    }

    /// <summary>
    /// tail就是2020，2021，2022，2023 所以分片只需要格式化年就可以直接比较了
    /// </summary>
    /// <param name="shardingKey"></param>
    /// <param name="shardingOperator"></param>
    /// <returns></returns>
    public override Func<string, bool> GetRouteToFilter(DateTime shardingKey, ShardingOperatorEnum shardingOperator)
    {
        var t = $"{shardingKey:yyyyy}";
        
        switch (shardingOperator)
        {
            case ShardingOperatorEnum.GreaterThan:
            case ShardingOperatorEnum.GreaterThanOrEqual:
                return tail => String.Compare(tail, t, StringComparison.Ordinal) >= 0;
            case ShardingOperatorEnum.LessThan:
            {
                var currentYear =new DateTime(shardingKey.Year,1,1);
                //处于临界值 o=>o.time < [2021-01-01 00:00:00] 尾巴20210101不应该被返回
                if (currentYear == shardingKey)
                    return tail => String.Compare(tail, t, StringComparison.Ordinal) < 0;
                return tail => String.Compare(tail, t, StringComparison.Ordinal) <= 0;
            }
            case ShardingOperatorEnum.LessThanOrEqual:
                return tail => String.Compare(tail, t, StringComparison.Ordinal) <= 0;
            case ShardingOperatorEnum.Equal: return tail => tail == t;
            default:
            {
                return tail => true;
            }
        }
    }
}

//分表路由
public class OrderItemTableRoute:AbstractShardingOperatorVirtualTableRoute<OrderItem,DateTime>
{
    private readonly List<string> allTails = Enumerable.Range(1, 12).Select(o => o.ToString().PadLeft(2, '0')).ToList();
    public override string ShardingKeyToTail(object shardingKey)
    {
        var time = Convert.ToDateTime(shardingKey);
        return $"{time:MM}";//01,02.....11,12
    }

    public override List<string> GetTails()
    {
        return allTails;
    }

    public override void Configure(EntityMetadataTableBuilder<OrderItem> builder)
    {
        builder.ShardingProperty(o => o.CreateTime);
    }

//注意这边必须将忽略数据源改成false
//注意这边必须将忽略数据源改成false
//注意这边必须将忽略数据源改成false
    protected override bool RouteIgnoreDataSource => false;

//RouteIgnoreDataSource为false的时候那么tail就不是01,02......11,12了而是2021.01，2021.02.....会在tail里面带上数据源,就可以对齐进行筛选了
//如果你的数据源带了其他特殊标识请自行处理
    public override Func<string, bool> GetRouteToFilter(DateTime shardingKey, ShardingOperatorEnum shardingOperator)
    {
        var t = $"{shardingKey:yyyyy.MM}";
        
        switch (shardingOperator)
        {
            case ShardingOperatorEnum.GreaterThan:
            case ShardingOperatorEnum.GreaterThanOrEqual:
                return tail => String.Compare(tail, t, StringComparison.Ordinal) >= 0;
            case ShardingOperatorEnum.LessThan:
            {
                var currentMonth = ShardingCoreHelper.GetCurrentMonthFirstDay(shardingKey);
                //处于临界值 o=>o.time < [2021-01-01 00:00:00] 尾巴20210101不应该被返回
                if (currentMonth == shardingKey)
                    return tail => String.Compare(tail, t, StringComparison.Ordinal) < 0;
                return tail => String.Compare(tail, t, StringComparison.Ordinal) <= 0;
            }
            case ShardingOperatorEnum.LessThanOrEqual:
                return tail => String.Compare(tail, t, StringComparison.Ordinal) <= 0;
            case ShardingOperatorEnum.Equal: return tail => tail == t;
            default:
            {
                return tail => true;
            }
        }
    }
}

startUp配置


ILoggerFactory efLogger = LoggerFactory.Create(builder =>
{
    builder.AddFilter((category, level) => category == DbLoggerCategory.Database.Command.Name && level == LogLevel.Debug).AddConsole();
});
builder.Services.AddShardingDbContext<TestDbContext>()
    .UseRouteConfig(o =>
    {
        o.AddShardingDataSourceRoute<OrderItemDataSourceRoute>();
        o.AddShardingTableRoute<OrderItemTableRoute>();
    })
    .UseConfig((sp, o) =>
    {
        o.ThrowIfQueryRouteNotMatch = false;

        // var redisConfig = sp.GetService<RedisConfig>();
        // o.AddDefaultDataSource(redisConfig.Default, redisConfig.DefaultConn);
        // //redisConfig.ExtraConfigs
        // o.AddExtraDataSource();
        
        o.AddDefaultDataSource("2024", "server=127.0.0.1;port=3306;database=sd2024;userid=root;password=root;");
        o.UseShardingQuery((conn, b) =>
        {
            b.UseMySql(conn, new MySqlServerVersion(new Version())).UseLoggerFactory(efLogger);
        });
        o.UseShardingTransaction((conn, b) =>
        {
            b.UseMySql(conn, new MySqlServerVersion(new Version())).UseLoggerFactory(efLogger);
        });
    }).AddShardingCore();

startUp初始化

//初始化额外表

var shardingRuntimeContext = app.Services.GetService<IShardingRuntimeContext<TestDbContext>>();
var dataSourceRouteManager = shardingRuntimeContext.GetDataSourceRouteManager();
var virtualDataSourceRoute = dataSourceRouteManager.GetRoute(typeof(OrderItem));
virtualDataSourceRoute.AddDataSourceName("2024");
virtualDataSourceRoute.AddDataSourceName("2023");
virtualDataSourceRoute.AddDataSourceName("2022");
DynamicShardingHelper.DynamicAppendDataSource(shardingRuntimeContext,"2023","server=127.0.0.1;port=3306;database=sd2023;userid=root;password=root;",false,false);
DynamicShardingHelper.DynamicAppendDataSource(shardingRuntimeContext,"2022","server=127.0.0.1;port=3306;database=sd2022;userid=root;password=root;",false,false);

using (var scope = app.Services.CreateScope())
{
    var testDbContext = scope.ServiceProvider.GetService<TestDbContext>();
    testDbContext.Database.EnsureCreated();
}

app.Services.UseAutoTryCompensateTable();

编写控制器


    public async Task<IActionResult> Init()
    {
        var orderItems = new List<OrderItem>();
        var dateTime = new DateTime(2022,1,1);
        var end = new DateTime(2025,1,1);
        int i = 0;
        while (dateTime < end)
        {
            orderItems.Add(new OrderItem()
            {
                Id = i.ToString(),
                User = "用户"+i.ToString(),
                PayAmount=i,
                CreateTime = dateTime,
            });
            i++;
            dateTime = dateTime.AddDays(15);
        }

        await _testDbContext.OrderItems.AddRangeAsync(orderItems);
        await _testDbContext.SaveChangesAsync();
        return Ok("hello world");
    }

    public async Task<IActionResult> Query([FromQuery]int current)
    {
        var dateTime = new DateTime(2023,1,1);
        var shardingPagedResult = await _testDbContext.OrderItems
            .Where(o => o.CreateTime > dateTime)
            .OrderBy(o=>o.CreateTime)
            .ToShardingPageAsync(current, 20);
        return Ok(shardingPagedResult);
    }

初始化接口

查询

通过断点我们可以清晰地看到路由里面的2022年数据已经被彻底排除仅有2023和2024年的数据

后续

通过观察控制台我们看到了它打印了非常多的sql因为这边并没有对排序进行一个优化具体可以观看我的前几期文章内容做一个CreateEntityQueryConfiguration

分库路由和分表路由都需要进行编写CreateEntityQueryConfiguration

最后的最后

附上demo:ShardingYearDataBaseMonthTable https://github.com/xuejmnet/ShardingYearDataBaseMonthTable

您都看到这边了确定不点个star或者赞吗,一款.Net不得不学的分库分表解决方案,简单理解为分库分表技术在.net中的实现并且支持更多特性和更优秀的数据聚合,拥有原生性能的97%,并且无业务侵入性,支持未分片的所有efcore原生查询

  分类: sharding-core

标签：分库,return,shardingKey,var,tail,分表,new,public,轻量级
From： https://www.cnblogs.com/Leo_wl/p/18213116

相关文章

  • springboot3.0+shardingsphere5.2 最简单的分库分表
    先看表结构两个数据库test1,test2每个库有4张sys_user表分别命名sys_user_0-4maven依赖<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency>......
  • MySQL 分库分表之后，id 主键如何处理？
    问：分库分表之后，id主键如何处理？ 其实这是分库分表之后你必然要面对的一个问题，就是id咋生成？因为要是分成多个表之后，每个表都是从1开始累加，那肯定不对啊，需要一个全局唯一的id来支持。所以这都是你实际生产环境中必须考虑的问题。 基于数据库的实现方案 数据库自增id......
  • 字节面试：百亿级存储，怎么设计？只是分库分表？
    文章很长，且持续更新，建议收藏起来，慢慢读！疯狂创客圈总目录博客园版为您奉上珍贵的学习资源：免费赠送:《尼恩Java面试宝典》持续更新+史上最全+面试必备2000页+面试必备+大厂必备+涨薪必备免费赠送:《尼恩技术圣经+高并发系列PDF》，帮你实现技术自由，完成职业升级，薪......
  • N 年前，为了学习分库分表，我把 Cobar 源码抄了一遍
    10几年前，互联网产业蓬勃发展，相比传统IT企业，互联网应用每天会产生海量的数据。如何存储和分析这些数据成为了当时技术圈的痛点，彼时，分库分表解决方案应运而生。当时最流行的Java技术论坛是javaeye，有位淘宝的技术人员分享了一篇分库分表的文章，这篇文章，我反复看了几十遍，想从......
  • 轻量级新浪图床程序 幻想领域1.0发布
    Tips：当你看到这个提示的时候，说明当前的文章是由原emlog博客系统搬迁至此的，文章发布时间已过于久远，编排和内容不一定完整，还请谅解`轻量级新浪图床程序幻想领域1.0发布日期：2018-3-8阿珏折腾代码浏览：30962次评论：117条幻想领域哇塞，终于有一款属于自己的图床了.......
  • 轻量级工作流平台优势表现在哪些方面？
    在数字化发展大潮的推动下，低代码技术平台得到了很多客户朋友的青睐和喜爱。要想实现提质增效的办公效果，借助低代码技术平台、轻量级工作流平台的优势特点，可以减少传统软件平台的束缚和限制，快速实现高效率办公。想要了解低代码技术平台、轻量级工作流平台的优势特点，可以从文本中获......
  • shardingJDBC分库分表
    背景随着项目的运行很多数据库表数据压力越来越来大，例如（订单，详情等）,数据库压力越来越大，插入查询等操作异常麻烦，我们需要进行一些处理,比如根据业务水平或者垂直分库分表Cobar，阿里B2B团队开源，proxy层方案TDDL，淘宝团队，client层方案Atlas，360开源，proxy层方案Sharding-jdbc，当当......
  • 1-分库分表概述_工作过程_分片规则_目录结构_配置文件
    1.分库分表概述工作过程分片规则目录结构配置文件分库分表概述 工作过程 分片规则 目录结构 配置文件分库分表应用注意1.在数据库设计时考虑垂直分库和垂直分表2.数据量增加时，不要马上做水平分割，而是先考虑缓存处理、读写分离、使用索引等方式。如果以上方式不能解决，......
  • EasyLogger - 一款超轻量级、高性能的 C/C++ 日志库
    1、EasyLogger-一款超轻量级、高性能的C/C++日志库EasyLogger是一款超轻量级(ROM<1.6K,RAM<0.3K)、高性能的C/C++日志库，非常适合对资源敏感的软件项目，例如：IoT产品、可穿戴设备、智能家居等等。相比log4c、zlog这些知名的C/C++日志库，EasyLogger的功能更加简单，提供......
  • LwRB - 一款适用嵌入式系统的轻量级 RingBuffer+MultiTimer - 超精简的纯软件定时器驱
    1、MicroMagic发布世界上最快的64-bitRISC-V核近日，一家位于美国加州森尼维尔的小型电子设计公司MicroMagic宣称设计、生产出了全世界最快的64位RISC-V内核，比苹果的M1芯片和ArmCortex-A9表现还要出色。消息源： http://www.micromagic.com/news/RISCv-Fastest_PR.pdf这......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99