首页 > 其他分享 >【IT老齐003】数据垂直分表

【IT老齐003】数据垂直分表

时间:2023-04-23 21:59:00浏览次数:38  
标签:垂直 003 老齐 详情 分表 数据

【IT老齐003】数据垂直分表

水平分表

范围法和hash法

针对数据量大的存储问题

垂直分表

将一张大表按列切分多张小表分别存储,通过主外键关联查询数据

1682250791153

  • 基本情况
    • 基本数据单位为行,管理数据单位为页(默认大小16k),保存页的单位为区(默认大小1m,最大64个页)。
  • 根本原因
    • innodb1.0引入压缩页,跨页压缩/解压缩操作效率低,因此设计数据库表时注意页内尽可能多包括行数据,降低跨页压缩/解压缩操作,提高页内检索效率。
  • 具体操作
    • 将大字段剥离到详情表,让基础表每页能容纳更多行,缩小数据检索范围,提高效率。
  • 使用场景
    • 单表数据量未来可能千万
    • 字段超过20个,且包含了超长的Varchar、CLOB、BLOB等字段
  • 分表方式
    • 小表(基础)
      • 数据查询、排序时需要的字段,如分类编号、商户id、品牌编号、逻辑删除标志位等
      • 高频访问的小字段,如商品名称、子标题、价格、厂商基本等
    • 大表(详情)
      • 低频访问字段:配送信息、售后声明、最后更新时间等
      • 大字段:商品图文详情、图片BLOB、JSON元数据等
  • 举例分析
    • 垂直分页前,1行数据为1K,1页16K,即1页16条数据,1亿的数据需要625万页
    • 垂直分页后,1行数据为64字节(1K=1024字节),即1页256条数据,1亿的数据需要39万页。

标签:垂直,003,老齐,详情,分表,数据
From: https://www.cnblogs.com/faetbwac/p/17347860.html

相关文章

  • 给虚拟机win2003装DNS插件出现问题
    已经配置给2003配置好ip地址和子网掩码了,安装DNS插件的时候报下面错误 有个红叉没法用 重启一下虚拟机就好了,可能是之前配置ip的时候和其他虚拟机重名了,我改了之后还有缓存。(还可以恢复快照或者重装一下虚拟机) ......
  • 003.其它组
    其它组除文件的所有者和所在组的用户外,系统的其他用户都是文件的其它组 改变用户所在组在添加用户时,可以指定将该用户添加到哪个组中,同样的使用root的管理权限可以改变某个用户所在的组。语法usermod-g新组名用户名usermod-d目录名用户名改变该用户登录的初始目录......
  • 运维 —— IMP-00030: failed to create file import_sys for write
    IMP-00030:failedtocreatefileimport_sysforwriteIMP-00000:Importterminatedunsuccessfully原因:操作系统用户oracle对dmp文件没有权限drwxr-xr-x 2root  root       42Feb 316:57dmp_dir解决办法:登录root用户,对用户oracle赋予dmp文件一些权限在root......
  • 【IT老齐001】单体架构升级问题
    【IT老齐001】单体架构升级问题不谈场景的架构设计都是耍流氓架构没有对不对,只有合不合适架构是宏观设计的标准框架是具体实现的规则架构是取舍的艺术场景举例系统面临大量文件读写影响服务器磁盘IO导致数据库查询高延迟初级解决方案Redis通过在内存中的高吞吐完......
  • 【IT老齐002】MySQL集群模式与应用场景
    【IT老齐002】MySQL集群模式与应用场景单库模式优点简单粗暴适合数据量干万以下小型应用企业网站,创业公司首选缺点不具备可用性与并发性读写分离集群模式读写分离中间件insert、update、delete负载均衡到从库select路由到主库MySQL主从复制binlog......
  • 扎实打牢数据结构算法根基,从此不怕算法面试系列之003 week01 02-03 代码实现线性查找
    1、算法描述在数组中逐个查找元素,即遍历。2、思路原理如算法描述,基本是最简单的代码块了,没有什么额外的原理。3、初步的代码实现线性查找法初步的代码实现:packagecom.mosesmin.datastructure.week01.chap02;/***@Misson&Goal代码以交朋友、传福音*@ClassNameLinearSearc......
  • 「独家解析」ShardingSphere分库分表技术实践,助力MySQL性能提升
    ApacheShardingSphere是一个开源的分布式数据库中间件解决方案组成的生态圈。它由三个产品组成:JDBC、Proxy和Sidecar。这些产品相互独立,但可以混合部署和配合使用,以提供标准化的数据分片、分布式事务和数据库治理功能。JDBC是ShardingSphere的基础组件,提供数据分片和读写分......
  • 003CCE Turbo配置容器网卡动态预热
    更新时间:2023-04-13GMT+08:00Reference: CCETurbo配置容器网卡动态预热_云容器引擎CCE_最佳实践_网络_华为云(huaweicloud.com)在云原生网络2.0下,每个Pod都会分配(申请并绑定)一张弹性网卡或辅助弹性网卡(统一称为:容器网卡)。由于容器场景下Pod的极速弹性与慢速的容器网卡创建......
  • MongoDriver 分表分页查询
    摘要:业务需求,分表也要兼容旧表。技术有限,封装思路及代码如下,大佬们见笑。首先Mongdb的Collection及其内容字段都是可以动态创建的,所以这里需要的一个关键点是,分表时用什么字段。本文将使用数据的创建时间作为依据,按月分表(如果需要其它字段分表,也可以参考这个思路)首先本文使......
  • Java技术_基础技术(0003)_类执行顺序详解+实例(阿里面试题)+详细讲解+流程图
    一、总体原则列出执行顺序的原则(这里本人出了简化,比较明了。可能有漏的,请帮忙补充,但应付该实例足以):  ==父类先于子类;  ==静态先于非静态;  ==变量和块先于构造方法;  ==变量声明先于执行(变量赋值、块执行);(这一点是根据数据在内存中是如何存储的得出的,基本类型、对象、......