• 2024-09-15聊聊OceanBase合并和转储
    相比于Oracle、MySQL等传统的数据库,OceanBase数据库的存储引擎采用LSM-Tree的架构,这种存储引擎和之前所使用到的堆结构或B+树结构有很大的差别,今天我们就来聊聊LSM-Tree存储引擎所引入的合并和转储相关的功能特点。OB存储引擎的分层结构LSM-Tree存储引擎分为静态基
  • 2024-08-26OceanBase-【OBCP】认证-第二章 OB 存储引擎高级技术
    第二章OB存储引擎高级技术内存管理内存数据落盘策略-合并和转储LSMTree技术简介LSMTree(TheLog-StructuredMerge-Tree)核心特点是利用顺序写来提高写性能◼将某个对象(Partition)中的数据按照“key-value”形式在磁盘上有序存储(SSTable)◼数据更新先记录在MemStor
  • 2024-08-05PTA 6-13 折半查找
    6-13折半查找(15分)给一个严格递增数列,函数intSearch_Bin(SSTableT,KeyTypek)用来二分地查找k在数列中的位置。函数接口定义:int Search_Bin(SSTableT,KeyTypek)其中T是有序表,k是查找的值。裁判测试程序样例:#include<iostream>usingnamespacestd;#define
  • 2024-02-20Cassandra
    Cassandra知识梳理Cassandra简介ApacheCassandra是一个开源,分布式和分散/分布式存储系统(数据库),用于管理分布在世界各地的大量结构化数据。它提供高可用性服务,没有单点故障。它具有可伸缩性,容错性和一致性。它是一个面向列的数据库。其分发设计基于亚马逊的Dynamo及其在Goo
  • 2023-11-12数据存储和检索:B-tree 和 LSM-tree
     本文主要介绍数据库的核心数据结构索引的实现方式:B+tree和LSM-tree。实际上,数据库是可以不存在索引结构的,遍历数据库总归可以实现数据库的查询,但是,如果数据量很大,这种低效的做法是不可接受的,那么自然而然,牺牲部分空间换取时间被提出和接受,即保留额外的元数据,实现数据
  • 2023-10-16google三驾马车之一:Bigtable解读(英文版)
    本文重点关注了系统设计相关的内容,paper后半部分的具体应用此处没有过多涉及。从个人笔记修改而来,因此为英文版本。Bigtable:ADistributedStorageSystemforStructuredDataDatamodel:notarelationaldatamodelABigtableisasparse,distributed,persistentmul
  • 2023-07-23LSM树学习笔记
    LSM-Tree即logstructuredmergetree。LSM-Tree是许多高度可扩展的NoSQL分布式键值类型数据库(如亚马逊的DynamoDB、Cassandra和ScyllaDB)的基础数据结构。众所周知,这些数据库在设计上支持的写入率远远超过传统关系数据库所能提供的写入率。几乎所有NoSQL数据库都使用LSM树的变体
  • 2023-05-11折半查找
    #include<iostream>usingnamespacestd;#defineMAXSIZE50typedefintKeyType;typedefstruct{KeyTypekey;}ElemType;typedefstruct{ElemType*R;intlength;}SSTable;voidCreate(SSTable&T){inti;T.R=newElemType[MAXSIZE
  • 2023-03-20疯一样的向自己发问 - 剖析lsm 索引原理
    疯一样的向自己发问-剖析lsm索引原理lsm简析lsm更像是一种设计索引的思想。它把数据分为两个部分,一部分放在内存里,一部分是存放在磁盘上,内存里面的数据检索方式可以
  • 2023-02-08Rocksdb SStable
    sstable(sortedstringtable)是googlebigtable中引出的数据结构,在levelDB、RocksDB以及现在各类数据库存储中配合LSM有广泛应用,学习下很有必要,本位以RocksDB中SST的实现
  • 2023-01-11TiDB 底层存储结构 LSM 树原理介绍
    作者:京东物流刘家存随着数据量的增大,传统关系型数据库越来越不能满足对于海量数据存储的需求。对于分布式关系型数据库,我们了解其底层存储结构是非常重要的。本文将介绍
  • 2023-01-11TiDB 底层存储结构 LSM 树原理介绍
    作者:京东给物流刘家存随着数据量的增大,传统关系型数据库越来越不能满足对于海量数据存储的需求。对于分布式关系型数据库,我们了解其底层存储结构是非常重要的。本文将介绍
  • 2023-01-11TiDB 底层存储结构 LSM 树原理介绍
    作者:京东给物流刘家存随着数据量的增大,传统关系型数据库越来越不能满足对于海量数据存储的需求。对于分布式关系型数据库,我们了解其底层存储结构是非常重要的。本文将介
  • 2023-01-04浅谈存储系统:LSM 树设计原理
    我在上篇文章ApachePulsar的架构设计中介绍了Pulsar存算分离的架构,其中broker只负责计算,由BookKeeper负责底层的存储,我还画了这样一张图说明BookKeeper读写分
  • 2022-11-27LevelDB基础原理(2) LSM Tree
    1.介绍1.1描述LSMTree(LogStructuredmergeTree)意思是日志结构合并树。目前广泛应用于一些流行的KV存储引擎中(LevelDBl、HBase、Bigtable等)LSM树并不是像红黑
  • 2022-11-27LevelDb基础原理(1) SSTable
    1.介绍1.1描述SSTable(SortedStringTable)是一个通常放在磁盘上的,排序的字符串表,用来高效存储大量的键值对数据,同时搭配上优化实现IO操作的高吞吐量.1.2背景
  • 2022-11-25基于LSM树的存储机制简述
    下午听了关于MyRocks-PASV的研究讲座,很有意思所以学习了一下LSM树的一些简单的底层原理。现在整理一下我们都知道目前Key:Value型的数据库普遍较之关系型数据库有着更
  • 2022-10-11浅谈MySQL、Hadoop、BigTable、Clickhouse数据读写机制
    个人理解,欢迎指正数据库引擎写数据读数据补充MySqlInnoDB:支持事务,高速读写性能一般Myisam:不支持事务,高速读写性能好以InnoDB更新一条记录为例1、B+Tree
  • 2022-09-26leveldb versionSet 和 versionEdit
    前言Compaction和Version相关的部分交织在一起,不搞明白Version很难理解Compaction。其实这句话反过来说也是对的,如果不理解Compaction也很难理解VersionSet。versionEdit