- 2025-01-21深入理解什么是LSM-Tree 以及相关的NoSQL | Leveldb =>Rocksdb => Ceph
-[深入理解什么是LSM-Tree-腾讯云开发者社区-腾讯云](https://cloud.tencent.com/developer/article/1441835)-[3.1LSM-Tree介绍-V1.0.0-开发者进阶教程文档-分布式数据库使用文档](https://www.oceanbase.com/docs/community-developer-advance-0000000000634013)-[Leveldb
- 2025-01-17Rocksdb的原理及使用场景
文章目录原理1.日志结构合并树(LSMTree):2.写放大(WriteAmplification):3.压缩(Compaction):4.压缩算法(Compression):5.列族(ColumnFamilies):6.写前日志(WAL):7.布隆过滤器(BloomFilter):使用场景1.高性能系统:2.嵌入式数据库:3.分布式系统:4.机器学习和人工智能:5.事件溯源(EventSourcing):6
- 2024-12-12RocksDB 内存超限问题剖析
作者:来自vivo互联网服务器团队-ZengLuobin在使用RocksDB存储引擎的过程中,有部分开发者遇到了内存使用超出预期的情况。本文针对这一问题展开了深入分析,从内存使用原理、RocksDB内存管理机制、常见内存使用问题等方面进行了详细探讨,并提出了相应的解决方案和优化建议,希望
- 2024-09-25调查一个osd的rocksdb问题
开始喜欢ceph的话欢迎关注奋斗的cepher微信公众号阅读更多好文!关于osd的问题总是各种各样,奇奇怪怪,有bug相关的,也有环境相关的,或者是配置相关的,对于osd各种问题的处理,重点在思路,思路对了,问题就好解决了。本篇是一个集群有ssd的osd发生down,这本不是什么值得关注的事,osd的do
- 2024-09-23Rocksdb 7.0.0 ~ 7.10.2 重要版本特性
7.9.0(2022-11-21)现在可以提供对宽列数据模型的基本支持。可以使用API存储宽列实体PutEntity,并使用GetEntity和迭代器的新columnsAPI进行检索。为了兼容,经典APIGet和MultiGet以及迭代器的valueAPI返回宽列实体的匿名默认列的值;此外,GetEntity和迭代器的APIcolumns以仅具
- 2024-09-20Rocksdb 6.3.6 ~ 6.29.5 重要版本特性
6.20.0(2021-04-16)修复了在分布式/网络文件系统中,当服务器成功但客户端返回错误时处理文件重命名错误的错误。该错误会导致CURRENT文件指向不存在的MANIFEST文件,从而无法打开DB。6.19.0(2021-03-21)在flush过程中,只有WALsync可重试IOerror才会被映射到hard
- 2024-08-04深入剖析Apache Flink的状态后端
ApacheFlink的状态后端是其状态管理的核心组件,负责存储和管理Flink程序的状态信息。状态后端的选择直接影响到Flink程序的容错能力、性能以及与外部系统的集成能力。本文将详细介绍Flink中的不同状态后端,包括它们的工作原理、特点、适用场景以及如何配置和使用。一、Flink
- 2024-08-04rocksdb安装与使用
首先要安装gcc7.3以上版本,依赖于c++17.参见gcc7安装及4.8.5和7.5并存。需要rpm方式或源码安装gflags2.2,否则系统可能内置了gflags2.1,从而导致链接时一直找不到gflags库。如下:/tmp/ccUXmr9R.o:Infunction`__static_initialization_and_destruction_0(int,int)':/home/
- 2024-04-23Flink状态编程:为什么不建议在ValueState里面存Map?
Flink状态编程:为什么不建议在ValueState里面存Map?文章目录先说结论性能:TTL:State需要存什么数据Heap模式ValueState和MapState如何存储StateBackend模式如何存储和读写State数据1.RocksDB模式ValueState和MapState如何存储1.1ValueState如何映射为RocksDB
- 2024-03-13编译GreatSQL with RocksDB引擎
GreatSQL里也能用上RocksDB引擎1.前言RocksDB是基于Facebook开源的一种支持事务的、高度可压缩、高性能的MyRocks存储引擎,特别适用于高度压缩和大容量的数据。以下是一些关键特点:高性能:LSM树结构使得RocksDB在写入密集型负载下表现卓越。它能够处理大量的写入操作,并且
- 2024-02-19NoSQL 数据库管理工具,搭载强大支持:Redis、Memcached、SSDB、LevelDB、RocksDB,为您的数据存储提供无与伦比的灵活性与性能!
NoSQL数据库管理工具,搭载强大支持:Redis、Memcached、SSDB、LevelDB、RocksDB,为您的数据存储提供无与伦比的灵活性与性能!【官网地址】:http://www.redisant.cn/nosql介绍直观的用户界面从单一应用程序中同时连接Redis、Memcached、SSDB、LevelDB、RocksDB,你可以快速轻松地创建
- 2023-12-08RocksDB 在 vivo 消息推送系统中的实践
作者:vivo互联网服务器团队-ZengLuobin本文主要介绍了RocksDB的基础原理,并阐述了RocksDB在vivo消息推送系统中的一些实践,通过分享一些对RocksDB原生能力的探索,希望可以给使用RocksDB的读者带来启发。一、背景在消息推送系统中,业务方服务器通过调用推送接口向VPUSH
- 2023-11-06Flink_state 的优化与 remote_state 的探索
摘要:本文整理自bilibili资深开发工程师张杨,在FlinkForwardAsia2022核心技术专场的分享。本篇内容主要分为四个部分:相关背景state压缩优化Remotestate探索未来规划一、相关背景1.1业务概况从业务规模来讲,B站目前大约是4000+的Flink任务,其中95%是SQL类型。从部署模
- 2023-10-21mysqldump之where用法
文档课题:mysqldump之where用法.数据库:MySQL5.7.21应用场景:实际生产中,需要运用mysqldump导出指定条件的数据,并且以insert语句的形式呈现,如下为相关测试.1、数据库信息mysql>select*fromstaffs;+----+------+-----+---------+---------------------+|id|name|age|p
- 2023-09-19rocksdb
RocksDB:APersistentKey-ValueStoreforFlashandRAMStorageRocksDB:一个用于闪存和RAM存储的持久化键值存储数据库RocksDBisdevelopedandmaintainedbyFacebookDatabaseEngineeringTeam.ItisbuiltonearlierworkonLevelDBbySanjayGhemawat(sanjay@goo
- 2023-09-18RocksDB存储简单使用
简介rocksDB是一个可嵌入的,持久性的key-value存储。基于Google的LevelDB,但提高了扩展性可以运行在多核处理器上,可以有效使用快速存储,支持IO绑定、内存和一次写负荷。高性能:RocksDB使用一套日志结构的数据库引擎,为了更好的性能,这套引擎是用C++编写的。Key和value是任意大小的
- 2023-07-04CockroachDB——类似spanner的开源版,底层使用rocksdb存储
摘自:https://github.com/cockroachdb/cockroach/blob/master/docs/design.mdCockroachDBisadistributedSQLdatabase.Theprimarydesigngoalsare scalability, strongconsistency and survivability(hencethename).CockroachDBaimstotoleratedisk,machine,ra
- 2023-06-27【翻译】rocksdb write stall
翻译自官方wiki:https://github.com/facebook/rocksdb/wiki/Write-Stalls转载请注明出处:https://www.cnblogs.com/morningli/p/16791706.htmlwritestall当flush或compaction无法跟上写入的速率时,rocksdb有旁路系统来减慢写入速率。如果没有这样的系统,用户如果持续写入比硬件能