• 2024-09-14TiDB 数据库核心原理与架构_Lesson 01 TiDB 数据库架构概述课程整理
    作者:尚雷5580注:本文基于TiDB官网董菲老师《TiDB数据库核心原理与架构(101)》系列教程之《Lesson01TiDB数据库架构概述》内容进行整理和补充。一、TiDB体系架构1.1TiDB五大核心特性一键水平扩缩容得益于存储与计算分离的架构,TiDB支持按需对计算和存储进行在线扩
  • 2024-09-14几张图带你了解TiDB架构演进
    作者:ShawnYan历时四个月,恭喜赵老师的《TiDB从0到1》系列文章顺利完结,小编再次梳理一遍文稿,并附注解分享给大家。整体架构从TiDB1.0到8.0,TiDB的体系结构一直在不断演进。接下来让我们一起看看整体架构的变化。TiDBv1TiDBv1,主核心框架已定,TiDB由TiDBServer,TiKVSer
  • 2024-07-12SeaweedFS + TiKV 部署保姆级教程
    在使用JuiceFS时,我们选择了SeaweedFS作为对象存储,以及TiKV作为元数据存储,目前在SeaweedFS上已经存储了近1.5PB的数据。关于SeaweedFS和TiKV配置的参考资料不多,本文将为社区各位用户提供我们的部署实践,并提供详细的命令示例,希望能给社区各位用户一些参考。此外,在文章
  • 2024-06-17TiDB placement_rule in sql使用
    1、配置好tikvlabel例如:tikv_servers:-host:10.37.129.6ssh_port:22port:20160status_port:20180deploy_dir:/tidb-deploy/tikv-20160data_dir:/tidb-data/tikv-20160log_dir:/tidb-deploy/tikv-20160/logconfig:server.labels:host
  • 2024-06-14TiKV 源码分析之 PointGet
    作者:来自vivo互联网存储研发团队-GuoXiang本文介绍了TiDB中最基本的PointGet算子在存储层TiKV中的执行流程。一、背景介绍TiDB是一款具有HTAP能力(同时支持在线事务处理与在线分析处理)的融合型分布式数据库产品,具备水平扩容或者缩容等重要特性。TiDB采用多副本+Multi-R
  • 2024-05-26TIDB存储TiKV的键值对数据
    1.TiDB概述TiDB是一款开源分布式关系型数据库,同时支持在线事务处理(OLTP)与在线分析处理(OLAP)的混合型(HybridTransactionalandAnalyticalProcessing,HTAP)分布式数据库,具备水平扩容或缩容、金融级高可用、实时HTAP、Kubernetes云原生的分布式数据库、兼容MySQL5
  • 2024-01-30数据库之TiDB基础讲解
    目录1TiDB1.1引言1.2TiDB介绍1.3系统架构1.3.1TIDBServer1.3.2PDServer1.3.3TIKVServer1.3.4TiKV如何不丢失数据1.3.5分布式事务支持1.4与MySQL的对比1.5性能测试1.5.1测试一1.5.2系统测试报告21TiDB1.1引言当我们使用Mysql数据库到达一定量级以后,性能就
  • 2024-01-30分库分表已成为过去式,使用分布式数据库才是未来
    转载至我的博客https://www.infrastack.cn,公众号:架构成长指南当我们使用Mysql数据库到达一定量级以后,性能就会逐步下降,而解决此类问题,常用的手段就是引入数据库中间件进行分库分表处理,比如使用Mycat、ShadingShpere、tddl,但是这种都是过去式了,现在使用分布式数据库可以避免
  • 2024-01-29测试 TIDB in k8s 一次问题记录(pd failed to respond)
    作者:WalterWj问题背景单机装了个k8s,TIDB部署启动的时候看报错好像是tikv访问不到pd。但是通过tikvpodcurlpd端口是通的(404代表通,但是API不存在)。而且可以看到本地目录pd是预期产生文件了的。登录pdpod,执行pd-ctl也是正常执行。member命令下有内容解决方法
  • 2024-01-02一篇文章彻底搞懂TiDB集群各种容量计算方式
    背景TiDB集群的监控面板里面有两个非常重要、且非常常用的指标,相信用了TiDB的都见过:Storagecapacity:集群的总容量Currentstoragesize:集群当前已经使用的空间大小当你准备了一堆服务器,经过各种思考设计部署了一个TiDB集群,有没有想过这两个指标和服务器磁盘之间到底是啥关
  • 2023-12-28TiDB故障处理之让人迷惑的Region is Unavailable
    背景最近某集群扩容了一批物理机,其中TiKV节点有6台机器12个实例,同时调整了label设置增加了一层机柜级容灾。因为前期做了比较充分的准备工作,到了变更窗口只等着执行scale-out就行,操作过程也很顺利,很快就把所有节点都扩进去了,检查完各实例的运行状态,确保region已经开始正常调
  • 2023-09-24TiDB的简单介绍以及进行资源限制的方式与方法
    TiDB的简单介绍以及进行资源限制的方式与方法TiDB的简介TiDB是一个分布式数据库,简介为:TiDB是一个开源的分布式关系型数据库,它兼具了分布式数据库的水平扩展性和传统关系型数据库的ACID事务特性。TiDB最初由PingCAP公司开发,并于2015年开源发布。创始人自己开发发
  • 2023-09-15idb单副本时-TiKV节点损坏后有损数据恢复的方法
    Tidb单副本时-TiKV节点损坏后有损数据恢复的方法背景UAT环境下,为了减少存储.搭建了一套单副本的TiDB集群但是随着数据量的增多,UAT上面的数据可以丢失,但是表结构等信息是无法接受丢失和损坏的.因为很多不太均衡的问题,导致.部分TiKV节点不稳定.甚至会出现TiKV宕机的
  • 2023-09-10TiDB基础
    一.TiDb简介TiDB的使用场景1、数据量大2、多复本保存3、性能问题(分库分表存在业务问题) TiDB是一个分布式NewSQL数据库。它支持水平弹性扩展、ACID事务、标准SQL、MySQL语法和MySQL协议,具有数据强一致的高可用特性,是一个不仅适合OLTP场景还适合OLAP场景的混合
  • 2023-08-23TIKV节点数据文件误删后不更换服务器快速恢复
    社区里很多大佬总结了多副本丢失的灾难恢复方法,但是平时遇到最多的单节点故障快速恢复还没有人总结,本文为亲身实践后总结的问题处理过程,此过程保持集群可用无需停止其他节点服务。背景故事发生在炎炎夏日的某一天,通过一系列磁盘的iops的测试后,发了个工单质疑阿里云的ESSD磁盘性能
  • 2023-08-15TiKV占用内存超过的解决过程
    TiKV占用内存超过的解决过程背景为了后去TiDB的极限数据.晚上在每台服务器上面增加了多个TiKV的节点.主要方式为:每个NVME的硬盘增加两个TiKV的进程.这样每个服务器两个磁盘,共计4个TiKV的进程因为TiKV其实会使用尽可能多的缓存:storage.block-cache表示RocksDB多
  • 2023-08-02构建易于运维的 AI 训练平台:存储选型与最佳实践
    伴随着公司业务的发展,数据量持续增长,存储平台面临新的挑战:大图片的高吞吐、超分辨率场景下数千万小文件的IOPS问题、运维复杂等问题。除了这些技术难题,我们基础团队的人员也比较紧张,负责存储层运维的仅有1名同事,因而组件的易用性,一直也是我们评估的重要维度。我们尝试过文件
  • 2023-06-21TiDB简介与应用场景
    引言在当今互联网时代,数据的规模和复杂性不断增长,传统关系型数据库面临着无法满足高并发和大规模数据存储需求的挑战。为了解决这一问题,开源社区涌现出了一系列分布式数据库解决方案,其中TiDB作为一种新兴的分布式数据库引起了广泛的关注。本文将介绍TiDB的基本概念、特点以及适用
  • 2023-05-12一种KV存储的GC优化实践
    作者:vivo互联网服务器团队-YuanJianWei从内部需求出发,我们基于TiKV设计了一款兼容Redis的KV存储。基于TiKV的数据存储机制,对于窗口数据的处理以及过期数据的GC问题却成为一个难题。本文希望基于从KV存储的设计开始讲解,到GC设计的逐层优化的过程,从问题的存在到不同层面的分
  • 2023-05-03物理机安装 TiKV 时 RAID 卡在线配置方式
    作者:pepezzzzRaid配置的规划安装TiDB集群的物理机配置如下:组件配置描述CPU2*IntelXeonGold5218R(2.1GHz,20Core)内存384GB系统盘2*480GBSATASSDRAID1数据盘14*1.92TBSATASSDRAID10用14*1.92TBSATASSD组成RAID10后,减去RAID的元数据和1024的转换损
  • 2023-03-24【建议收藏】7000+字的TIDB保姆级简介,你见过吗
    TIDB简介什么是TIDBTiDB是一个分布式NewSQL数据库。它支持水平弹性扩展、ACID事务、标准SQL、MySQL语法和MySQL协议,具有数据强一致的高可用特性,是一个不仅适合
  • 2023-03-24【建议收藏】7000+字的TIDB保姆级简介,你见过吗
    TIDB简介什么是TIDBTiDB是一个分布式NewSQL数据库。它支持水平弹性扩展、ACID事务、标准SQL、MySQL语法和MySQL协议,具有数据强一致的高可用特性,是一个不仅适合
  • 2023-02-12数据库必知必会:TiDB(7)Placement Driver
    (数据库必知必会:TiDB(7)PlacementDriver)PlacementDriverPD的架构PD集群也是主从结构的,有一个leader,另外的节点是follower。集成了ETCD,其Raft协议保证了数据的一致性。
  • 2023-02-11数据库必知必会:TiDB(6)TiKV读写与 Coprocessor
    (数据库必知必会:TiDB(6)TiKV读写与Coprocessor)读写与Coprocessor数据写入用户提交写请求,由TiDBServer接收,TiDBServer向PD申请TSO,并获得Region的元数据信息,TiDBServe
  • 2023-02-10数据库必知必会:TiDB(5)TiKV Raft
    (数据库必知必会:TiDB(5)TiKVRaft)Raft角色介绍TiKV中的Region保存了3份数据,其中一份数据是主数据,称为leader,另外两份是follower。Region中的数据是按照key进行排序的。