首页 > 其他分享 >ceph分布式存储软件pgs inconsistent

ceph分布式存储软件pgs inconsistent

时间:2023-08-21 16:46:57浏览次数:28  
标签:Ceph 存储 对象 OSD ceph inconsistent 数据 节点 pgs

Ceph是一个开源的分布式存储系统,它提供了高性能、高可靠性以及高扩展性。Ceph的设计理念是基于对象存储模型,通过将数据分割成多个对象并存储在不同的节点上,实现数据的分布式存储和访问。

Ceph的核心组件包括:

  1. RADOS(Reliable Autonomic Distributed Object Store):RADOS是Ceph的底层存储系统,它负责数据的存储和复制。数据被分割成对象,并以对象的方式存储在不同的存储节点上。每个对象都有一个唯一的标识符,称为对象ID。

  2. OSD(Object Storage Device):OSD是Ceph中的存储节点,负责管理和存储对象。每个OSD都有自己的存储空间,并通过网络与其他OSD节点通信。OSD之间通过复制机制来实现数据的冗余备份,提供高可靠性和容错能力。

  3. MON(Monitor):MON是Ceph中的监视器节点,负责监控集群中的状态信息和元数据。每个MON节点维护着集群的整体拓扑结构和状态信息,并通过选举机制来选择主监视器。

  4. MDS(Metadata Server):MDS是Ceph中的元数据服务器,负责存储和管理文件系统的元数据。MDS节点维护着文件系统的目录结构、文件权限等信息,支持文件的读写操作。

Ceph的工作流程如下:

  1. 客户端向Ceph集群发送请求,请求可以是读取、写入或删除数据。

  2. 当客户端发送写入请求时,数据会被分割成多个对象,并通过CRUSH算法确定存储位置。对象会被复制到不同的OSD节点上,以提供冗余备份。

  3. 当客户端发送读取请求时,Ceph会根据对象的ID查询元数据服务器获取对象的存储位置。然后,客户端可以直接从存储节点读取对象数据。

  4. 如果一个OSD节点发生故障,Ceph会自动从其他备份节点恢复数据,保证数据的可靠性和可用性。

总结起来,Ceph通过将数据分割成对象并存储在不同的节点上,以实现数据的分布式存储和访问。通过复制机制、监视器节点和元数据服务器等组件,提供高性能、高可靠性和高扩展性的分布式存储解决方案

ceph集群异常问题实战示例:

工作中进行ceph分布式存储维护时会发生pgs inconsistent异常,原因分析:

1、磁盘故障导致

2、网络故障导致

3、集群容量不足导致

处理方式:

  1. ceph health detail 从打印的信息中找到不一致的pg编号
  2. ceph pg repair 4.395 执行指令修复

标签:Ceph,存储,对象,OSD,ceph,inconsistent,数据,节点,pgs
From: https://www.cnblogs.com/Albert-M/p/17646416.html

相关文章

  • Ceph RBD的使用笔记
    ceph的内容太多了,单独写一篇文章记录自己的一些RBD的学习笔记,其实简书和其他博客上已经记录的非常全面了,但是因为出处都比较分散,所以还是自己把自己的实验记录一下便于以后学习的查阅。也感谢各位大佬的无私分享。 1.RBD池的创建和enable[cephadmin@ceph-node~]$cephosdp......
  • OpenStack对接Ceph平台
    OpenStack对接Ceph平台目录OpenStack对接Ceph平台1、创建后端需要的存储池(ceph-01节点操作)2、创建后端用户2.1创建密钥(ceph-01节点操作)2.1.1创建用户client.cinder2.1.2创建用户client.glance2.1.3创建用户client.cinder-backup2.2导出密钥(ceph-01节点操作)2.3拷贝密钥2.3.1......
  • 初识Ceph之0——Ceph概述
    一、Ceph的起源Ceph是一个统一的分布式存储系统,设计初衷是提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作(最早的成果于2004年发表),并随后贡献给开源社区。在经过了数年的发展之后,目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可......
  • 手动安装ceph和使用
    我们已经对ceph有了一个大概的了解,现在就进行手动的安装ceph集群。在我们安装集群之前,首先应该对自己的服务器环境以及集群节点作用做一个规划。架构设计Ceph分布式存储集群有三大组件组成,分为:CephMonitor、CephOSD、CephMDS,后边使用对象存储和块存储时,MDS非必须安装,只有当使......
  • 云存储---ceph简介架构原理和一些基本概念
    Ceph简介Ceph是一个分布式存储系统,提供对象,块和文件存储,是一个免费开源软件的存储解决方案,可以部署于普通的x86兼容服务器上,可用于解决统一存储的io问题。Ceph诞生于2004年,最早是SageWeil一项关于存储系统的PhD研究项目,致力于开发下一代高性能分布式文件系统的项目。随着云计算的发......
  • 使用ceph的对象存储
    Ceph对象存储Ceph对象存储使用Ceph对象网关守护进程(radosgw),它是个与Ceph存储集群交互的FastCGI模块。因为它提供了与OpenStackSwift和AmazonS3兼容的接口,RADOS要有它自己的用户管理。Ceph对象网关可与CephFS客户端或Ceph块设备客户端共用一个存储集群。S......
  • 使用ceph的块存储rbd
    CEPH块设备块是一个字节序列(例如,一个512字节的数据块)。基于块的存储接口是最常见的存储数据方法,它们基于旋转介质,像硬盘、CD、软盘、甚至传统的9磁道磁带。无处不在的块设备接口使虚拟块设备成为与Ceph这样的海量存储系统交互的理想之选。Ceph块设备是精简配置的、大小可......
  • 使用ceph的文件存储CephFS
    CephFS是一个支持POSIX接口的文件系统,它使用Ceph存储集群来存储数据。文件系统对于客户端来说可以方便的挂载到本地使用。CephFS构建在RADOS之上,继承RADOS的容错性和扩展性,支持冗余副本和数据高可靠性。注意:当前,CephFS还缺乏健壮得像‘fsck’这样的检查和修复功能。存储重......
  • ceph新增节点
    我们在上一篇文章中已经学习了手动安装ceph和ceph的挂载使用手动安装ceph和使用本章记录我们在日常运维中经常遇到的场景,就是如何给这个集群扩容–增加节点。假如我们新采购了一台服务器想融入到ceph集群中,步骤如下:调整网络情况ip地址需要与ceph集群在同一内网内使用命令如下:ifcon......
  • K8S使用ceph-csi持久化存储之RBD
    Kubernetes集成Ceph一般有两种方案:Ceph组件运行在Kubernetes中,可以使用Rook;还有就是Kubernetes集成外部的Ceph集群。Ceph版本[root@master~]#ceph-vcephversion14.2.22(ca74598065096e6fcbd8433c8779a2be0c889351)nautilus(stable)Kubernetes版本[root@master~]#k......