osd
  • 2024-09-25调查一个osd的rocksdb问题
    开始喜欢ceph的话欢迎关注奋斗的cepher微信公众号阅读更多好文!关于osd的问题总是各种各样,奇奇怪怪,有bug相关的,也有环境相关的,或者是配置相关的,对于osd各种问题的处理,重点在思路,思路对了,问题就好解决了。本篇是一个集群有ssd的osd发生down,这本不是什么值得关注的事,osd的do
  • 2024-09-21CL260 学习笔记(三)
    Ceph存储池如果PG太多,对象太少,会造成大量的空间浪费;如果PG太少,对象太多,寻找对象的时间过长,影响性能。cephosdpoolcreate--helpusage那一行显示的是存储池内所有pg的容量之和。这里提出一个问题:pg_num是32个,那么osd上有多少个pg?这是一个replicated(副本)池,size是3,表示是3
  • 2024-09-13ceph之pg inactive
    查看故障查看ceph状态通过ceph的输出,发现osd.7提示slowops,同时有1个pg处于inactive状态。故障处理确定osd状态通过以上命令确定osd.7属于ceph03节点。确定pg状态通过以上命令,发现pg7.1dstuck状态。查看ceph日志查看ceph03节点的ceph日志,/var/log/ceph/cep
  • 2024-09-10Ceph Reef(18.2.X)之纠删码池
    作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任。目录一.纠删码理论概述1.纠删码理论概述2.ceph纠删码以插件的形式提供3.纠删码池的优缺点二.纠删码基础命令实践1.列出
  • 2024-09-10分布式存储节点替换故障硬盘(filestore+LVMcache)
    1.说明此文档操作方法适用于>=V13.2.5ceph版本,部署模式为filestore,将每一块机械盘(LVM卷)对应一个OSD进程,并且journal日志放在ssd加速盘上。2.故障硬盘为SSD缓存盘(加速盘)【思路】缓存盘故障,需先删除机械盘对应的osd,再取消对应机械盘的cache关系,关机换盘后,重新创建cac
  • 2024-09-04每天5分钟复习OpenStack(十五)Ceph与Bcache结合
    上一章我们成功部署了bcache,这一章我们将Ceph与Bcache结合来使用,使用Bcache来为ceph的数据盘提速。1ceph架构一个标准的ceph集群可能是如下的架构,SSD/NVME存储元数据,而SATA盘存储数据。这样的架构下,物理介质的SATA盘读写速率上限决定了存储集群Ceph的上限(木桶效应)。如果在
  • 2024-08-30ceph:纯手工配置osd磁盘及服务
     #######################################################################准备ceph用户环境(shell、homedir)准备ceph的相关父目录准备ceph.confceph.client.admin.keyring主备相同容量的整个磁盘、一个裸分区、一个lvm逻辑分区;或一个posix文件系统目录特别提醒:ceph用户需
  • 2024-08-24MSI Afterburner 使用
    MSIAfterburner是一款显卡超频软件。与其捆绑安装的RivaTunerStatisticsServer(RTSS)可以用来监测硬件运行情况(CPU温度、GPU温度、帧率、帧响应时间等)。首先安装MSIAfterburner。在ChooseComponents处记得选中RivaTunerStatisticsServer。打开MSIAfterbu
  • 2024-08-13ceph如何进行数据的读写(2)
    本章摘要上文说到,librados/IoctxImpl.cc中调用objecter_op和objecter的op_submit函数,进行op请求的封装、加参和提交。本文详细介绍相关函数的调用。osdc中的操作初始化Op对象,提交请求设置Op对象的时间,oid,操作类型等信息。//osdc/Objector.h//mid-levelhelpersOp*pr
  • 2024-08-13ceph如何进行数据的读写(3)
    本章摘要上文说到,osdc中封装请求,使用message中的相关机制将请求发送出去。本文详细介绍osd服务端如何进行请求的接收。osd初始化osd启动时,定义了message变量ms_public,该变量绑定public网络,负责接收客户端的请求。ms_public会启动对应的线程进行接收,并指定接收函数。//ceph_
  • 2024-08-13ceph如何进行数据的读写(1)
    版本ceph版本为17.ceph如何进行读写接口的实现Ceph的客户端通过librados的接口进行集群的访问,这里的访问包括:1)对集群的整体访问2)对象的访问两类接口,这套接口(API)包括C、C++和Python的实现,接口通过网络实现对Ceph集群的访问。在客户端层面,可以在自己的程序中调用该接口,从而集
  • 2024-08-09Ceph介绍
    1. Ceph简介Ceph是一种开源的分布式存储系统,它旨在提供高性能、高可靠性和可伸缩性的存储解决方案。Ceph作为一个软件定义存储(SDS)系统可以在通用硬件上运行,并支持多种存储类型,包括对象存储、块存储和文件系统。Ceph从2006年开源至今,一直是主流的分布式存储系统,已在OpenStac
  • 2024-08-07ceph分布式存储系统
    cephceph是一个开源的,用c++语言编写的分布式的存储系统,存储文件数据。lvm逻辑卷可以扩容raid磁盘阵列高可用基于物理意义上的存储系统分布式就是多台物理磁盘组成的一个集群,在这个基础之后实现高可用,扩展特点:1、远程访问2、多个服务器组成的虚拟硬盘3、分布式
  • 2024-08-02Ceph 的部署
    Ceph的部署过程较为复杂,需要一系列的准备和配置步骤。首先,要进行环境准备,包括关闭selinux和防火墙,设置时间同步,修改主机名和host,配置yum源,创建普通用户,设置静态域名解析等。例如,在环境准备中,可能需要执行如下命令:systemctlstopfirewalld、systemctldisablefirewal
  • 2024-07-26ceph数据重构原理
    本文分享自天翼云开发者社区《ceph数据重构原理》,作者:x****n在分布式存储系统Ceph中,硬盘故障是一种常见问题。为了保证数据安全,当发生硬盘故障后,分布式存储系统会依据算法对故障硬盘上的数据进行数据重构及转储。和一般分布式系统一样的是,Ceph同样使用多副本机制来保证数据的高
  • 2024-07-19Ceph PG状态介绍
    本文分享自天翼云开发者社区《CephPG状态介绍》,作者:wwwdl一、基本概念size:副本数(如三副本,size=3);min_size:支持可读写的最小副本数(如三副本,min_size=2);upset:pg的目标osd列表;actset:pg可接受读写osd列表。如下为osd异常,重新选择osd,pg的osd列表变化过程:二、pg各个状态(1)crea
  • 2024-05-29原生ceph更换故障硬盘过程
    准备1、确定故障硬盘所在节点的信息,避免操作错误 2确定故障osd的lvm信息 ceph-c8fd9380-1a1a-45e4-a43a-b36da6fdc560ceph-22b06ce3-0186-40cf-9095-e777bc458bf63确认数据盘对应的缓存盘(查看ceph部署时的日志)osd.9->sdb2 osd.81->sdc6更换步骤1禁止平台数
  • 2024-05-25Ceph配置与认证授权
    目录Ceph配置与认证授权1.为什么现在不采用修改配置文件的方式了呢?2.Ceph元变量3.使用命令行修改配置3.1全部修改(使用服务名)3.2部分修改(修改进程)3.3临时生效3.4配置项3.5老版本提供的配置文件3.Ceph网络3.1对现有集群加入clusternetwork4.Cephx(认证授权)4.1认证
  • 2024-05-25Ceph存储池管理
    目录Ceph存储池1.Ceph的存储流程1.数据写入2.数据读取2.资源池的配置2.1资源池创建pgp是什么(PlacementGroupforPlacementpurpose)2.2绑定池类型关闭3.对象的管理3.1上传对象3.2查看对象3.3下载对象3.4删除对象3.5查询对象所在pg3.6限制资源池配额3.7测试配额3.
  • 2024-05-22Ceph 架构以及部署
    目录Ceph架构存储类型为什么用到Ceph?1.NFS2.MooseFSMooseFS瓶颈3.GlusterFS4.CephCeph的组件Ceph部署前期准备1.1修改主机名1.2关闭防火墙以及selinux1.3配置hosts1.4配置时间同步2.安装cephadm2.1安装git2.2安装podman3.32.3配置ceph源2.4将repo文件传到各个节点3.
  • 2024-05-18Qt/C++音视频开发74-合并标签图形/生成yolo运算结果图形/文字和图形合并成一个/水印滤镜
    一、前言在使用yolo做人工智能运算后,运算结果除了一个方框,还可能需要增加文字显示在对应方框上,以便标记是何种物体,比如显示是人还是动物,或者还有可能追踪人员,显示该人员的姓名。这种应用场景非常普遍,而且非常有必要,可以非常直观的直接看到对应移动的物体是什么。当然也有个缺点,就
  • 2024-04-23Ceph的crush算法与一致性hash对比介绍
    本文分享自天翼云开发者社区《Ceph的crush算法与一致性hash对比介绍》,作者:l****n首先,我们先回顾下一致性hash以及其在经典存储系统中的应用。一致性hash的基本原理一致性hash的基本思想是,有一个hash函数,这个hash函数的值域形成了一个环(收尾相接:thelargesthashvaluewraps
  • 2024-04-10centos7 部署ceph nautilus 版本
    1、Ceph环境规划主机名Public网络Cluster网络角色ceph0110.12.7.21310.12.252.213osd、mon、mgr、rgw、adminceph0210.12.7.21410.12.252.214osd、mon、mgr、rgwceph0310.12.7.21510.12.252.215osd、mon、mgr、rgwceph0410.12.7.21610.1
  • 2024-01-28大华监控OSD文件批量获取修改工具
    这几年都在做智能化,发现一个问题,比如一个学校里面很多监控,特别是一些旧的零零散散的,我们在新增个百来个。这个时候发现问题了,学校很多监控被我们拆去别的地方安装,同时又没有初始化,或者有些当时没有在线的,这个时候摄像头就很难找了,同时要做一份IP对照表是相当麻烦了。今天无聊,就
  • 2024-01-214、ceph-crush进阶
    一、CephCrush进阶ceph集群中由mon服务器维护的的五种运行图:Monitormap #监视器运行图OSDmap#OSD运行图PGmap #PG运行图Crushmap #(Controllersreplicationunderscalablehashing#可控的、可复制的、可伸缩的一致性hash算法。crush运行图,当新建存储池时会基