基于l 版本。
1、osd 状态
ceph -s
active：PG 处于活动状态，正在处理读写请求。
clean：PG 中的所有对象都是最新的，所有副本都已同步，没有缺失或未完成的操作。
scrubbing：PG 正在进行数据校验过程，确保所有数据都是一致的。Scrubbing 是定期的检查，以防止数据损坏。
deep：表示正在进行深度校验，这种检查比普通的 scrubbing 更深入，检查每个对象的完整性。
inconsistent：表示 PG 中存在不一致的对象，可能是由于写入冲突、网络分区或其他原因导致数据不同步。
acting: 状态指的是一组正在积极处理请求的 OSD（对象存储设备）。
peering 状态表示 PG（Placement Group）正在与其副本 OSD 建立或重新建立连接以同步数据。
remapped
表示 PG 中的数据已经被重新映射到新的 OSD。这通常发生在 OSD 故障、重新配置或数据迁移时。PG 将在新的 OSD 上存储数据，以确保数据的可用性和冗余性。
backfilling：
表示正在进行数据填充过程，将缺失的数据从其他 OSD 复制到新的 OSD。这个过程确保新映射的 OSD 拥有与其他副本相同的数据，恢复冗余性。
2、常用运维命令
ceph osd tree # 查看crushmap，可以看到osd装填。
ceph osd metadata osd.23 # 查看osd的源数据信息能看到在哪台主机使用的哪个盘位。
ceph osd perf # 查看磁盘延迟情况100-200ms需要注意，>200ms可能存在物理故障。
# 查看对应的osd进程
ceph-osd start 92
ceph osd status
3、踢出osd
ceph osd out 87
ceph osd crush remove osd.87
ceph auth del osd.87
ceph osd rm 87
4、加入新的osd到集群中
ceph-disk prepare /dev/sdX --cluster ceph --osd-id 92
--cluster-id # 这个内容可以替换
5、故障修复
1、OSD_SCRUB_ERRORS 12 scrub errors 数据不一致修复。
找出数据不一致的pg。
~]# ceph health detail
HEALTH_ERR 12 scrub errors; Possible data damage: 10 pgs inconsistent
OSD_SCRUB_ERRORS 12 scrub errors
PG_DAMAGED Possible data damage: 10 pgs inconsistent
pg 3.5f is active+clean+inconsistent, acting [8,95,42]
pg 3.ac is active+clean+inconsistent, acting [42,71,12]
pg 3.b9 is active+clean+inconsistent, acting [103,42,14]
pg 3.16c is active+clean+inconsistent, acting [42,95,29]
pg 3.1d9 is active+clean+inconsistent, acting [32,79,42]
pg 3.397 is active+clean+inconsistent, acting [83,25,42]
pg 3.448 is active+clean+inconsistent, acting [86,19,42]
pg 3.472 is active+clean+inconsistent, acting [31,85,42]
pg 3.51b is active+clean+inconsistent, acting [57,0,42]
pg 3.614 is active+clean+inconsistent, acting [16,42,6]
找到pg先执行修复命令。
ceph pg dump | grep inconsistent
[root@st-ceph01 ~]# ceph pg dump | grep inconsistent
dumped all
3.1d9 1229 0 0 0 0 5207347200 1563 1563 active+clean+inconsistent 2024-09-29 22:20:48.723218 10718'1989810 10718:2399372 [32,79,42] 32 [32,79,42] 32 10718'1988855 2024-09-29 22:20:48.723083 10718'1988855 2024-09-29 22:20:48.723083 0
3.b9 1160 0 0 0 0 4947824658 1597 1597 active+clean+inconsistent 2024-09-30 01:34:35.561404 10718'7524742 10718:24576553 [103,42,14] 103 [103,42,14] 103 10718'7524306 2024-09-30 01:34:35.561309 10718'7524306 2024-09-30 01:34:35.561309 0
3.ac 1163 0 0 0 0 4928442368 1503 1503 active+clean+inconsistent 2024-09-29 06:24:03.359505 10718'6239021 10718:8596505 [42,71,12] 42 [42,71,12] 42 7267'6228706 2024-09-29 06:24:03.359428 7267'6228706 2024-09-29 06:24:03.359428 0
3.5f 1209 0 0 0 0 5190213632 1525 1525 active+clean+inconsistent 2024-09-29 21:39:21.401495 10718'33589929 10718:33959383 [8,95,42] 8 [8,95,42] 8 10712'33582312 2024-09-29 21:39:21.401409 10712'33582312 2024-09-29 21:39:21.401409 0
3.16c 1253 0 0 0 0 5325017105 1593 1593 active+clean+inconsistent 2024-09-30 09:00:30.353639 10718'2019828 10718:2453359 [42,95,29] 42 [42,95,29] 42 10718'2019656 2024-09-30 09:00:30.353529 10718'2019656 2024-09-30 09:00:30.353529 0
3.397 1217 0 0 0 0 5185437696 1567 1567 active+clean+inconsistent 2024-09-30 05:23:16.057308 10718'1667046 10718:2052636 [83,25,42] 83 [83,25,42] 83 10718'1666171 2024-09-30 05:23:16.057212 10718'1666171 2024-09-30 05:23:16.057212 0
3.448 1209 0 0 0 0 5133334016 1558 1558 active+clean+inconsistent 2024-09-30 04:09:53.672050 10718'2971177 10718:3367896 [86,19,42] 86 [86,19,42] 86 10718'2970647 2024-09-30 04:09:53.671988 10718'2970647 2024-09-30 04:09:53.671988 0
3.472 1166 0 0 0 0 4987686912 1532 1532 active+clean+inconsistent 2024-09-29 14:48:28.522790 10718'4650728 10718:26130155 [31,85,42] 31 [31,85,42] 31 7267'4647489 2024-09-29 12:30:46.064131 7267'4647489 2024-09-29 12:30:46.064131 0
3.51b 1194 0 0 0 0 5084989952 1504 1504 active+clean+inconsistent 2024-09-29 22:29:58.946472 10718'2215613 10718:3121361 [57,0,42] 57 [57,0,42] 57 10718'2214485 2024-09-29 22:29:58.946402 10718'2214485 2024-09-29 22:29:58.946402 0
3.614 1171 0 0 0 0 5002305536 1523 1523 active+clean+inconsistent 2024-09-29 22:06:17.096530 10718'7500492 10718:7964961 [16,42,6] 16 [16,42,6] 16 10718'7494126 2024-09-29 22:06:17.096429 10718'7494126 2024-09-29 22:06:17.096429 0
# 根据相应的pg id修复
ceph pg repair 3.614