Raid

标签：RAID mdadm dev Devices fishman Raid 160

1、Raid概念

磁盘阵列（Redundant Arrays of Independent Disks，RAID），有“独立磁盘构成的具有冗余能力的阵列”之意。磁盘阵列是由很多磁盘，以硬件（RAID卡）或软件（MDADM）形式组合成一个容量巨大的磁盘组，利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。磁盘阵列还能利用同位检查（Parity Check）的观念，在数组中任意一个硬盘故障时，仍可读出数据，在数据重构时，将数据经计算后重新置入新硬盘中。

RAID的创建有两种方式：软RAID（通过操作系统软件来实现）和硬RAID（使用硬件阵列卡）；在企业中用的最多的是：raid1、raid10和raid5。不过随着云的高速发展，供应商一般可以把硬件问题解决掉。

2、Raid常见的类型

RAID类型	最低磁盘个数	空间利用	各自的优缺点
级别	说明
RAID0	数据条带化	2+	100%	读写速度快，不容错
RAID1	数据镜像化	2	50%	读写速度一般，容错
RAID5	带奇偶校验的条带集	3+	(n-1)/n	读写速度快，容错，允许坏一块盘
RAID6	带奇偶校验的条带集，双校验	4+	(n-2)/n	读写快，容错，允许坏两块盘
RAID10	RAID1的安全+RAID0的高速	4	50%	读写速度快，容错
RAID50	RAID5的安全+RAID0的高速	6	(n-2)/n	读写速度快，容错

3、Raid的关键技术

镜像：提供了数据的安全性；

条带（块大小也可以说是条带的粒度），它的存在的就是为了提高I/O，提供了数据并发性

数据的校验：提供了数据的安全

4、企业级Raid0,1,5,10的工作原理

4.1、Raid 0

条带（strping），也是我们最早出现的RAID模式

需磁盘数量:2块以上(大小最好相同)。是组建磁盘阵列中最简单的一种形式，只需要2块以上的硬盘即可。

特点:成本低，可以提高整个磁盘的性能和吞吐量。

RAID 0没有提供冗余或错误修复能力，速度快。任何一个磁盘的损坏将损坏全部数据；磁盘利用率为100%

4.2、Raid 1

mirroring（镜像卷）

需要磁盘两块以上

原理:是把一个磁盘的数据镜像到另一个磁盘上，也就是说数据在写入一块磁盘的同时，会在另一块闲置的磁盘上生成镜像文件，(同步)

RAID 1 mirroring（镜像卷），至少需要两块硬盘，raid大小等于两个raid分区中最小的容量（最好将分区大小分为一样），数据有冗余，在存储时同时写入两块硬盘，实现了数据备份；

磁盘利用率为50%，即2块100G的磁盘构成RAID1只能提供100G的可用空间。

4.3、Raid 5

需要三块或以上硬盘，可以提供热备盘实现故障的恢复；只损坏一块，没有问题。但如果同时损坏两块磁盘，则数据将都会损坏。空间利用率： (n-1)/n 2/3 如下图所示

奇偶校验信息的作用

当RAID5的一个磁盘数据发生损坏后，利用剩下的数据和相应的奇偶校验信息去恢复被损坏的数据。

扩展异或运算:是用相对简单的异或逻辑运算（相同为0，相异为1）

A值	B值	Xor结果
0	0	0
1	0	1
0	1	1
1	1	0

4.4、Raid 6

4.5、嵌套raid级别

raid 10

RAID-10镜像+条带

RAID 10是将镜像和条带进行两级组合的RAID级别，第一级是RAID1镜像对，第二级为RAID 0。RAID10也是一种应用比较广泛的RAID级别。

RAID10：先镜像后条带，比如我们有8块盘，它是先两两做镜像，形成了新的4块盘，然后对这4块盘做RAID0；当RAID10有一个硬盘受损其余硬盘会继续工作，这个时候受影响的硬盘只有2块

RAID 01：它和RAID 10刚好是反过来的，先条带后镜像。先4个一组做RAID 0，然后形成两个新的硬盘，再做RAID 1。当RAID 01有一个硬盘受损其余硬盘会继续工作，这个时候受影响的硬盘会有4块。

RAID 10比RAID 01常用，目前大多数主板支持RAID 0/1/5/10,不支持RAID 01

4.6、RAID硬盘失效处理

热备

定义：当冗余的RAID组中某个硬盘失效时，在不干扰当前RAID系统的正常使用的情况下，用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘，及时保证RAID系统的冗余性。

全局式：备用硬盘为系统中所有的冗余RAID组共享

专用式：备用硬盘为系统中某一组冗余RAID组专用

如下图所示：是一个全局热备的示例，该热备盘由系统中两个RAID组共享，可自动顶替任何一个RAID中的一个失效硬盘

热插拔：HotSwap

定义：在不影响系统正常运转的情况下，用正常的物理硬盘替换RAID系统中失效硬盘

关键在于热插拔时电子器件的保护机制

4.7、Raid的使用

4.7.1、RAID的实现方式

我们使用RAID，是在装系统前还是之后？

硬RAID：需要RAID卡，我们的磁盘是接在RAID卡的，由它统一管理和控制。数据也由它来进行分配和维护；它有自己的cpu，处理速度快
软RAID：通过操作系统实现

Linux内核中有一个md(multiple devices)模块在底层管理RAID设备，它会在应用层给我们提供一个应用程序的工具mdadm ，mdadm是linux下用于创建和管理软件RAID的命令，是一个模式化命令。

常见参数解释：

参数	描述
-C 或-creat	建立一个新的阵列
-A	激活磁盘阵列
-D或-detail	打印阵列设备的详细信息
-s或-scan	扫描配置文件或/proc/mdstat得到阵列缺失信息
-f	将设备状态定为故障
-a 或-add	添加设备到阵列
-v	--verbose显示详细信息
-r	移除设备
-l或者--level=	设定磁盘阵列的级别
-n或--raid-devices=	指定阵列成员（分区、磁盘）的数量
-x或--sqare-devices=	指定阵列中备用的数量
-c或--chunk=	设定阵列的块chunk大小，单位为KB
-G或者--grow	改变阵列大小或形态
-S	停止阵列

4.7.2 、raid 0

4.7.3、raid 1

例：3块磁盘组raid1，其中1块做热备

mdadm命令进行软件raid 1

备份配置，查看阵列情况

root@fishman-160 ~]# mdadm -Dsv > /etc/mdadm.conf #备份配置，非常 重要

[root@fishman-160 ~]# mdadm -D /dev/md1 #查看md1阵列的详细信息
/dev/md1:
           Version : 1.2
     Creation Time : Wed Aug  2 15:33:18 2023
        Raid Level : raid1
        Array Size : 20954112 (19.98 GiB 21.46 GB)
     Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
      Raid Devices : 2
     Total Devices : 3
       Persistence : Superblock is persistent

       Update Time : Wed Aug  2 15:33:58 2023
             State : clean, resyncing 
    Active Devices : 2
   Working Devices : 3
    Failed Devices : 0
     Spare Devices : 1

Consistency Policy : resync

     Resync Status : 40% complete #同步状态

              Name : fishman-160:1  (local to host fishman-160)
              UUID : 0638c2ee:16190026:aefab1b9:6fe6b1ba
            Events : 6

    Number   Major   Minor   RaidDevice State
       0       8       16        0      active sync   /dev/sdb
       1       8       32        1      active sync   /dev/sdc

       2       8       48        -      spare   /dev/sdd

格式化系统为xfs

[root@fishman-160 ~]# mkfs.xfs /dev/md1 #格式化成xfs系统
mkfs.xfs: /dev/md1 appears to contain an existing filesystem (xfs).
mkfs.xfs: Use the -f option to force overwrite.
[root@fishman-160 ~]# mkfs.xfs -f /dev/md1
meta-data=/dev/md1               isize=512    agcount=4, agsize=1309632 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=1, rmapbt=0
         =                       reflink=1    bigtime=0 inobtcount=0
data     =                       bsize=4096   blocks=5238528, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

挂载到目录/raid 1

[root@fishman-160 ~]# mkdir /raid1 #创建raid1目录
[root@fishman-160 ~]# mount /dev/md1 /raid1 #完成挂载raid1目录
[root@fishman-160 ~]# lsblk
NAME   MAJ:MIN RM  SIZE RO TYPE  MOUNTPOINT
sda      8:0    0  100G  0 disk  
├─sda1   8:1    0    1G  0 part  /boot
├─sda2   8:2    0    2G  0 part  [SWAP]
└─sda3   8:3    0   50G  0 part  /
sdb      8:16   0   20G  0 disk  
└─md1    9:1    0   20G  0 raid1 /raid1   #成功挂载
sdc      8:32   0   20G  0 disk  
└─md1    9:1    0   20G  0 raid1 /raid1
sdd      8:48   0   20G  0 disk  
└─md1    9:1    0   20G  0 raid1 /raid1
sde      8:64   0   20G  0 disk  
sdf      8:80   0   20G  0 disk  
sdg      8:96   0   20G  0 disk  
sdh      8:112  0   20G  0 disk  
sdi      8:128  0   20G  0 disk  
sdj      8:144  0   20G  0 disk  
sdk      8:160  0   20G  0 disk  
sdl      8:176  0   20G  0 disk  
sdm      8:192  0   20G  0 disk  
sdn      8:208  0   20G  0 disk  
sr0     11:0    1  950M  0 rom   /mnt

测试热备

模拟损坏 (/dev/sdb,/dev/sdc是工作盘，/dev/sdd是备份盘)

[root@fishman-160 ~]# mdadm /dev/md1 -f /dev/sdb  #把sdb设置为故障

查看raid 1信息

[root@fishman-160 ~]#  mdadm -D /dev/md1
/dev/md1:
           Version : 1.2
     Creation Time : Wed Aug  2 15:33:18 2023
        Raid Level : raid1
        Array Size : 20954112 (19.98 GiB 21.46 GB)
     Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
      Raid Devices : 2
     Total Devices : 3
       Persistence : Superblock is persistent

       Update Time : Wed Aug  2 15:42:35 2023
             State : clean 
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 1
     Spare Devices : 0

Consistency Policy : resync

              Name : fishman-160:1  (local to host fishman-160)
              UUID : 0638c2ee:16190026:aefab1b9:6fe6b1ba
            Events : 40

    Number   Major   Minor   RaidDevice State
       2       8       48        0      active sync   /dev/sdd   #已经切换到了sdd
       1       8       32        1      active sync   /dev/sdc

       0       8       16        -      faulty   /dev/sdb

添加一块磁盘

[root@fishman-160 ~]# mdadm -a /dev/md1 /dev/sdb
mdadm: added /dev/sdb

移除一块磁盘

[root@fishman-160 ~]# mdadm -r /dev/md1 /dev/sdb
mdadm: hot removed /dev/sdb from /dev/md1

4.7.4、raid 5

例：3块磁盘组raid 5，1块磁盘做备份

生成raid 5

[root@fishman-160 ~]# mdadm -C -v /dev/md5 -l 5 -n 3 -x 1 -c 32 /dev/sd[e,f,g,h] #-c 32 指的是chunk 32K
mdadm: layout defaults to left-symmetric
mdadm: layout defaults to left-symmetric
mdadm: size set to 20954112K
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md5 started.

查看raid 5信息并备份配置

[root@fishman-160 ~]# mdadm -D /dev/md5
/dev/md5:
           Version : 1.2
     Creation Time : Wed Aug  2 16:11:37 2023
        Raid Level : raid5
        Array Size : 41908224 (39.97 GiB 42.91 GB)
     Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
      Raid Devices : 3
     Total Devices : 4
       Persistence : Superblock is persistent

       Update Time : Wed Aug  2 16:12:10 2023
             State : clean, degraded, recovering 
    Active Devices : 2
   Working Devices : 4
    Failed Devices : 0
     Spare Devices : 2

            Layout : left-symmetric
        Chunk Size : 32K

Consistency Policy : resync

    Rebuild Status : 36% complete

              Name : fishman-160:5  (local to host fishman-160)
              UUID : f9f877da:c7b7bff9:e4018143:5d7e3177
            Events : 6

    Number   Major   Minor   RaidDevice State
       0       8       64        0      active sync   /dev/sde
       1       8       80        1      active sync   /dev/sdf
       4       8       96        2      spare rebuilding   /dev/sdg

       3       8      112        -      spare   /dev/sdh

把热备的/dev/sdh添加到raid 5中

root@fishman-160 ~]# mdadm -G /dev/md5 -n 4 -c 32 #-G可以改变磁盘状态和大小
[root@fishman-160 ~]# mdadm -Dsv > /etc/mdadm.conf  #备份配置
[root@fishman-160 ~]# mdadm -D /dev/md5
/dev/md5:
           Version : 1.2
     Creation Time : Wed Aug  2 16:11:37 2023
        Raid Level : raid5
        Array Size : 41908224 (39.97 GiB 42.91 GB)  #完成同步后，空间才会发生变化
     Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
      Raid Devices : 4
     Total Devices : 4
       Persistence : Superblock is persistent

       Update Time : Wed Aug  2 16:15:29 2023
             State : clean, reshaping 
    Active Devices : 4
   Working Devices : 4
    Failed Devices : 0
     Spare Devices : 0

            Layout : left-symmetric
        Chunk Size : 32K

Consistency Policy : resync

    Reshape Status : 32% complete
     Delta Devices : 1, (3->4)

              Name : fishman-160:5  (local to host fishman-160)
              UUID : f9f877da:c7b7bff9:e4018143:5d7e3177
            Events : 51

    Number   Major   Minor   RaidDevice State
       0       8       64        0      active sync   /dev/sde
       1       8       80        1      active sync   /dev/sdf
       4       8       96        2      active sync   /dev/sdg
       3       8      112        3      active sync   /dev/sdh

root@fishman-160 ~]# mdadm -D /dev/md5
/dev/md5:
           Version : 1.2
     Creation Time : Wed Aug  2 16:11:37 2023
        Raid Level : raid5
        Array Size : 62862336 (59.95 GiB 64.37 GB)  #同步完成，60G
     Used Dev Size : 20954112 (19.98 GiB 21.46 GB)
      Raid Devices : 4

停止Raid 5

[root@fishman-160 ~]# mdadm -S /dev/md5
mdadm: stopped /dev/md5
[root@fishman-160 ~]# cat /proc/mdstat  #看不到raid5 信息了
Personalities : [raid1] [raid6] [raid5] [raid4] 
md1 : active raid1 sdd[2] sdc[1]
      20954112 blocks super 1.2 [2/2] [UU]
      
unused devices: <none>

激活raid 5

[root@fishman-160 ~]# mdadm -As  #通过备份的配置文件完成激活的
mdadm: /dev/md5 has been started with 4 drives.

[root@fishman-160 ~]# cat /proc/mdstat 
Personalities : [raid1] [raid6] [raid5] [raid4] 
md5 : active raid5 sde[0] sdh[3] sdg[4] sdf[1]
      62862336 blocks super 1.2 level 5, 32k chunk, algorithm 2 [4/4] [UUUU]
      
md1 : active raid1 sdd[2] sdc[1]
      20954112 blocks super 1.2 [2/2] [UU]
      
unused devices: <none>

4.7.5、删除raid

需要先卸载已挂载的raid

[root@fishman-160 ~]# umount /dev/md1

暂停raid 1

[root@fishman-160 ~]# mdadm -S /dev/md1
mdadm: stopped /dev/md1

删除配置文件

[root@fishman-160 ~]# vim /etc/mdadm.conf

清除标识

[root@fishman-160 ~]# mdadm --misc --zero-superblock /dev/sd[d,c]
--misc:  report on or modify various md related devices.      #报告或修改各种MD相关的设备
--zero-superblock :  erase the MD superblock from a device.   #擦除设备中的MD超级块。

标签：RAID,mdadm,dev,Devices,fishman,Raid,160
From： https://www.cnblogs.com/kcloveworld/p/17984423