一、RAID概念
1、概述
磁盘阵列(Redundant Arrays of Independent Disks ,RAID),有“独立磁盘构成的具有冗余能力的阵列”之意。磁盘阵列是由很多价格较便宜的磁盘,以硬件(RAID卡)或软件(MDADM)形式组合成一个容量巨大的磁盘组,利用多个磁盘组合在一起,提升整个磁盘系统效能。利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上,磁盘阵列还能利用同位检查(Parity Check)的观念,在数组中任意一个硬盘故障时,仍可读出数据,在数据重构时,将数据经计算后重新置入新硬盘中
RAID的创建有两种方式:软RAID(通过操作系统软件来实现)和硬RAID(使用硬件阵列卡),在企业中用的最多的是:RAID1,RAID5和RAID10。
2、RAID几种常见的类型
RAID类型 | 最低磁盘个数 | 空间利用率 | 各自的优缺点 | |
级别 | 说明 | |||
RAID0 | 条带卷 | 2+ | 100% | 读写速度快,不容错 |
RAID1 | 镜像卷 | 2 | 50% | 读写速度一般,容错 |
RAID5 | 带奇偶效验的条带卷 | 3+ | (n-1)/n | 读写速度快,容错,允许坏一块盘 |
RAID6 | 带奇偶效验的条带集,双效验 | 4+ | (n-2)/n | 读写快,容错,允许坏两块盘 |
RAID10 | RAID1的安全+RAID0的高速 | 4 | 50% | 读写速度快,容错 |
RAID50 | RAID5的安全+RAID0的高速 | 6 | (n-2)/n | 读写速度快,容错 |
RAID基本思想:把好几块硬盘通过一定的组合方式把它组合起来,成为一个新的硬盘阵列,从而使它能够达到高性能硬盘的要求
RAID三个关键技术:
镜像:提供了数据的安全性
chunk条带(块大小也可以说是条带的粒度),它的存在就是为了提高I/O,提供了数据并发性
数据的效验:提供了数据的安全
3、RAID0的工作原理
条带(strping),是最早出现的RAID模式
需要两块以上的磁盘数量(大小最好相同),是组建磁盘阵列中最简单的一种形式,只需要两块以上的硬盘即可
特点:成本低,可以提高整个磁盘的性能和吞吐量,RAID0没有提供冗余或错误修复能力,速度快
任何一个磁盘的损坏将损坏全部数据,磁盘利用率为100%
4、RAID1的工作原理
mirroring(镜像卷),需要磁盘两块以上
原理是把一个磁盘的数据镜像到另一个磁盘上,也就是说数据在写入一块磁盘的同时,会在另一块闲置的磁盘上生成镜像文件(同步)
RAID1 至少需要两块硬盘,raid大小等于两个raid分区中最小的容量(最好将分区大小分为一样),数据有冗余,在存储时同时写入两块硬盘,实现了数据备份
磁盘利用率为50%,即两块100G的磁盘构成RAID1只能提供100G的可用空间。
5、RAID5
需要三块或以上硬盘,可以提供热备盘实现故障的恢复,只损坏一块,没有问题,但如果同时损坏两块磁盘,则数据将都会损坏。空间利用率:(n-1)/n 2/3
奇偶效验信息的作用
当RAID5的一个磁盘数据发生损坏后,利用剩下的数据和相应的奇偶效验信息区恢复被损坏的数据
扩展:异或运算
是用相对简单的异或逻辑运算(相同为0,相异为1)
A值 | B值 | Xor结果 |
0 | 0 | 0 |
1 | 0 | 1 |
0 | 1 | 1 |
1 | 1 | 0 |
6、嵌套RAID级别
RAID10 镜像+条带
RAID10是将镜像和条带进行两级组合的RAID级别,第一级是RAID1镜像对,第二级为RAID0。比如我们有8块盘,它是先两两做镜像,形成了新的4块盘,然后对这4块盘做RAID0,当RAID10有一个硬盘受损其余硬盘会继续工作,这个时候受影响的硬盘只有2块
几个方案对比RAID5最合适
7、RAID硬盘失效处理
一般两种处理方法:热备和热插拔
热备:HotSpare
定义:当冗余的RAID组中某个硬盘失效时,在不干扰当前RAID系统的正常使用的情况下,用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘,及时保证RAID系统的冗余性
全局式:备用硬盘为系统中所有的冗余RAID组共享
专用式:备用硬盘为系统中某一组冗余RAID组专用
如下图所示:是一个全局热备的示例,该热备盘由系统中两个RAID组共享,可自动顶替任何一个RAID中的一个失效硬盘
热插拔:Hotspare
定义:在不影响系统正常运转的情况下,用正常的物理硬盘替换RAID系统中失效硬盘
二、RAID 0-1-5-10搭建及使用
1、RAID的实现方式
做硬件RAID,先做阵列才装系统,一般服务器启动时,有显示进入配置RAID的提示,比如:按下CTRL+L/H/M进入配置raid界面
硬RAID:需要RAID卡,我们的磁盘是接在RAID卡的,由它统一管理和控制,数据也由它来进行分配和维护,它有自己的CPU,处理速度快。
软RAID:通过操作系统实现
Linux内核中有一个md(multple devices)模块在底层管理RAID设备,它会在应用层给我们提供一个应用程序的工具mdadm,mdadm是linux下用于创建和管理软件RAID 命令。
mdadm命令常见参数:
2、创建RAID0
实验环境:
raid种类 | 磁盘 | 热备盘 |
raid0 | sdb、sdc | - |
1.创建raid0阵列
[root@localhost ~]# ls /dev/sd*
/dev/sda /dev/sdab /dev/sde /dev/sdi /dev/sdm /dev/sdq /dev/sdu /dev/sdy
/dev/sda1 /dev/sdb /dev/sdf /dev/sdj /dev/sdn /dev/sdr /dev/sdv /dev/sdz
/dev/sda2 /dev/sdc /dev/sdg /dev/sdk /dev/sdo /dev/sds /dev/sdw
/dev/sdaa /dev/sdd /dev/sdh /dev/sdl /dev/sdp /dev/sdt /dev/sdx
[root@localhost ~]# mdadm -C -v /dev/md1 -l 0 -n 2 /dev/sdb /dev/sdc
mdadm: chunk size defaults to 512K ####创建raid0
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md1 started.
[root@localhost ~]# mdadm -Dsv ####查看raid详细信息
ARRAY /dev/md1 level=raid0 num-devices=2 metadata=1.2 name=localhost.localdomain:1 UUID=aa52212c:ff21d8c9:e0a47b87:2f1c5472
devices=/dev/sdb,/dev/sdc
[root@localhost ~]# mdadm -D /dev/md1
/dev/md1:
Version : 1.2
Creation Time : Tue Oct 4 05:35:35 2022
Raid Level : raid0
Array Size : 41910272 (39.97 GiB 42.92 GB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent
Update Time : Tue Oct 4 05:35:35 2022
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Chunk Size : 512K ####chunk是raid中最小的存储单位
Consistency Policy : none
Name : localhost.localdomain:1 (local to host localhost.localdomain)
UUID : aa52212c:ff21d8c9:e0a47b87:2f1c5472
Events : 0
Number Major Minor RaidDevice State
0 8 16 0 active sync /dev/sdb
1 8 32 1 active sync /dev/sdc
[root@localhost ~]# mdadm -Dsv > /etc/mdadm.conf ####生成配置文件
####若不把raid信息保存重启后信息会丢失
2.对创建的RAID0进行文件系统创建并挂载
[root@localhost ~]# mkfs.xfs /dev/md1 ####对raid0进行格式化
meta-data=/dev/md1 isize=512 agcount=16, agsize=654720 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=10475520, imaxpct=25
= sunit=128 swidth=256 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=5120, version=2
= sectsz=512 sunit=8 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
[root@localhost ~]# mkdir /raid0 ####创建一个raid0挂载点
[root@localhost ~]# mount /dev/md1 /raid0/ ####挂载
[root@localhost ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos-root 50G 3.3G 47G 7% /
devtmpfs 897M 0 897M 0% /dev
tmpfs 912M 0 912M 0% /dev/shm
tmpfs 912M 9.1M 903M 1% /run
tmpfs 912M 0 912M 0% /sys/fs/cgroup
/dev/sda1 5.0G 179M 4.9G 4% /boot
tmpfs 183M 0 183M 0% /run/user/0
tmpfs 183M 12K 183M 1% /run/user/42
/dev/md1 40G 33M 40G 1% /raid0
[root@localhost ~]# echo aaa /raid0/a.txt
aaa /raid0/a.txt ####阵列中创建a.txt文件成功,可以正常使用
开机自动挂载:
[root@localhost ~]# blkid /dev/md1 ####查看md1的UUID
/dev/md1: UUID="a7a1c713-0ea1-41d0-a5b7-0c4bffeb1ba6" TYPE="xfs"
[root@localhost ~]# echo "UUID=a7a1c713-0ea1-41d0-a5b7-0c4bffeb1ba6 /raid0 xfs defaults 0 0" >> /etc/fstab
####设置自动挂载配置文件
3、创建RAID1
实验环境:
raid种类 | 磁盘 | 热备盘 |
raid1 | sdd,sde | sdf |
1.创建raid1
[root@localhost ~]# mdadm -C -v /dev/md2 -l 1 -n 2 -x 1 /dev/sd[d,e,f]
####创建raid1
mdadm: Note: this array has metadata at the start and
may not be suitable as a boot device. If you plan to
store '/boot' on this device please ensure that
your boot-loader understands md/v1.x metadata, or use
--metadata=0.90
mdadm: size set to 20955136K
Continue creating array? y
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md2 started.
[root@localhost ~]# mdadm -Dsv >> /etc/mdadm.conf ####生成配置文件
[root@localhost ~]# mdadm -D /dev/md2
/dev/md2:
Version : 1.2
Creation Time : Tue Oct 4 08:20:56 2022
Raid Level : raid1
Array Size : 20955136 (19.98 GiB 21.46 GB)
Used Dev Size : 20955136 (19.98 GiB 21.46 GB)
Raid Devices : 2 ####前面是1024计算方式的大小,后面
Total Devices : 3 是1000计算方式的大小
Persistence : Superblock is persistent
Update Time : Tue Oct 4 08:22:14 2022
State : clean, resyncing
Active Devices : 2 ####2块硬盘
Working Devices : 3
Failed Devices : 0
Spare Devices : 1 ####一块热备盘
Consistency Policy : resync
Resync Status : 80% complete ####正在同步数据
Name : localhost.localdomain:2 (local to host localhost.localdomain)
UUID : e1514cf0:8a20b0c4:b24ddfd1:e640ff46
Events : 12
Number Major Minor RaidDevice State
0 8 48 0 active sync /dev/sdd
1 8 64 1 active sync /dev/sde
2 8 80 - spare /dev/sdf
2.格式化挂载
[root@localhost ~]# mkfs.xfs /dev/md2
meta-data=/dev/md2 isize=512 agcount=4, agsize=1309696 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=5238784, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=2560, version=2
= sectsz=512 sunit=0 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
[root@localhost ~]# mkdir /raid2
[root@localhost ~]# mount /dev/md2 /raid2
[root@localhost ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos-root 50G 3.3G 47G 7% /
devtmpfs 897M 0 897M 0% /dev
tmpfs 912M 0 912M 0% /dev/shm
tmpfs 912M 9.1M 903M 1% /run
tmpfs 912M 0 912M 0% /sys/fs/cgroup
/dev/sda1 5.0G 179M 4.9G 4% /boot
tmpfs 183M 0 183M 0% /run/user/0
tmpfs 183M 12K 183M 1% /run/user/42
/dev/md1 40G 33M 40G 1% /raid0
/dev/md2 20G 33M 20G 1% /raid2
3.模拟故障一块盘
[root@localhost ~]# mdadm /dev/md2 -f /dev/sde
mdadm: set /dev/sde faulty in /dev/md2
[root@localhost ~]# mdadm -D /dev/md2
/dev/md2:
Version : 1.2
Creation Time : Tue Oct 4 08:20:56 2022
Raid Level : raid1
Array Size : 20955136 (19.98 GiB 21.46 GB)
Used Dev Size : 20955136 (19.98 GiB 21.46 GB)
Raid Devices : 2
Total Devices : 3
Persistence : Superblock is persistent
Update Time : Tue Oct 4 09:02:54 2022
State : clean, degraded, recovering
Active Devices : 1
Working Devices : 2
Failed Devices : 1
Spare Devices : 1
Consistency Policy : resync
Rebuild Status : 69% complete
Name : localhost.localdomain:2 (local to host localhost.localdomain)
UUID : e1514cf0:8a20b0c4:b24ddfd1:e640ff46
Events : 30
Number Major Minor RaidDevice State
0 8 48 0 active sync /dev/sdd
2 8 80 1 spare rebuilding /dev/sdf
1 8 64 - faulty /dev/sde
####sde盘故障,sdf热备盘自动替代sde,数据不会丢失
4.移除故障盘
[root@localhost ~]# mdadm -r /dev/dm2 /dev/sde
mdadm: error opening /dev/dm2: No such file or directory
[root@localhost ~]# mdadm -r /dev/md2 /dev/sde
mdadm: hot removed /dev/sde from /dev/md2
4、RAID5
实验环境:
raid种类 | 磁盘 | 热备盘 |
raid5 | sdg,sdh,sdi | sdj |
1.创建raid5
2.格式化挂载
3.停止,激活MD5阵列
停止前要确定数据已经同步完成,并保存配置文件
[root@localhost ~]# mdadm -S /dev/md5 ####停止
[root@localhost ~]# mdadm -As ####激活
4.扩展RAID5磁盘阵列
将热备盘加入阵列
[root@localhost ~]# mdadm -G /dev/md5 -n 4
[root@localhost ~]# mdadm -D /dev/md5
/dev/md5:
Version : 1.2
Creation Time : Tue Oct 4 09:16:58 2022
Raid Level : raid5
Array Size : 62865408 (59.95 GiB 64.37 GB)
####可用空间大小变成60GB
Used Dev Size : 20955136 (19.98 GiB 21.46 GB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Tue Oct 4 09:29:45 2022
State : clean
Active Devices : 4
Working Devices : 4
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 512K
Consistency Policy : resync
Name : localhost.localdomain:5 (local to host localhost.localdomain)
UUID : 701aef11:981575ea:a52fc37f:a3be08be
Events : 52
Number Major Minor RaidDevice State
0 8 96 0 active sync /dev/sdg
1 8 112 1 active sync /dev/sdh
4 8 128 2 active sync /dev/sdi
3 8 144 3 active sync /dev/sdj
5、RAID10
1.创建raid10
实验环境:
raid种类 | 磁盘 | 热备盘 |
raid10 | 分区:sdk1,sdk2,sdk3,sdk4 | - |
先用fdisk创建4个分区
创建raid10
2.删除RAID所有信息
[root@localhost ~]# umount /dev/md1 /raid0标签:RAID,mdadm,dev,Devices,磁盘阵列,root,localhost,搭建 From: https://blog.51cto.com/u_15768428/5731979
####卸载raid
[root@localhost ~]# mdadm -Ss
####停止raid设备
[root@localhost ~]# rm -rf /etc/mdadm.conf
####删除raid配置文件
[root@localhost ~]# mdadm --zero-superblock /dev/sdb
[root@localhost ~]# mdadm --zero-superblock /dev/sdc
####清除物理磁盘中的raid标识