UOS安装部署Ceph集群（一）

本篇文章介绍Ceph集群部署，

包括：实验环境说明、集群基础环境、创建Ceph集群

块存储（rbd）、文件存储（cephfs）、对象存储（rgw）详细介绍，请点击链接跳转。

Ceph产品这里不就介绍了，网上有很多资料可查。直接上实验~

实验过程：

    1、Ceph架构图

    2、实验环境说明

    3、Ceph集群基础环境调试

    4、创建Ceph集群

    5、块存储（rbd）UOS安装部署Ceph集群（二）_defaults,_netdev 0 0_小时候很牛、的博客

    6、文件存储（cephfs）UOS安装部署Ceph集群（二）_defaults,_netdev 0 0_小时候很牛、的博客

    7、对象存储（rgw）UOS安装部署Ceph集群（二）_defaults,_netdev 0 0_小时候很牛、的博客

1、Ceph架构图

2、实验环境说明

UOS Server + Ceph

3、Ceph集群基础环境调试

如无特殊说明，以下操作在所有节点上

3.1 修改主机名

# hostnamectl set-hostname node1

# hostnamectl set-hostname node2

# hostnamectl set-hostname node3

# hostnamectl set-hostname client

3.2 配置host解析

# vi /etc/hosts

      192.168.26.110  node1

      192.168.26.120  node2

      192.168.26.130  node3

      192.168.26.140  client

3.3 配置时间同步

# apt update && apt -y install chrony

# vi /etc/chrony/chrony.conf

       server 192.168.26.110        #增加一行

       systemctl start chronyd

3.4 允许root ssh登录

# vi /etc/ssh/sshd_config

        PermitRootLogin yes

        PasswordAuthentication yes

# systemctl restart sshd

3.5 配置免密登录（以node1为例）

# ssh-keygen

# ssh-copy-id [email protected]

# ssh-copy-id [email protected]

# ssh-copy-id [email protected]

3.6 配置apt源

# vi /etc/apt/sources.list

        #--ceph-deploy源

 deb [trusted=yes] http://aptly.uniontech.com/pkg/fou-1040/release-candidate/Y2VwaDIwMjEtMDItMDM  unstable main

 deb  [trusted=yes] http://aptly.uniontech.com/pkg/fou-1040/release-candidate/Y2VwaC1kZXBsb3kyMDIxLTAxLTI5  unstable main

        #--1040-ceph源

  deb http://pools.corp.deepin.com/server-enterprise/  fou/1040  main contrib non-free

  deb http://pools.corp.deepin.com/ppa/dde-fou/  fou/1040  main contrib non-free

# apt update

到这里，基础环境就配置完了，如果是第一次玩，最好做个快照方便还原。

如无特殊说明，以下操作在所有节点上

4、创建Ceph集群

4.1 安装ceph、ceph-deploy

# apt -y install ceph

# apt -y install ceph-deploy

4.2 微调配置文件

# vi /usr/lib/python2.7/dist-packages/ceph_deploy/calamari.py 

        ##第16行，增加 ,'uos'

# vi /usr/lib/python2.7/dist-packages/ceph_deploy/hosts/__init__.py

        ##第93行，增加 ‘uos’:   debian

# vi /usr/lib/python2.7/dist-packages/ceph_deploy/hosts/debian/install.py

        ##注释第66行

        distro.conn.remote_module.write_sources_list(url, codename)

如无特殊说明，以下操作在node1上

4.3 创建Ceph集群

创建ceph集群目录

# mkdir /ceph

# cd /ceph

# ceph-deploy new node1 node2 node3

# ls 

# vi ceph.conf    

        ##尾部增加下面3行

        public network = 192.168.26.0/24

        osd pool default size = 9

        osd pool default min size = 1

4.4 创建Monitor

# ceph-deploy mon create-initial 

# cp ceph.client.admin.keyring /etc/ceph

# cp ceph.mon.keyring   /etc/ceph

# cp ceph.bootstrap-osd.keyring /var/lib/ceph/bootstrap-osd/ceph.keyring

查看集群状态

# ceph –s

查看mon状态

# ceph mon stat

node2、node3节点同步配置

# scp /etc/ceph/* node2:/etc/ceph/

# scp /etc/ceph/* node3:/etc/ceph/

# scp ceph.bootstrap-osd.keyring node2:/var/lib/ceph/bootstrap-osd/ceph.keyring

# scp ceph.bootstrap-osd.keyring node3:/var/lib/ceph/bootstrap-osd/ceph.keyring

4.5 创建OSD

如无特殊说明，以下操作在node1上

查看集群OSD信息

# ceph osd tree

查看磁盘信息

# lsblk

擦除分区信息

# ceph-deploy disk zap node1 /dev/sdb /dev/sdc /dev/sdd

创建OSD

# ceph-deploy osd create node1 --data /dev/sdb

# ceph-deploy osd create node1 --data /dev/sdc

# ceph-deploy osd create node1 --data /dev/sdd

查看集群OSD信息

# ceph osd tree

查看集群状态

# ceph –s

    如果提示：no active mgr，说明没有osd守护进程

# ceph-deploy mgr create node1 node2 node3

再次查看集群状态

# ceph –s

在node2、node3节点上创建monitor（node1上操作就可以）

# ceph-deploy mon add --address 192.168.26.20 node2

# ceph-deploy mon add --address 192.168.26.30 node3

# ceph mon stat      ##会看到3个monitor

擦除分区信息node2、node3（node1上操作就可以）

# ceph-deploy disk zap node2 /dev/sdb /dev/sdc /dev/sdd

# ceph-deploy disk zap node3 /dev/sdb /dev/sdc /dev/sdd

在node2中创建OSD（node1上操作就可以）

# ceph-deploy osd create node2 --data /dev/sdb

# ceph-deploy osd create node2 --data /dev/sdc

# ceph-deploy osd create node2 --data /dev/sdd

如果报错：

[ERROR ] RuntimeError: bootstrap-osd keyring not found; run 'gatherkeys'

说明找不到osd的密钥。

# ceph-deploy gatherkeys node2

在ceph-node3中创建OSD（node1上操作就可以）

# ceph-deploy osd create node3 --data /dev/sdb

# ceph-deploy osd create node3 --data /dev/sdc

# ceph-deploy osd create node3 --data /dev/sdd

查看osd信息

# ceph osd tree

确认集群配置同步到了node2/node3

# ls /etc/ceph/ 

如果配置文件没有同步，使用下面命令（node1上操作就可以）

# ceph-deploy admin node2 node3

到这里，Ceph集群就配置完了，做个快照吧方便还原。

如何使用Cep集群，我们在下一篇文章中详细介绍。

包括创建/使用：块存储（rbd）、文件存储（cephfs）、对象存储（rgw）

UOS安装部署Ceph集群（二）_defaults,_netdev 0 0_小时候很牛、的博客