首页 > 其他分享 >中兴新支点系统离线安装ceph 16.2.10

中兴新支点系统离线安装ceph 16.2.10

时间：2023-05-30 20:01:21浏览次数：63  
标签：10 8.6 -- keyring 离线 ceph mon osd

微信公众号：运维开发故事，作者：wanger


关于中兴新支点系统

中兴新支点操作系统基于Linux稳定内核，分为嵌入式操作系统（NewStart CGEL)、服务器操作系统（NewStart CGSL）、桌面操作系统（NewStart NSDL），经过近10年专业研发团队的积累和发展，产品形成安全加固、自主可控、易用管理的突出优势。目前，中兴新支点操作系统已在国内外各大电信运营商、国有大中型企业及电子政务解决方案中投入使用，服务于交换网络、核心网络、骨干网络、智慧城市、视频监控等系统底层。 以上转自某乎。

背景

在国家数字化转型和国产化替代的大背景下，尤其是政务类项目，现在基本用国产化的CPU和操作系统来承载其业务，实现自主创新和安全可靠。 本文在中兴新支点系统（CGSL）和海光CPU上进行ceph离线部署。下面方法也适用于龙蜥和centos8。

制作离线安装包

首先需要找一台可以联网的中兴新支点机器，在上面制作ceph的离线rpm源。中兴新支点系统会默认安装一些组件（如libvirt、qemu），为避免安装ceph时与其他包产生依赖冲突问题，安装系统的时候可以选择最小安装。项目中其他需要安装的组件后面一起安装。我这边除了ceph，libvirt的包也会用到，系统默认安装libvirt的版本较低，我这里都采用手动方式部署并制作离线的rpm包。

yum源配置

中兴新支点系统目前没发现有官方的在线yum源地址。在线安装可以使用龙蜥和epel8的yum源。 下面是yum源的配置。

AnolisOS.repo

[AppStream]
name=AnolisOS-8.6 - AppStream
baseurl=http://mirrors.openanolis.cn/anolis/8.6/AppStream/x86_64/os
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CGSL-V6
[BaseOS]
name=AnolisOS-8.6 - BaseOS
baseurl=http://mirrors.openanolis.cn/anolis/8.6/BaseOS/x86_64/os
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CGSL-V6
[DDE]
name=AnolisOS-8.6 - DDE
baseurl=http://mirrors.openanolis.cn/anolis/8.6/DDE/x86_64/os
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CGSL-V6
[AppStream-debuginfo]
name=AnolisOS-8.6 - AppStream Debuginfo
baseurl=http://mirrors.openanolis.cn/anolis/8.6/AppStream/x86_64/debug
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CGSL-V6

[BaseOS-debuginfo]
name=AnolisOS-8.6 - BaseOS Debuginfo
baseurl=http://mirrors.openanolis.cn/anolis/8.6/BaseOS/x86_64/debug
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CGSL-V6

[Plus-debuginfo]
name=AnolisOS-8.6 - Plus Debuginfo
baseurl=http://mirrors.openanolis.cn/anolis/8.6/Plus/x86_64/debug
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CGSL-V6
          
[PowerTools-debuginfo]
name=AnolisOS-8.6 - PowerTools Debuginfo
baseurl=http://mirrors.openanolis.cn/anolis/8.6/PowerTools/x86_64/debug
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CGSL-V6


[DDE-debuginfo]
name=AnolisOS-8.6 - DDE Debuginfo
baseurl=http://mirrors.openanolis.cn/anolis/8.6/DDE/x86_64/debug
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CGSL-V6
[Extras]
name=AnolisOS-8.6 - Extras
baseurl=http://mirrors.openanolis.cn/anolis/8.6/Extras/x86_64/os
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CGSL-V6
[HighAvailability]
name=AnolisOS-8.6 - HighAvailability
baseurl=http://mirrors.openanolis.cn/anolis/8.6/HighAvailability/x86_64/os
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CGSL-V6
[Plus]
name=AnolisOS-8.6 - Plus
baseurl=http://mirrors.openanolis.cn/anolis/8.6/Plus/x86_64/os
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CGSL-V6
[PowerTools]
name=AnolisOS-8.6 - PowerTools
baseurl=http://mirrors.openanolis.cn/anolis/8.6/PowerTools/x86_64/os
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CGSL-V6
epel.repo

[epel]
name=Extra Packages for Enterprise Linux 8 - $basearch
# It is much more secure to use the metalink, but if you wish to use a local mirror
# place its address here.
baseurl=https://mirrors.aliyun.com/epel/8/Everything/$basearch
metalink=https://mirrors.fedoraproject.org/metalink?repo=epel-8&arch=$basearch&infra=$infra&content=$contentdir
enabled=1
gpgcheck=1
countme=1
gpgkey=file:///etc/yum.repos.d/RPM-GPG-KEY-EPEL-8
ceph.repo


[Ceph]
name=Ceph packages for $basearch
baseurl=http://download.ceph.com/rpm-pacific/el8/$basearch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-pacific/el8/noarch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

[ceph-source]
name=Ceph source packages
baseurl=http://download.ceph.com/rpm-pacific/el8/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

配置yum缓存

[main]
gpgcheck=1
installonly_limit=3
clean_requirements_on_remove=True
best=True
skip_if_unavailable=False
cachedir=/data/yum
keepcache=1

安装ceph

yum install ceph -y

制作离线仓库

find /data/cache -name "*.rpm" -exec cp {} /mnt \;
createrepo /mnt
tar -zcvf offline.tar.gz mnt/

安装ceph

使用做的离线rpm包安装ceph

tar -zxvf offline.tar.gz 
cd mnt
rpm -ivh *.rpm --nodeps --force

部署monitor节点

所有 Ceph 群集至少需要一个monitor，并且至少需要与存储在群集上的对象副本一样多的 OSD。引导初始mon是部署 Ceph 存储群集的第一步，这里我直接在node1、node2、node3创建三个mon。

在node1添加monitor

为集群生成唯一的fsid，fsid是群集的唯一标识符，代表 Ceph 存储群集主要用于 Ceph 文件系统的文件系统 ID

uuidgen

创建ceph配置文件，将生成的fsid添加到配置文件中

vim /etc/ceph/ceph.conf
[global]
fsid=9c079a1f-6fc2-4c59-bd4d-e8bc232d33a4
mon initial members = node1
mon host = 192.168.2.16
public network = 192.168.2.0/24
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
osd journal size = 1024
osd pool default size = 3
osd pool default min size = 2
osd pool default pg num = 8
osd pool default pgp num = 8
osd crush chooseleaf type = 1

为群集创建keyring并生成monitor keyring。monitor通过密钥相互通信。必须生成具有monitor密钥的keyring，并在引导初始monitor时提供keyring。

ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'

生成管理员keyring，生成用户并将用户添加到client.admin keyring中。要使用 CLI 工具，必须有一个用户，并且还必须将用户添加到monitor keyring。

ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'

生成引导 osd 密钥，生成用户并将用户添加到client.bootstrap-osd keyring中。

ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'

将生成的键添加到 ceph.mon.keyring

ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring

更改 ceph.mon.keyring的所有者。

chown ceph:ceph /tmp/ceph.mon.keyring

使用主机名、主机 IP 地址和 FSID 生成monitor映射。将其保存为 ：/tmp/monmap

monmaptool --create --add `hostname` 192.168.2.16  --fsid 9c079a1f-6fc2-4c59-bd4d-e8bc232d33a4 /tmp/monmap

在monitor主机上创建默认数据目录，目录名是{cluster-name}-{hostname}格式

sudo -u ceph mkdir /var/lib/ceph/mon/ceph-`hostname`

在node1节点对monitor进行初始化

sudo -u ceph ceph-mon --mkfs -i `hostname` --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

启动mon

systemctl start ceph-mon@`hostname` && systemctl enable ceph-mon@`hostname`

在另外两个节点安装mon

将密钥和配置文件拷贝至其他节点

scp /tmp/ceph.mon.keyring ceph2:/tmp/ceph.mon.keyring
scp /etc/ceph/* root@ceph2:/etc/ceph/
scp /var/lib/ceph/bootstrap-osd/ceph.keyring root@ceph2:/var/lib/ceph/bootstrap-osd/
scp /tmp/ceph.mon.keyring ceph3:/tmp/ceph.mon.keyring
scp /etc/ceph/* root@ceph3:/etc/ceph/
scp /var/lib/ceph/bootstrap-osd/ceph.keyring root@ceph3:/var/lib/ceph/bootstrap-osd/

在两个节点上修改ceph.mon.keyring属主和属组为ceph

chown ceph.ceph /tmp/ceph.mon.keyring

获取monmap信息

ceph mon getmap -o /tmp/ceph.mon.map
got monmap epoch 1

在mon节点上进行mon初始化

sudo -u ceph ceph-mon --mkfs -i `hostname` --monmap /tmp/ceph.mon.map --keyring /tmp/ceph.mon.keyring
sudo -u ceph ceph-mon --mkfs -i `hostname` --monmap /tmp/ceph.mon.map --keyring /tmp/ceph.mon.keyring

在两个节点上启动mon

systemctl start ceph-mon@`hostname` && systemctl enable ceph-mon@`hostname`

修改ceph.conf并重启ceph-mon（所有节点操作）

vim /etc/ceph/ceph.conf
mon initial members = node1,node2,node3
mon host = 192.168.2.16,192.168.2.17,192.168.2.18
systemctl restart ceph-mon@`hostname`

移除mon

ceph mon remove {mon-id}

添加osd

Ceph提供了该ceph-volume实用程序，该实用程序可以准备逻辑卷，磁盘或分区以供Ceph使用。该ceph-volume实用程序通过增加索引来创建OSD ID。

创建osd

在node1执行

ceph-volume lvm create --data /dev/sdb

上面的创建过程可以分为两个阶段（准备和激活）：

ceph-volume lvm prepare --data /dev/sdb
查看osd fsid
ceph-volume lvm list
ceph-volume lvm activate {ID} {FSID}

启动各个节点osd进程

#node1
systemctl restart ceph-osd@0
systemctl enable ceph-osd@0
 
#node2
systemctl restart ceph-osd@1
systemctl enable ceph-osd@1

#node3
systemctl restart ceph-osd@2
systemctl enable ceph-osd@2

创建MGR

在运行ceph-mon守护程序的每个节点上，还应该设置一个ceph-mgr守护程序。

创建密钥目录

所有mgr节点都要执行

sudo -u ceph mkdir /var/lib/ceph/mgr/ceph-`hostname -s`
cd /var/lib/ceph/mgr/ceph-`hostname -s`

创建身份验证密钥

ceph auth get-or-create mgr.`hostname -s` mon 'allow profile mgr' osd 'allow *' mds 'allow *' > keyring
chown ceph.ceph /var/lib/ceph/mgr/ceph-`hostname`/keyring

启动mgr守护进程

systemctl enable ceph-mgr@`hostname -s` && systemctl start ceph-mgr@`hostname -s`
或者
ceph-mgr -i `hostname`

最后查看ceph运行状态，我只添加了两个osd







公众号：运维开发故事

github：https://github.com/orgs/sunsharing-note/dashboard

博客：https://www.devopstory.cn

爱生活，爱运维

我是wanger，《运维开发故事》公众号团队中的一员，一线运维农民工，这里不仅有硬核的技术干货，还有我们对技术的思考和感悟，欢迎关注我们的公众号，期待和你一起成长！

中兴新支点系统离线安装ceph 16.2.10_国产化



标签：10,8.6,--,keyring,离线,ceph,mon,osd
From： https://blog.51cto.com/u_12970189/6381395

相关文章

  • Pytest - Fixture(10) - 测试用例传参给Fixture
    Pytest-测试用例传参给Fixture大多数时候我们在fixture封装的是登陆、获取cookie等操作，但是一个系统可能不止一个用户，有多个用户；在写测试用例的时候，如何告诉fixture我们需要登录哪个用户？可以通过测试用例给fixture传递参数，指定登陆用户账户信息。传单个参数fi......
  • git 删除分支：010
    讲解内容：（删除已经合并的分支）和（删除未合并的分支） 假如我现在创建了三个分支，如下： 删除已合并分支：要怎么区分哪些是已合并或未合并呢？首先得切换到主分支下，使用命令：gitbranch--merged  （查看所有已经合并的分支） 查看所有未合并的分支：gitbranch--no-merged   ......
  • leetcode 107. Binary Tree Level Order Traversal II
    Givenabinarytree,returnthebottom-uplevelordertraversalofitsnodes'values.(ie,fromlefttoright,levelbylevelfromleaftoroot).Forexample:Givenbinarytree[3,9,20,null,null,15,7],3/\920/\157returnits......
  • 猿辅导推出小猿学练机：10.3寸护眼墨水屏+封闭式系统
    5月30日，沉默近两年的猿辅导在智能硬件领域释放重磅动作，推出旗舰型产品小猿学练机。该产品面向全国中小学生，主打学练一体、以练促学，重新定义学练一体化的数字化产品体系。这一动作代表着，猿辅导正式入局1000亿智能硬件市场。2021年以来，我国新增452家学习硬件相关企业。来自弗若斯特沙......
  • leetcode 101. Symmetric Tree
    Givenabinarytree,checkwhetheritisamirrorofitself(ie,symmetricarounditscenter).Forexample,thisbinarytree[1,2,2,3,4,4,3]issymmetric:1/\22/\/\3443Butthefollowing[1,2,2,null,3,null,3]isnot:1/\2......
  • react 滚动到指定位置上方100像素的位置
    /*使用方法：import{useRef}from'react';constanchor=useRef<HTMLDivElement>(null);<divref={anchor}>test</div><buttononClick={()=>{scrollWithAnimation(anchor.current?.offsetTop||0);}}>jump</b......
  • 不吉利数字 (10分)
    杭州人称那些傻乎乎粘嗒嗒的人为62（音：laoer）。杭州交通管理局经常会扩充一些的士车牌照，新近出来一个好消息，以后上牌照，不再含有不吉利的数字了，这样一来，就可以消除个别的士司机和乘客的心理障碍，更安全地服务大众。不吉利的数字为所有含有4或62的号码。例如：623157341888914都属于不......
  • 逆序的三位数 (10 分) python版
    逆序的三位数(10分)python版程序每次读入一个正3位数，然后输出按位逆序的数字。注意：当输入的数字含有结尾的0时，输出不应带有前导的0。比如输入700，输出应该是7。输入格式：每个测试是一个3位的正整数。输出格式：输出按位逆序的数。输入样例：123输出样例：321'''Createdon2019年11......
  • 7-10 集合相似度 (25分)
    超时代码////CreatedbyHMNon2020/1/27.///*7-10集合相似度(25分)给定两个整数集合，它们的相似度定义为：Nc/Nt×100%。其中Nc是两个集合都有的不相等整数的个数，Nt是两个集合一共有的不相等整数的个数。你的任务就是计算任意一对给定集合的相似度。输入格式：......
  • Wifi密码 (10分)
    下面是微博上流传的一张照片：“各位亲爱的同学们，鉴于大家有时需要使用wifi，又怕耽误亲们的学习，现将wifi密码设置为下列数学题答案：A-1；B-2；C-3；D-4；请同学们自己作答，每两日一换。谢谢合作！！~”——老师们为了促进学生学习也是拼了……本题就要求你写程序把一系列题目的答案按照卷子上给......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99