首页 > 其他分享 >004.MinIO-DirectPV分布式存储部署

004.MinIO-DirectPV分布式存储部署

时间：2024-08-24 09:08:02浏览次数：10  
标签：minio master01 DirectPV dev io 004 root MinIO

MinIO部署介绍

部署概述

Kubernetes hostpath、local和本地静态配置都存在需要事先在node节点准备好可用的块存储或文件系统，例如对插入的硬盘，或者磁盘阵列做分区格式化，文件系统则需提前创建好Kubernetes即将利用的挂载目录，并且两种方法都会有亲和性限制，无法做到让Kubernetes自身的去调度让数据卷分布在不同的node节点上。

若利用传统的SAN或者NAS的CSI存储驱动（网络PV）来为minio集群提供存储，minio集群本身就分布式存储和保障高可用的特点，不仅会在数据路径中增加另一层复制/擦除编码和额外的网络跃点。这种额外的分解层还会导致复杂性增加和性能下降的问题。

而DirectPV可以解决如上问题，DirectPV做到了跨服器发现可用存储资源、跨服器格式化存储、创建供Kubernetes PV使用的存储池，由Kubernetes API通过DirectPV CSI调度存储资源为POD分配直连式存储PV，分布式地在node节点创建符合PVC申请要求的PV。DirectPV创建的存储资源统一由部署DirectPV的节点监视和维护。

通俗点讲，相当于在master节点部署DirectPV后，只需在node节点插入硬盘或者组建磁盘阵列，后续的格式化只需在安装了DirectPV的master节点上操作，node节点无需后续操作，PV由Kubernetes自行调度和创建，并由PV卷将数据持久化。

DirectPV更多介绍参考：002.DirectPV介绍及安装

基于如上考虑，本实验Kubernetes部署Minio集群存储，选择使用DirectPV CSI作为分布式存储的最佳实践。
同时minio官方支持通过简单的快速部署，以便于进行基础测试：

curl https://raw.githubusercontent.com/minio/docs/master/source/extra/examples/minio-dev.yaml -O
kubectl apply -f minio-dev.yaml

参考官方： 快速部署MinIO 。

minio集群特性

每个minio集群节点上由Kubernetes调度，而每个集群节点的驱动器使用的PV由DirectPV调度，也就是说驱动器实际使用的存储资源是由DirectPV随机的从属于Kubernetes的DirectPV存储池中分配出来的，那实际的数据会随机的分布在node节点上的硬盘上，只要node节点硬盘数量较多，很大程度上可以规避硬盘单点故障的问题。

  • 分布式
    minio集群将数据分布在每个minio集群节点上，每个集群节点至少拥有4个驱动器，数据被均匀分布在每个集群节点的驱动器上，一半的驱动器空间用于数据备份利用，一半的空间用于存储。

  • 高可用
    minio集群的高可用特性，即驱动器只要有总数的N/2在线，即可完整的同步和还原数据，解决了硬盘单点故障导致数据丢失的问题。只要minio的集群节点数量够多，也能规避minio集群节点故障大面积的驱动器掉线导致存储数据丢失的问题。

MinIO部署

部署规划

  • Kubernetes 安装
    本实验不涉及 Kubernetes 部署， Kubernetes 部署参考 Kubernetes_v1.30.3高可用部署架构二 。

  • 节点规划
    已完成部署的Kubernetes集群的规划及磁盘相关信息如下：

主机 IP 磁盘 备注
master01 172.24.10.11 —— master节点
master02 172.24.10.12 —— master节点
master03 172.24.10.13 —— master节点
worker01 172.24.10.14 /dev/nvme0n2 worker节点+ MinIO 节点 + DirectPV节点
worker02 172.24.10.15 /dev/nvme0n2 worker节点+ MinIO 节点 + DirectPV节点
worker03 172.24.10.16 /dev/nvme0n2 worker节点+ MinIO 节点 + DirectPV节点

集群VIP： 172.24.10.100
相关域名均能正常解析，可通过hosts解析相关域名至 VPI 。

DirectPV部署

DirectPV部署安装参考：002.DirectPV介绍及安装

通常安装完DirectPV后会自动生成默认的 directpv-min-io StorageClass 。

[root@master01 directpv]# kubectl get sc -o wide
NAME                 PROVISIONER          RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
directpv-min-io      directpv-min-io      Delete          WaitForFirstConsumer   true                   11h

配置MinIO

根据当前规划，参考 DirectPV部署MinIO存储官方yaml 进行修改。

也可参考 MinIO官方yaml 修改。

当前版本的minio把API端口和WebUI端口进行了区分，本实验API保留9000，webui配置为9090。
部署在独立的namespace minio-dev中。

[root@master01 minio]# curl https://raw.githubusercontent.com/minio/docs/master/source/extra/examples/minio-dev.yaml -O

[root@master01 minio]# vim minio-dev.yaml
apiVersion: v1
kind: Namespace
metadata:
  name: minio-dev
  labels:
    name: minio-dev

---
kind: Service
apiVersion: v1
metadata:
  name: minio
  namespace: minio-dev
  labels:
    app: minio
spec:
  selector:
    app: minio
  type: NodePort
  ports:
    - name: api
      port: 9000
      protocol: TCP
      targetPort: 9000
      nodePort: 9000
    - name: webui
      port: 9090
      protocol: TCP
      targetPort: 9090
      nodePort: 9090
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: minio
  namespace: minio-dev
  labels:
    app: minio
spec:
  serviceName: "minio"
  replicas: 4
  selector:
    matchLabels:
      app: minio
  template:
    metadata:
      labels:
        app: minio
        directpv.min.io/organization: minio
        directpv.min.io/app: minio-example
        directpv.min.io/tenant: tenant-1
    spec:
      containers:
      - name: minio
        image: minio/minio
        env:
        - name: MINIO_ACCESS_KEY
          value: minio
        - name: MINIO_SECRET_KEY
          value: minio123
        volumeMounts:
        - name: minio-data-1
          mountPath: /data1
        - name: minio-data-2
          mountPath: /data2
        - name: minio-data-3
          mountPath: /data3
        - name: minio-data-4
          mountPath: /data4
        args:
        - "server"
        - "http://minio-{0...3}.minio.minio-dev.svc.cluster.local/data{1...4}"
        - "--console-address"
        - ":9090"
  volumeClaimTemplates:                 #配置StorageClass
  - metadata:
      name: minio-data-1
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
        requests:
          storage: 1Gi
      storageClassName: directpv-min-io #配置已存在的storageClass
  - metadata:
      name: minio-data-2
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
        requests:
          storage: 1Gi
      storageClassName: directpv-min-io #配置已存在的storageClass
  - metadata:
      name: minio-data-3
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
        requests:
          storage: 1Gi
      storageClassName: directpv-min-io #配置已存在的storageClass
  - metadata:
      name: minio-data-4
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
        requests:
          storage: 1Gi
      storageClassName: directpv-min-io #配置已存在的storageClass

正式部署

[root@master01 minio]# kubectl apply -f minio-dev.yaml

[root@master01 minio]# kubectl -n minio-dev get all -o wide
NAME          READY   STATUS    RESTARTS   AGE     IP             NODE       NOMINATED NODE   READINESS GATES
pod/minio-0   1/1     Running   0          2m42s   10.10.30.123   worker02   <none>           <none>
pod/minio-1   1/1     Running   0          2m33s   10.10.196.75   worker04   <none>           <none>
pod/minio-2   1/1     Running   0          2m25s   10.10.5.11     worker01   <none>           <none>
pod/minio-3   1/1     Running   0          2m16s   10.10.19.65    worker03   <none>           <none>

NAME            TYPE       CLUSTER-IP     EXTERNAL-IP   PORT(S)                       AGE     SELECTOR
service/minio   NodePort   10.20.113.61   <none>        9000:9000/TCP,9090:9090/TCP   2m42s   app=minio

NAME                     READY   AGE     CONTAINERS   IMAGES
statefulset.apps/minio   4/4     2m42s   minio        minio/minio
[root@master01 minio]# kubectl directpv list drives
┌──────────┬─────────┬──────────────────────────┬────────┬────────┬─────────┬────────┐
│ NODE     │ NAME    │ MAKE                     │ SIZE   │ FREE   │ VOLUMES │ STATUS │
├──────────┼─────────┼──────────────────────────┼────────┼────────┼─────────┼────────┤
│ worker01 │ nvme0n2 │ VMware Virtual NVMe Disk │ 20 GiB │ 16 GiB │ 4       │ Ready  │
│ worker02 │ nvme0n2 │ VMware Virtual NVMe Disk │ 20 GiB │ 16 GiB │ 4       │ Ready  │
│ worker03 │ nvme0n2 │ VMware Virtual NVMe Disk │ 20 GiB │ 16 GiB │ 4       │ Ready  │
│ worker04 │ nvme0n2 │ VMware Virtual NVMe Disk │ 20 GiB │ 16 GiB │ 4       │ Ready  │
└──────────┴─────────┴──────────────────────────┴────────┴────────┴─────────┴────────┘

[root@master01 minio]# kubectl -n minio-dev get pvc

015

ingress访问webui

使用ingress将Webui开放出来。
创建证书。

[root@master01 minio]# ll *com*
-rw-r--r-- 1 root root 3.9K Aug 24 06:19 api.linuxsb.com.crt
-rw-r--r-- 1 root root 1.7K Aug 24 06:19 api.linuxsb.com.key
-rw-r--r-- 1 root root 3.9K Aug 24 05:36 minio.linuxsb.com.crt
-rw-r--r-- 1 root root 1.7K Aug 24 05:36 minio.linuxsb.com.key

[root@master01 minio]# kubectl -n minio-dev create secret tls minio-webui-tls --cert=minio.linuxsb.com.crt --key=minio.linuxsb.com.key
[root@master01 minio]# kubectl -n minio-dev create secret tls minio-api-tls --cert=api.linuxsb.com.crt --key=api.linuxsb.com.key

[root@master01 minio]# kubectl -n minio-dev describe secrets minio-webui-tls
[root@master01 minio]# kubectl -n minio-dev describe secrets minio-api-tls

创建ingress规则。

[root@master01 minio]# vim minio-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: minio-webui-ingress
  namespace: minio-dev
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  ingressClassName: "nginx"
  tls:
    - hosts:
        - 'minio.linuxsb.com'
      secretName: minio-webui-tls
  rules:
    - host: minio.linuxsb.com
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: minio
                port:
                  number: 9090
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: minio-api-ingress
  namespace: minio-dev
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  ingressClassName: "nginx"
  tls:
    - hosts:
        - 'api.linuxsb.com'
      secretName: minio-api-tls
  rules:
    - host: api.linuxsb.com
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: minio
                port:
                  number: 9000
                  
[root@master01 minio]# kubectl apply -f minio-ingress.yaml 

[root@master01 minio]# kubectl -n minio-dev get ingress -o wide
NAME                  CLASS   HOSTS               ADDRESS        PORTS     AGE
minio-api-ingress     nginx   api.linuxsb.com     172.24.10.11   80, 443   64s
minio-webui-ingress   nginx   minio.linuxsb.com   172.24.10.11   80, 443   64s

确认验证

  • 浏览器验证
    使用浏览器访问 https://172.24.10.100:9090 ，默认minio账号密码： minioadmin / minioadmin ，本实验已设置账号密码： minio / minio123 。

010

011

也可使用ingress所暴露的域名访问： https://minio.linuxsb.com 。

012

013

  • MC验证
    MinIO Client mc命令行工具提供了ls、cat、cp、mirror和diff等命令，支持文件系统和Amazon s3兼容的云存储服务。

mc命令行工具是为与AWS S3 API兼容而构建的，并在MinIO和AWS S3上测试了预期的功能和行为。

安装mc：

[root@master01 minio]# curl https://dl.min.io/client/mc/release/linux-amd64/mc \
  --create-dirs \
  -o /usr/local/bin/mc

[root@master01 minio]# chmod +x /usr/local/bin/mc
[root@master01 minio]# mc --help

连接minio：
使用mc alias set命令将Amazon s3兼容的服务添加到mc配置中，将alias替换为要关联到S3服务的名称。
mc命令通常需要alias作为参数来标识要对哪个S3服务执行，如果省略ACCESS_KEY和SECRET_KEY，执行命令时会提示在CLI中输入这些值。

[root@master01 minio]# mc alias set myminio https://api.linuxsb.com minio minio123
Added `myminio` successfully.
[root@master01 minio]# mc admin info myminio

014

提示：更多mc命令使用参考： MinIO Client 。

MinIO扩容

在线扩容

MinIO结合DirectPV部署的分布式存储集群，可通过DirectPV的特性完成在线卷扩容，不需要重新启动使用这些卷的pod，调整扩容后的大小，然后Persistent Volume Claim自动完成相应动作。

[root@master01 minio]# kubectl -n minio-dev get pvc minio-data-1-minio-0 -o yaml > minio-data-1-minio-0.yaml        #将需要扩容的卷的yaml导出

[root@master01 minio]# vim minio-data-1-minio-0.yaml 
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  annotations:
    pv.kubernetes.io/bind-completed: "yes"
    pv.kubernetes.io/bound-by-controller: "yes"
    volume.beta.kubernetes.io/storage-provisioner: directpv-min-io
    volume.kubernetes.io/selected-node: worker02
    volume.kubernetes.io/storage-provisioner: directpv-min-io
  creationTimestamp: "2024-08-23T16:27:13Z"
  finalizers:
  - kubernetes.io/pvc-protection
  labels:
    app: minio
  name: minio-data-1-minio-0
  namespace: minio-dev
  resourceVersion: "1536089"
  uid: 4f6e5be4-4ed7-47e8-8cc1-5b0f3c65167e
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 2Gi                          #直接修改大小
  storageClassName: directpv-min-io
  volumeMode: Filesystem
  volumeName: pvc-4f6e5be4-4ed7-47e8-8cc1-5b0f3c65167e
status:
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 1Gi
  phase: Bound

[root@master01 minio]# kubectl apply -f minio-data-1-minio-0.yaml
……

确认验证

验证扩容后的相应的卷是否为2G。

[root@master01 minio]# kubectl -n minio-dev get pvc minio-data-1-minio-0 -o yaml
apiVersion: v1
kind: PersistentVolumeClaim
#……
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 2Gi                          #扩容后的当前容量
  storageClassName: directpv-min-io
  volumeMode: Filesystem
  volumeName: pvc-4f6e5be4-4ed7-47e8-8cc1-5b0f3c65167e
status:
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 2Gi

[root@master01 minio]# kubectl -n minio-dev get pvc minio-data-1-minio-0
NAME                   STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS      VOLUMEATTRIBUTESCLASS   AGE
minio-data-1-minio-0   Bound    pvc-4f6e5be4-4ed7-47e8-8cc1-5b0f3c65167e   2Gi        RWO            directpv-min-io   <unset>                 6h20m

更多DirectPV卷管理参考： Volume management 和 003.DirectPV存储管理 。

标签：minio,master01,DirectPV,dev,io,004,root,MinIO
From： https://www.cnblogs.com/itzgr/p/18377344

相关文章

  • 003.DirectPV存储管理
    目录DirectPVdrives管理先决条件添加drives列出drives标记drives替换drives移除drives暂停drives修复drives扩容Volume在线扩容删除Volume清理残留Volume暂停VolumeDirectPVdrives使用使用介绍创建PVC创建PodDirectPVdrives管理先决条件已安装DirectPV插件。在Kubernetes......
  • minio安装
    一、下载https://min.io/download?license=agpl&platform=docker二、安装直接解压三、启动bin\minio.exeserverdata--console-address"127.0.0.1:9000"--address"127.0.0.1:9005"三、登录控制台控制台地址：http://127.0.0.1:9000四、管理存储桶五、通过批处理修......
  • 001.MinIO简介
    MinIO简介MinIO是天然的云原生存储，可以作为轻量级容器运行，由相关编排服务(如Kubernetes)管理。整个服务器是一个不到100MB的静态二进制文件，并且在使用CPU和内存资源方面即使在高负载场景也非常高效，因此可以在共享硬件上共同托管大量租户。MinIO可以在任何地方和任何云设施......
  • 002.DirectPV存储安装
    DirectPV简介DirectPV概述DirectPV是直接连接存储的CSI驱动程序。从更简单的意义上说，它是一个分布式持久卷管理器，而不是像SAN或NAS那样的存储系统。它可以用于发现、格式化、挂载、调度和监视跨服务器的硬盘驱动器。由于KuberneteshostPath和本地pv是静态配置的，功......
  • ASP: Response 对象 错误 'ASP 0251 : 80004005' 解决办法
    ASP:Response对象错误'ASP0251:80004005'解决办法 Response对象错误'ASP0251:80004005'超过响应缓冲区限制 这种情况一般是因为需要输出的网页内容太大了，由于asp在输入内容到客户的浏览器上之前，会把需要输出的全部内容先输出到缓存区，这个缓存区一般默认大小......
  • Windows安装与启动Minio文件存储桶
    需要选择开源版本，不然报错，需要授权文件需要命令启动C:\minio.exeserverE:\minio\data--console-address"127.0.0.1:9000"--address"127.0.0.1:9005"显示账号密码首先需要创建桶，并上传文件，可以进行共享参考：https://blog.csdn.net/m0_54230514/article/details/138337......
  • P1543 [POI2004] SZP 题解
    P1543[POI2004]SZP题解传送门。题目简述有\(n\)个人，每个人都会监视另一个人，要求选出尽可能多的同学，使得选出的每一名同学都必定会被监视到。且选出的同学不可再监视其他人。思路简述因为任意一个人只能被另一个人管，那么就想到，如果没人管的同学就不能被选（不被监视）。若某......
  • 10046-1-批量为视频添加文字水印每隔几秒钟显示一次水印-视频首尾不显示水印-UI
    程序功使用环境▶适用的系统环境说明：win7以上64位win系统注意：win32位系统/mac系统需要额外定制▶使用期限：无需注册、不绑电脑、无时间限制▶如何安装：不需要安装程序功能说明▶子文件夹穿透：支持▶支持的文件格式：'.mp4','.avi','.mkv','.webm','.ts','.flv','.mov','.wmv'......
  • ECON10004: INTRODUCTORY MICROECONOMICS
    ECON10004:INTRODUCTORYMICROECONOMICSASSIGNMENT1:SEMESTER2,2024Due:Wednesday,August21,6pm•AssignmentsmustbesubmittedviatheLMSsubjectwebpage.•Remembertokeepacopyofyourassignment.•Thisassignmentwillaccountfor15%ofyour......
  • 小白学习c++P8【1004】字符三角形（c++）详细讲解
    目录EXTRA##PT1-知识点引入......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99