首页 > 其他分享 >k8s上搭建elasticsearch单节点集群(固定存储)

k8s上搭建elasticsearch单节点集群(固定存储)

时间:2023-07-25 23:45:05浏览次数:29  
标签:name spec nfs elasticsearch k8s 节点 es metadata

因为Elasticsearch需要保持数据在固定的磁盘上,属于有状态的应用服务,因此采用k8s的StatefulSet模式部署。

创建PersistentVolumes和Claim

#es-persistent-volume.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: es-nfs-pv
  labels:
    pv: es-nfs-pv
spec:
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: nfs
  nfs:
    path: /data/nfs/es/
    server: 192.168.1.1 #要挂载卷的所在机器

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: es-nfs-pvc
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: nfs
  selector:
    matchLabels:
      pv: "es-nfs-pv"

deployment-es.yaml文件内容:

kind: StatefulSet
metadata:
  name: elasticsearch-sts
spec:
  selector:
    matchLabels:
      app: es # has to match .spec.template.metadata.labels
  serviceName: "elasticsearch-svc"  #声明它属于哪个Headless Service.
  replicas: 1 # by default is 1
  template:
    metadata:
      labels:
        app: es # has to match .spec.selector.matchLabels
    spec:
      terminationGracePeriodSeconds: 10
      volumes:
       - name: data-storage
         persistentVolumeClaim:
           claimName: es-nfs-pvc #和之前的PersistentVolumeClaim的name一致
      containers:
      - name: elasticsearch
        image: docker.elastic.co/elasticsearch/elasticsearch:7.9.2
        ports:
        - containerPort: 9200
          name: es-cli
        - containerPort: 9300
          name: es-iner
        env:
        - name: discovery.type
          value: single-node  
        - name: http.cors.enabled
          value: "true"
        - name: http.cors.allow-origin
          value: "*"
        volumeMounts:
         - mountPath: "/tmp/data"
           name: data-storage
---
apiVersion: v1
kind: Service
metadata:
  name: elasticsearch-svc
  labels:
    app: elasticsearch-svc
spec:
  type: NodePort
  ports:
  - port: 9200
    nodePort: 30920 #对外暴露的访问端口,需要在30000~32727范围内。
    name: clientport    
 selector: 
    app: es

master节点上执行:

kubectl apply -f es-persistent-volume.yaml
kubectl apply -f deployment-es.yaml

看看执行后的结果:

#查看部署的statefulset
$ kubectl get sts
NAME                READY   AGE
elasticsearch-sts   1/1     1m

#查看service
$ kubectl get svc
NAME                TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
elasticsearch-svc   NodePort    10.101.52.134    <none>        9200:30920/TCP   1m

#查看启动的pod
$ kubectl get pods
NAME                                READY   STATUS    RESTARTS   AGE
elasticsearch-sts-0                 1/1     Running   0          1m

这样部署好之后就可以通过masterIp+nodePort的方式访问Elasticsearch服务了.

  • 插入数据:
$ curl -X PUT 127.0.0.1:30920/test/_doc/1?pretty -H 'Content-Type: application/json' -d '{"id":1, "msg":"test"}'
{
  "_index" : "test",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 4,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 3,
  "_primary_term" : 1
}

  • 查询:
$ curl -X GET 127.0.0.1:30920/test/_doc/1?pretty
{
  "_index" : "test",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 4,
  "_seq_no" : 3,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "id" : 1,
    "msg" : "test"
  }
}


解决挂载遇到的错误
  1. nfs挂载错误“mount: wrong fs type, bad option, bad superblock on ...”,需要在挂载的服务机上启动nfs服务。
    安装nfs-utils:
   yum install nfs-utils

(各个node节点也要安装nfs-utils,不然也会mount失败)。

启动nfs服务:

service nfs start
  1. “mount.nfs: access denied by server while mounting”的错误,要export对应的挂载点。
    在/etc/exports添加如下内容:
/home/nfs/data  *(insecure,rw,sync,no_root_squash)
#这里最好不要用async,不然可能会失败
  1. 要有对挂载目录的读写权限

4.额外的,挂载命令示例: sudo mount -t nfs 192.168.1.1:/data/nfs /mnt/nfs

  最后编辑于 :2020.10.13 14:28:52

作者:天冷请穿衣
链接:https://www.jianshu.com/p/e175e135e6b0
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

标签:name,spec,nfs,elasticsearch,k8s,节点,es,metadata
From: https://www.cnblogs.com/gongzb/p/17581320.html

相关文章

  • k8s使用token访问集群apiserver
    exportTOKEN=eyJhbGciOiJSUzI1NiIsImtpZCI6InRjMEs2b2tyVUFjdHZuazNTS1VrM0s3LWFHMlVjek5NTUJnVUVSTTVHQnMifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJzaGlvcmlrbyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY29......
  • k8s pod,pvc,pv无法删除问题
    一般删除步骤为:先删pod再删pvc最后删pv但是遇到pv始终处于“Terminating”状态,而且delete不掉1、查看pvc被哪个pod使用[root@hadoop03storageclass]#kubectldescribepvcPVC-NAME|grepMountedMountedBy:busybox-deployment-8588b74c4b-vw8jdpvpvc删不掉解决方......
  • (五) MdbCluster分布式内存数据库——数据迁移架构及节点扩缩容状态图
    (五)MdbCluster分布式内存数据库——数据迁移架构及节点扩缩容状态图 上一篇:(四)MdbCluster分布式内存数据库——业务消息处理本节主要讨论在系统扩容期间的数据迁移架构及节点的状态图。我们将通过介绍这两部分,慢慢展开复杂的扩缩容流程。下图从左到右,我们增......
  • 金融领域:产业链知识图谱包括上市公司、行业和产品共3类实体,构建并形成了一个节点10w+
    金融领域:产业链知识图谱包括上市公司、行业和产品共3类实体,构建并形成了一个节点10w+,关系边16w的十万级别产业链图谱包括上市公司所属行业关系、行业上级关系、产品上游原材料关系、产品下游产品关系、公司主营产品、产品小类共6大类。上市公司4,654家,行业511个,产品95,559条、上......
  • 排查mysql pxc集群故障节点
    排查MySQLPXC集群故障节点MySQLPXC(PerconaXtraDBCluster)是一个高可用性的数据库集群解决方案,它基于MySQL和GaleraCluster技术实现。在实际运行中,可能会遇到一些节点故障的情况,本文将介绍如何排查MySQLPXC集群的故障节点,并给出相应的代码示例。1.检查集群状态在排......
  • 博客加入多条镜像分流节点
    title:博客加入多条镜像分流节点author:枷锁云-星尘avatar:https://pic.rmb.bdstatic.com/bjh/4d0bc5251b0b8744c872e9021acea141.pngcomments:truedate:2023-05-2707:53:29categories:公告tags:公告top_img:cover:详细为优化博客部分地区使用体验,现加入以下节......
  • 【elasticsearch】查询的一些常用例子
    1、条件,页数,排序 基本上可以满足所有需要的查询场景调用python将此body传入参数即可完成脚本查询  参考链接:ElasticSearch深度分页详解-知乎 ......
  • 学好Elasticsearch系列-Mapping
    本文已收录至Github,推荐阅读......
  • Redis 集群偶数节点跨地域部署之高可用测试
    笔者目前所在公司存在多套Redis集群:A集群主+从共60个分片,部署在3+3台物理机上,每台机器各承载10个端口主库30个端口在广州,从库30个端口在中山B集群共72个端口,部署架构一模一样上云后,均为广东的某个云厂商的2个可用区,不再使用IDC数据中心,部署架构一......
  • 搭建k8s集群
    一、k8smaster部署Master节点上会运行的组件:etcd,kube-apiserver,kube-controller-manager,kuctl,kubeadm.kubelet,kube-proxy,flannel,docker Kubeadm,官方k8s一键部署工具Flannel,网络插件,确保节点间能够互相通信 环境初始化: 1)hosts解析cat>>/etc/hosts <<EOF0.......