首页 > 系统相关 >Linux Docker 部署 Elasticsearch (ES) 集群详解教程

Linux Docker 部署 Elasticsearch (ES) 集群详解教程

时间:2024-10-31 08:50:29浏览次数:3  
标签:docker cluster Elasticsearch elasticsearch Linux 集群 Docker 节点 es

1. 安装 Docker

首先,确保你的 Linux 系统上已经安装了 Docker。如果尚未安装,可以通过以下命令进行安装:

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo yum install docker-ce docker-ce-cli containerd.io

启动并启用 Docker 服务:

sudo systemctl start docker
sudo systemctl enable docker
2. 创建 Docker Compose 配置文件

在项目目录下创建一个名为 docker-compose.yml 的文件,内容如下:

version: '3'
services:
  elasticsearch-node1:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.x.x
    container_name: es-node1
    environment:
      - node.name=es-node1
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es-node2,es-node3
      - cluster.initial_master_nodes=es-node1,es-node2,es-node3
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - esdata1:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
      - 9300:9300

  elasticsearch-node2:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.x.x
    container_name: es-node2
    environment:
      - node.name=es-node2
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es-node1,es-node3
      - cluster.initial_master_nodes=es-node1,es-node2,es-node3
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - esdata2:/usr/share/elasticsearch/data

  elasticsearch-node3:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.x.x
    container_name: es-node3
    environment:
      - node.name=es-node3
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es-node1,es-node2
      - cluster.initial_master_nodes=es-node1,es-node2,es-node3
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - esdata3:/usr/share/elasticsearch/data

volumes:
  esdata1:
    driver: local
  esdata2:
    driver: local
  esdata3:
    driver: local

该配置文件定义了 3 个 Elasticsearch 节点,它们组成一个集群,每个节点都将数据存储在独立的卷上。

3. 启动 Elasticsearch 集群

docker-compose.yml 文件所在的目录中运行以下命令:

docker-compose up -d

此命令将启动 3 个 Elasticsearch 节点并组成一个集群。你可以通过以下命令查看运行状态:

docker-compose ps
4. 验证集群状态

可以通过 API 请求检查集群状态:

curl -X GET "localhost:9200/_cluster/health?pretty"

如果集群状态为 green,说明集群已成功启动且工作正常。

5. 集群环境部署详解

Elasticsearch 集群是一种分布式架构,通过水平扩展节点来提升系统的容量和性能。一个典型的集群通常包含多个 Master 节点、Data 节点和协调节点。在生产环境中,通常会通过独立的配置文件来指定节点角色,确保 Master 节点和 Data 节点的职责明确。

  • Master 节点:负责管理整个集群的元数据,包括节点加入/退出、索引创建/删除、分片分配等操作。一个集群应该有多个 Master 节点以提高容错性。
  • Data 节点:负责存储实际的数据,并执行索引、搜索等操作。Data 节点的数量决定了集群的存储容量和处理能力。

在生产环境中,确保集群健康是非常重要的,可以通过设置警报和自动化监控来及时检测和修复问题。

通过 Docker 部署 Elasticsearch,可以极大简化集群的管理和扩展。无论是单节点还是集群部署,Docker 都能提供一致的运行环境,极大地提高了灵活性和可维护性。在生产环境中,还应根据具体需求优化内存分配、数据持久化和安全性配置。

标签:docker,cluster,Elasticsearch,elasticsearch,Linux,集群,Docker,节点,es
From: https://blog.csdn.net/qq_40797754/article/details/143380488

相关文章

  • Linux内存操作命令
    du(diskusage)命令用于查看文件和目录占用的磁盘空间。以下是du命令的一些常用选项和用法详解:基本用法查看当前目录下所有文件和子目录的大小:du默认情况下,du会以块(通常是1K)为单位显示每个文件和目录的大小。查看特定目录的大小:du/path/to/directory常用选项-h:以人类......
  • 【已解决】vmware+ubunt14,编译海思3798MV100 ,HiSTBLinuxV100R005C00SPC050-master,报f
    于2023-07-1609:49:36发布没看懂,不知道问题出在哪里make[1]:Enteringdirectory/home/andy1231/Downloads/HiSTBLinuxV100R005C00SPC050-master/tools/linux/utils'make[1]:Enteringdirectory/home/andy1231/Downloads/HiSTBLinuxV100R005C00SPC050-master/source/kern......
  • docker部署手册(离线)
    文章目录一、下载地址二、部署环境三、安装部署3.1上传安装包3.2解压3.3创建docker.service3.4创建daemon.json文件3.5授权3.6启动3.7查看信息3.8设置开机启动3.9允许远程连接到docker方法一:修改docker.service方法二:修改daemon.json3.10处理报错docker.ser......
  • 程序员必备单品:超级常用的linux指令+实际操作案例
    Linux常用命令在Linux系统中,有许多常用的命令可以帮助用户进行文件管理、系统监控、网络配置等操作。以下是一些常见的Linux命令及其具体使用案例:ls:列出目录内容基本用法:ls[选项][目录]常见参数:-a:显示所有文件,包括以.开头的隐藏文件。-l:使用长列表格式显示文件详......
  • 程序员必备单品:超级常用的linux指令+实际操作案例
    Linux常用命令在Linux系统中,有许多常用的命令可以帮助用户进行文件管理、系统监控、网络配置等操作。以下是一些常见的Linux命令及其具体使用案例:ls:列出目录内容基本用法:ls[选项][目录]常见参数:-a:显示所有文件,包括以.开头的隐藏文件。-l:使用长列表格式显示文件详细信......
  • 第二章 Linux基础入门和帮助
    文章目录第二章Linux基础入门和帮助内容概述1.Linux基础1.1用户类型1.2远程连接工具1.2.1WindowsPowerShell工具1.2.2Xshell软件使用1.2.3MobaXterm软件使用1.3终端terminal1.3.1终端类型1.3.2查看当前的终端设备1.4交互式接口1.4.1交互式接口类型1.4.2......
  • 采用gpio-mio的sdk文档编译petalinux
    其余步骤都ok到下面生成boot.bin文件时失败 在网上找到了类似的  部署运行petalinux系统镜像_defaultbitsreamisnotfound,pleasespecifyabi-CSDN博客 经发现为该文件为纯PS端 未用到pl端  所以在生成时需要去除--fpga 这样就成功了......
  • Linux系统基础-多线程超详细讲解(3)_线程互斥同步和条件变量
    个人主页:C++忠实粉丝欢迎点赞......
  • ubuntu-安装docker、中间件
    1、基本命令#查看ubuntu版本lsb_release-a#修改密码sudopasswdubuntu#修改远程端口vim/etc/ssh/sshd_configsudoservicesshrestart#基础软件安装sudoaptinstalliputils-ping-ysudoaptinstallnet-tools-ysudoaptinstallvim-ysudoaptinstallufw-y 2、......
  • Docker:存储原理
    Docker:存储原理镜像联合文件系统overlay镜像存储结构容器存储结构存储卷绑定挂载存储卷结构镜像联合文件系统联合文件系统UnionFileSystem是一种分层,轻量且高效的文件系统。其将整个文件系统分为多个层,层与层之间进行覆盖,并对外表现为一个一致的文件系统。......