首页 > 其他分享 >Elasticsearch数据迁移工具之ESM

Elasticsearch数据迁移工具之ESM

时间:2024-07-05 18:30:54浏览次数:18  
标签:esm 索引 Elasticsearch ESM 数据 迁移

Elasticsearch数据迁移工具之ESM

ESM版本:0.5.0
上传esm的tar包并解压
查看一下帮助文档并确认安装成功
ESM各个参数用法简介

在使用Elasticsearch的时候不可避免的会涉及到集群的升级或者是业务的迁移等场景,此时就需要对数据进行迁移,es数据迁移的工具有很多比如reindex、esm、elasticdump、logstash和快照等方式。
使用ESM的优势是针对少数业务迁出,索引和数据相对较少,不需要修改ES配置文件不用重启集群,降低数据迁移对集群其他业务的影响的背景下相对来说速度较快的一种方案。
有数据测试表示迁移100W条数据ESM的速度仅次于reindex,接近logstash的两倍之快,当然这些与网络环境和硬件有必然的关系,我们在这里仅做参考即可。

将索引导出到本地 -o将源索引的文档输出到本地文件。
./bin/esm -s http://192.168.1.20:9200 -m elastic:123456 -o wsq_json.out -x wsq_esm_inbdex

将下载到本地的索引再进行导入。
./bin/esm -i wsq_json.out -n user:paswd -d http://192.168.1.20:9200

导入数据则会使用es默认分片数进行创建索引。同时也验证了该工具离线本地迁移的可行性。

使用ESM的时候支持指定集群任意节点,所以要选择相对来说压力较小的节点作为数据迁移的源节点较好。

转载:https://www.modb.pro/db/337630
领星

标签:esm,索引,Elasticsearch,ESM,数据,迁移
From: https://www.cnblogs.com/chenshaojun2008/p/18286415

相关文章

  • ElasticSearch入门教程(保姆级)
    目录一、引言1.1海量数据1.2全文检索1.3高亮显示二、ES概述2.1ES的介绍2.2ES的由来2.3ES和Solr2.4倒排索引三、ElasticSearch安装3.1安装ES&Kibana3.2安装IK分词器四、ElasticSearch基本操作4.1ES的结构4.1.1索引Index,分片和备份4.1.2类型Type......
  • es库-连接工具-chrome插件:Elasticsearch-Head
    Elasticsearch-Head如何连接es数据库呢:1.下载Elasticsearch-Head插件压缩包  2.解压文件夹,是这样的: 3.打开chrome浏览器的扩展程序管理 然后,点击“加载已解压的扩展程序”: 找到并且选中你压缩es-head文件夹的根目录-》点击“选择文件夹”: 到目前就加载上es-h......
  • ElasticSearch的数据结构是什么
    Elasticsearch的数据结构是基于文档的存储和检索模型。它使用一种灵活的、面向文档的方式来存储和管理数据,每个文档都可以包含多种类型的数据。下面详细介绍Elasticsearch的数据结构及其核心概念:核心概念索引(Index):Elasticsearch中的索引相当于关系型数据库中的数据库。......
  • Java 如何连接 ElasticSearch
    在Java中连接Elasticsearch可以使用Elasticsearch提供的官方Java客户端。Elasticsearch官方提供的Java客户端有多种,其中最常用的是RestHighLevelClient。下面是使用RestHighLevelClient连接Elasticsearch的详细步骤。1.添加依赖首先,在你的项目中添加Elasticsearch客户端的依赖......
  • ElasticSearch 如何增加相当于MySql 中的一列字段
    在Elasticsearch中,增加相当于MySQL中的一列字段的操作被称为“添加字段到索引映射”。与MySQL不同,Elasticsearch是一个文档存储引擎,使用索引和类型来组织数据。每个文档都有其特定的映射(mapping),定义了字段及其数据类型。增加字段到Elasticsearch映射的步骤查看当前映射:首先,查......
  • 【Elasticsearch】Elasticsearch动态映射与静态映射详解
    文章目录......
  • Windows上实现jdk、Mysql(含数据)整体环境和配置以及数据迁移复用(Bat中实现jdk、mysq
    场景若依前后端分离版手把手教你本地搭建环境并运行项目:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/108465662前后端分离的系统,需要部署在windows服务器上,若后期需要部署的机器较多,则每台机器都需要安装jdk、配置jdk环境变量、安装mysql、配置mysql环境变量......
  • 分享一次海量数据平滑迁移实战
    背景采购系统(BIP)在经历多年演进后,系统整体复杂度和数据量俨然已经极具规模,本文着重讨论海量数据的治理存储现状:工程端实时订单库采用MySQL5.5集群,其中主库配置为32C/48G/6000G,无法归档的订单热数据占磁盘空间85%(5.1T)痛点:6T磁盘已经单容器最大,无法继续扩容,剩余磁盘余量过小,难适......
  • VMware vSphere Tanzu部署_04_vCenter管理esxi并迁移网卡到DSwitch
    本次操作采用powershell来进行操作1.安装powershell和VM插件1.1.安装powershell在如下位置下载powershell进行:https://github.com/PowerShell/PowerShell/releases1.2.安装vm组件在cmd内输入pwsh后,输入:Install-Module-NameVMware.PowerCLI-ScopeCurrentUser......
  • Elasticsearch
    一、es客户端-kibana 没有数据库概念,只有索引索引=表 建索引:建空索引(空表):PUTxxx注意:如果没有设置表字段类型,则会默认类型 查询所有:GETxxx/_search{"query":{"match_all":{}}} 统计:GET/xxx/_count 模糊匹配:GETxxx/_search{"query":{"match_......