首页 > 其他分享 >使用Logstash进行ElasticSearch数据迁移

使用Logstash进行ElasticSearch数据迁移

时间:2024-11-19 15:30:07浏览次数:1  
标签:7.17 9200 xxx mnt logstash elasticsearch ElasticSearch 迁移 Logstash

背景

ip为172.31.xxx.xxx的这台上部署了一台elasticsearch服务,端口为9200,其中一个索引为hot_question,现在想将索引及数据全部导入到ip为172.30.xxx.xxx这台机器上启动的elasticsearch服务中,elasticsearch服务端口也为9200。

解决

这里下载压缩包,我下载的是7.17.3版本。
image

然后上传到指定目录下,例如/mnt/public目录下,接着进行解压缩。

tar -zxvf logstash-7.17.3-linux-x86_64.tar.gz

之后进入到/mnt/public/logstash-7.17.3/config目录下:

image

,新建logstash.conf文件,编辑内容如下:

input {
  elasticsearch {
    hosts => ["http://172.31.xxx.xxx:9200"]
    index => "hot_question"
    docinfo => true
  }
}

output {
  elasticsearch {
    hosts => ["http://172.30.xxx.xxx:9200"]
    index => "hot_question"
    user  => "xxx"
    password => "xxx"
  }
}

保存好之后,进入到/mnt/public/logstash-7.17.3/bin目录,执行下面的命令:

./logstash -f ../config/logstash.conf

运行日志如下所示:
image

image

此时登录客户端,发现数据已经导入成功。

image

标签:7.17,9200,xxx,mnt,logstash,elasticsearch,ElasticSearch,迁移,Logstash
From: https://www.cnblogs.com/reecelin/p/18554971

相关文章

  • Linux云平台Oracle 12c安装与数据迁移
    Linux云平台Oracle12c安装与数据迁移配置阿里云环境的操作系统参数hosts主机信息配置echo"172.18.33.214iZwz9f32ql5nimsjsa4verZ">>/etc/hosts#这里的IP地址是云服务器的内外地址,可以使用ifconfig命令查看,不是你用ssh登录的公网IP。配置英文环境变量echo"ex......
  • Elasticsearch集群拒绝请求:索引磁盘使用超限
    这是一个典型的Elasticsearch集群因为磁盘空间不足而触发的保护机制,导致索引被设置为只读模式(read-only-allow-delete​)。以下是解决这个问题的步骤:释放磁盘空间:您需要清理服务器上的磁盘空间,删除不必要的旧索引或者日志文件,以降低磁盘使用率。可以使用以下命令删除不需要的索......
  • Elasticsearch 在Linux下的安装部署和配置
    环境CentOS-7-x86_64-DVD-2009.isohttps://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-2009.isoelasticsearch-7.10.0-linux-x86_64.tar.gzhttps://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-10-0https://artifacts.elastic.co/downl......
  • 【预训练-微调】采用迁移学习的方式完成肺部感染识别-学习笔记
    本学习笔记来源于B站:04-1轻松学PyTorch肺部感染识别简介 中第04-1到04-6这六个视频。在本预训练-微调代码中,重点要学习的内容包括:加载官方提供的经典网络架构resnet50和对应的预训练模型,对ResNet最后的两层网络(池化层和全连接层)进行修改,改为适合自己任务的网络架构。对......
  • 【预训练-微调】迁移学习项目实战自定义数据集宝可梦精灵-学习笔记
    本学习笔记来源于B站:深度学习—迁移学习项目实战自定义数据集宝可梦精灵。在本预训练-微调代码中,重点要学习的内容包括:加载官方提供的经典网络架构resnet18和已经训练好的模型,对最后一层全连接层进行修改,改为适合自己任务的网络架构。在此基础上,训练最后一层全连接层,并保存最......
  • ElasticSearch常用查询(一)
    一、前言​ 以前做的某个项目中包含了大量的查询聚合,现在有时间整理一番,记录一下ES常用查询聚合语法。二、常用查询语法2.1match查询​ match查询,模糊匹配(自动分词),在进行分词的模糊匹配时,要求该字段的类型是text..keyword类型。GETarticle/_search{"query":{"ma......
  • 小米笔记本Pro15锐龙版(R7 5800H/15G RAM/512G SSD)拆机单固态硬盘SSD扩容,无损迁移Win
    1.准备工作1.1梅花头螺丝刀2.72米 1.2新的固态硬盘三星980nvmem2固态硬盘,官方说读取速度能到3.5G,实测能到3.3G。小米笔记本Pro15锐龙版的M.2插槽支持的是PCIE3.0,三星980支持的就是PCIE3.0,够用了。三星980Pro支持的是PCIE4.0,读取能到7G,但接口不支持,只能降到PCIE......
  • AIGC中的文本风格迁移:基于深度学习的实现
    引言文本风格迁移是自然语言处理领域的一个重要研究方向,它可以将文本从一种风格转换为另一种风格,同时保留其原有的内容。随着深度学习技术的发展,文本风格迁移的方法变得越来越先进和高效。本文将探讨基于序列到序列模型(Seq2Seq)的文本风格迁移技术,并提供基于PyTorch的代码示例......
  • Vercel到Cloudflare:高性价比的迁移实践
    背景尽管Vercel的确在便利性和全栈支持上做得不错,但它的成本问题让人望而却步。经过深入研究,我决定将我的AI搜索项目项目迁移到AWS和Cloudflare,最终成功节省了大部分开支。这篇文章记录了完整的迁移过程,希望对有类似需求的开发者有所帮助。为什么会选择Vercel......
  • ElasticSearch restful语法
    ElasticSearch基础学习1.Elasticsearch的基本概念Index(索引):相当于数据库中的表,存储一类文档。Document(文档):索引中的一条记录,使用JSON格式表示。Type(类型):文档的分类,Elasticsearch7.x之后已不再推荐使用。Field(字段):文档中的键值对。2.常用的CRUD操作2.1创建索引......