首页 > 其他分享 >Elasticsearch 基于查询数据导出,导入到索引

Elasticsearch 基于查询数据导出,导入到索引

时间:2024-07-15 18:08:01浏览次数:9  
标签:导入到 log -- 导出 detail 索引 Elasticsearch total es

elasticsearch 导出

elasticdump
  --input="http://username:[email protected]/domain_slowlog_es_*"
  --output="D:\Software\es_slow_log_total.json"
  --type=data
  --limit=1000
  --headers="{\"Content-Type\": \"application/json\"}"
  --sourceOnly=true
  --searchBody="{\"_source\":[\"resourceId\",\"pin\",\"time\",\"log_content\",\"slowLogType\",\"log_detail.level\",\"log_detail.total_shards\",\"log_detail.type\",\"log_detail.types\",\"log_detail.took_millis\",\"log_detail.total_hits\",\"log_detail.node_name\",\"log_detail.index\",\"log_detail.shard\"],\"query\":{\"bool\":{\"must\":{\"terms\":{\"resourceId\":[\"es-9i4977q5qh\",\"es-ch8s1wvrr5\",\"es-g41sh1v7oz\",\"es-gvkom2be36\",\"es-h2vbk839a2\",\"es-hhswy81fxa\",\"es-hhwdg51is0\",\"es-jx6fmk9a5a\",\"es-kt0dvdk5pz\",\"es-p4vfznv62m\",\"es-pzlzbtbfuq\",\"es-q2a7mgkh8w\",\"es-s53dzoummo\",\"es-tvwrhz61bc\",\"es-va0edcrg96\",\"es-wr6vg9mpbv\"]}},\"filter\":{\"range\":{\"time\":{\"gte\":\"1704038400000\",\"lte\":\"1705636800000\"}}}}}}"

标签:导入到,log,--,导出,detail,索引,Elasticsearch,total,es
From: https://www.cnblogs.com/PythonOrg/p/18303697

相关文章

  • 为什么MySQL会选择B+树作为索引
    为什么MySQL会选择B+树作为索引在数据库管理系统中,索引是提升查询效率的关键技术之一。MySQL作为广泛使用的关系型数据库管理系统,其核心存储引擎InnoDB选择B+树作为其索引结构,这一选择背后蕴含了深刻的性能和存储效率考量。本文将简要介绍B+树的基本概念,阐述MySQL选择B+树......
  • 探索GraphRAG:构建高效的知识图谱索引与查询引擎
    GraphRAG系统简介GraphRAG是一个基于图的检索增强生成系统,它通过索引文本数据,然后使用这些索引数据来回答有关文档的问题。系统的核心在于其索引管道和查询引擎,它们共同工作,以提供快速且准确的信息检索服务。环境准备在开始之前,请确保你的开发环境中已安装Python3.10至3......
  • ELK Stack - Elasticsearch · 搜索引擎 · 部署应用 · 内部结构 · 倒排索引 · 服
    系列目录ELKStack-Elasticsearch·搜索引擎·全文检索·部署应用·内部结构·倒排索引·服务接入ELKStack-Kibana(待续)ELKStack-Logstash(待续)ELKStack-Beats(待续)ELKStack-ApplicationPerformanceMonitoring(待续)本章基于:RHELinux......
  • elasticsearch性能调优方法原理与实战
    ❃博主首页:「码到三十五」,同名公众号:「码到三十五」,wx号:「liwu0213」☠博主专栏:<mysql高手><elasticsearch高手><源码解读><java核心><面试攻关>♝博主的话:搬的每块砖,皆为峰峦之基;公众号搜索「码到三十五」关注这个爱发技术干货的coder,......
  • 基于Ubuntu 24.04 LTS安装elasticsearch-8.14.3+Kibanna
    1.安装Elasticsearch1.1下载Elasticsearch#1.更新包索引sudoaptupdate#2.升级已安装的软件包sudoaptupgrade-y#3.进入/opt目录cd/opt#4.下载Elasticsearch压缩包sudowgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8......
  • 面试篇-Mysql-1+慢sql+索引
    文章目录前言一、线上的慢sql你们是怎么发现和处理的1.1发现慢sql:1.1.1通过开启mysql的慢日志:1.1.2通过Skywalking平台:1.2针对慢sql你们是怎么处理的:二、你了解过索引吗2.1索引是什么:2.1.1索引为什么要用b+树实现,二叉树,b树不行吗2.1.2你都知道哪些索引:2.1.3......
  • 推荐一个Elasticsearch ES可视化客户端工具:ES-King,支持win、mac、linux
    ES-King:开源免费,一个现代、实用的ESGUI客户端,支持多平台。下载地址:https://github.com/Bronya0/ES-King我之前开源的kafka客户端kafka-king(https://github.com/Bronya0/Kafka-King)已经有二百多star了,2k下载,后来又花了不少精力写了一个ES客户端,不过没怎么推广,于是写个文章介绍下......
  • FOFA网络空间安全搜索引擎的使用
    一、FOFA是什么?FOFA是一款网络空间测绘的搜索引擎,旨在帮助用户以搜索的方式查找公网上的互联网资产。简单来说,FOFA的使用方式类似于谷歌或百度,用户可以输入关键词来匹配包含该关键词的数据。不同的是,这些数据不仅包括像谷歌或百度一样的网页,还包括像摄像头、打印机、数据库......
  • 麒麟V10 安装ELK详细步骤(elasticsearch + kibana + logstash)
    一、ELK介绍ELK系统是一个开源的大数据分析和搜索引擎组合,主要由以下三个部分组成:Elasticsearch:作用:一个分布式搜索和分析引擎,可以处理大规模的结构化和非结构化数据。特点:支持全文搜索、结构化搜索和分析、实时搜索和分析、分布式计算,具有高可扩展性和高可用性。Logsta......
  • MySQL8.0 新特性函数索引
    MySQL8.0中的函数索引(Function-BasedIndex)是一种高级索引特性,它允许数据库管理员或开发者对表中的列执行表达式计算后的结果进行索引,而不是直接对列值或列的前缀值进行索引。这种索引技术可以显著提高查询性能,特别是在需要对列值进行复杂计算或转换的查询场景中。MySQL8......