• 2024-07-01es启动报错exception during geoip databases update
    解决:在es配置文件中添加如下重启ingest.geoip.downloader.enabled:false  报错信息{"type":"server","timestamp":"2024-07-01T15:11:05,965Z","level":"ERROR","component":"o.e.i.g.GeoIpDownlo
  • 2024-05-17Python通过Geoip解析IP地址信息
    最近在研究ELK日志分析系统,在分析haproxy日志时,考虑需要将haproxy内获取到的IP地址进行解析,网站访问情况。于是有了这么一个需求,奈何maxmind数据库有些不准确,于是衍生出了一个想法,要测试maxmind数据库的准确性。于是乎想到了一个简单的方法,利用python脚本来配置geoip数据库来解
  • 2024-03-27GeoLite2 geoip数据库下载和使用
            GeoLite2数据库是免费的IP地理定位数据库,与MaxMind的GeoIP2数据库相当,但准确度较低。GeoLite2国家、城市和ASN数据库每周更新两次,即每周二和周五。GeoLite2数据还可作为GeoLite2Country和GeoLite2CityWeb服务中的Web服务提供。GeoLite2
  • 2024-02-01Nginx根据IP限制国家地区访问
    在实际开发中有可能会限制一些地区国家访问网站,通过Nginx可以很方便的限制某些国家允许/禁止访问网站安装ngx_http_geoip_module模块ngx_http_geoip_module:参数需设置在位置在http模块中。nginx默认情况下不构建此模块,应使用--with-http_geoip_module配置参数启用它。ngx_h
  • 2023-10-28Logstash Filter插件
    数据从源传输到存储的过程中,Logstash的filter过滤器能够解析各个事件,识别已命名的字段结构,并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值;利用Grok从非结构化数据中派生出结构利用geoip从IP地址分析出地理坐标利用useragent从请求中分析操作系统、设
  • 2023-07-25网站通过nginx设置黑/白名单IP限制、国家城市IP访问限制
    网站通过nginx设置黑/白名单IP限制、国家城市IP访问限制 一、黑/白名单IP限制访问配置nginx配置黑白名单有好几种方式,这里只介绍常用的两种方法。1、第一种方法:allow、denydeny和allow指令属于ngx_http_access_module,nginx默认加载此模块,所以可直接使用。这种方式,最简单,最直
  • 2023-06-12ELK分析Nginx日志和可视化展示
    ELK分析Nginx日志和可视化展示JAVA编程Linux学习 2023-06-0508:35 发表于山东收录于合集#nginx5个#nginx日志可视化1个#nginx日志1个一、概述使用ELK收集nginxaccess日志,利用Grafana做出一套可视化图表 二、环境准备环境说明操作系统:centos7.6docker
  • 2023-06-12ELK分析Nginx日志和可视化展示
    ELK分析Nginx日志和可视化展示JAVA编程Linux学习 2023-06-0508:35 发表于山东收录于合集#nginx5个#nginx日志可视化1个#nginx日志1个一、概述使用ELK收集nginxaccess日志,利用Grafana做出一套可视化图表 二、环境准备环境说明操作系统:centos7.6docker
  • 2023-05-12Python通过GeoIP获取IP信息(国家、城市、经纬度等)
    前言IP地址信息是非常重要的情报信息,通过IP可以定位到该IP所在的国家、城市、经纬度等。获取IP信息的方式有很多,很多服务商都提供了相应的地址库或API接口服务。如国内的ipip.net,国外的ip-api.com、maxmind.com等。很多公司都是使用Maxmind网站的IP信息库,里面包含着IP的详细信息,
  • 2023-05-10GoAccess 分析nginx日志
    GoAccess分析nginx日志安装wgethttps://tar.goaccess.io/goaccess-1.7.2.tar.gztar-xzvfgoaccess-1.7.2.tar.gzcdgoaccess-1.7.2/./configure--enable-utf8--enable-geoip=mmdbmakemakeinstall1)InstallmissingpackagesPkginstallautoconflibtoolsautoma
  • 2023-03-29基于 Elasticsearch + kibana 实现 IP 地址分布地图可视化
    地址库在ELK中,我们可以使用地址库,来对IP进行分析,对日志进行分析,在ELKstack中只有Logstash可以做到,但是出图,是Kibana来出的,所以我们首先需要下载地址库数据文件,然后对Logstas
  • 2023-03-13记一次Elasticsearch GeoIpDownloader的启动异常排查过程
    公众号:MCNU云原生,文章首发地,欢迎微信搜索关注,更多干货,第一时间掌握!最近碰到了ElasticsearchGeoIpDownloader相关的一个异常,花费了不少精力排查,故此记录一下,希望碰到同样问
  • 2023-02-20exception during geoip databases update
    报错描述:[2023-02-19T16:16:39,957][ERROR][o.e.i.g.GeoIpDownloader][CP]exceptionduringgeoipdatabasesupdatejavax.net.ssl.SSLHandshakeException:sun.sec
  • 2022-11-23ELK分析Nginx日志和可视化展示
    ELK分析Nginx日志和可视化展示一、概述使用ELK收集nginxaccess日志,利用Grafana做出一套可视化图表 二、环境准备环境说明操作系统:centos7.6docker版本:19.03
  • 2022-11-22PHP 跟据用户IP获取所在国家高效解决方案(GEOIP)
    最近项目中有一个需求统计访客数据,为了保证效率。前端尽量轻量化,仅将访客原始请求信息不作任何处理直接写入消息队列。后端计划任务服务器监听消息队列,解析useragent,ip
  • 2022-09-25Centos7上安装ElasticSearch
    我这里选择的版本是Elasticsearch7.17.6,下载链接为Elasticsearch7.17.6|Elastic下载完毕后解压到想要安装的文件夹,我这里是/data/elasticsearch-7.17.6由于我