首页 > 系统相关 >如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!

时间:2023-11-01 13:31:36浏览次数:33  
标签:mlog2waffle waf Nginx 可视化 Apache 日志 php fle

之前介绍过 ModSecurity 这款优秀的开源 WAF,它是一个入侵检测与阻止的引擎,原本是Apache的一个模块,现在可作为单独模块编译添加到 Nginx 服务中

虽然这款 WAF 很优秀,但是使用起来并没有那么容易,之前也整理了文章介绍它的原理和规则,然而还有一个问题,就是它的日志分析,之前介绍原理规则的时候,也介绍了它的日志规则,但是在使用过程中,纯文本的记录方式,对于入侵分析太不友好了

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx

所以今天介绍一款管理 ModSecurity 日志的开源项目 WAF-FLE

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx_02

WAF-FLE是专门用来处理ModSecurity日志和事件的控制台,管理员可以通过WAF-FLE查看和搜索ModSecurity记录的日志

WAF-FLE是PHP写的开源项目,搭建需要LNMP/LAMP环境

环境需求:

  • Apache/Nginx
  • PHP5.3+
  • php-pdo
  • php-mysql
  • php-apc
  • php-geoip
  • MySQL5.1+

安装环境不赘述,只说一个GeoIP库的安装,这里要通过GeoIP库去展示入侵IP信息,所以需要用到这个库,安装很简单,其实就是下载一个dat数据库,从https://www.maxmind.com/en/geoip-demo下载

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Apache_03

下载后解压出dat文件即可

环境准备好之后,从github下载WAF-FLE:https://github.com/klaubert/waf-fle

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Apache_04

在waf-fle的extra目录下,存放了数据库sql文件,以及Apache的配置文件,如果是用的Apache,直接将这个配置复制到apache配置目录下即可,如果用Nginx,参考下面的配置

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_php_05

修改config.php的时候,因为我没有安装apc的缓存扩展,这扩展很老了,所以直接设置APC_ON=false,关闭这个缓存

完成上面之后,通过域名访问,即可访问到安装界面

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx_06

这里检查php扩展的时候,如果你不是Apache的话,会有个问题,就是在setup.php的499行,它用apache_getenv检测是否用Apache运行的,如果没运行Apache,这里过不去,我这里是Nginx运行的,所以打开setup.php文件499行,把这部分代码注释掉即可

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx_07

接着点击运行创建数据库

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx_08

这里创建数据库的时候又有个问题,在setup.php代码28行的地方,执行创建函数的时候,引用一个$databaseSchema,这里修改定义了一个位置,但是我放置的是我的位置,所以这里需要根据自己情况进行修改

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Apache_09

修改完成后,继续通过页面执行创建数据库操作,创建完成如下:

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_php_10

安装完成,默认用户名密码是admin/admin,之后,在config.php中配置$SETUP=false,关闭安装之后,重新访问

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx_11

默认用户密码登录之后,就需要修改用户名密码

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Apache_12

设置完新密码之后,就会跳转到主界面了

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_php_13

目前没有数据,现在开始接入日志数据,点击菜单栏的management,添加sensor

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_php_14

保存后,即创建好一个sensor,用来接收日志

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_php_15

创建好之后,在这个sensor上面,开始配置事件接收器

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx_16

这里选着用mlog2waffle的方式接收日志,然后选着service deamon的方式查询日志,这种是实时查询,WAF-FLE controller URL是配置waf-fle的控制器地址,mlog2waffle是通过put请求发送数据到这个接口地址,下面就是配置ModSecurity日志的配置路径,配置完成后,点击Next

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx_17

系统会给出提示配置,需要按照给出的配置,配置这几个配置文件,这里按照提示的配置操作即可,需要的mlog2waffle配置文件及启动脚本都在extra目录下

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx_18

配置完成后,启动mlog2waffle

mlog2waffle,是通过put方法发送日志到waf-fle的,但是默认Nginx是不允许put请求的,所以启动会报错,需要在nginx中,通过dav方法,允许put请求

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx_19

启动mlog2waffle过程中,遇到不少问题,记录如下:

  • mlog2waffle中配置了$CHECK_CERT = “TRUE”,用来检测SSL的,当用http的时候,这里要改成False,否则会握手失败
  • mlog2waffle中配置了$CHECK_CONNECTIVITY = “TRUE”,这里是启动,检测mlog2waffle和waffle的连通信的,通过check_conn方法

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx_20

这里通过PUT方法,发送了一个检测请求,这里比较坑的是,发送PUT请求,没有URI,但是Nginx在检测到PUT请求没有URI的时候,会报409,认为资源有冲突

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx_21

所以,不管怎么做,这里检测就不会通过,两种方法处理,一种是直接关闭这个检测,mlog2waffle就可以正常启动,另外一种方法就是修改这个检测的方法,将uri带上,mlog2waffle是perl脚本,很简单

  • waf-fle中使用了不少Apache专用内置函数,比如apache_getenv()、getallheaders()、apache_setenv(),因为这里用的Nginx,所以这几个函数都没有,

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Apache_22

这里需要手动替换下,通过$_SERVER去获取客户端IP,而getallheaders()方法,需要手动写一个,如下:

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx_23

另外在index.php中,65行的位置,原本是通过apache_setenv()将获取到的sensor的名称,复制给Apache的”REMOTE_USER”,这里不用Apache,所以直接注释掉即可

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx_24

修改完这些,就可以通过脚本启动mlog2waffle了

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_php_25

启动后,通过waf的access日志就可以看到mlog2waffle已经开始通过put方法将日志解析成event,传输到waf-fle

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx_26

在mlog2waffle的readIndex方法中,因为要读取并解析日志索引文件,所以有一个正则匹配如图:

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx_27

这里需要你更具自己记录的日志格式进行修改匹配,完全匹配后,才能正确读取到日志,并解析后通过send_event方法将解析后的内容通过PUT方法传输到waf-fle进行展示

waf-fle的接收文件就一个index.php,它将所有步骤通过正则解析,有兴趣的可以看下源码,到此waf-fle就部署完成了,看下效果

如何做 Nginx 安全日志分析可视化,看完这一篇,秒懂!_Nginx_28

虽然waf-fle是比较老的开源项目,但是对于modsecurity的日志分析完全够用

来源:本文转自公众号运维研习社,

标签:mlog2waffle,waf,Nginx,可视化,Apache,日志,php,fle
From: https://blog.51cto.com/u_15576159/8121688

相关文章

  • nginx 全局变量记录
    remote_addr客户端ip,如:192.168.4.2binary_remote_addr客户端ip(二进制)remote_port客户端port,如:50472remote_user已经经过AuthBasicModule验证的用户名host请求主机头字段,否则为服务器名称,如:dwz.stamhe.comrequest用户请求信息,如:GET/?_a=index&_m=show&count=10HT......
  • Python用PyMC3贝叶斯模型平均BMA:采样、信息准则比较和预测可视化灵长类动物的乳汁成分
    当面对多个模型时,我们有多种选择。模型选择因其简单性而具有吸引力,但我们正在丢弃有关模型中不确定性的信息。  print(f"Runing模型平均一种替代方法是执行模型选择,但讨论所有不同的模型以及给定信息准则的计算值。重要的是要将所有这些数字和测试放在我们问题的背景下,以便我们和......
  • R语言文本挖掘:kmeans聚类分析上海玛雅水公园景区五一假期评论词云可视化|附代码数据
    互联网时代,大量的新闻信息、网络交互、舆情信息以文本形式存储在数据库中,如何利用数据分析和文本挖掘的算法,将海量文本的价值挖掘出来,成为我们团队近期的一个研究方向,本案例就是我们的一个尝试。文本聚类其实也就是聚类分析在文本方向上的应用,首先我们要把一个个文档的自然语言转......
  • Python用PyMC贝叶斯GLM广义线性模型、NUTS采样器拟合、后验分布可视化
    尽管贝叶斯方法相对于频率主义方法的理论优势已经在其他地方进行了详细讨论,但其更广泛采用的主要障碍是“可用性”。而使用贝叶斯方法,客户可以按照自己认为合适的方式定义模型。线性回归在此示例中,我们将帮助客户从最简单的GLM–线性回归开始。一般来说,频率论者对线性回归的看......
  • nginx(autoindex on;)访问文件数据访问不到的解决办法
    解决办法注意文件路径是文件夹要以/斜杠结尾正确:/path/to/data/错误:/path/to/data示例: location/data{ alias/path/to/data/; autoindexon; }......
  • 界面控件DevExpress WinForms Gauge组件 - 实现更高级别数据可视化
    DevExpressWinForms控件包含了超过150个随时可用的仪表盘预设,包括圆形,数字,线性和状态指示器等,来帮助用户实现更高级的数据可视化。DevExpressWinForms有180+组件和UI库,能为WindowsForms平台创建具有影响力的业务解决方案。同时能完美构建流畅、美观且易于使用的应用程序,无论是......
  • Nginx 搭建配置
    步骤一:安装Nginx1.在Ubuntu系统中,您可以使用以下命令来安装Nginx:sudoaptupdatesudoaptinstallnginx2.安装完成后,您可以使用以下命令来检查Nginx是否成功安装:nginx-v3.使用以下命令来查找nginx的安装位置:whichnginx 或nginx-t 4.在http块中,我们需要添......
  • 基于Nginx和FFmpeg搭建流媒体服务器(转)
    https://www.jianshu.com/p/b1680d3ecd4f什么是流媒体流媒体就是将视频文件分成许多小块儿,将这些小块儿作为数据包通过网络发送出去,实现一边传输视频数据包一边观看视频。什么是流式传输客户端通过链接视频服务器实时传输音、视频信息,实现“边下载边播放”。顺序流式传输......
  • Nginx 配置及命令
    1、配置1.1、为ngixn添加功能模块nginx安装目录:/app/nginx-1.16.1nginx部署目录:/app/nginx#查看nginx已经安装的功能模块/app/nginx/sbin/nginx-V打印如下,--with开头的都为模块nginxversion:nginx/1.16.1builtbygcc4.4.720120313(RedHat4.4.7-18)(GCC)b......
  • R语言数量生态学冗余分析RDA分析植物多样性物种数据结果可视化
    原文链接:http://tecdat.cn/?p=25564 原文出处:拓端数据部落公众号最近我们被客户要求撰写关于生态学冗余分析RDA的研究报告,包括一些图形和统计输出。冗余分析(redundancyanalysis,RDA)是一种回归分析结合主成分分析的排序方法,也是多因变量(multiresponse)回归分析的拓展。从概念上......