首页 > 其他分享 >OpenResty学习笔记03:再探WAF

OpenResty学习笔记03:再探WAF

时间:2023-05-10 17:33:25浏览次数:47  
标签:03 OpenResty lua WAF Lua 文件 file nginx

一. 再谈WAF

 
我们上一篇安装的WAF来自另一位技术大神 赵舜东,花名 赵班长,一直从事自动化运维方面的架构设计工作。阿里云MVP、华为云MVP、中国SaltStack用户组发起人 、新运维社区发起人。
虽然并非安全专业出身,但根据他的自述,边学边写,只用了几天的时间就将WAF写出来了,并于2016年正式发布到GitHub。
赵班长的WAF参考了Kindle大神写的 ngx_lua_waf ,另一款基于 OpenResty 的非常优秀的开源WAF。
不得不向 章亦春(agentzh)、赵舜东(赵班长)和 Kindle 等所有开源前辈们致以最高的敬意,让我等能有这么多的学习和实践资源,respect!
 

二. 了解撸啊(Lua)

 
在真正走近WAF之前,还是有必要对 Lua 这个脚本语言进行一番了解,因为所有的业务逻辑都是基于 Lua 实现的。
推荐两个关于Lua的学习资源:

  1. Lua基础教程与实践
  2. 菜鸟Lua教程
     

顺便分享本人正在使用的Lua调试工具:网盘链接
解压后其中有两个文件:

  1. LuaForWindows_v5.1.4-46.exe:适用于windows环境的Lua编译器。
  2. lua51.stx:适用于EditPlus环境的Lua语法高亮模板文件。
     
    配置完成后,在EditPlus中进行Lua的编写和测试还是很方便的:

     

三. 配置入口

 
我们回过头,再来看看上一篇Nginx的配置文件中关于WAF引用的几行关键代码:

lua_shared_dict    limit 50m;
lua_package_path   "/home/my/tools/waflib/?.lua";
init_by_lua_file   "/home/my/tools/waflib/init.lua";
access_by_lua_file "/home/my/tools/waflib/access.lua";

 
这四个指令都来自 lua-nginx-module,用来实现对 Nginx 的每个 Worker 线程中 Lua 环境的配置和定义。

1. lua_shared_dict

作用:声明一个共享内存区域
层级:http
格式:lua_shared_dict <name> <size>

由于各 Worker 线程中的 Lua 环境相对是独立的,无法共享数据,但在很多情况下,需要在不同的 Worker 之间共享数据,此时就可以通过该指令进行声明。
此例中的 limit 就是声明出来的一个共享变量,在 WAF 中的作用就是在 CC 攻击检测时判断当前用户的请求频次是否超限进行拦截。

2. lua_package_path

作用:设置 Lua 脚本文件的搜索路径。;; 表示原始搜索路径。
层级:http
格式:lua_package_path <lua-style-path-str>

官网描述:设置由 set_by_Lua、content_by_Lua 等指定的脚本使用的 Lua 模块搜索路径,它的默认值是LUA_PATH环境变量的内容或LUA的编译默认值。
个人理解:在 Lua 中引用其他文件时,比如 require 'config',就会将 config 替换掉路径中的问号并尝试查找这个文件并引入进来。
配置搜索路径参数时,还可以使用 $prefix 变量来表示当前 Nginx 的工作目录,该目录一般在启动时通过 -p PATH 参数进行定义。
如果有多个搜索路径,可用 ; 分割。

3. init_by_lua_file

作用:指定初始化配置文件。
层级:http
格式:init_by_lua_file <path-to-lua-script-file>

个人理解:该初始化配置文件仅在 Nginx 启动时运行一次,主要用于对全局变量进行预加载或预处理。
但经过实践,在对本篇的 WAF 进行配置时,删除该指令并未产生任何影响。

4. access_by_lua_file

作用:请求访问阶段处理。
层级:http, server, location, location if
格式:access_by_lua_file <path-to-lua-script-file>

个人理解:每个请求接入时,都会经过该文件的处理,其作用类似于前置拦截器。
本篇的 WAF 在对请求进行检查时,主要就是从这个文件切入的。
 

四. 官方文档支持

 
lua-nginx-module 模块的官方文档:https://github.com/openresty/lua-nginx-module
 
其中最重要的两个部分:

  1. 指令(Directives):https://github.com/openresty/lua-nginx-module#directives
  2. API(Nginx API for Lua):https://github.com/openresty/lua-nginx-module#nginx-api-for-lua
     
    在学习 OpenResty 之前,还是需要对指令和API进行详细了解的。
     

五. 文件说明

 
再来看一下 waflib 的目录清单:

 

  1. access.lua:请求入口文件;
  2. config.lua:WAF详细配置文件;
  3. init.lua:WAF初始化文件,包含IP白名单、黑名单、URL注入、CC攻击等各种检测函数;
  4. lib.lua:WAF函数库文件,包含获取IP、获取规则、写入日志等各种通用函数;
  5. resty:一个来自 /usr/local/openresty/lualib/resty/ 的软连接;
  6. rule-config:存放规则文件目录。
     

再进入到 rule-config 目录,查看其中的文件清单:

 
以第一个 args.rule 规则文件为例,我们查看一下具体内容:

\.\./
\:\$
\$\{
select.+(from|limit)
(?:(union(.*?)select))
having|rongjitest
sleep\((\s*)(\d*)(\s*)\)
benchmark\((.*)\,(.*)\)
base64_decode\(
(?:from\W+information_schema\W)
(?:(?:current_)user|database|schema|connection_id)\s*\(
(?:etc\/\W*passwd)
into(\s+)+(?:dump|out)file\s*
group\s+by.+\(
xwork.MethodAccessor
(?:define|eval|file_get_contents|include|require|require_once|shell_exec|phpinfo|system|passthru|preg_\w+|execute|echo|print|print_r|var_dump|(fp)open|alert|showmodaldialog)\(
xwork\.MethodAccessor
(gopher|doc|php|glob|file|phar|zlib|ftp|ldap|dict|ogg|data)\:\/
java\.lang
\$_(GET|post|cookie|files|session|env|phplib|GLOBALS|SERVER)\[
\<(iframe|script|body|img|layer|div|meta|style|base|object|input)
(onmouseover|onerror|onload)\=

 
该文件定义了 22 条检测规则,一行一个,熟悉正则的话会很容易看懂。
我们也可以根据实际情况添加新的规则。
 

六. 引用关系

 

 
4 个Lua文件和 8 个规则文件,这12个文件就是这个WAF的全部,你就说巧妙不巧妙!
 

七. 简单优化

 
赵班长向我们展示了一个迷你WAF应该具备的基本能力,从代码上也能看出来,都是点到为止。
所以有必要进行一些简单的优化。
本人优化之后的代码:点此下载
 
优化说明:

  1. 一些空值的判断逻辑;
  2. 各检测函数的跳出逻辑;
  3. 补全POST参数注入的检测逻辑;
  4. 在lib.lua中增加了get_content_type函数,用来判断请求类型;
     

八. 本篇总结

 
到这里,就已经对 OpenResty 下的 WAF 从部署到使用有了全面了解了。
如果时间允许的话,真想继续对 WAF 进行深层次的学习和定制。
 

标签:03,OpenResty,lua,WAF,Lua,文件,file,nginx
From: https://www.cnblogs.com/netWild/p/17388640.html

相关文章

  • System.InvalidOperationException:“The entity type 'XXXXX' has multiple properti
    一、前言当我使用efcorecodefirst成功生成实体类,然后编写好功能,运行的时候报了这个错误System.InvalidOperationException:“Theentitytype'Student'hasmultiplepropertieswiththe[Key]attribute.Compositeprimarykeyscanonlybesetusing'HasKey'in'OnMo......
  • MSSqlServer 出错 9003 错误
      MSSqlServer出错9003错误传递给数据库'PerDB'中的日志扫描操作的日志扫描号(227783:55280:433)无效。此错误可能指示数据损坏,或者日志文件(.ldf)与数据文件(.mdf)不匹配。如果此错误是在复制期间出现的,请重新创建发布。否则,如果该问题导致启动期间出错,请从备份还原......
  • text-davinci-003和ChatGPT是什么关系呢?
     先看下GPT的发展时间线InstructGPT(2022年1月)是一系列GPT-3模型(包括text-davinci-001、text-davinci-002和text-davinci-003)统称,于GPT-3相比,它的最大不同是针对人类指令(reinforcementlearningwithhumanfeedback,RLHF)进行了微调;InstructGPT产生的幻觉更少......
  • fatal: unable to access 'https://gitee.com/...': Could not resolve host: gitee.c
    把https模式换成ssh用gitremote-v查看使用的是https还是ssh等$gitremote-v>originhttps://github.com/USERNAME/REPOSITORY.git(fetch)>originhttps://github.com/USERNAME/REPOSITORY.git(push)使用gitremoteset-url命令将远程URL从HTTPS更改为SSH$gitremote......
  • ValueError: could not convert string to float: '\ufeff\n'
    python读取文件(下图为部分截图),行内容有交易金额,也有其它内容 过滤掉非交易金额行:ifnoti.startswith("2023")andi.strip()!="\n"andnoti.startswith("退"):对交易金额行进行强转float做统计但是有特殊字符行,所以报如下错: 解决方案:过滤前,去除字符即可,i.strip('\ufe......
  • What does .NET's String.Normalize do?
    Whatdoes.NET'sString.Normalizedo?回答1OnedifferencebetweenformCandformDishowletterswithaccentsarerepresented:formCusesasingleletter-with-accentcodepoint,whileformDseparatesthatintoaletterandanaccent.Forinstance......
  • 使用富文本编辑,内容有<img src=xxx//xx//xx>报错:JSON parse error: Unexpected charac
     前端使用富文本标签,填写内容里面有图片地址或一些特殊字符,保存时导致报错后台json不能解析内容到实体类相应的字段中去报错代码:JSONparseerror:Unexpectedcharacter('\'(code92)):...解决办法:1、有的说在配置xss过滤时开放,保存的请求接口地址。————————......
  • 运行pip报错:Fatal error in launcher: Unable to create process using '"'
    在新环境上安装python的时候又再次遇到了这个情况,这次留意了一下,发现原来的文章有错误的地方,所以来更新一下,应该能解决大部分的问题。环境是win8,原来只安装了python2.7。后来因为要用到python3,为了让两者共存,降python3的运行文件改成了python3.exe.问题就此而来,这时候运行python......
  • module 'numpy' has no attribute 'int'.
    原因:np.int在NumPy1.20中已弃用,在NumPy1.24中已删除AttributeError:module'numpy'hasnoattribute'int'.`np.int`wasadeprecatedaliasforthebuiltin`int`.Toavoidthiserrorinexistingcode,use`int`byitself.Doingthiswillnot......
  • using method 'mysql_native_password' failed with message
    错误消息:Connectionopenerror.Authenticationtohost'10.114.129.206'foruser'root'usingmethod'mysql_native_password'failedwithmessage:Readingfromthestreamhasfailed.DbType="MySql";ConfigId=""......