首页 > 其他分享 >lua读写http

lua读写http

时间:2023-08-11 15:36:58浏览次数:48  
标签:http rewrite 读写 req uri lua say ngx


example.conf配置文件 

1. location ~ /lua_request/(\d+)/(\d+) {  
2.     #设置nginx变量  
3. 1;   
4.     set $b $host;  
5. "text/html";  
6.     #nginx内容处理  
7.     content_by_lua_file /usr/example/lua/test_request.lua;  
8.     #内容体处理完成后调用  
9. "ngx.var.b $b";  
10. }


2、test_request.lua 

1. --nginx变量  
2. local var = ngx.var  
3. ngx.say("ngx.var.a : ", var.a, "<br/>")  
4. ngx.say("ngx.var.b : ", var.b, "<br/>")  
5. ngx.say("ngx.var[2] : ", var[2], "<br/>")  
6. ngx.var.b = 2;  
7.   
8. ngx.say("<br/>")  
9.   
10. --请求头  
11. local headers = ngx.req.get_headers()  
12. ngx.say("headers begin", "<br/>")  
13. ngx.say("Host : ", headers["Host"], "<br/>")  
14. ngx.say("user-agent : ", headers["user-agent"], "<br/>")  
15. ngx.say("user-agent : ", headers.user_agent, "<br/>")  
16. for k,v in pairs(headers) do
17. if type(v) == "table"
18. " : ", table.concat(v, ","), "<br/>")  
19. else
20. " : ", v, "<br/>")  
21.     end  
22. end  
23. ngx.say("headers end", "<br/>")  
24. ngx.say("<br/>")  
25.   
26. --get请求uri参数  
27. ngx.say("uri args begin", "<br/>")  
28. local uri_args = ngx.req.get_uri_args()  
29. for k, v in pairs(uri_args) do
30. if type(v) == "table"
31. " : ", table.concat(v, ", "), "<br/>")  
32. else
33. ": ", v, "<br/>")  
34.     end  
35. end  
36. ngx.say("uri args end", "<br/>")  
37. ngx.say("<br/>")  
38.   
39. --post请求参数  
40. ngx.req.read_body()  
41. ngx.say("post args begin", "<br/>")  
42. local post_args = ngx.req.get_post_args()  
43. for k, v in pairs(post_args) do
44. if type(v) == "table"
45. " : ", table.concat(v, ", "), "<br/>")  
46. else
47. ": ", v, "<br/>")  
48.     end  
49. end  
50. ngx.say("post args end", "<br/>")  
51. ngx.say("<br/>")  
52.   
53. --请求的http协议版本  
54. ngx.say("ngx.req.http_version : ", ngx.req.http_version(), "<br/>")  
55. --请求方法  
56. ngx.say("ngx.req.get_method : ", ngx.req.get_method(), "<br/>")  
57. --原始的请求头内容  
58. ngx.say("ngx.req.raw_header : ",  ngx.req.raw_header(), "<br/>")  
59. --请求的body内容体  
60. ngx.say("ngx.req.get_body_data() : ", ngx.req.get_body_data(), "<br/>")  
61. ngx.say("<br/>")


ngx.var : nginx变量,如果要赋值如ngx.var.b = 2,此变量必须提前声明;另外对于nginx location中使用正则捕获的捕获组可以使用ngx.var[捕获组数字]获取;

ngx.req.get_headers:获取请求头,默认只获取前100,如果想要获取所以可以调用ngx.req.get_headers(0);获取带中划线的请求头时请使用如headers.user_agent这种方式;如果一个请求头有多个值,则返回的是table;

ngx.req.get_uri_args:获取url请求参数,其用法和get_headers类似;

ngx.req.get_post_args:获取post请求内容体,其用法和get_headers类似,但是必须提前调用ngx.req.read_body()来读取body体(也可以选择在nginx配置文件使用lua_need_request_body on;开启读取body体,但是官方不推荐);

ngx.req.raw_header:未解析的请求头字符串;

ngx.req.get_body_data:为解析的请求body体内容字符串。

 

如上方法处理一般的请求基本够用了。另外在读取post内容体时根据实际情况设置client_body_buffer_sizeclient_max_body_size来保证内容在内存而不是在文件中。

 

使用如下脚本测试

1. wget --post-data 'a=1&b=2' 'http://127.0.0.1/lua_request/1/2?a=3&b=4'

 

输出响应 

1.1、example.conf配置文件

1. location /lua_response_1 {  
2. "text/html";  
3.     content_by_lua_file /usr/example/lua/test_response_1.lua;  
4. }


1.2、test_response_1.lua 

1. --写响应头  
2. ngx.header.a = "1"
3. --多个响应头可以使用table  
4. ngx.header.b = {"2", "3"}  
5. --输出响应  
6. ngx.say("a", "b", "<br/>")  
7. ngx.print("c", "d", "<br/>")  
8. --200状态码退出  
9. return ngx.exit(200)


ngx.header:输出响应头;

ngx.print:输出响应内容体;

ngx.say:通ngx.print,但是会最后输出一个换行符;

ngx.exit:指定状态码退出。

 

2.1、example.conf配置文件

1. location /lua_response_2 {  
2. "text/html";  
3.     content_by_lua_file /usr/example/lua/test_response_2.lua;  
4. }

 

2.2、test_response_2.lua

1. ngx.redirect("http://jd.com", 302)


ngx.redirect:重定向; 

 

ngx.status=状态码,设置响应的状态码;ngx.resp.get_headers()获取设置的响应状态 码;ngx.send_headers()发送响应状态码,当调用ngx.say/ngx.print时自动发送响应状态码;可以通过 ngx.headers_sent=true判断是否发送了响应状态码。

 

其他API

1、example.conf配置文件

1. location /lua_other {  
2. "text/html";  
3.     content_by_lua_file /usr/example/lua/test_other.lua;  
4. }

 

2、test_other.lua

1. --未经解码的请求uri  
2. local request_uri = ngx.var.request_uri;  
3. ngx.say("request_uri : ", request_uri, "<br/>");  
4. --解码  
5. ngx.say("decode request_uri : ", ngx.unescape_uri(request_uri), "<br/>");  
6. --MD5  
7. ngx.say("ngx.md5 : ", ngx.md5("123"), "<br/>")  
8. --http time  
9. ngx.say("ngx.http_time : ", ngx.http_time(ngx.time()), "<br/>")

 

ngx.escape_uri/ngx.unescape_uri : uri编码解码;

ngx.encode_args/ngx.decode_args:参数编码解码;

ngx.encode_base64/ngx.decode_base64:BASE64编码解码;

ngx.re.match:nginx正则表达式匹配;

 

更多Nginx Lua API请参考 http://wiki.nginx.org/HttpLuaModule#Nginx_API_for_Lua

 

Nginx全局内存

使用过如Java的朋友可能知道如Ehcache等这种进程内本地缓存,Nginx是一个Master进程多个Worker进程的工作方式,因此我们可能需要在多个Worker进程中共享数据,那么此时就可以使用ngx.shared.DICT来实现全局内存共享。

 

1、首先在nginx.conf的http部分分配内存大小

1. #共享全局变量,在所有worker间共享  
2. lua_shared_dict shared_data 1m;

 

2、example.conf配置文件


1. location /lua_shared_dict {  
2. "text/html";  
3.     content_by_lua_file /usr/example/lua/test_lua_shared_dict.lua;  
4. }


3、 test_lua_shared_dict.lua

1. --1、获取全局共享内存变量  
2. local shared_data = ngx.shared.shared_data  
3.   
4. --2、获取字典值  
5. local i = shared_data:get("i")  
6. if
7. 1
8. 3、惰性赋值  
9. "i", i)  
10. "lazy set i ", i, "<br/>")  
11. end  
12. --递增  
13. i = shared_data:incr("i", 1)  
14. ngx.say("i=", i, "<br/>")


更多API请参考http://wiki.nginx.org/HttpLuaModule#ngx.shared.DICT。 

 

 

到此基本的Nginx Lua API就学完了,对于请求处理和输出响应如上介绍的API完全够用了,更多API请参考官方文档。

 

Nginx Lua模块指令

Nginx共11个处理阶段,而相应的处理阶段是可以做插入式处理,即可插拔式架构;另外指令可以在http、server、server if、location、location if几个范围进行配置:

指令

所处处理阶段

使用范围

解释

init_by_lua

init_by_lua_file

loading-config

http

nginx Master进程加载配置时执行;

通常用于初始化全局配置/预加载Lua模块

init_worker_by_lua

init_worker_by_lua_file

starting-worker

http

每个Nginx Worker进程启动时调用的计时器,如果Master进程不允许则只会在init_by_lua之后调用;

通常用于定时拉取配置/数据,或者后端服务的健康检查

set_by_lua

set_by_lua_file

rewrite

server,server if,location,location if

设置nginx变量,可以实现复杂的赋值逻辑;此处是阻塞的,Lua代码要做到非常快;

rewrite_by_lua

rewrite_by_lua_file

rewrite tail

http,server,location,location if

rrewrite阶段处理,可以实现复杂的转发/重定向逻辑;

access_by_lua

access_by_lua_file

access tail

http,server,location,location if

请求访问阶段处理,用于访问控制

content_by_lua

content_by_lua_file

content

location,location if

内容处理器,接收请求处理并输出响应

header_filter_by_lua

header_filter_by_lua_file

output-header-filter

http,server,location,location if

设置header和cookie

body_filter_by_lua

body_filter_by_lua_file

output-body-filter

http,server,location,location if

对响应数据进行过滤,比如截断、替换。

log_by_lua

log_by_lua_file

log

http,server,location,location if

log阶段处理,比如记录访问量/统计平均响应时间

 

更详细的解释请参考http://wiki.nginx.org/HttpLuaModule#Directives。如上指令很多并不常用,因此我们只拿其中的一部分做演示。

 

init_by_lua

每次Nginx重新加载配置时执行,可以用它来完成一些耗时模块的加载,或者初始化一些全局配置;在Master进程创建Worker进程时,此指令中加载的全局变量会进行Copy-OnWrite,即会复制到所有全局变量到Worker进程。

 

1、nginx.conf配置文件中的http部分添加如下代码

1. #共享全局变量,在所有worker间共享  
2. lua_shared_dict shared_data 1m;  
3.   
4. init_by_lua_file /usr/example/lua/init.lua;

  

2、init.lua

1. --初始化耗时的模块  
2. local redis = require 'resty.redis'
3. local cjson = require 'cjson'
4.   
5. --全局变量,不推荐  
6. count = 1
7.   
8. --共享全局内存  
9. local shared_data = ngx.shared.shared_data  
10. shared_data:set("count", 1)

 

3、test.lua


1. count = count + 1
2. ngx.say("global variable : ", count)  
3. local shared_data = ngx.shared.shared_data  
4. ngx.say(", shared memory : ", shared_data:get("count"))  
5. shared_data:incr("count", 1)  
6. ngx.say("hello world")


   

4、访问如http://192.168.1.2/lua 会发现全局变量一直不变,而共享内存一直递增

global variable : 2 , shared memory : 8 hello world 

 

另外注意一定在生产环境开启lua_code_cache,否则每个请求都会创建Lua VM实例。

 

init_worker_by_lua

用于启动一些定时任务,比如心跳检查,定时拉取服务器配置等等;此处的任务是跟Worker进程数量有关系的,比如有2个Worker进程那么就会启动两个完全一样的定时任务。

 

1、nginx.conf配置文件中的http部分添加如下代码


1. init_worker_by_lua_file /usr/example/lua/init_worker.lua;

  

2、init_worker.lua


1. local count = 0
2. local delayInSeconds = 3
3. local heartbeatCheck = nil  
4.   
5. heartbeatCheck = function(args)  
6. 1
7. "do check ", count)  
8.   
9.    local ok, err = ngx.timer.at(delayInSeconds, heartbeatCheck)  
10.   
11. if
12. "failed to startup heartbeart worker...", err)  
13.    end  
14. end  
15.   
16. heartbeatCheck()



ngx.timer.at:延时调用相应的回调方法;ngx.timer.at(秒单位延时,回调函数,回调函数的参数列表);可以将延时设置为0即得到一个立即执行的任务,任务不会在当前请求中执行不会阻塞当前请求,而是在一个轻量级线程中执行。

 

另外根据实际情况设置如下指令

lua_max_pending_timers 1024;  #最大等待任务数

lua_max_running_timers 256;    #最大同时运行任务数

 

 

set_by_lua 

设置nginx变量,我们用的set指令即使配合if指令也很难实现负责的赋值逻辑;

 

1.1、example.conf配置文件


1. location /lua_set_1 {  
2. "text/html";  
3.     set_by_lua_file $num /usr/example/lua/test_set_1.lua;  
4.     echo $num;  
5. }


set_by_lua_file:语法set_by_lua_file $var lua_file arg1 arg2...; 在lua代码中可以实现所有复杂的逻辑,但是要执行速度很快,不要阻塞;

 

1.2、test_set_1.lua

1. local uri_args = ngx.req.get_uri_args()  
2. local i = uri_args["i"] or 0
3. local j = uri_args["j"] or 0
4.   
5. return



得到请求参数进行相加然后返回。

 

访问如http://192.168.1.2/lua_set_1?i=1&j=10进行测试。 如果我们用纯set指令是无法实现的。

 

再举个实际例子,我们实际工作时经常涉及到网站改版,有时候需要新老并存,或者切一部分流量到新版

 

2.1、首先在example.conf中使用map指令来映射host到指定nginx变量,方便我们测试


1. ############ 测试时使用的动态请求  
2. map $host $item_dynamic {  
3. default                     "0";  
4. "1";  
5. }


如绑定hosts

192.168.1.2 item.jd.com;

192.168.1.2 item2014.jd.com;

 

此时我们想访问item2014.jd.com时访问新版,那么我们可以简单的使用如


1. if ($item_dynamic = "1") {  
2. //new;
3. }  
4. proxy_pass http://old;

 

但是我们想把商品编号为为8位(比如品类为图书的)没有改版完成,需要按照相应规则跳转到老版,但是其他的到新版;虽然使用if指令能实现,但是比较麻烦,基本需要这样


1. set jump "0";  
2. if($item_dynamic = "1") {  
3. "1";  
4. }  
5. if(uri ~ "^/6[0-9]{7}.html") {  
6. "${jump}2";  
7. }  
8. #非强制访问新版,且访问指定范围的商品  
9. if (jump == "02") {  
10. //old;
11. }  
12. proxy_pass http://new;

以上规则还是比较简单的,如果涉及到更复杂的多重if/else或嵌套if/else实现起来就更痛苦了,可能需要到后端去做了;此时我们就可以借助lua了:

1. set_by_lua $to_book '  
2.      local ngx_match = ngx.re.match  
3.      local var = ngx.var  
4.      local skuId = var.skuId  
5. "1" and ngx.re.match(skuId, "^[0-9]{8}$")  
6. if r then return "1" else return "0"
7. ';  
8. set_by_lua $to_mvd '  
9.      local ngx_match = ngx.re.match  
10.      local var = ngx.var  
11.      local skuId = var.skuId  
12. "1" and ngx.re.match(skuId, "^[0-9]{9}$")  
13. if r then return "1" else return "0"
14. ';  
15. #自营图书  
16. if
17. //127.0.0.1/old_book/$skuId.html;
18. }  
19. #自营音像  
20. if
21. //127.0.0.1/old_mvd/$skuId.html;
22. }  
23. #默认  
24. proxy_pass http://127.0.0.1/proxy/$skuId.html;

  

 rewrite_by_lua 

执行内部URL重写或者外部重定向,典型的如伪静态化的URL重写。其默认执行在rewrite处理阶段的最后。

 

1.1、example.conf配置文件

1. location /lua_rewrite_1 {  
2. "text/html";  
3.     rewrite_by_lua_file /usr/example/lua/test_rewrite_1.lua;  
4. "no rewrite";  
5. }

 

1.2、test_rewrite_1.lua

1. if ngx.req.get_uri_args()["jump"] == "1"
2. return ngx.redirect("http://www.jd.com?jump=1", 302)  
3. end


当我们请求http://192.168.1.2/lua_rewrite_1时发现没有跳转,而请求http://192.168.1.2/lua_rewrite_1?jump=1时发现跳转到京东首页了。 此处需要301/302跳转根据自己需求定义。

 

2.1、example.conf配置文件


1. location /lua_rewrite_2 {  
2. "text/html";  
3.     rewrite_by_lua_file /usr/example/lua/test_rewrite_2.lua;  
4. "rewrite2 uri : $uri, a : $arg_a";  
5. }


 

2.2、test_rewrite_2.lua

1. if ngx.req.get_uri_args()["jump"] == "1"
2. "/lua_rewrite_3", false);  
3. "/lua_rewrite_4", false);  
4. 1, b = 2});  
5. end


ngx.req.set_uri(uri, false): 可以内部重写uri(可以带参数),等价于 rewrite ^ /lua_rewrite_3;通过配合if/else可以实现 rewrite ^ /lua_rewrite_3 break;这种功能;此处两者都是location内部url重写,不会重新发起新的location匹配;

ngx.req.set_uri_args:重写请求参数,可以是字符串(a=1&b=2)也可以是table;

 

访问如http://192.168.1.2/lua_rewrite_2?jump=0时得到响应

rewrite2 uri : /lua_rewrite_2, a :

 

访问如http://192.168.1.2/lua_rewrite_2?jump=1时得到响应

rewrite2 uri : /lua_rewrite_4, a : 1

 

3.1、example.conf配置文件


1. location /lua_rewrite_3 {  
2. "text/html";  
3.     rewrite_by_lua_file /usr/example/lua/test_rewrite_3.lua;  
4. "rewrite3 uri : $uri";  
5. }

 

3.2、test_rewrite_3.lua


1. if ngx.req.get_uri_args()["jump"] == "1"
2. "/lua_rewrite_4", true);  
3. "=========")  
4. 1, b = 2});  
5. end


ngx.req.set_uri(uri, true):可以内部重写uri,即会发起新的匹配location请求,等价于 rewrite ^ /lua_rewrite_4 last;此处看error log是看不到我们记录的log。

 

所以请求如http://192.168.1.2/lua_rewrite_3?jump=1会到新的location中得到响应,此处没有/lua_rewrite_4,所以匹配到/lua请求,得到类似如下的响应

global variable : 2 , shared memory : 1 hello world

 

rewrite ^ /lua_rewrite_3;                 等价于  ngx.req.set_uri("/lua_rewrite_3", false);

rewrite ^ /lua_rewrite_3 break;       等价于  ngx.req.set_uri("/lua_rewrite_3", false); 加 if/else判断/break/return

rewrite ^ /lua_rewrite_4 last;           等价于  ngx.req.set_uri("/lua_rewrite_4", true);

 

注意,在使用rewrite_by_lua时,开启rewrite_log on;后也看不到相应的rewrite log。

 

access_by_lua 

用于访问控制,比如我们只允许内网ip访问,可以使用如下形式


1. allow     127.0.0.1;  
2. allow     10.0.0.0/8;  
3. allow     192.168.0.0/16;  
4. allow     172.16.0.0/12;  
5. deny      all;


 

1.1、example.conf配置文件

1. location /lua_access {  
2. "text/html";  
3.     access_by_lua_file /usr/example/lua/test_access.lua;  
4. "access";  
5. }

 

 1.2、test_access.lua

1. if ngx.req.get_uri_args()["token"] ~= "123"
2. return ngx.exit(403)  
3. end

即如果访问如http://192.168.1.2/lua_access?token=234将得到403 Forbidden的响应。这样我们可以根据如cookie/用户token来决定是否有访问权限。

 

 

content_by_lua   

此指令之前已经用过了,此处就不讲解了。

 

另外在使用PCRE进行正则匹配时需要注意正则的写法,具体规则请参考http://wiki.nginx.org/HttpLuaModule中的Special PCRE Sequences部分。还有其他的注意事项也请阅读官方文档。

 

标签:http,rewrite,读写,req,uri,lua,say,ngx
From: https://blog.51cto.com/u_6186189/7048311

相关文章

  • 第一章 安装Nginx+Lua开发环境
    首先我们选择使用OpenResty,其是由Nginx核心加很多第三方模块组成,其最大的亮点是默认集成了Lua开发环境,使得Nginx可以作为一个WebServer使用。借助于Nginx的事件驱动模型和非阻塞IO,可以实现高性能的Web应用程序。而且OpenResty提供了大量组件如Mysql、Redis、Memcached等等,使在Ng......
  • Nginx+Lua开发入门
    Nginx入门本文目的是学习Nginx+Lua开发,对于Nginx基本知识可以参考如下文章:nginx启动、关闭、重启agentzh的Nginx教程http://openresty.org/download/agentzh-nginx-tutorials-zhcn.htmlNginx+Lua入门http://17173ops.com/2013/11/01/17173-ngx-lua-manual.shtmlnginx配置指令的......
  • openresty(nginx)、lua、drizzle测试
    一、概述:1.研究目标:nginx中使用lua脚本,及nginx直接访问mysql,redis2.需要安装的内容:openresty,mysql,redis3.OpenResty(也称为ngx_openresty)是一个全功能的Web应用服务器。它打包了标准的Nginx核心,很多的常用的第三方模块,以及它们的大多数依赖项。http://openresty.org/cn/ind......
  • Http 文件服务器搭建 —— 作为 Unity Addressable 远程服务器使用
    方式一通过HFS:HFS-超好用的本地文件分享利器,快速从电脑传文件到手机等设备 方式二通过IIS:WindowIIS搭建Http文件服务器    ......
  • XMLHttpRequest发送请求报错:Failed to execute 'send' on 'XMLHttpRequest': Failed t
    1、问题源:url:http://localhost:8099/api/testconstxhr=newXMLHttpRequest();xhr.open('post',url,false);xhr.setRequestHeader("Content-type","application/json");varstr=JSON.stringify(uid)xhr.send(str);......
  • 申请阿里云免费SSL证书并配置https访问实战
                  文章转载:https://hashnode.blog.csdn.net/article/details/124555303......
  • Anaconda 清华源连接失败原因与解决CondaHTTPError SSLError
    解决方法https://blog.csdn.net/kxqt233/article/details/121167753我是使用下面这个方法解决的:ssl_verify:false方法有效我的是从清华大学Anaconda镜像使用帮助复制来的代码,其中show_channel_urls:true,需要将其更改为false,然后运行就不会报错了,位置我没调整,所......
  • 如何使用HTTP代理IP抓取数据
    在进行数据抓取时如何使用HTTP代理IP的呢?主要有以下四种方法:1、获取可用的HTTP代理IP:可以通过购买私密HTTP代理IP或使用公开的HTTP代理IP网站来获取可用的HTTP代理IP。确保获取的代理IP列表是有效且稳定的。2、设置HTTP代理IP:在爬虫程序中,使用合适的库(如requests、urllib等)发送请求......
  • 高性能爬虫的秘诀:合理配置HTTP代理池实现并发请求
    哈喽,爬虫程序员们大家好!你们有没有遇到这样的情况:爬取的数据量庞大,但爬虫速度却慢得难以忍受?别着急,今天我将向大家分享高性能爬虫的秘诀之一:合理配置HTTP代理池实现并发请求。这一技巧不仅能够显著提升爬虫的响应速度,还能帮助我们突破IP封锁和反爬虫机制的限制。首先,让我们了解一下......
  • spring多数据源动态切换的实现原理及读写分离的应用
    简介AbstractRoutingDataSource是Spring框架中的一个抽象类,可以实现多数据源的动态切换和路由,以满足复杂的业务需求和提高系统的性能、可扩展性、灵活性。应用场景多租户支持:对于多租户的应用,根据当前租户来选择其对应的数据源,实现租户级别的隔离和数据存储。分库分表:为了提高性能......