首页 > 系统相关 >nginx+lua+openresty+kafka相关问题汇总

nginx+lua+openresty+kafka相关问题汇总

时间:2023-03-15 16:13:18浏览次数:47  
标签:nginx kafka filter lua openresty ngx

这里使用的是kafka插件是doujiang大佬的https://github.com/doujiang24/lua-resty-kafka,版本为v0.2.0。

应用场景

在nginx转发中,记录非200请求的信息,遂打算在log_by_lua*中整合信息并发送kafka消息。下面附上openresty不同阶段的说明:

set_by_lua*: 流程分支处理判断变量初始化
rewrite_by_lua*: 转发、重定向、缓存等功能(例如特定请求代理到外网)
access_by_lua*: IP 准入、接口权限等情况集中处理(例如配合 iptable 完成简单防火墙)
content_by_lua*: 内容生成
header_filter_by_lua*: 响应头部过滤处理(例如添加头部信息)
body_filter_by_lua*: 响应体过滤处理(例如完成应答内容统一成大写)
log_by_lua*: 会话完成后本地异步完成日志记录(日志可以记录在本地,还可以同步到其他机器)
摘自:执行阶段概念

发现问题

实际使用中发现,lua-resty-kafka中使用的ngx.http.tcp由于nginx内核限制的问题,API不能使用,报错如下:

又尝试了一下header_filter_by_lua和body_filter_by_lua,也都是不能使用的,看到有使用ngx.time.at相关的,但是没有找到实践方案不知该如何尝试,遂放弃

解决

在content_by_lua*阶段也尝试一下,可以,能判断出ngx.status,但是有新的报错如下:

这个应该是kakfa节点的问题。

标签:nginx,kafka,filter,lua,openresty,ngx
From: https://www.cnblogs.com/liquorppp/p/17218400.html

相关文章

  • kafka容器内的server.properties在哪里
    刚刚需要修改kafka的配置文件server.properties,网上都说在config目录下,可我进去kafka容器找了一圈都没有看到该目录; 最后运气好,终于发现了 ......
  • Kafka Rebalance-重平衡
    消费者组ConsumerGroupKafka提供的可扩展且具有容错性的消费者机制共享一个公共的ID,这个ID被称为GroupID。组内的所有消费者协调在一起来消费订阅主题(Subscribe......
  • nginx之详解fastcgi指令
    location/{fastcgi_passlocalhost:9000;fastcgi_indexindex.php;fastcgi_paramSCRIPT_FILENAME/home/www/scripts/php$fastcgi_script_name;fastcgi_p......
  • 路飞项目,上线,阿里云按量付费,云服务器安装mysql,云服务器安装redis,云服务器安装python
    内容回顾文件存储之前上传到服务器,放到media文件夹下使用文件服务器托管文件1.第三方托管​ 腾讯云​ 阿里云​ 七牛云2.基于开源文件服务器自己搭建​ fastdsf......
  • nginx配置
     这里配置的是,转发到NPS服务器http{server{listen80;listen[::]:80;server_namewww.cn86trading.comcn86trading......
  • Kafka为什么性能这么快
    1、页缓存技术pagecacheKafka是基于操作系统的页缓存(pagecache)来实现文件写入的,我们也可以称之为oscache,意思就是操作系统自己管理的缓存。Kafka在写入磁盘文件......
  • 配置nginx虚拟主机
    挂载系统光盘将系统光盘挂载到mnt目录删除系统自带源配置文件yum源安装nginx依赖程序卸载系统盘切换到云计算光盘挂载nginx源代码程序解压源代码程序配置nginx服务器端编译......
  • nginx中proxy_pass各种用法详解
    代理转发规则nginx中配置location代理转发规则的时候不同写法对应不同转发规则。如果proxy_pass使用了URI,当传送请求到后端服务器时,规范化以后的请求路径与配置中的路径......
  • Nginx:轻松搭建高性能Web服务的必备利器
    一、Nginx简介1.1Nginx的特点和优点高性能:Nginx采用了事件驱动、异步非阻塞的处理方式,可以处理大量并发连接请求,同时减少服务器资源的占用。它的吞吐量比传统的Web服务器高......
  • docker安装kafka
    dockerrun-d--namezookeeper-p2181:2181-tzookeeper:latest  dockerrun-d--namekafka-p9092:9092-eKAFKA_BROKER_ID=0-eKAFKA_ZOOKEEPER_CONNEC......