首页 > 数据库 >将nginx的access.log访问日志发送到rsyslog服务器并写入数据库

将nginx的access.log访问日志发送到rsyslog服务器并写入数据库

时间:2023-10-25 15:25:21浏览次数:37  
标签:load log messages module access nginx rsyslog var

nginx.conf(将原日志路径改为rsyslog服务器地址)

access_log syslog:server=10.10.14.64:514,facility=local6 main;

如果需要入库需要安装相应数据库的依赖包 ;mysql依赖:yum install -y rsyslog-mysql     pgsql依赖:yum install -y rsyslog-pgsql   还有很多其他依赖可以用 yum list rsyslog-* 进行查看

用 rpm -ql rsyslog-mysql 或 rpm -ql rsyslog-pgsql  来查看数据库脚本文件

查出来的大概是 /usr/share/doc/rsyslog/pgsql-createDB.sql,这个sql中有建库建表语句

rsyslog服务器配置

# rsyslog configuration file

# For more information see /usr/share/doc/rsyslog-*/rsyslog_conf.html
# or latest version online at http://www.rsyslog.com/doc/rsyslog_conf.html
# If you experience problems, see http://www.rsyslog.com/doc/troubleshoot.html

#### GLOBAL DIRECTIVES ####

# Where to place auxiliary files
global(workDirectory="/var/lib/rsyslog")

# Use default timestamp format
module(load="builtin:omfile" Template="RSYSLOG_TraditionalFileFormat")

#### MODULES ####

module(load="imuxsock"    # provides support for local system logging (e.g. via logger command)
       SysSock.Use="off") # Turn off message reception via local log socket;
                          # local messages are retrieved through imjournal now.
module(load="imjournal"             # provides access to the systemd journal
       StateFile="/run/log/imjournal.state") # File to store the position in the journal
#module(load="imklog") # reads kernel messages (the same are read from journald)
#module(load="immark") # provides --MARK-- message capability

$imjournalRatelimitInterval 0
#$ActionOmmysqlServerPort 3307    #如果mysql不是默认端口,需要设置该配置

module(load="ompgsql")    #pgsql的连接,mysql的配置为:module(load="ommysql")
module(load="imudp")
input(type="imudp" port="514")
module(load="imtcp")
input(type="imtcp" port="514")

# Include all config files in /etc/rsyslog.d/
include(file="/etc/rsyslog.d/*.conf" mode="optional")
#### RULES ####

# Log all kernel messages to the console.
# Logging much else clutters up the screen.
#kern.*                                                 /dev/console

# Log anything (except mail) of level info or higher.
# Don't log private authentication messages!
#*.info;mail.none;authpriv.none;cron.none                /var/log/messages
#*.info;mail.none;authpriv.none;cron.none                :ommysql:10.10.14.209,syslog,root,123456

# The authpriv file has restricted access.
authpriv.*                                              /var/log/secure

# Log all the mail messages in one place.
mail.*                                                  -/var/log/maillog


# Log cron stuff
cron.*                                                  /var/log/cron

# Everybody gets emergency messages
*.emerg                                                 :omusrmsg:*

# Save news errors of level crit and higher in a special file.
uucp,news.crit                                          /var/log/spooler

# Save boot messages also to boot.log
local7.*                                                /var/log/boot.log

local6.*                                                /var/log/nginx/access.log    #将客户端发过来的日志写入文件
local6.*                                                :ompgsql:10.10.14.61,Syslog,postgres,123456    #写入数据库

 

重启

systemctl restart rsyslog

 

详细说明:

https://blog.51cto.com/shone/5093830

标签:load,log,messages,module,access,nginx,rsyslog,var
From: https://www.cnblogs.com/kgdxpr/p/17787274.html

相关文章

  • 使用logstash迁移遇到的错误(es同步到es)
    环境:OS:Centos7ES:6.8.5 问题1:[2023-10-25T09:29:53,892][INFO][logstash.outputs.elasticsearch]retryingfailedactionwithresponsecode:429({"type"=>"es_rejected_execution_exception","reason"=>"rejectedexecu......
  • 「Log」2023.10.24 小记
    序幕/尾声昨天跑了\(1000m\),晚上享受到了优质睡眠。虽说肌肉有点疼,但无压力起床,状态拉满。下楼之后感觉没想象中那么冷,大抵跟昨天莫名其妙的霾有关系。附近在装修,到处都是尘土,但天还是很蓝。\(\text{6:50}\):慵懒到校,整整博客,今天准备写写猪国杀。\(\text{7:30}\):模拟赛开题......
  • 【记录10】华为云耀云服务器L实例-使用Docker拉取nginx镜像的部署示例
     Docker 是一个开源平台,用于开发、运输和运行应用程序。它使用容器化技术来包装应用程序及其依赖项,以便在任何环境中都能一致地运行。简单来说,Docker 可以将应用程序及其所有依赖项打包成一个容器,这样就可以确保它无论在哪里运行都表现一致。 ### Docker 的主要组件:1.......
  • vue 首次加载项目,控制台报错: Redirected when going from "/" to "/login"
    第一次加载加载页面时报错如下:Redirectedwhengoingfrom"/"to"/login"viaanavigationguard. ![image](https://img2023.cnblogs.com/blog/1880163/202310/1880163-20231025113840444-1010075971.png)后续在地址栏直接添加/login,index,错误页面等均正常无报错.路由......
  • angie nginx 替换方案
    angie是由nginx原始团队的一些人出去创业开发的nginx可选替换方案(core还是基于了nginx)同时提供了以下周边扩展angie一些比较方便的模块集成了proemtheus(内置)自己开发了可以方便监控提供了一个console基于angie的api提供了console管理参考默认构建命令......
  • 监控nginx
    1、nginx安装1.1、创建nginx目录mkdir~/docker/monitor_alarm/docker-server/nginx/conf.d-pcd~/docker/monitor_alarm/docker-server/nginx/conf.d在~/docker/monitor_alarm/docker-server/nginx/conf.d目录里面新增加nginx的配置文件cat>server.conf<<"EOF"serve......
  • 1.从零开始编写一个类nginx工具, 准备篇, 动手造轮子
    wmproxywmproxy将用Rust实现http/https代理,socks5代理,反向代理,静态文件服务器,后续将实现websocket代理,内外网穿透等,会将实现过程分享出来,感兴趣的可以一起造个轮子项目++wmproxy++gite:https://gitee.com/tickbh/wmproxygithub:https://github.com/tickbh/wmproxyP......
  • Filebeat收集Nginx日志
    4.1为什么收集Nginx日志我们需要获取用户的信息,比如:来源的IP是哪个地域,网站的PV、UV、状态码、访问时间等等;所以需要收集Nginx日志;4.2Nginx日志收集架构图4.3Nginx日志收集实践4.3.1安装Nginxyuminstallnginx-ycat/etc/nginx/conf.d/elk.confserver{ listen5555;......
  • 安信可小安派【Analog to digital】 ADC 基于AI-M6x
    今天来分享一下我的ADC学习心得,首先说明当前的教程适用于所有的搭载AI-m61或者m62芯片的小安派。需要的库文件如库文件说明bflb_adc.hADC功能log.h用来打印日志bflb_gpio.h初始化GPIObflb_mtimer.h延时board.h初始化系统重要的方法如下:/***......
  • 关于Nginx缓存
    Nginx缓存一般情况下系统用到的缓存有三种服务端缓存:缓存存在后端服务器,如redis代理缓存:缓存存储在代理服务器或中间件,内容从后端服务器获取,保存在本地客户端缓存:缓存在浏览器什么时候会出现304?服务器响应中包含有ETag和last-modified,浏览器下次去请求时会发送这两个标签,......