首页 > 系统相关 >nginx降低爬虫的效率

nginx降低爬虫的效率

时间:2023-08-09 21:36:06浏览次数:55  
标签:... zone Nginx req 爬虫 nginx limit 效率

环境

nginx1.20 理由不说了,就是通过Nginx 一些策略来帮助防止爬虫或恶意访问

配置

  1. User-Agent检测 爬虫通常会使用特定的User-Agent来标识自己,Nginx可以通过检测User-Agent字符串并拒绝使用非法的User-Agent的请求。
if ($http_user_agent ~* "badcrawler") {
    return 403; // 拒绝爬虫请求
}
  1. ip黑名单 Nginx允许你配置一个IP黑名单,将某些IP地址列入黑名单后可以拒绝其访问。
http {
    ...
    
    include blacklist.conf;
    
    ...
}
  1. 限制并发连接数 通过配置Nginx的limit_conn模块来限制单个IP的并发连接数,这可以防止爬虫过度占用服务器资源。
http {
    ...
    
    limit_conn_zone $binary_remote_addr zone=concurrent:10m;
    
    server {
        listen 80;
        ...
        
        location / {
            limit_conn concurrent 10;
            ...
        }
    }
}
  1. 频率限制 使用Nginx的limit_req模块来限制单个IP对某个URL的请求频率,这可以防止爬虫过于频繁地访问
http {
    ...
    
    limit_req_zone $binary_remote_addr zone=req_rate_limit:10m rate=5r/s;
    
    server {
        listen 80;
        ...
        
        location /api/ {
            limit_req zone=req_rate_limit burst=10 nodelay;
            ...
        }
    }
}

标签:...,zone,Nginx,req,爬虫,nginx,limit,效率
From: https://blog.51cto.com/bomby/7025562

相关文章

  • Nginx集群
    Nginx集群Nginx集群 Nginx简介Nginx("enginex")是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP代理服务器。Nginx是由IgorSysoev为俄罗斯访问量第二的Rambler.ru站点开发的,它已经在该站点运行超过两年半了。Igor将源代码以类BSD许可证的......
  • 瑞熙贝通高校智慧实验室建设项目管理全面升级信息化助力提高效率
    一、系统概述实验室的建设与发展规划,要纳入学校及事业总体发展规划,要考虑环境、设施、仪器设备、人员结构、经费投入等综合配套因素,按照立项、论证、实施、监督、竣工、验收、效益考核等“项目管理”办法的程序,由学校或上级主管部门统一归口,全面规划。但现实建设和管理过程中,仍然存......
  • Nginx 转发请求的时候,丢失请求头
    请求连接:curl-H"Content-Type:application/json;charset=utf-8"-H"channel_id:21520160723000110027"-H"sequenceid:1122"http://127.0.0.1:1095/app/api/gqzr/swxxcx-XPOST-d'{"shxydm":"911500002115000009D&quo......
  • nginx部署windows
    location/{rootD:\\nginx-1.24.0\\html\\dist;try_files$uri$uri//index.html;indexindex.htmlindex.htm;} location/api/{proxy_set_headerHost$http_host;proxy_set_headerX-Real-IP$r......
  • 高匿名算优HTTP代理:为何是网络爬虫的最佳选择?
    HTTP代理有一般匿名和高匿名代理两种,一般匿名HTTP代理在进行网络爬虫时,存在安全风险。为社么说高匿名算优HTTP代理更适合网络爬虫呢,原因有一下几点:高匿算优HTTP代理能隐藏真实IP地址、提高爬取效率、突破访问限制、防止被反爬虫机制检测等四大优点。下面具体的来分析一下四点优点:使......
  • vue启用https服务及nginx启用https配置
    1.vue开发环境中主要是configjs配置启用https服务devServer:{https:true,//启用https} 2.nginx 申请一个ssl证书,自行申请。 下面是一个nginx例子 需要修改的配置https主要是红色标出来部分。蓝色加粗部分主要是history模式下刷新出现404的解决办法ser......
  • Rocky9 编译安装 Nginx Mariadb Asp.net Core6 (实测 笔记)
    引用 https://www.cnblogs.com/vicowong/p/16974219.html一、查看硬件信息1、查看物理cpu个数、核心数量、线程数grep'physicalid'/proc/cpuinfo|sort-u|wc-lgrep'coreid'/proc/cpuinfo|sort-u|wc-lgrep'processor'/proc/cpuinfo|sort-u|wc......
  • ajax 跨域 如果在head里面加了参数需要在 nginx add_header 里面添加
    server{listen80;server_nameyourdomain.com;location/{#允许跨域请求add_header'Access-Control-Allow-Origin''*';add_header'Access-Control-Allow-Methods''GET,POST,OPTIONS'......
  • windows下部署nginx+配置代理+静态资源
    1、首先下载nginx安装包:官网网址此处以目前最新版1.25.1为基准部署2、直接解压安装包修改conf中配置:修改对应路径注:在windows中路径也是用/,而非用\3、upstream代理,和Linux环境一样静态资源配置,和Linux一样,只需要替换路径4、启动nginx上述配置OK后,双击nginx.exe文件,启动......
  • Linux基础33 nginx访问控制模块, 状态模块, 连接限制, 请求限制, location
    1.访问认证模块ngx_http_auth_basic_module1)语法#注释(没什么用,但要写,不然为off不开)Syntax:auth_basicstring|off;#string写任意字符串,除360浏览器提示,其他浏览器看不到Default:auth_basicoff;Context:http,server,location,limit_except#指定认......