首页 > 其他分享 >【故障公告】下班前的一场暴风雨,爬虫爬至园宕机

【故障公告】下班前的一场暴风雨,爬虫爬至园宕机

时间:2023-03-29 20:59:08浏览次数:39  
标签:宕机 故障 爬虫 蜘蛛 园子 至园 暴风雨 百度

下班前的一场暴风雨,让园子一片狼藉。顶着暴风雨,加了服务器,但无济于事。情急之中,断蛛求生立转机。

今天下班前的 17:00~17:30 左右,身份未明的爬虫暴风雨般地袭击园子,造成数据库连接过万,全站宕机,由此给您带来很大的麻烦,请您谅解。

最终我们通过给百度蜘蛛断网才恢复正常,造成暴风雨的爬虫不一定是百度蜘蛛,由于缺乏足够的数据,这次袭击园子的爬虫身份无法确认。

给百度蜘蛛断网,是为了减少服务器的总负载,在上次故障时我们只屏蔽了一个网段(255个IP)的百度蜘蛛,还有大量百度蜘蛛每天在园子里爬来爬去,虽然这些蜘蛛被关在笼子里(限制了带宽),但依然会给服务器带来不小的压力,让园子在暴风雨来袭时格外弱不禁风。

百度蜘蛛专用负载均衡 QPS 监控图:

非常抱歉!园子这段时间故障有点多。

曾经的一系列故障公告,是我们鲁莽走进云计算初期时代的痛苦代价。

现在还未成系列的故障公告,也许是 AI 时代即将到来的被代价。

不管怎么样,不管是代价还是被代价,AI 时代真的要来了。

标签:宕机,故障,爬虫,蜘蛛,园子,至园,暴风雨,百度
From: https://www.cnblogs.com/cmt/p/17270037.html

相关文章

  • 爬虫ip被冻结怎么办
    可以试一试本机的浏览器是否可以访问这个网页,如果本机浏览器可以访问则说明是程序的问题;如果本机浏览器也访问不了,试一试其它网段IP地址机器的浏览器是否可以访问。如果......
  • 爬虫HTTP代理池应该如何更好的维护问题
    当前,HTTP代理的应用已然越来越广泛,大多需要爬取大量网站数据的行业用户也都会特别用心地搭建HTTP代理池,以备使用,尤其是对于很多Python爬虫、网络营销、电商平台、SEO优......
  • Python爬虫基础总结
    StatsPack是9i使用的性能分析工具,如果建立数据库的时候没有,可以手动创建。新建perfstat表空间createtablespacePERFSTATLOGGINGDATAFILE'/oradata/mescp/perfstat01.d......
  • 无敌爬虫之无头浏览器
        驱动下载https://sites.google.com/a/chromium.org/chromedriver/downloads  importbs4importrequestsfromseleniumimportwebdriverimportti......
  • Python 爬虫 模拟手机 爬取听力资料
    Python爬虫模拟手机爬取听力资料目录Python爬虫模拟手机爬取听力资料需求思路1使用Pyppeteer参考实现1测试模拟手机效果2爬取资源首页资源列表详情与音频以cha......
  • Python爬虫基础——05-高级数据类型
    2.10,数据类型高级2.10.1字符串高级:字符串常见操作包括:获取长度lenlen函数可以获取字符串的长度。查找内容find查找指定内容在字符串中是否存在,如果存在就返回该内容在字符......
  • Python爬虫基础——02-基础变量
    pip的简单使用pip-V#显示版本信息pipinstall包名#下载软件包pipuninstall包名#卸载软件包piplist#显示已安装的包名pipfreeze#显示已安装的的包,并且......
  • Python爬虫基础——03-类型转换和运算符
    2.6,类型转换函数说明int(x)将x转化成一个整数float(x)将x转化成一个浮点数str(x)将对象x转化成字符串bool(x)将对象x转化成布尔值2.6.1转换成整型:1---1#字符串(str)---转......
  • Python爬虫基础——06-文件的读写
    2.12文件2.12.1文件的打开和关闭:在python中,使用open函数,可以打开一个已存在的文件夹,或者创建一个新文件open(文件路径,访问模式)示例如下:f=open('test.txt','w')文件路径......
  • 2023爬虫学习笔记 -- MongoDB数据库
    一、下载安装mongodb1、下载地址https://www.mongodb.com/try/download/community2、一路下一步安装,路径不要出现空格中文等特殊字符3、设置环境变量将bin目录地址放到path......