首页 > 其他分享 >SEO知识:最新的百度蜘蛛baiduSpider IP大全(持续更新......)

SEO知识:最新的百度蜘蛛baiduSpider IP大全(持续更新......)

时间:2022-12-10 22:22:45浏览次数:46  
标签:IP ...... 抓取 蜘蛛 baiduSpider 220.181 百度 首页

1.百度UA标记:

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
新增渲染UA:
移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2.百度蜘蛛IP段大全:

百度蜘蛛IP

IP主段

IP段或IP

说明

60.172.229.* 60.172.229.61 这个ip段百度蜘蛛IP造访,准备抓取你东西,抓取网页的百度蜘蛛。
61.129.45.* 61.129.45.72 这个ip段百度蜘蛛IP造访,准备抓取你东西,抓取网页的百度蜘蛛。
61.135.162.* 61.135.162.* 这个ip段百度蜘蛛IP造访,准备抓取你东西,抓取网页的百度蜘蛛。
61.135.168.* 61.135.168.* 百度图片爬虫。
111.206.*.* 111.206.198.* 百度渲染蜘蛛
111.206.*.* 111.206.221.* 百度渲染蜘蛛
116.179.*.* 116.179.32.* 与220开头的类似、新版百度蜘蛛,高权重段,一般抓取文章页,IP段位于山西阳泉联通。
121.14.89.* 121.14.89.* 这个ip段作为度过新站考察期,基本上是网站无排名。
123.15.*.* 123.15.*.* 百度图片爬虫。
123.125.66.* 123.125.66.* 代表百度蜘蛛IP造访,准备抓取你东西
123.125.68.* 123.125.68.* 这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了,或被者降权。
123.125.71.* 123.125.71.95 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
123.125.71.97 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
123.125.71.106 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
123.125.71.117 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或是采集文章。
123.181.108.* 123.181.108.77 抓取内页收录的, 权重较低,爬过此段的内页文章不会很快放出来,因不是原创
124.166.232.* 124.166.232.* 可能为新版新站专属百度蜘蛛。
125.90.88.* 125.90.88.* 广东茂名市电信也属于百度蜘蛛IP主要造成成分,是新上线站较多,还有使用过站长工具,或SEO综合检测造成的。
159.226.50.* 159.226.50.* 百度其他蜘蛛,北京联通,功能未详!
180.76.5.* 180.76.5.87 百度其他蜘蛛,北京电信,功能未详!
180.76.15.* 180.76.15.* 降权蜘蛛,有这个ip说明网站不会在收录了,一直到这个ip段消失。
183.91.40.* 183.91.40.144 这个ip段出现在新站或站点有不正常现象后
203.208.60.* 203.208..60.* 此ip段为异常蜘蛛,通常由于网站服务器问题或其他违规行为会引起它来爬取
210.72.225.* 210.72.225.* 此ip段为日常巡逻蜘蛛,只要网站没有问题,没有违规操作就行。
218.30.118.* 218.30.118.102 每天这个IP 段只增不减很有可能进沙盒或K站
220.181.158.* 220.181.158.107 百度其他蜘蛛,功能未详!
220.181.7.* 220.181.7.* 代表百度蜘蛛IP造访,准备抓取你东西。
220.181.68.* 220.181.68.* 每天这个IP 段只增不减很有可能进沙盒或K站

220.181.108.*

【优质段】

220.181.108.75 重点抓取更新文章的内页达到90%,8%的抓取首页,2%其他权重ip段,抓过的文章或首页基本24小时放出来。
220.181.108.77 专用抓取首页IP权重段,一般返回代码是30400代表未更新。
220.181.108.80 专用抓取首页IP权重段,一般返回代码是30400代表未更新。
220.181.108.82 抓取tag页面。
220.181.108.83 专用抓取首页IP权重段,一般返回代码是30400代表未更新。
220.181.108.86 专用抓取首页IP权重段,一般返回代码是30400代表未更新。
220.181.108.89 专用抓取首页IP权重段,一般返回代码是30400代表未更新。
220.181.108.91 属于综合的。主要抓取首页和内页或者其它页面。属于权重IP段, 抓过的文章或首页基本24小时放出来
220.181.108.92 属于综合的。主要抓取首页和内页或者其它页面。属于权重IP段, 抓过的文章或首页基本24小时放出来
220.181.108.93 重点抓取内页,爬过的文章或首页基本24小时放出来。
220.181.108.94 专用抓取首页IP权重段,一般返回代码是304 0 0代表未更新。
220.181.108.95 这个是百度抓取首页的专用IP,基本来说你的网站会天天隔夜快照。
220.181.108.97 专用抓取首页IP权重段,一般返回代码是304 0 0代表未更新。
220.181.108.115 重点抓取内页,爬过的文章或首页基本24小时放出来。
220.181.108.119 专用抓取首页IP权重段,一般返回代码是304 0 0代表未更新。
220.181.108.156 重点抓取内页,爬过的文章或首页基本24小时放出来。
220.181.108.158 重点抓取内页,爬过的文章或首页基本24小时放出来。
220.181.108.180 重点抓取内页,爬过的文章或首页基本24小时放出来。
220.181.108.184 重点抓取内页,爬过的文章或首页基本24小时放出来。
   
   
   

 

百度自家

61.135.186.* :百度联盟爬虫,百度统计。

61.135.165.134:百度竞价蜘蛛北京联通。

61.135.169.*:百度公司内部专用IP;

111.206.198.*:百度渲染蜘蛛,专门抓取js、css和图片用的,百度站长工具落地着陆页检测IP。

111.206.221.*:百度渲染蜘蛛,专门抓取js、css和图片用的,百度站长工具落地着陆页检测IP。

117.34.74.66:百度竞价蜘蛛西安市电信。

118.122.188.194:百度竞价蜘蛛。

119.63.196.9:百度竞价蜘蛛。

123.125.67.* :百度站长工具的IP sitemap。

125.39.78.185:百度竞价蜘蛛天津联通。

203.119.241.*:百度主动推送的IP。

220.181.51.*:百度站长工具的IP sitemap。

220.181.108.120:抓取/robots.txt。

220.181.108.146:抓取/robots.txt。

 

百度联盟爬虫【百度统计

61.135.186.*

站长工具模仿的百度蜘蛛。
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42

114站长工具箱(这个是你的网站不稳定时常来的)
119.147.114.213
121.10.141.*

搜外站长工具蜘蛛。
124.248.34.52

也属于百度蜘蛛IP 主要造成成分,是新上线站较多,还有使用过站长工具,或SEO综合检测造成的,没有多大用。

百度蜘蛛
159.226.50.*
180.76.5.*
180.76.5.87
220.181.158.107

伪装百度蜘蛛IP
180.149.130.*

一般成功抓取返回代码都200,返回304代表网站没更新。

标签:IP,......,抓取,蜘蛛,baiduSpider,220.181,百度,首页
From: https://www.cnblogs.com/chig/p/16972471.html

相关文章

  • strip的功能
    strip将去掉字符串左右两边的指定元素,默认是去掉空格newstr=string.strip(item)参数:括弧里需要传一个你想去掉的元素,可不填写'helloxiaomu'.strip() //helloxia......
  • JavaScript:this指针
    this指针,存储的是一个内存地址,如同变量一样,指向一块内存区域;而这个内存区域,保存的就是一个对象的数据,那么这个对象是什么呢?通常来说,this指针,主要是用在方法(函数)中,用来指......
  • 深入解析 JavaScript 中 apply 方法原理
    前言大家好,我是 CoderBin,在面试当中,手撕代码的场景屡见不鲜,手写JS当中的方法更是最常见的一种,所以本文将全面的,详细解析​​apply​​方法的实现原理,并手写出自己的​​a......
  • 前端开发系列023-基础篇之JavaScript和JSON(扩展)
    title:'前端开发系列023-基础篇之JavaScript和JSON(扩展)'tags:-javaScript系列categories:[]date:2017-06-2008:20:13本文输出JSON搜索和JSON转换相关的内容......
  • 前端开发系列022-基础篇之JavaScript和JSON(进阶)
    title:'前端开发系列022-基础篇之JavaScript和JSON(进阶)'tags:-javaScript系列categories:[]date:2017-06-1908:20:13在[javaScript和JSON](http://wendingd......
  • 前端开发系列030-基础篇之JavaScript函数基本
    title:'前端开发系列030-基础篇之JavaScript函数基本'tags:-javaScript系列categories:[]date:2017-08-1122:05:13一、函数的创建和结构函数的定义:函数是Jav......
  • IPSec配置实验
    实验拓扑IPSec实验拓扑图如下:实验思路配置IP地址配置路由添加兴趣流IPSec安全提议ipsec配置应用ipsec安全策略1、配置接口下的IP地址,步骤省略。2、配置路由......
  • 《Learning to Incentivize Other Learning Agents》2020-NIPS
    学会激励其他学习智能体总结:为了促进在一般和马尔可夫游戏中的多智能体之间的合作,为每个智能体配置一个奖励函数用来直接向其他智能体提供奖励,并明确解释接受该奖励者自......
  • javascript:微信扫一扫下载android应用的引导页
    一,js代码:<html><head><metacharset="utf-8"/><title>测试</title></head><bodystyle="padding:0px;margin:0px;"><!--background--><divsty......
  • linux(centos 6/7/8,kylin)下记录所有用户的操作以及ip、时间
    [root@sdw~]#mkdir/var/log/history[root@sdw~]#chmod777/var/log/history编辑/etc/profile文件,在文件末尾加入下面代码:[root@iZ23nn1p4mjZroot]#vi/etc/profileh......